Archive | 10月, 2014

Tags: , ,

斗牛百度实时指数&历史数据批量获取工具(2019年)已更新,支持各城市、PC、移动端历史数据采集,附常见问题解答!

Posted on 24 10月 2014 by simon

自从发布了早期版本的百度指数查询工具后,就陆续收到各种邮件询问什么注册码的,为什么不给注册码、怎么使用、如何操作、为啥用不了等等。。。V1.0版本早已发布在群共享里,只是没有在本博客和斗牛SEO工具官方网站里发布,也有很多工具都是直接在群内发布的,斗牛SEO所有工具也一直都在更新的,只是更新了都在群内发布了;做这个工具也权当是给VIP会员的权益,多些工具,能多解决些问题。

总而言之,为了节约大家的时间,这里做一下软件介绍及相关使用说明。

目前本软件已升级至V2.7.2,主要功能是会模拟操作你的浏览器,查询百度指数、百度历史指数(查询时间可自己定义,没有限制)、可以自定义查询各个城市的百度指数、整体、PC、移动端历史指数等等。

2019年4月重要更新: 本工具暂时失效,如果需要关键词的历史指数可联系作者付费提供,100%精准,0误差,童叟无欺。联系QQ:60488六四二一

更新日志:

2019年4月11日:
重要更新:
本工具暂时失效,如果需要关键词的历史指数可联系作者付费提供,100%精准,0误差,童叟无欺。联系QQ:60488六四二一

2015年2月18日(年三十):
升级至V2.7.2
1、添加关键词与日期范围一一对应的选择项,让关键词列表和时间范围列表依次
从上至下一一对应各自时间段,方便一次对不同词设置不同时间范围,查询更灵活.
2、修复了软件运行过程中出现Y1坐标越界的信息提示。

2015年2月15日:
升级至V2.7.1
1、修复历史时间段识别错误导致无法查询的bug

2015年2月5日:
升级至V2.7
1、添加支持整体趋势、PC端、移动端趋势历史数据的单独查询;
2、支持遇验证码自动ADSL拨号换IP功能,真正实现了不需要人工操作,挂机采集;
3、对于历史数据的采集结果,不再在软件界面上显示,直接增量添加到当面目录的
   date_index.txt里,适合挂机,不怕断电等等因素;
4、优化部分win64系统获取数据为空的问题,注意本软件不支持浏览器为64位的
   程序,比如Chrome就有64位的版本,这个版本是不支持的,换成32位就可以
   继续查了。或者你换个浏览器,比如360极速浏览器、IE浏览器等等。
   建议使用Goole Chrome32位、360极速Chrome。
   所以为了统一,我建议大家都用win7或XP 32位系统,不使用64位系统。
   64位系统注册插件,参见文章末尾的Q&A

(经过测试,采集2000个词的近2年所有历史数据,防卡延时设置5秒,大约需要挂机
十多个小时才能完成采集。对于少部分的数据为-1,一般需要人工输入刻度值辅助查
询,这部分占比较少,原因是图像干扰了刻度识别。)

2014年11月3日:
升级至V2.5
1、添加自定义时间,循环时间查询的功能,更方便;
2、添加识别坐标刻度值错误的提醒功能;

2014年10月24日:
升级至V2.4.1
1、添加横向偏移的微调设置功能
2、优化软件稳定性

....

2014年10月15日:
升级至v2.0
1、添加半人工查询模式,可手动输入刻度值
2、添加气泡提示运行状态

2014年8月25日:
发布版本v1.0

备注:本软件有2种查询模式,

一、百度指数的实时指数(就是页面上显示那个数值),可以选择近7天,近30天。

二、百度历史指数的数据,这个数据因为是采用图像识别技术,会有5%左右的误差,对于这样的数据,可以在软件选项里,进行坐标精准性微调,调整坐标横向偏移;同时也可以在查询结果乘以一个百分比来均衡这个误差,具体差值需要自己人工判断计算。

本软件面向的用户:

1、需要精确百度指数的用户,而不是模糊有延时的百度指数(比如目前市面上的各种seo工具里的百度指数查询工具)。

2、做行业数据分析,研究相关关键词的热度趋势,需要百度历史指数分析的用户。(比如搞大数据分析、金融、股票数据分析等等行业的人员)。

3、如果你只是想大概查一下关键词的指数、不需要精准数值而且是大批量查询,那么这个工具不太适合你,因为是模拟操作,效率是个问题。(当然大批量指数查询工具也已经做好并发布了,斗牛百度指数批量查询工具V5.0版本,请至公开QQ群共享下载。)

软件功能:

1、支持百度指数实时提取功能,可查询近7、30天各个城市的数据,提取数据包括整体搜索指数、PC搜索指数、移动搜索指数、整体同比、整体环比、移动同比、移动环比;

2、百度历史指数可查询指定时间段的百度指数,没有限制,如果查询的天数超过一年,建议你按照1年1年来查询,比如准备查询2011-2013年所有数据,那么软件里应该分别查询2011年、2012年、2013年的数据;(提示:一般情况下,查询的时间范围跨度越小精度越高,所以在最新发布的版本里,添加上自定义循环时间查询功能,可以分多个时间段分别查询,这样查的数据组合起来可以更精确。)

3、为防止软件识别错误,软件自带半人工干预模式,可以自己手动输入坐标柱的底部值、顶部值,输入后点“我已输入”按钮,软件会自动继续执行;

4、支持出现验证码自动气泡提示,手动输入验证码后,软件自动继续执行工作;

5、支持设置各个城市的ID,方便查询不同城市地区的数据;

6、支持停留时间设置:防止网速太卡导致页面未加载完毕导致数据丢失;

7、支持日期时间范围和列表每个关键词的一一对应设置,可一次查询不同关键词的不同时间范围,避免一次只能查询同一时间范围的尴尬。

8、支持对查询的数据进行二次纠正,可以进行加减乘除;

9、支持关键词的批量导入,一键清空;

10、支持查询时间间隔设置,支持数据导出,支持一键复制;软件支持自动更新。

11、可对验证码进行自动ADSL拨号处理,避免人工处理。

备注:软件压缩包里自带全国各个城市的ID数值,如果需要查询某个城市,只需要去查找一下即可。

软件截图:

QQ截图20150206011514

软件界面

 

QQ截图20150206011546

数据样本

举例1:

我们对上面采集到的数据样本,”百度”一词,2014年1-6个月数据,进行本地excel制图和真实图表对比:

QQ截图20150206021913

采集到的数据趋势图

 

QQ截图20150206021929

真实的数据趋势图

根据上面2个图表,可以得出结论,采集到数据已经完全展示了数据的变化趋势,可以用来做数据样本,对于大数据分析来说,该样本是可靠的。

经过计算,本次识别的误差率约为2.48%

举例2:演示图:

(举例)以Google一词为关键词,根据记录的数据进行excel绘图,演示如下:

根据软件提取的数据生成的EXCEL趋势图

根据软件提取的数据生成的EXCEL趋势图

我们再来看一下网页的趋势图是怎么样的:如下

Google的百度指数页面趋势图

Google的百度指数页面趋势图

经过计算,本次识别的误差率为2.8%,经过数值均衡后可达更理想状态。

好了,全部介绍到此为止,如有疑问请再看一遍文章,也可以加群,145876858    106983747

如需下载,也请加群!

常见问题:(Q&A)

1、我打开软件提示插件版本错误,怎么办?

Continue Reading

Comments (2)

Tags: , ,

Amazon EC2的V-P-N-PPTP搭建教程(on aws redhat6.5 X64)

Posted on 20 10月 2014 by simon

前些日子收到amazon的邮件通知,一年前申请的ec2到期了,一年免费的free tier没有了,放在上面的2个站已经欠费了十几美元了,不过我也不打算用了,准备重新注册账号(请不要鄙视我。。)

1、注册开通过程就不详述了,之前的文章已经说过了,这里要说的是:AWS需要填写的信用卡可以用财付通的境外国际账号,(现在好像没有开通渠道了,不过网上有神秘链接可以开通,自己去搜吧,我也忘记是哪个链接了。)然后财付通账号里面需要充值2美元,不是1美元切记,建议往里面充值20元,省得不够AWS的验证扣费会导致验证失败,甚至会反复扣费。如果AWS验证失败,最好先删除AWS里的付款方式后,重新添加信用卡验证,要不然你会发现点“编辑”信用卡账号,点“更新”根本就是没反应的。

当然你也可以直接输入自己的信用卡,验证会比较方便,不过要注意平常使用不要超额,否则会有扣费,具体参考官方说明

2、如果在My Account的控制面板里没有提示付款方式无效,就证明验证通过。

3、之后可能要等20-30分钟后,你才可以建立实例。(让系统有处理时间,不然直接点EC2的面板会提示你付款方式不完善之类信息的。。)

4、然后直接建立实例,我这里选择的是redhat(RHEL-6.5_GA_HVM-20140929-x86_64),一直按着向导下一步即可。

PS:主机环境我使用了WDCP来搭建的,如果你也准备用wdcp来建站,ec2就不要使用Amazon Linux AMI的镜像,否则wdcp里php会无法安装编译。(如果不准备建站,此步可跳过)

5、至此,一年免费主机且无需备案的EC2有了,网速ping大约在80-100左右,还是不错的。


开始搭建VPN-PPTP——how to setup VPN server (pptp on CentOS/RedHat/Ubuntu)

查系统位数 getconfig LONG_BIT,查系统版本 cat /etc/issue ,cat /proc/version,按对应版本下载,ppp/pptp汇总地址

步骤一
如果你的系统是CentOS/RedHat 5:

yum install ppp
cd /usr/local/src
wget http://poptop.sourceforge.net/yum/stable/packages/pptpd-1.4.0-1.rhel5.x86_64.rpm
rpm -Uhv pptpd-1.4.0-1.rhel5.x86_64.rpm

如果你的系统是CentOS/RedHat 6:

yum install ppp
cd /usr/local/src
wget http://poptop.sourceforge.net/yum/stable/packages/pptpd-1.4.0-1.el6.x86_64.rpm
rpm -Uhv pptpd-1.4.0-1.el6.x86_64.rpm

如果你的系统是Ubuntu:

apt-get install pptpd

步骤二:
修改/etc/pptpd.conf

vi /etc/pptpd.conf

localip 192.168.9.1
remoteip 192.168.9.11-30

这上面的IP可以自己定义的,不一定非要这样设置,下面的11-30表示允许连接20个IP

步骤三:
添加账号密码至配置文件

vi /etc/ppp/chap-secrets

格式为:(空格分开,不要引号)
user1 * pwd1 *
user2 * pwd2 *

步骤四:
修改DNS配置

vi /etc/ppp/options.pptpd

ms-dns 8.8.8.8
ms-dns 4.4.4.4

步骤五:

修改/etc/sysctl.conf

vi /etc/sysctl.conf

net.ipv4.ip_forward = 1

应用所有配置

sysctl -p

步骤六:

配置防火墙iptables(这里记得将aws里的1723端口开放,在Security Groups的Inbound开启1723端口,需要开启别的端口的也需要在这里开启。)

iptables -A INPUT -i eth0 -p tcp --dport 1723 -j ACCEPT
iptables -A INPUT -i eth0 -p gre -j ACCEPT
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
iptables -A FORWARD -i ppp+ -o eth0 -j ACCEPT
iptables -A FORWARD -i eth0 -o ppp+ -j ACCEPT
service iptables save
service iptables restart

备注,如果为linode机房,此处重启会提示service iptables restart
Setting chains to policy ACCEPT: security raw nat[FAILED]filter,是因为Linode官方在iptables里加了一个security的规则链,但Centos不支持。

解决方法:vi /etc/init.d/iptables

for i in $tables; do
        echo -n "$i "
        case "$i" in
            raw)
                $IPTABLES -t raw -P PREROUTING $policy \
                    && $IPTABLES -t raw -P OUTPUT $policy \
                    || let ret+=1
                ;;

加入以下内容到“case “$i” in”下面:

security)
        $IPTABLES -t filter -P INPUT $policy \
            && $IPTABLES -t filter -P OUTPUT $policy \
            && $IPTABLES -t filter -P FORWARD $policy \
            || let ret+=1
        ;;

最终效果为:

for i in $tables; do
        echo -n "$i "
        case "$i" in
            security)
                $IPTABLES -t filter -P INPUT $policy \
                    && $IPTABLES -t filter -P OUTPUT $policy \
                    && $IPTABLES -t filter -P FORWARD $policy \
                    || let ret+=1
                ;;
            raw)
                $IPTABLES -t raw -P PREROUTING $policy \
                    && $IPTABLES -t raw -P OUTPUT $policy \
                    || let ret+=1
                ;;

之后重启服务即可。

步骤七:

重启PPTP服务

service pptpd restart

将pptp服务加入到开机自启动

chkconfig pptpd on

如果你的系统是Ubuntu乌班图,重启reboot即可。


如果一切OK的话,专属于你自己的VPN便诞生了。。此时可以通过电脑的网络连接-新建连接VPN输入账号密码即可连接该网络。当然android,IOS,OSX,windows均可通过设置连接该网络。

访问国外站点还是很顺畅的,看youtube视频略有点卡。

 

如图所示:

QQ截图20141020225815

该IP即为remote里的第一个IP

QQ截图20141020225828

总体测试还是很快的,能达到2M带宽。

QQ截图20141020225842

下载速度能够保持在300-400K左右。

Continue Reading

Comments (8)

斗牛SEO工具