Tag Archive | "trackPageview"

wlEmoticon-openmouthedsmile.png

Tags: , , ,

URL中过多的参数是否会将google蜘蛛带入抓取死循环?

Posted on 18 9月 2012 by simon

看到这个标题可能不少人是嗤之以鼻的,您还以为是90年代?~~不,天我们讨论的是URL过多参数带来的次级影响,而非这个url本身.

URL中过多的参数是否会将google蜘蛛带入抓取死循环?

答案是肯定的,不过有一个前提,你的GA代码里的trackpageview开启了自定义页面(即虚拟页面)。

经过一段时间的研究发现,google确实会发生此种情况(百度对GA的JS应该是直接跳过的,根本不理睬~)。上次曾写过一篇此类的问题:关于GA代码里的trackPageview的url问题,代码404? 当时以为是因为格式符合的问题,目前看来不是那个问题,而是google自身的问题。

一般意义上,随着搜索引擎技术的发展,常规的url,即使有10多个参数,搜索引擎也是能够抓取的,没有错。百度和google都能做到。

可如果在这些URL拥有很多参数的页面里,JS的GA代码里trackpageview带有一个相对的地址(为了便于数据统计),那么google此时就开始犯傻了。不知道这是否是个bug?疯狂的抓取的这些不存在的页面,造成整个网站数量级上面的404页面,足足有18万之多,而且呈每日3000左右的递增,这让人情何以堪。。。

造成的影响就是,google蜘蛛抓取非常不稳定,收录,来访次数,来自google的流量等等都开始下降。。。

查阅了很多资料,根本找不到相关描述文档。

————————此处后期更新——————————

2013年1月最新更新:经过查阅相关资料,google对于此类页面是有抓取的,无法避免此缺陷  

那么对我们目前来说,如何解决这个问题呢?

1、我们应该尽快将页面的动态形式更改为伪静态化后的,过多的参数也影响的蜘蛛抓取效率。

2、直接取消目前的自定义页面形式,采用默认的即可。(本人不建议此类操作,因为这样修改后,会造成数据缺失,前后数据无法衔接,无法统一分析,属于下下策,bad work)

Continue Reading

Comments (0)

Tags:

关于GA代码里的trackPageview的url问题,代码404?

Posted on 25 8月 2012 by simon

最近在操作到一个门户网站的GA的问题时,发现trackPageview的问题很严重。不知为何google抓取了里面的虚拟页面,造成十万数量级的404错误页面,google抓取统计也非常不正常。。。百度没有统计,不过就google这点来说,需立即解决。

众所周知,搜索引擎是不爬取JS里面的文件的,可也仅仅代表过去,经过多方测试,百度、google都可以识别js里面的内容了,这也是那些通过js跳转的网站往往会被惩罚的原因。

正常的GA代码,我们一般是不设trackPageview里面的url的,直接都是默认的

_gaq.push([‘_trackPageview’]); 形式

而在实际案例中,因为需要统计每个页面的具体详情,设置了trackPageview后面的url。

具体分析了一下:

Continue Reading

Comments (2)

斗牛SEO工具