1. 首页

常见的蜘蛛陷阱有哪些

   所谓蜘蛛陷阱就是不利于搜索引擎爬行和抓取,既然都不利于爬行和抓取了,谈何收录,所以我们要确保蜘蛛能顺利爬取到我们网页内容和链接,这就要避免蜘蛛陷阱,所以有必要分享下常见的蜘蛛陷阱有哪些:

  一、网站首页用FLASh

    有的人为了网站首页的美观,会在网站首页上用FLASH增强视觉效果,  其实这是大忌,这就构成了蜘蛛陷阱,那是因为搜索引擎抓取的只有一个连向FLASH文件的链接,而它无法读取FALSH文件中的文字内容和链接的。

   二、SessionID

     
 所谓SessionID就是为了追踪用户访问,每个用户访问你网站的时候在URL中都会生产一个独特唯一的SessionId,而当搜索引擎访问你网站
的其实它就相当于一个用户,也会生成一个独特的SesssionID,每次访问URL中带的SessionID都不一样,但内容都一样的
,如果搜索引擎能判别出来,还好,它会删掉SessionID,那如果判别不出来,那就会有大量重复内容。对网站优化很不利

   三、跳转

     跳转有好多种,如301、302、javaScript、Flash跳转等。对搜索引擎有利的跳转就属301了,它是用于网址更改 转向,为了把权重集中在一起,而其它跳转对搜索引擎爬行很不利,所以尽量少用其它跳转。

   四、动态URL

      
人们不是经常说,URL要静态化,那是为什么了?动态URL不利于搜索引擎爬行,它是由数据库驱动的网站生成的,带有好多问号,等号,及参数的。不过在
2008年九月,Google站长在博客上说,Google完全能能力抓取动态网址,多少个问号都么事,并且动态网址更有助于Google蜘蛛读取URL
含义。所以Google建议不要将动态URL改为静态的。但我认为还是用静态话URL,因为并不是所有的搜索引擎都能实现这个功能。

  五、JavaScript链接

     有  的人为了网站好看,就会有JavaScript脚本生产导航系统,而这种是搜索引擎蜘蛛是无法爬行的。

  六、要求登录

     有的网站为了增加会员,它会要求用户必须登入后才能看到网站上的内容,其实这种做法是错的,只要是用户看不到的东西,搜索引擎也无法看到。蜘蛛不会注册的。

七:强制使用cookies

       有些网站为了实现某些功能会采取强制cookies,比如说跟踪用户访问路径,记住用户信息等   
如果用户在访问这类站点时浏览器没有启用cookies,就会显示的页面不正常,但对于蜘蛛来说也无法正常访问。总归只要是用户无法访问的,搜索引擎蜘蛛
也照样无法访问。

 本文原文地址:http://www.pldyf.com/seozhishi/935.html