有一些网站的结构不利于蜘蛛爬行，和搜索引擎特别的不友好，不能让蜘蛛更好的爬行和抓取。我们称之为蜘蛛陷阱。
常见的蜘蛛陷阱分为以下的几种：
常见一：JavaScript链接
示例：
常见二：在网页里穿插FLASH
常见三：Sesssion ID
常见四：框架结构（iframe）
示例： 百度MP3音乐盒
红色代码为百度音乐盒调用框架结构
常见五：动态RUL、参数过多RUL
此URL中，动态参数过多，不利于搜索引擎蜘蛛抓取
常见六：社区等需要登陆的页面
蜘蛛和人一样如果需要访问一些没有权限的页面的话，一样需要登陆进去，但是蜘蛛不会和人一样申请账号来登陆，所以抓取不到没有权限的页面。
做seo的时候避免以上的陷阱，让搜索引擎更容易懂得你的站！
文章来源：懒猫seo博客
来源地址：http://www.lanmaoseo.com/seojs/7084.html
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
搜索引擎蜘蛛抓取份额是什么？抓取份额是由什么决定的?怎样节省抓取份额?对大中型网站来说，这是个颇为重要的SEO问题，有时候会成为网站自然流量的瓶颈,今天我们就一一为大家介绍一下
相信大家在分析百度蜘蛛日志的时候经常会发现一个问题，就是百度蜘蛛经常会抓取一些不存在的目录，比如：我网站没有这些目录，但是百度蜘蛛一直在抓取，或者你会发现百度蜘蛛在抓取自己的隐私目录
只要认真观察就会发现很多新媒体平台的链接是会被蜘蛛抓取提高收录，并且其本身的域名权威度就有很高的权重，这是一个很好快速建立索引的机会。同时部分搜索引擎也被用作站内资源的搜索渠道与资源稀缺的补充，要知道这也是额外获取网站流量的一个方法。
搜索引擎爬虫程序，其实就是搜索引擎的一个自动应用程序，它的作用就是在互联网中浏览信息，然后把这些信息都抓取到搜索引擎的服务器上，然后建立索引库等等，我们可以把搜索引擎爬虫当做一个用户。
蜘蛛的口味很独特，它所抓取的网站都是很不一样的，也就是我们所说的原创文章，只要你网页里的文章原创度很高，那么你的网页就会很高的机率被蜘蛛所抓取，这也是为什么越来越多的人更加的要求文章原创度的原因。
