当前位置:首页 >  站长 >  搜索优化 >  正文

新浪博客更新robot文件 “屏蔽门”误会消除

 2010-08-20 10:07  来源:   我来投稿 撤稿纠错

  域名预订/竞价,好“米”不错过

前几日有文章称由于众多站长滥发信息做外链,导致垃圾博文充斥新浪博客,因此新浪博客开始屏蔽百度蜘蛛,有网友发现大部分新浪博客快照在百度中已经没有更新,通过查看新浪robots文件()发现其内容为:

#####################################################

# SINA BLOG 禁止搜索引擎收录配置文件

# 文件: ~/robots.txt

# 编写: 阿狼

# 日期: 2005-03-24

#####################################################

#开放百度的搜索引擎的User-Agent代码,*表示所有###########

User-agent: Baiduspider

#限制不能搜索的目录,Disallow: 为空时开放所有目录####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

#限制的搜索引擎的User-Agent代码,*表示所有###########

User-agent: *

#临时限制对所有目录的禁止抓取

Disallow: /

由于该文件中有一句:User-agent: Baiduspider 由此很多站长判定,新浪已经彻底屏蔽百度蜘蛛,今后靠养新浪博客做外链的方法已经不可行了。

看到这则消息后,我感觉有几个疑点:

1、新浪作为世界知名的中文门户网站,其数据处理能力,违规内容管理方法,都足以应付目前的垃圾信息,而屏蔽百度蜘蛛会导致流量大减,这与新浪的发展战略不符。

2、该robots文件的日期为:2005-03-24,似乎是新浪博客刚上线的时候建立的文件,如果近期新浪的网管修改过robots的话,日期应该更改为新的日期。

3、熟悉robots写法的朋友都知道,该robots.txt文件中仅仅是是设置了禁止百度蜘蛛访问后台文件夹,并没有其他限制。

基于以上几点疑虑,我感觉文章中的观点有失误的地方,事情应该没有那么糟糕,果然在8月18日有网友发现新浪博客悄悄更换了robots.txt文件,内容改为:

#开放百度的搜索引擎的User-Agent代码

User-agent: Baiduspider

#限制不能搜索的目录,Disallow: 为空时开放所有目录####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

#开放bing.com的搜索引擎的User-Agent代码

User-agent: msnbot

#限制不能搜索的目录,Disallow: 为空时开放所有目录####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

User-agent: bing

#限制不能搜索的目录,Disallow: 为空时开放所有目录####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

#限制的搜索引擎的User-Agent代码,*表示所有###########

User-agent: *

#临时限制对所有目录的禁止抓取

Disallow: /

#限制不能搜索的目录,Disallow: 为空时开放所有目录####

##Disallow: /admin/

##Disallow: /include/

##Disallow: /html/

##Disallow: /queue/

##Disallow: /config/

#开放搜索的目录有####################################

# /

# /advice/

# /help/

# /lm/

# /main/

# /myblog/

可以看出新修改的robots.txt文件中的写法已经完全支持各类主流搜索引擎抓取博客内容,一个开放的新浪博客又回来了!

针对前几日出现的情况,个人猜测可能是由于以下几种原因:

1、前几日大部分新浪博客被K,可能是由于百度调整算法所导致的。

2、原来的robots.txt文件很可能是新浪博客刚上线得到时候建立的,由于当时google还没有正式进入中国,中文搜索还是百度一家独大,因此设置的内容主要针对百度,此后该文件一直没有修改,直到最近被网友发现,新浪工作人员才想起重新修改。

虽然这次”屏蔽门“只是一场虚惊,但是也给各位站长敲响了警钟,不要一味的盲目滥发垃圾信息,及污染了互联网环境又耗费了网络服务商的资源,小心竭泽而渔!培养10个高质量的博客比养100个垃圾博客更有效!

以上是我的一点见解,希望有朋友转载的时候保留我的一个链接 多一份保留 多一倍运气,多一份口碑,多一份成功,谢谢!

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 博客多久更新一次 探索网站更新背后的秘密

    文章质量决定更新频率,更新是为了满足搜索引擎,更是为了满足用户需求,如果不能保证内容质量,不建议凑数更新,这样反而损害了用户体验。

    标签:
    博客更新
  • 给博主的博客文章更新频率建议

    一旦你决定开始一个博客,你需要为博客确定你的目标是什么。如果你想发展你的博客,吸引新读者(并保持他们一直访问),你就需要花一些心思到您的博客,采用考虑一下什么样的发帖频率。博客内容是关键在博客世界里,常用的一句话是内容为王。这就意味着你的博客,最

    标签:
    博客更新
  • 新浪博客秒收秒更新快照是如何炼成的

    都说独立域名权重高,今天易科seo就要用自己的新浪博客跟大家比划比划,鄙人的新浪博客目前已经可以达到秒收和秒更新快照。废话不多说有图为证:这里要说的是我的博客并非每天更新,大家可以到我的博客看看文章更新的日期有时候连续大半个月也不带更新的,但是一旦我

    标签:
    博客更新
  • 站长博客应该更新什么样的文章

    作为站长,每个人手里都有一个个人博客,无论是平台博客还是独立博客,当初建立的个人博客站长都有一个想法,想通过个人博客来建立自己的品牌,扩大影响力,从而认识更多志同道合的朋友,同时也希望利用个人博客来获得额外收入,例如卢松松这样。但是理想是美好的,现

    标签:
    博客更新
  • 怎样把握博客更新的时间?

    很少有人每天都有精力更新博客,因为很少有靠博客养家糊口、发家致富的人——博客只是我们的副业。

    标签:
    博客更新

热门排行

信息推荐