搜尋引擎蜘蛛及網站robots.txt檔案詳解

我們知道，搜尋引擎都有自己的“搜尋機器人”（ROBOTS），并通過這些ROBOTS在網絡上沿着網頁上的連結（一般是http和src連結）不斷抓取資料建立自己的資料庫。

對于網站管理者和内容提供者來說，有時候會有一些站點内容，不希望被ROBOTS抓取而公開。為了解決這個問題，ROBOTS開發界提供了兩個辦法：一個是robots.txt，另一個是TheRobotsMETA标簽。

注意：robots.txt寫法是否正确對搜尋引擎抓取網站至關重要，我們盡量按照标準的格式寫語句，否則出現的錯誤可能會導緻搜尋引擎不能正常爬行站點；我們可以通過google sitemap中的robots.txt檢測工具來檢查網站上是否存在robots.txt檔案以及該檔案寫法是否正确

一、robots.txt

1、什麼是robots.txt？

robots.txt是一個純文字檔案，通過在這個檔案中聲明該網站中不想被robots通路的部分，這樣，該網站的部分或全部内容就可以不被搜尋引擎收錄了，或者指定搜尋引擎隻收錄指定的内容。

當一個搜尋機器人通路一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果找到，搜尋機器人就會按照該檔案中的内容來确定通路的範圍，如果該檔案不存在，那麼搜尋機器人就沿着連結抓取。

robots.txt必須放置在一個站點的根目錄下，而且檔案名必須全部小寫。

網站URL

相應的robots.txt的URL

http://www.w3.org/

http://www.w3.org/robots.txt

http://www.w3.org:80/

http://www.w3.org:80/robots.txt

2、robots.txt的文法

"robots.txt"檔案包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL,orNL作為結束符），在該檔案中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該檔案中的記錄通常以一行或多行User-agent開始，後面加上若幹Disallow行，詳細情況如下：

User-agent:

該項的值用于描述搜尋引擎robot的名字，在"robots.txt"檔案中，如果有多條User-agent記錄說明有多個robot會受到該協定的限制，對該檔案來說，至少要有一條User-agent記錄。如果該項的值設為*，則該協定對任何機器人均有效，在"robots.txt"檔案中，"User-agent：*"這樣的記錄隻能有一條。關于搜尋引擎robots的名字,請參考文章"搜尋引擎蜘蛛程式名稱大全"

Disallow:

該項的值用于描述不希望被通路到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被robot通路到。例如"Disallow:/help"對/help.html和/help/index.html都不允許搜尋引擎通路，而"Disallow:/help/"則允許robot通路/help.html，而不能通路/help/index.html。

任何一條Disallow記錄為空，說明該網站的所有部分都允許被通路，在"robots.txt"檔案中，至少要有一條Disallow記錄。如果"robots.txt"是一個空檔案，則對于所有的搜尋引擎robot，該網站都是開放的。

下面是一些robots.txt基本的用法：

禁止所有搜尋引擎通路網站的任何部分：

User-agent: *

Disallow: /

允許所有的robot通路

User-agent: *

Disallow:

或者也可以建一個空檔案:robots.txt

禁止所有搜尋引擎通路網站的幾個部分（下例中的cgi-bin、tmp、private目錄）

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /private/

禁止某個搜尋引擎的通路（下例中的BadBot）

User-agent: BadBot

Disallow: /

隻允許某個搜尋引擎的通路（下例中的WebCrawler）

User-agent: WebCrawler

Disallow:

3、常見搜尋引擎機器人Robots名字

名稱搜尋引擎         URL

Baiduspider             http://www.baidu.com

Scooter                   http://www.altavista.com

ia_archiver              http://www.alexa.com

Googlebot               http://www.google.com

Inktomi Slurp          http://www.yahoo.com

FAST-WebCrawler  http://www.alltheweb.com

Slurp                       http://www.inktomi.com

MSNbot                   http://search.msn.com

4、robots.txt舉例

下面是一些著名站點的robots.txt：

http://www.google.com/robots.txt

http://www.ibm.com/robots.txt

http://www.sun.com/robots.txt

http://www.eachnet.com/robots.txt

看看百度的robots.txt：http://www.baidu.com/robots.txt

黑色夢中SEO部落格的robots.txt檔案：http://www.bloghuman.com/robots.txt

5、常見robots.txt錯誤

·颠倒了順序：

錯誤寫成

User-agent: *

Disallow: GoogleBot

正确的應該是：

User-agent:GoogleBot

Disallow: /

·把多個禁止指令放在一行中：

例如，錯誤地寫成

Disallow:/css//cgi-bin//images/

正确的應該是

Disallow:/css/

Disallow:/cgi-bin/

Disallow:/images/

·行前有大量空格

例如寫成

  Disallow:/cgi-bin/

盡管在标準沒有談到這個，但是這種方式很容易出問題。

·404重定向到另外一個頁面：

當Robot通路很多沒有設定robots.txt檔案的站點時，會被自動404重定向到另外一個Html頁面。這時Robot常常會以處理robots.txt檔案的方式處理這個Html頁面檔案。雖然一般這樣沒有什麼問題，但是最好能放一個空白的robots.txt檔案在站點根目錄下。

·采用大寫

USER-AGENT:EXCITE

DISALLOW:

雖然标準是沒有大小寫的，但是目錄和檔案名應該小寫，：

User-agent:GoogleBot

Disallow:

·文法中隻有Disallow，沒有Allow！

錯誤的寫法是：

User-agent: Baiduspider

Disallow: /john/

Allow: /jane/

·忘記了斜杠/

錯誤的寫做：

User-agent: Baiduspider

Disallow: css

正确的應該是

User-agent: Baiduspider

Disallow: /css/

下面一個小工具專門檢查robots.txt檔案的有效性：

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

二、Robots Meta标簽

1、什麼是Robots Meta标簽

Robots.txt檔案主要是限制整個站點或者目錄的搜尋引擎通路情況，而Robots Meta标簽則主要是針對一個個具體的頁面。和其他的META标簽（如使用的語言、頁面的描述、關鍵詞等）一樣，Robots Meta标簽也是放在頁面的中，專門用來告訴搜尋引擎ROBOTS如何抓取該頁的内容。

2、Robots Meta标簽的寫法：

Robots Meta标簽中沒有大小寫之分，name=”Robots”表示所有的搜尋引擎，可以針對某個具體搜尋引擎寫為name=”BaiduSpider”。content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“,”分隔。

index指令告訴搜尋機器人抓取該頁面；

follow指令表示搜尋機器人可以沿着該頁面上的連結繼續抓取下去；

Robots Meta标簽的預設值是index和follow，隻有inktomi除外，對于它，預設值是index、nofollow。

需要注意的是：上述的robots.txt和Robots Meta标簽限制搜尋引擎機器人（ROBOTS）抓取站點内容的辦法隻是一種規則，需要搜尋引擎機器人的配合才行，并不是每個ROBOTS都遵守的。

目前看來，絕大多數的搜尋引擎機器人都遵守robots.txt的規則，而對于RobotsMETA标簽，目前支援的并不多，但是正在逐漸增加，如著名搜尋引擎GOOGLE就完全支援，而且GOOGLE還增加了一個指令“archive”，可以限制GOOGLE是否保留網頁快照。例如：

表示抓取該站點中頁面并沿着頁面中連結抓取，但是不在GOOLGE上保留該頁面的網頁快照。

例子:

#robots,scram

User-agent:*

Disallow:/cgi-bin

Disallow:/TRANSCRIPTS

Disallow:/development

Disallow:/third

Disallow:/beta

Disallow:/java

Disallow:/shockwave

Disallow:/JOBS

Disallow:/pr

Disallow:/Interactive

Disallow:/alt_index.html

Disallow:/webmaster_logs

Disallow:/newscenter

Disallow:/virtual

Disallow:/DIGEST

Disallow:/QUICKNEWS

Disallow:/SEARCH

User-agent:Mozilla/3.01(hotwired-test/0.1)

Disallow:/cgi-bin

Disallow:/TRANSCRIPTS

Disallow:/development

Disallow:/third

Disallow:/beta

Disallow:/java

Disallow:/shockwave

Disallow:/JOBS

Disallow:/pr

Disallow:/Interactive

Disallow:/alt_index.html

Disallow:/webmaster_logs

Disallow:/newscenter

Disallow:/virtual

Disallow:/DIGEST

Disallow:/QUICKNEWS

Disallow:/SEARCH

User-agent:Slurp

Disallow:/cgi-bin

Disallow:/TRANSCRIPTS

Disallow:/development

Disallow:/third

Disallow:/beta

Disallow:/java

Disallow:/shockwave

Disallow:/JOBS

Disallow:/pr

Disallow:/Interactive

Disallow:/alt_index.html

Disallow:/webmaster_logs

Disallow:/newscenter

Disallow:/virtual

Disallow:/DIGEST

Disallow:/QUICKNEWS

Disallow:/SEARCH

User-agent:Scooter

Disallow:/cgi-bin

Disallow:/TRANSCRIPTS

Disallow:/development

Disallow:/third

Disallow:/beta

Disallow:/java

Disallow:/shockwave

Disallow:/JOBS

Disallow:/pr

Disallow:/Interactive

Disallow:/alt_index.html

Disallow:/webmaster_logs

Disallow:/newscenter

Disallow:/virtual

Disallow:/DIGEST

Disallow:/QUICKNEWS

Disallow:/SEARCH

User-agent:Ultraseek

Disallow:/cgi-bin

#Disallow:/TRANSCRIPTS

Disallow:/development

Disallow:/third

Disallow:/beta

Disallow:/java

Disallow:/shockwave

Disallow:/JOBS

Disallow:/pr

Disallow:/Interactive

Disallow:/alt_index.html

Disallow:/webmaster_logs

Disallow:/newscenter

Disallow:/virtual

Disallow:/DIGEST

Disallow:/QUICKNEWS

Disallow:/SEARCH

User-agent:smallbear

Disallow:/cgi-bin

Disallow:/java

Disallow:/images

Disallow:/development

Disallow:/third

Disallow:/beta

Disallow:/webmaster_logs

Disallow:/virtual

Disallow:/shockwave

Disallow:/TRANSCRIPTS

Disallow:/newscenter

Disallow:/virtual

Disallow:/DIGEST

Disallow:/QUICKNEWS

Disallow:/SEARCH

Disallow:/alt_index.html

User-agent:GoogleBot

Disallow:/cgi-bin

Disallow:/java

Disallow:/images

Disallow:/development

Disallow:/third

Disallow:/beta

Disallow:/webmaster_logs

Disallow:/virtual

Disallow:/shockwave

Disallow:/TRANSCRIPTS

Disallow:/newscenter

Disallow:/virtual

Disallow:/DIGEST

Disallow:/QUICKNEWS

Disallow:/SEARCH

Disallow:/alt_index.html http://www.bloghuman.com/post/67/