在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。
+ r0 g) j# H& V8 |5 m( v+ u( R" F5 V9 ~' R- U
3 x4 s4 ^+ R5 w2 k7 K2 H
robots.txt基本介绍
! o) R) c$ m9 T7 ?
/ Z' V, {0 n: z3 J7 v& W0 B) O; h
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
2 `6 c' n. l: d0 v( ?& p/ N* J; ~
; r3 Y' T( g7 X9 e7 |, U
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
2 E: M4 }3 h* [* ~, V
7 y: t& p) x8 r7 Y
另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
3 d3 Q3 g# z' O! _" P, \9 s
) P1 R, ~' ?3 G/ jrobots.txt写作语法
+ [8 z* h- s% z5 {% x% O
7 ~$ f- q: b# E9 N- K首先，我们来看一个robots.txt范例：
http://www.csswebs.org/robots.txt
4 z; I) {/ R$ u+ O
& U4 Q! R# x9 c访问以上具体地址，我们可以看到robots.txt的具体内容如下：
8 E/ K$ b5 z2 U. e" X$ f+ z6 w. b" \2 q: d$ A) K! R2 ^ ]! `
# Robots.txt file from
http://www.csswebs.org! P' R0 T. F3 z O Y
# All robots will spider the domain
. d* S. {! d4 X% ^2 u t. l
* l/ m; r7 E5 iUser-agent: *
; b. Z5 {3 E" O) W" Z H1 B( D
Disallow:
4 U7 G5 w0 H' Z$ E; G. A2 Z o
' y2 _ v" ?. \. h) o以上文本表达的意思是允许所有的搜索机器人访问
www.csswebs.org站点下的所有文件。
* ~; Z' ]$ T' k: Z8 M T0 E3 h+ g8 g
- @9 y& f( m( R/ R5 j `5 t具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。
5 |) ~) `# y% Y- Z1 ^* P
; X. W0 U$ y# c9 l7 o4 S# x
下面，我将列举一些robots.txt的具体用法：
) f1 U9 P: X: m+ Y5 v% p+ X- F% u4 H4 a% W
允许所有的robot访问
. m" R2 d' Z, t6 H. n9 i
5 o/ d( e/ v, L% f$ l' XUser-agent: *
1 ^; f. H! m, |7 U5 K& h
Disallow:
2 G- w# b- T. M- r; i1 O, s6 Q% |, p
或者也可以建一个空文件 “/robots.txt” file
- I4 r! r% ?$ l* l0 n7 K5 m& K& X2 v4 b/ D2 Z6 a4 D/ ]
禁止所有搜索引擎访问网站的任何部分
# P$ z! V+ { [6 X, {8 E% n# K, V* M6 j. s2 Q
User-agent: *
$ ?, u* }. x v# x5 {5 F
Disallow: /
* i3 }2 k2 R4 O' w0 X# |9 ?# x0 s- K; c3 G& B, C! ?* j
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
( f1 T0 W- I7 K, _6 c2 B( {6 @
( l" ^! r# l& GUser-agent: *
7 n9 k) [: z" m# Q$ N1 R A, f W
Disallow: /01/
( s4 P2 G) a0 b# L1 e
Disallow: /02/
( C6 g X7 J7 l) A# I. }) d3 iDisallow: /03/
8 d$ N- o/ I% P B6 L
: w |) E! i+ D t7 |8 [$ n
禁止某个搜索引擎的访问（下例中的BadBot）
1 {( i8 U* ]6 e: d2 `$ c% Z% |" O5 r
% _, F# J# j5 A0 J
User-agent: BadBot
0 x( V: s+ ]9 k1 DDisallow: /
0 i9 [7 K. G/ u( F3 n3 z6 s) d! U4 }
只允许某个搜索引擎的访问（下例中的Crawler）
8 c+ Q$ _; m. D3 G* G- r1 _/ W+ x$ d9 S8 T
User-agent: Crawler
' I) H( N. r* a/ t- z1 Y
Disallow:
1 a* T6 T% Z# V8 @6 N! A
; f7 o. A8 o) ^! {User-agent: *
8 W7 J+ Q. F/ K: f8 l& Q1 {6 @
Disallow: /
) K; n; i5 t5 I" ?3 w- D
, H0 M, o) R6 X+ H( S9 U
另外，我觉得有必要进行拓展说明，对robots meta进行一些介绍：
" `3 ]9 P9 q1 D4 b) F' l9 D M, D6 r/ P# n0 c4 q- M) I2 D1 i' x- s
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
5 h# D. q$ E& l" N* L2 c
% j. {3 ?- }. z' S5 M: pRobots META标签的写法：
' ]. s$ T% r9 f! X. K! E* d
7 F" s' r3 ?9 L. N" Z. i( CRobots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
1 S' y w" C# [) ~
. ^$ M( f: q* s0 a- R( A- Q
INDEX 指令告诉搜索机器人抓取该页面；
+ y8 p/ W. F( J9 Y1 y$ {; j R- N
' k# @) B2 P f* ZFOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
4 w; ?. X0 U9 @" ^0 v
0 _ M/ @) h1 h t2 ERobots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
/ Y/ Z- e6 D& q0 J6 _
: t& O" ^/ c8 q( I* h4 o这样，一共有四种组合：
' L! a. [- r9 j4 F' D2 `
8 R7 D3 F$ H7 v( l' ~6 r5 e/ N
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞
- `0 ?8 R! w; i) T* ]" M
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞
1 y2 f/ d2 v% S* q9 N, c
＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞
6 l- E# y/ l2 q# m
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞
% R/ ?. D R: r+ M9 U1 [6 z& n+ R2 e$ {, h" P
其中
4 B% N. {0 f7 O, X0 h, R$ t0 N# g+ P9 U
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；
& J! M4 A* i: Z4 Q* B+ q; E1 R) }. B$ h
: T0 a$ B' p; `% ^+ K8 p+ L
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”NONE”＞
" N8 |3 v* m7 }& {' ?& b
- W$ l; W& j) F" B1 n4 [4 C; e3 ?目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：
5 K7 h, C: z b. F% }3 ]* ^6 ]/ U0 Y0 _1 J
＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞
+ B ~& e4 X6 a0 q* W" w* D( f% A
: H$ ~; u! f; M; D表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。
u3 O, \+ t- n% T% A2 a; \; E, F/ q/ C) T) _: A3 ]
特别说明，本文章的写作参考了一些网络信息，robin只是按照自己的思路对信息进行整理。
