蚂蚁小窝

robots.txt很简单，也很重要，但3年来，一直没有用过。
2004.11.09,我们2个站点终于用上了robots.txt。
这对spiders确实友好多了，也减轻了网站的无效负荷。
比如，Google 等spiders就不用无效地尝试那些管理链接了，也就省调了一大堆的302，以及对logon.jsp的无意议的请求。

目前本站使用的robots.txt还非常简单，应该再增加一点。

User-agent: *
Disallow: /gbook/admin/
Disallow: /blog/admin/
Disallow: /up5/admin/
Disallow: /upload/userUpload/
Disallow: /upload/admUpload/
Disallow: /album/admin/
Disallow: /users3/
Disallow: /cmt/admin/
Disallow: /network/admin/
Disallow: /elib/admin/
Disallow: /elib/reader/