每一个搜索引擎的蜘蛛(baiduspider)访问一个站点时，它首先爬行来巡查该站点根目录下是否存在robots.txt。如果存在，蜘蛛(baiduspider)就会按照该协议(protocol)书上的规则来确定自己的访问范围(fàn wéi)；如果没有robots.txt，那么蜘蛛就会沿着链接抓取，能否让蜘蛛访问，取决于Disallow和Allow，两者可以同时使用。
Disallow用于描述（description）不希望被抓取和索引的一个URL，这个URL可以是一条完整的路径。常熟百度公司是按照给企业带来潜在新客户的访问量计费，企业可以根据自己的需要，灵活控制推广力度和投入，使企业的网络推广投入获得最大的回报！这有几种不同定义和写法：
（1）Disallow:/AAA
任何以域名+Disallow描述（description）的网站内容开头的URL均不会被蜘蛛(baiduspider)访问，也就是说以AAA目录内的文件均不会被蜘蛛(baiduspider)访问；
（2）Disallow：/AAA/
则允许robots抓取和索引AAA/index.html，而不能抓取和索引AAA/admin.html；
（3）如果Disallow记录为空，说明该网站的所有部分都允许被访问。常熟百度公司由于关键词广告是在特定关键词的检索时，才出现在搜索结果页面的显著位置。如：企业主在百度注册提交“BGSEM”这个关键词，当消费者或网民寻找“BGSEM”的信息时，企业就会优先被找到，百度按照给实际点击量（潜在客户访问数）收费，每次有效点击收费从几毛钱到几块钱不等，由企业产品的竞争激烈程度决定的。常熟百度推广通过注册提交一定数量的关键词，其推广信息就会率先出现在网民相应的搜索结果中。简单来说就是当用户利用某一关键词进行检索，在检索结果页面会出现与该关键词相关的广告内容。
在robots.txt文件中，至少应有Disallow记录，如果robots.txt为空文件，则对所有的搜索引擎robot来说，该网站都是开放的。
1、需要拦截子目录中的某一个页面之外的其他所有页面，可以这么写：
User-agent: *
Disallow: /AAA/
Allow: /AAA/index.html
这样说明了所有蜘蛛(baiduspider)只可以抓取/AAA/index.html的页面，而/AAA/文件夹的其他页面则不能抓取，还需要注意(attention)以下错误的写法：
User-agent: *
Disallow: /AAA
Allow: /AAA/index.html
2、拦截搜索引擎对所有以admin开头的子目录的访问，写法：
User-agent: *
Disallow: /admin*/
3、要拦截对所有包含“?”号的网址的访问，写法：
User-agent: *
Disallow: /*?*
4、要拦截以.asp结尾的网址，写法：
User-agent: *
Disallow:/*.asp$
5、只抓取.asp?的页面，而.asp?=1，.asp?=2等等都不抓取，写法：
User-agent: *
Allow: /*?$
Disallow: /*?
6、屏蔽死链接，写法：
User-agent: *
Disallow: /404（死页面）.html