1.robots    robots其实就是禁止蜘蛛来爬行这些页面并不传递（transmission)其百度权重的一个文件。常熟网络公司网站优化是指在了解搜索引擎自然排名机制的基础之上，对网站进行内部及外部的调整优化，改进网站在搜索引擎中关键词的自然排名，获得更多的展现量，吸引更多目标客户点击访问网站。常熟网络公司网站优化包括整站优化、站内优化、站外优化，就是时适合搜索引擎检索，满足搜索引擎排名的指标，从而在搜索引擎检索中获得搜索引擎排名靠前，增强搜索引擎营销的效果，使网站相关的关键词能有好的排名。通常是放在网站程序(procedure)根目录下，如地址栏输入www.xuelei.org/robots.txt，即可查看。常熟网络公司网站优化包括整站优化、站内优化、站外优化，就是时适合搜索引擎检索，满足搜索引擎排名的指标，从而在搜索引擎检索中获得搜索引擎排名靠前，增强搜索引擎营销的效果，使网站相关的关键词能有好的排名。具体什么写百度官方有，这里就不过多解释。但是并不是说在robots文件里写了禁止蜘蛛去收录此网页它就不会被收录，举个最简单的例子：百度一下淘宝首页，他仍然有收录其淘宝首页，只不过没收录这个网站下的其他页面。说明了robots文件是能禁止除该被禁止的网址之外的所有网址，不包含被禁止的该网址（当然也是不能传递权重）。 2.nofollow    nofllow标签相信很多站长(webmaster)都很了解，很多人都认为nofollow和robots作用（role）是一样的，而我想说两者在某一方面上来讲是完全相反的。一旦在一个链接上加了nofollow，该链接还是会被收录的，这个收录与否与nofollow的关系不是很大，只不过在当前页面没有给该链接传递权重罢了，打个比方：在A页面中有一个被加个nofollow标签的B页面链接，但B页面还是有可能被收录，而B页面收录的快慢可能会被加nofollow影响并也不是最主要的因素，只是在A页面中给B页面的链接加了nofollow，A页面的权重不流到B页面去。这里讲到了权重流问题，随便提下，比如A现在的权重值是100，本来会给B页面分30的，其他别的链接只有70，而A页面的另一个页面C链接占了30。而目前想让C的权重高一点。现在给B页面加了nofollow，A页面仍然是1000，有可能C页面的链接就会被分到40，这样权重就能控制（control)了。 3.noindex    noindex直译过来也就是 ;不索引 ;的意思，没错，如果加了这个标签，就是让蜘蛛不索引该页面，但是不索引不代表不收录该页面的其他链接。noindex的原理（Maxim）是这样的：蜘蛛看到A页面链接,但它发现这个A页面链接被加了noindex，蜘蛛先是到这个A页面里，并且会分配A页面的权重，并且A页面的权重仍然可以给A页面中的其他链接，但是A本身页面会被蜘蛛从索引库中删除，也就是A页面可能不可能在百度中找到。注：这里说到索引库，很多朋友可能不理解、比较抽象（abstract)其实这个和数据库有些关系，等有时间了跟大家讲讲蜘蛛的工作(job)原理。 其实在回到淘宝首页被百度收录的例子来看，如果淘宝真想彻底（thorough)从百度中消失，其实只要在淘宝首页中加一个noindex就完事了。