高校问答成都好吃的血旺:如何屏蔽某个搜索引擎对自己网站网页的抓取？
来源：百度文库 编辑：高校问答 时间：2024/04/28 18:32:45
好像是要写一个robots.txt放在网站根目录，谁能告诉我应该怎么写？是屏蔽个别，不是所有
去google公司的网站里看一下吧
那里有你要的代码我看过
但是每个搜索引擎的机智都是不一样的
你说的这个我只要到google里有过
别的网站就不知道了
你要是能把baidu和google还有yahoo屏蔽了别的也就不考虑了
robot
文件
每个搜索引擎都会先抓你网站下的这个文件,看是否允许抓取网站内容.如果没有这个文件就是允许搜索引擎抓取.一些说明请看这里.
http://www.baidu.com/search/robots.html