robots.txt是什么？
有不想过，假如咱们某个站点不让百度和google收录，那何如办？
搜集引擎已经和咱们完成一个商定，假如咱们按商定那样搞了，它们便不要收录。
这个写商定的的文件定名为:robots.txt。
robots.txt是一个最大概的.txt文件，用以通告搜集引擎哪些网页不妨收录，哪些不答应收录。
闭于robots.txt普遍站长须要注沉以下几点：
1、假如你的站点闭于十脚搜集引擎刻意，则不必搞这个文件大概者robots.txt为空便行。
2、必定定名为：robots.txt，都是小写，robot背后加"s"。
3、robots.txt必定放置在一个站点的根目录下。如：经过https://www.seowhy.com/robots.txt 不妨成功参瞅到，则证明本站的放置透彻。
4、普遍情境下，robots.txt里只写着二个函数：User-agent和 Disallow。
5、参瞅这个页面并建改为本人的：https://www.seowhy.com/robots.txt
6、有几个遏止，便得有几个Disallow函数，并分行刻画。
7、起码要有一个Disallow函数，假如都答应收录，则写: Disallow: ，假如都不答应收录，则写:Disallow: / （注：然而差一个斜杆）。
补充证明：
User-agent: * 星号证明答应十脚搜集引擎收录
Disallow: /search.html 证明 https://www.seowhy.com/search.html 这个页面遏止搜集引擎抓取。
Disallow: /index.php? 证明犹如如许的页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 遏止搜集引擎抓取。
参瞅本文的人还不妨参瞅：
何如样运用标签遏止网页被收录？