什么是robots.txt文件?
搜寻引擎呆板人经过链接达到互联网上的每个网页，并抓取网页信息。搜寻引擎呆板人在考察一个网站时，会开始查瞅该网站的根目录下是否有一个叫干robots.txt的纯文本文件。当咱们的网站有一些实质不想被搜寻引擎收录，咱们不妨经过树立robots.txt文件奉告搜寻引擎呆板人。
假如网站上不遏止搜寻引擎收录的实质，则不必树立robots.txt文件，大概树立为空。
robots.txt文件有什么需要？
从SEO的角度，robots.txt文件是必定要树立的，缘故：
1、网站上常常存留这种情景：不共的链接指向好像的网页实质。这不符合SEO上道的“网页实质差异性规则”。采用robots.txt文件不妨樊篱掉次要的链接。
2、网站改版大概URL沉写优化时本本不符合搜寻引擎和睦的链接须要理想樊篱掉。采用robots.txt文件简略旧的链接符合搜寻引擎和睦。
3、一些不闭头词汇的页面，樊篱掉更好。
4、普遍情景下，站内的搜寻截止页面樊篱掉更好。
观赏本文的人还不妨观赏：
Robots.txt 文件应放在何处？
robots.txt