robots是什么
robots是网站跟蜘蛛间的协议，当考察站点时，它开始查瞅呆板人是否存留于站点的根目录中。假如找到，蜘蛛便会依照该文件中的实质来决定考察的范畴,假如该文件不存留,那么搜寻呆板人便沿着链接抓取。必定要注沉txt文件必定放在站点的根目录中，文件名必定为小写。
robots.txt是一个纯文本文件，在这个文件中网站控制者不妨证明该网站中不想被搜寻引擎考察的局部，大概者指定搜寻引擎只收录指定的实质。因此，呆板人的优化将直接效率到搜寻引擎闭于站点的收录。
惟有在须要遏止抓取某些实质时，才写robots。一些效劳器树立是问题：当呆板人文件不存留时，它返回200个状况代码和一些缺点新闻，而不是404页面，这是因为搜寻呆板人误读了robots文件信息。
robots mate是什么
robots meta标签主假如针闭于一个个简直的页面。和其他的META标签(如运用的谈话、页面的刻画、闭头词汇等)普遍， robots meta标签也是放在页面的head>中，博门用来奉告搜寻引擎呆板人何如样抓取该页的实质。
follow指令展现搜寻呆板人不妨沿着该页面上的链接持续抓取下去；
robots meta标签的缺省值是index和follow；
index指令奉告搜寻呆板人抓取该页面；
robots meta标签中不大小写之分，name=“robots”展现十脚的搜寻引擎，不妨针闭于某个简直搜寻引擎写为name=“ baiduspider' content局部有四个指令选项index、noindex、follow、nofollow，指令间以“，”分割。
Robots和robots mate的辨别
姑且来说，十脚的搜寻引擎都救济和按照robots.txt的决定，然而是救济robots mate的却比较少，大师不妨酌情运用。
观赏本文的人还不妨观赏：
与网址导航站调换链接，行吗？
刻画标签名底该当何如写？
何如样运用标签遏止网页被收录？
robots.txt文件有什么需要？