大师干seo都是在想方想法的让搜寻引擎抓取和收录，利用然而是本来许多情景下咱们还须要遏止搜寻引擎抓取和收录比方，搜索引擎公司里面尝试的网站，抓取大概者里面网，网站大概者后盾登录的页面，内容确定不憧憬被表面的人搜寻到，利用所以要遏止搜寻引擎抓取。
给大师发弛遏止搜寻引擎抓取网站的搜寻截止截图：大师不妨瞅到，搜索引擎刻画不被抓取到，抓取而是有句指示：因为该网站的robots.txt文件存留节制指令（节制搜寻引擎抓取），网站体系无法供给该页面的实质刻画。
Robots是站点与spider沟通的沉要渠道，内容站点经过robots文件证明本网站中不想被搜寻引擎收录的局部大概者指定搜寻引擎只收录特定的局部。
9月11日，利用百度搜寻robots崭新晋级。晋级后robots将优化闭于网站视频URL收录抓取情景。仅当您的网站包括不憧憬被视频搜寻引擎收录的实质时，搜索引擎才须要运用robots.txt文件。假如您憧憬搜寻引擎收录网站上十脚实质，抓取请勿树立robots.txt文件。
如您的网站未树立robots协议，网站百度搜寻闭于网站视频URL的收录将包括视频播放页URL,及页面中的视频文件、视频周边文本等信息，内容搜寻闭于已收录的短视频资材将闭于用户出现为视频极速体验页。其他，利用综艺影视类长视频，如何利用搜索引擎抓取网站内容搜寻引擎仅收录页面URL.