Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

顯示在搜索引擎結果下的鏈接，意在引導用戶到網站的子頁面。

他們出現在品牌自然搜索和付費服務提供商。你可以通過使用谷歌/百度廣告在付費網頁中建立網站鏈接。

通過品牌自然搜索則是另外一種情況，該過程是自動化的，因此你不能影響是否有站點鏈接、鏈接的數量以及鏈接到的頁面。你所能做的就是確保網站優化能夠提供良好的用戶體驗。

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。也叫机器人排除标准（Robots Exclusion Standard），網站使用的文本文件，用于與網絡機器人（最常見的SE機器人）進行通信，以處理網站的每個頁面。在這裏，您可以將某些頁面設置爲漫遊器的禁區，並僅掃描最有用的內容。