搜索優(yōu)化:robots的寫(xiě)法
來(lái)源:SEO優(yōu)化 2012-06-07
robots的寫(xiě)作在網(wǎng)站中起著非常重要的作用,她代表著能否被所有的搜索引擎抓取,在百度上有一個(gè)好的排名。下面我們一起來(lái)看一下關(guān)于robots的一些知識(shí)。
1. 什么是robots.txt文件?
搜索引擎使用spider程序自動(dòng)訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。spider在訪問(wèn)一個(gè)網(wǎng)站時(shí),會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件,這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
2.常見(jiàn)蜘蛛形態(tài)
User-Agent:定義搜索引擎的類型· Disallow: 定義禁止搜索引擎收錄的地址 · Allow: 定義允許搜索引擎收錄的地址
案例:允許所有的蜘蛛抓取所有的頁(yè)面
User-agent: *Allow:/ /或者根目錄下放置robots.txt空文件
百度的蜘蛛形態(tài)
Baiduspider+(+$
Disallow: /
例10. 禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
User-agent: *
Disallow: /*?*
例11. 禁止Baiduspider抓取網(wǎng)站上所有圖片
僅允許抓取網(wǎng)頁(yè),禁止抓取任何圖片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
例12. 僅允許Baiduspider抓取網(wǎng)頁(yè)和.gif格式圖片
允許抓取網(wǎng)頁(yè)和gif格式圖片,不允許抓取其他格式圖片
User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
例13. 僅禁止Baiduspider抓取.jpg格式圖片
User-agent: Baiduspider
Disallow: /*.jpg$
文章編輯: 365webcall在線客服系統(tǒng)(www.365webcall.com)
我的評(píng)論
登錄賬號(hào): | 密碼: | 快速注冊(cè) | 找回密碼 |