今天西安SEO技術(shù)來講解下什么是robots協(xié)議?robots協(xié)議的作用細(xì)則?robots協(xié)議是蜘蛛進(jìn)入網(wǎng)站首先會(huì)抓取的的文件，如果不會(huì)操作或者操作不當(dāng)，對網(wǎng)站甚至是服務(wù)器的影響都是很大的!今天西安SEO技術(shù)就和大家談?wù)剅obots協(xié)議!

　　robots協(xié)議的作用和細(xì)則：

　　什么是robots協(xié)議?

　　Robots協(xié)議實(shí)際上是一個(gè)robots.txt文件，它放置在站點(diǎn)的根目錄中，并聲明搜索引擎可以抓取站點(diǎn)中的哪些內(nèi)容。當(dāng)搜索引擎蜘蛛訪問網(wǎng)站時(shí)，它會(huì)檢查該網(wǎng)站的根目錄中是否有robots.txt純文本!

　　一、如何編寫robots協(xié)議?

　　寫robots.txt其實(shí)很簡單，只是一個(gè)固定的指令，首先我們創(chuàng)建一個(gè)新的robots.txt文檔就像這樣，然后在里面寫相關(guān)的指令，然后把這個(gè)文檔上傳到站點(diǎn)的根目錄，是不是很簡單，然后寫規(guī)則和技術(shù)，訪問我們的robots.txt協(xié)議有什么用呢?

　　二、robots協(xié)議的作用?

　　? 使用robots.txt指定和優(yōu)化一些內(nèi)容。

　　在SEO服務(wù)過程中我們經(jīng)驗(yàn)是這樣，特別是一個(gè)新的網(wǎng)站有很多內(nèi)容，但是百度不會(huì)全部抓取，所以收錄數(shù)量會(huì)很低，所以我們需要把所有的鏈接放到一個(gè)文件里，讓百度抓取提高我們的收錄率，但是如何讓百度抓取我們現(xiàn)在的文件呢?

　　其實(shí)很簡單，我們可以把這個(gè)文件直接寫到robots.txt，因?yàn)榘俣让看卧L問網(wǎng)站，它都會(huì)先訪問robots.txt，所以只要你把你的站點(diǎn)地圖寫在robots.txt里，百度抓取它，提升我們站點(diǎn)的收錄率。

　　? 防止robots.txt屏蔽蜘蛛抓取(影響很大)。

　　我們在編寫robots.txt時(shí)，千萬不要犯導(dǎo)致蜘蛛不會(huì)爬行的錯(cuò)誤，如果你真的不小心寫錯(cuò)了，那么你的網(wǎng)站蜘蛛就不能被抓取，也不會(huì)被包括在內(nèi)。

　　編寫robots.txt后，必須進(jìn)行檢查，如果您確定它是正確的，請上傳服務(wù)器，如果寫完robots.txt，發(fā)現(xiàn)收錄量減少，百度站長平臺爬取量持續(xù)下降，一定是robots.txt的問題。

　　? 使用robots協(xié)議屏蔽無效抓取。

　　我們在優(yōu)化網(wǎng)站的時(shí)候，有些抓取是無效的，比如我們有一些目錄、一些網(wǎng)站后臺文件、一些圖片等等，還有一些百度抓取不到的404個(gè)鏈接。

　　百度自己的網(wǎng)站已經(jīng)處理了目前的404，百度還在爬行，所以我們不得不屏蔽它，因?yàn)榘俣扰佬兄?，它?huì)回饋給搜索引擎，如果反饋的內(nèi)容質(zhì)量不高、無效的話。我們的網(wǎng)站評級就會(huì)下降，所以我們可以分析百度蜘蛛來獲得這樣的無效爬行，然后屏蔽它們。

　　三、為什么robots協(xié)議被屏蔽了蜘蛛還在爬行!

　　? 辨別真假蜘蛛

　　第一點(diǎn)我們來解釋一下，如果你通過百度蜘蛛發(fā)現(xiàn)一些蜘蛛在搶奪你的敏感目錄，或者一些你根本沒有的文件，這種蜘蛛可能是假蜘蛛，是破壞你網(wǎng)站的蜘蛛。

　　你需要鑒定現(xiàn)在的蜘蛛是不是真的蜘蛛，如果是假的蜘蛛，你需要屏蔽它，真假蜘蛛怎么區(qū)分?

　　? 一些未知的搜索引擎蜘蛛

　　Robotx.txt現(xiàn)在，百度搜索引擎遵守，360搜索引擎遵守，谷歌搜索引擎遵守，搜狗搜索引擎遵守，但是一些小引擎可能跟不上，他們只專注于抓取優(yōu)質(zhì)內(nèi)容，所以一些蜘蛛可能也會(huì)爬行。

　　蜘蛛日志可用于分析哪些搜索引擎蜘蛛當(dāng)前正在爬行。我們ping蜘蛛的ip，如果反饋數(shù)據(jù)正常，說明是真蜘蛛，反之，就是假的蜘蛛!

　　? robots協(xié)議生效時(shí)間

　　robots協(xié)議的生效時(shí)間百度官方說是1-3天，可能有時(shí)候生效都需要7-10天，這個(gè)跟百度更新頻率和網(wǎng)站蜘蛛量有關(guān)系!百度在生效前還是會(huì)繼續(xù)抓取你的，這種情況是存在的。

　　以上就是西安SEO技術(shù)分享什么是robots協(xié)議?robots協(xié)議的作用細(xì)則的全部內(nèi)容，robots協(xié)議的最大作用就是提高有效抓取以及降低無效的服務(wù)器資源損耗，提高網(wǎng)站的收錄率，所以，必須正確使用robots協(xié)議，好了，就說這么多吧，如果您還有SEO推廣方面的問題，隨時(shí)歡迎咨詢巨海科技顧問。