發(fā)布日期：2017/7/21

摘要： 今天來(lái)說(shuō)一個(gè)大家十分熟悉的東西robot文件，相信大家對(duì)這個(gè)不陌生吧!但是我發(fā)現(xiàn)許多站長(zhǎng)同伙們忘掉了這個(gè)文件的主要性，而且在設(shè)置的時(shí)候很隨意。這種理解是錯(cuò)誤的。我自已在一

今天來(lái)說(shuō)一個(gè)大家十分熟悉的東西robot文件，相信大家對(duì)這個(gè)不陌生吧!但是我發(fā)現(xiàn)許多站長(zhǎng)同伙們忘掉了這個(gè)文件的主要性，而且在設(shè)置的時(shí)候很隨意。這種理解是錯(cuò)誤的。我自已在一邊聽課一邊自學(xué)，今天碰到了這個(gè)問(wèn)題;隨后,我就咨詢了一位seo的先生，我問(wèn)他：先生這個(gè)robots主要嗎?當(dāng)時(shí)，先生語(yǔ)重心長(zhǎng)的對(duì)我說(shuō)了一句;robots既可以成就你的網(wǎng)站;也可以毀掉你的網(wǎng)站。所以嘛，照舊很主要的。

言歸正傳吧!來(lái)和大家聊聊robots在我們網(wǎng)站的一些情況;在SEO研究中間有一位和我是比較好的同伙，有一次，他的網(wǎng)站有收錄上千，倏忽一個(gè)下戰(zhàn)書收錄為0了。當(dāng)時(shí)他慌了，因?yàn)榫W(wǎng)站收錄沒(méi)有了;流量也沒(méi)有了，辛辛勞苦的忙了一個(gè)多月。到頭來(lái)卻發(fā)現(xiàn);竹籃子打水一場(chǎng)空。當(dāng)時(shí)他心灰意冷;就跑到群里聊天，到處去問(wèn);我網(wǎng)站被k了，求解決方法啊!心急如焚，然后，有許多人幫他忙;檢查原因，經(jīng)過(guò)一段很長(zhǎng)的時(shí)間檢查，大家發(fā)現(xiàn)了原因是他的網(wǎng)站robots屏蔽了百度蜘蛛抓取網(wǎng)站頁(yè)面。

 

 

為什么會(huì)出現(xiàn)這種情況呢?原因在于它在做網(wǎng)站的時(shí)候robots是完全屏蔽了百度蜘蛛抓取。大家知道一個(gè)事實(shí)吧!就是當(dāng)你寫好了規(guī)則;屏蔽了百度蜘蛛的時(shí)候，可以發(fā)現(xiàn)百度照舊會(huì)抓取的。道理很簡(jiǎn)單，百度不可能做到人一樣智能化。所以你屏蔽蜘蛛他照舊會(huì)來(lái)抓取的。但是你也別慌啊!等過(guò)段時(shí)間百度就會(huì)把已經(jīng)抓到的頁(yè)面、但是你robots文件中有屏蔽的頁(yè)面;他會(huì)從索引庫(kù)刪除，百度也會(huì)有一個(gè)發(fā)現(xiàn)的過(guò)程;到改正和糾錯(cuò)的過(guò)程。

當(dāng)時(shí)，我就記得他說(shuō)了一句話，就是為什么會(huì)去屏蔽百度蜘蛛?因?yàn)榫W(wǎng)站剛做;而且他本人也學(xué)習(xí)了seo，所以也聽過(guò)seo的先生講過(guò)一些這方面的內(nèi)容，曉暢自已做一個(gè)新站可以暫時(shí)屏蔽網(wǎng)站蜘蛛;等網(wǎng)站做好了再提交給搜索引擎，并且把robots文件修下，許可百度抓取;可能是他忘掉了，把這關(guān)鍵一步給忘掉了。導(dǎo)致他辛勞做的網(wǎng)站和外鏈;被百度刪除了收錄的頁(yè)面，那段時(shí)間很痛苦;他整個(gè)人情緒也是十分低落的。

今天，我通過(guò)這個(gè)同伙的經(jīng)歷也是希望大家能夠去正視r(shí)obots這個(gè)問(wèn)題?很主要，請(qǐng)不要忽視了;順帶自已談?wù)勎易龅膔obots的一些經(jīng)驗(yàn)，我記得網(wǎng)站在新建的時(shí)候。我自已也是沒(méi)有注重robots文件這個(gè)東西，覺(jué)得無(wú)所謂啊!然后昨天聽先生講到了這個(gè)問(wèn)題;我自已開始正視了，然后我開始把一些很垃圾的頁(yè)面和圖片悉數(shù)給屏蔽了，頁(yè)面主要是一些動(dòng)態(tài)頁(yè)面，大家都知道;百度喜好靜態(tài)的;假如你網(wǎng)站是動(dòng)態(tài);會(huì)造成搜索引擎多次抓取，給搜索引擎印象又不友愛(ài)。虛耗蜘蛛時(shí)間和資源。你說(shuō)他能對(duì)你又好嗎?還有圖片也是一些網(wǎng)上采集的圖片;因?yàn)榘俣劝岩恍┰瓌?chuàng)圖片給抓取了，假如你網(wǎng)站再用;這會(huì)導(dǎo)致百度認(rèn)為你網(wǎng)站是剽竊的和偽原創(chuàng)的。這會(huì)導(dǎo)致百度不收錄你的網(wǎng)站。

說(shuō)了這么多，我個(gè)人建議就是希望廣大的站長(zhǎng)同伙能夠去正視這個(gè)問(wèn)題!