首先大家對robots.txt文件的作用都知道吧，蜘蛛首先要爬取你網(wǎng)站中的robots.txt文件，如果無法訪問的robots.txt文件，那么你的網(wǎng)站就無法控制所有的蜘蛛抓取，像一些小有名氣的爬蟲，我們是可以避免讓其爬行的，禁止的話，就需要在這個文件操作。那么我不想完好控制谷歌爬蟲來爬取，而谷歌爬蟲無法訪問robots.txt文件，并且提示如下英文信息。 現(xiàn)象描述：google提示：Unreachable: robots.txt Using a web browser, attempt to access http://www.fc2hermes.com/robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot. 查看錯誤記錄：登陸你的谷歌站長工具，并選中你想查詢網(wǎng)站的域名，左邊的信息中心>>抓取>>Google抓取方式，內(nèi)容如下圖所示： 問題分析：這個是網(wǎng)站設置目標地理區(qū)域不同，導致google蜘蛛的IP地址無法訪問到你的網(wǎng)站文件。 解決方法： 登陸你的谷歌站長工具，選中點你要設置的域名。 然后在右上角“幫助”邊上的齒輪點一下，會出現(xiàn)“網(wǎng)站設置”，進去后，就可以看到“目標地理位置”，改成“香港”。如下圖所示： 注：目標地理區(qū)域默認是美國，用戶使用的是無憂主機香港空間，所以這個需要設置成“香港”即可,也可以選擇大陸，這個主要看你的選擇，因為谷歌在不同的地區(qū)有不同蜘蛛來爬去內(nèi)容。更重要的是，谷歌在大陸的事件，做站長的都懂的，大陸就不太建議選擇。大家可以嘗試變更網(wǎng)站的區(qū)域，引導谷歌的蜘蛛來爬取網(wǎng)站。

本文地址：http://www.love62.cn/others/13086.html