網(wǎng)站推廣,我們都要寫一個robots.txt文件,這個是啥文件類?這是搜索引擎訪問網(wǎng)站第一個要查看的文件,蜘蛛會根據(jù)robots.txt內(nèi)容那些是可以訪問的,簡單說,就是你希望蜘蛛去訪問你網(wǎng)站那些內(nèi)容,那些不被訪問,如你的網(wǎng)站如果建設(shè)過程中,不希望搜索引擎開始收錄,等網(wǎng)站正式運(yùn)營后,才運(yùn)行蜘蛛爬行,那么我們就可以在網(wǎng)站根目錄下新建一個robots.txt文件,告訴搜索引擎暫時別來,我現(xiàn)在不需要您。記得,robots.txt一定要小寫哦,不能大寫。文本將在drupal站點(diǎn)的中如何添加一個自定義robots.txt文件來引導(dǎo)蜘蛛爬行網(wǎng)站內(nèi)容。下面我們來就看一下面的詳細(xì)說明。下面我們就一起來學(xué)習(xí)下吧。