很多朋友都會(huì)問(wèn)沈陽(yáng)網(wǎng)站建設(shè)如何被搜索引擎收錄?我的網(wǎng)站為什么還沒(méi)有被收錄?等等這樣的話題,我們也寫(xiě)過(guò)很多關(guān)于這樣的文章,其實(shí)還有很多朋友他們還有這樣的困擾,比如我的有些東西不想被搜索引擎收錄我該怎么辦呢?今天我們就來(lái)和大家聊聊不讓搜索引擎收錄的方法。
那么問(wèn)題來(lái)了robots.txt文件因該放在哪里呢? robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來(lái)說(shuō),當(dāng)spider訪問(wèn)一個(gè)網(wǎng)站(比如 http://m.hottubsofconnecticut.com)時(shí),首先會(huì)檢查該網(wǎng)站中是否存在http://m.hottubsofconnecticut.com/robots.txt這個(gè)文件,如果 Spider找到這個(gè)文件,它就會(huì)根據(jù)這個(gè)文件的內(nèi)容,來(lái)確定它訪問(wèn)權(quán)限的范圍。
如您還有網(wǎng)站方面的疑問(wèn)歡迎您來(lái)訪我們沈陽(yáng)網(wǎng)站建設(shè)。