在此之前小編講解過(guò)關(guān)于dedecms的robots.txt文件設(shè)置,今天小編給大家講解一下關(guān)于WordPress的robots.txt文件的一些設(shè)置書(shū)寫(xiě)等。由于WordPress的特殊性,很多站長(zhǎng)朋友在安裝完程序后,最頭痛的就是robots.txt文件的書(shū)寫(xiě),當(dāng)網(wǎng)站有一些內(nèi)容不想被搜索引擎收錄時(shí),可以通過(guò)設(shè)置robots.txt文件告知搜索引擎機(jī)器人這個(gè)文件不要爬取。如果網(wǎng)站上沒(méi)有禁止搜索引擎收錄的內(nèi)容,則不用設(shè)置robots.txt文件,或設(shè)置為空,設(shè)置robots.txt文件可以有效的保護(hù)用戶的隱私,同時(shí)也有利于節(jié)省蜘蛛的帶寬,從而讓蜘蛛爬取更加容易,更加有利于網(wǎng)站的收錄。