站長(zhǎng)朋友應(yīng)該是知道robots文件的作用的,在這里小編就簡(jiǎn)單為不知道的朋友解釋一下,大家建站之后為了就是收錄,那么肯定會(huì)有各種蜘蛛來(lái)爬取網(wǎng)站,然而蜘蛛的爬取也會(huì)爬取到一些敏感或者隱私的信息,很多站長(zhǎng)朋友就希望蜘蛛不要爬取這些目錄,所以就有了robots,左右就是屏蔽蜘蛛爬取某些目錄。而用織夢(mèng)DEDECMS建站的朋友們就會(huì)發(fā)現(xiàn),dedecms自帶的robots.txt文件設(shè)置非常的簡(jiǎn)單,不能完全滿足網(wǎng)站的優(yōu)化的高要求,那要怎么樣把robots.txt文件的優(yōu)化做到最好呢?接下來(lái)小編提供一些方法,希望有幫助。(出于安全性考慮,無(wú)憂主機(jī)小編建議扎安裝朋友使用dedecms 的時(shí)候配合無(wú)憂主機(jī)php獨(dú)立ip空間)