第一，合理設(shè)置網(wǎng)站的roobots文件。網(wǎng)站roobots文件有以下幾個(gè)重要作用:             
       1、有效屏蔽網(wǎng)站站內(nèi)的死鏈接。
       2、可以分別設(shè)置不同權(quán)重的重要頁(yè)面。比如一些廣告板塊，一些僅僅為了展示給用戶但是并不希望蜘蛛抓取參與排名計(jì)算的頁(yè)面，都可以用roobots屏蔽抓取。
       3、對(duì)于網(wǎng)站后臺(tái)或者一些比較隱私的內(nèi)容進(jìn)行屏蔽。在這里筆者告訴大家兩點(diǎn)robots.txt文件的基本語(yǔ)法。
       第一條是：User-agent，即搜索引擎蜘蛛的名稱;
       第二條是：Disallow，即不允許抓取的部分。當(dāng)然還有一些通配符以及具體的細(xì)節(jié)用法我們可以百度搜索下，或者參照一些seo類的書(shū)籍進(jìn)行設(shè)置，總之網(wǎng)站roobots文件是必須設(shè)置的，它是明確告知搜索引擎對(duì)于網(wǎng)站抓取級(jí)別的總大綱是蜘蛛訪問(wèn)網(wǎng)站的第一個(gè)訪問(wèn)文件，所以一定要在優(yōu)化過(guò)程中予以重視。

第二，為網(wǎng)站設(shè)置合理的網(wǎng)站地圖。

   網(wǎng)站地圖是引導(dǎo)蜘蛛快速抓取整個(gè)網(wǎng)站目錄結(jié)構(gòu)非常有效的途徑，地圖顧名思義，我們一般去一個(gè)陌生的城市都會(huì)購(gòu)買一份當(dāng)?shù)氐牡貓D，通過(guò)地圖可以直觀的看到自己所在的地點(diǎn)和目標(biāo)地點(diǎn)的直接距離，從而選擇合適的出行方式。而網(wǎng)站地圖也是一個(gè)道理，蜘蛛猶如一個(gè)陌生人，來(lái)到我們站點(diǎn)之后通過(guò)對(duì)于網(wǎng)站地圖的熟悉，就能輕而易舉的對(duì)于整體網(wǎng)站路徑有個(gè)明確的認(rèn)知，接著有主意對(duì)于權(quán)重頁(yè)的判斷和甄別主要表現(xiàn)在對(duì)于更新頻繁的欄目進(jìn)行有效的抓取，對(duì)于一些更新率低或者不更新的欄目，降低爬行次數(shù)甚至不爬行，就網(wǎng)站本身而言一個(gè)動(dòng)態(tài)的網(wǎng)站地圖有助于提高網(wǎng)站的收錄速度。

第三，對(duì)于網(wǎng)站源文件的清理和減肥。

     網(wǎng)頁(yè)源文件代碼的有效處理是站內(nèi)優(yōu)化非常關(guān)鍵的一個(gè)環(huán)節(jié)，我們知道蜘蛛的抓取方式和我們經(jīng)常出行乘坐的公交車是一個(gè)道理，遇到車流高峰勢(shì)必會(huì)出現(xiàn)很大程度的擁堵，而臃腫的代碼勢(shì)必會(huì)造成蜘蛛訪問(wèn)的瓶頸，那么，具體我們要如何進(jìn)行代碼減肥呢?比如去掉無(wú)用的空格，對(duì)于css文件、JS文件進(jìn)行合并操作，最好獨(dú)立出來(lái)放到單獨(dú)的外部文件中，通過(guò)頭部引用來(lái)導(dǎo)入所需頁(yè)面中，尤其是布局頁(yè)面，建站之初就要想到代碼優(yōu)化的細(xì)節(jié)點(diǎn)，比如可以使用css和div進(jìn)行頁(yè)面布局，表格有時(shí)候?yàn)榱瞬季中枰坏貌辉黾雍芏酂o(wú)用的冗余代碼，這些都是代碼減肥的細(xì)節(jié)要點(diǎn)。

第四，為網(wǎng)站設(shè)置404和301跳轉(zhuǎn)。

   404頁(yè)面主要是針對(duì)網(wǎng)站錯(cuò)誤鏈接而生的，由于網(wǎng)站改版、轉(zhuǎn)移空間、備份恢復(fù)等勢(shì)必會(huì)造成網(wǎng)站很多錯(cuò)誤頁(yè)無(wú)法訪問(wèn)的問(wèn)題，很多時(shí)候自己不注意還發(fā)現(xiàn)不了，但是這些錯(cuò)誤頁(yè)對(duì)于網(wǎng)站用戶的傷害是非常大的，影響了用戶體驗(yàn)，這個(gè)時(shí)候404頁(yè)面，就是告訴用戶，這個(gè)頁(yè)面不存在，然后通過(guò)一個(gè)回路鏈接導(dǎo)入網(wǎng)站其他部分，這樣不是非常友好的給用戶提示了嗎，通過(guò)回路可以讓客戶繼續(xù)逗留在網(wǎng)站之中，增加了用戶的停留時(shí)間，從而降低跳出率。

另外，301也是常用的手段，主要是為了網(wǎng)站設(shè)置首選域的問(wèn)題，一般站長(zhǎng)會(huì)將不帶www的域名永久重定向到www主機(jī)頭上面去，另外網(wǎng)站域名在更換的時(shí)候或者重新申請(qǐng)新域名時(shí)也常常采用這種手法。就是將不在使用的域名永久重定向到現(xiàn)在的這個(gè)新域名上，這樣新域名就很好的繼承了原來(lái)域名的權(quán)重，非常有利于網(wǎng)站權(quán)重的繼續(xù)穩(wěn)定的延續(xù)。