說到這個題目,你可能要問了,我們為什麼要保養這些蜘蛛機器人呢,我的網站我只要天天更新網站內容不就行了嗎?我才不管他們這些蜘蛛機器人來不來呢?如果你的網站做出來是給自己一個人看的那還是可以,但是我們的網站做出來不是自己在家欣賞的,是要和大家一起分析你的喜悅的。所以說我們還得把這些蜘蛛機器人當貴客,把他們養好。下面我們就來談談如何養他們。
一.分析百度與Google蜘蛛機器人的活動方式
最簡單的方式是看伺服器的iis日誌,但那是針對有自己的伺服器的人,或少數空間商網站上提供,對於大多數網站來說,是看不到的。那要如何看到這些保貴的訊息呢。給大家推薦一款原始碼:露珠CMS,這個建站源碼後台能比較清晰的記錄各大搜尋機器人的痕跡,有各個機器人來訪的時間,來訪的頁面,對來訪的詳細數據作了分析,進行24小時時間段分析,各頻道的分析,對你所加的內容的版塊進行分析。對各大搜尋機器人喜歡你網站的哪個頻道,哪個版塊都進行了分析,也給你提出了補救其它頻道和版塊的建議。
以下舉例跟大家說一下百度和Google的詳細活動方式,當然每個網站的方式是不同的,現在就以我的網站露珠網站來給大家舉例說明。百度的蜘蛛機器人最喜歡爬的就是網站的首頁,差不多5分鐘就要爬一次,也可以這樣理解百度是以網站的首頁為截入口,以旦發現了這次和上次首頁中有不一樣的鏈接,他們就會馬上進行爬行到新的鏈接頁。谷歌就不一樣,他不會那麼頻繁的爬你的首頁,他對每個網站都有一張地圖,他們會不停的爬行你網站的每個鏈接,當然他們有記錄的不會在爬行了。就從這大家不難看出,百度會很快的發現你網站的新內容,而谷歌就不會很快的發現你新加的內容。我記得一次,我網站才加完一個內容,馬上查看後台的蜘蛛爬蟲記錄,百度的就爬過了,在去百度下site一下,就收錄了。當然這個內容是我自己寫的一篇軟文,也就是百度認為是原創的文章,所以收錄非常快。
二.網站不要經常改版或少改動
為什麼要這樣說呢,百度和谷歌會把你網站的一些資訊記錄到他們的資料庫,這次爬行的頁面會和上次爬行的頁面進行對比分析,一旦有大的不同,他們就會認為是一個新的網站,就會暫停蜘蛛爬行一段時間,也就是你的網站馬上會進入一個觀察考查期,在這段期間,他們不會常來,也就是說你在這段時間百度和谷歌是不會收錄你的頁面的,還有可能會降權。我記得我網站在5月份的時候換過一次網站的模板,兩次模板大不一樣,原來是每天多多少少都會收錄一些頁面,我一改後,他們給我停了一個星期左右,收錄的數量也減少了很多。這次在網站全面的改動,我記得還有一次就是這個月,我三天內加了90多個外鏈,也就是網站上進行了一次小的改動,百度和谷歌剛開始的時候還是沒有暫停蜘蛛爬行,一直到過了一個星期,我查看我的收錄數量,一下就少了幾百頁。從百度和谷歌下來的ip量也比原來減少。
三.網站更新內容盡量原創或偽原創。
大家都知道,百度和谷歌喜歡原創文章,就向一個老客人到你家,你一定知道他最喜歡吃的菜喝的茶。我們知道了百度和谷歌愛這口,為什麼不好好的利用這個呢。大家如果常常看新浪和一些大的名網站你就會發現,他們有時也不一定是原創文章,但是為了滿足搜尋蜘蛛的這個口味也會多少的處理一下文章,也就是進入偽原創。話又說回來,網路上每天更新的是海量的信息,那來那麼多原創,就向我們人一樣,有好人和壞人。名網站都在進入偽原創的處理,我們身為中小站長為什麼不這麼做。百度和Google的機器人,不是神,是人寫的程序,他們來執行。程式下不可能對現在的每一篇文章進行足字足句的分析,他們只能對比出是否相同,是否為原創,有時也會產生很多bug。我們為自己網站加內容的時候,何樂不為的大量來些偽原創,為自己的網站增加收錄量呢。
四.網站更新內容的及時性
前面已經說到過了,百度和谷歌每天會來你網站爬行數次,我們也要利用好這一點。所以說我們自己的網站也要及時的更新內容,讓他們來了就有收穫,他們才會更加頻繁的來,這樣你的收錄才會更多。前面講到了給網站更新內容時搞點偽文章,如果你是不善於搞偽文章,你只要勤快,當一篇文章在一個網站上出現時,你就及時地給它更新到你的網站,那時百度和Google可能還沒收錄,他們有可能會誤把你網站上的當成是原創。如果你常期的及時更新網站的內容,那怕是人家的原創,百度和谷歌一樣的會收錄你每頁。
綜上所述,我們的網站要想百度和谷歌天天大量的收錄,就得深入的了解他們的蜘蛛在你網站的活動時間和活動方式,不改動版面,及時的添加些原創文章。
以上就是我本人的一些看法,談得比較膚淺,歡迎大家給我指正,與我交流http://www.luzhuba.cn。