上面介紹了影響Baidu spider正常抓取的原因,下面介紹Baidu spider的一些判斷原則。在建庫環節前,Baidu spider會對頁面進行初步內容分析和鏈接分析,通過內容分析決定該網頁是否需要建索引庫,通過鏈接分析發現更多網頁,再對更多網頁進行抓取—一分析是否建庫&發現新鏈接的流程。理論上,Baidu spider會將新頁面上所有能“看到”的鏈接都抓取回來。那么,面對眾多新鏈接, Bartender根據以下兩個方面判斷哪個更重要。
(1)對用戶的價值
①內容獨特,百度搜索引擎喜歡 unigue的內容。
②主體突出,切不要出現
網站制作主體內容不突出而被搜索引擎誤判為空短頁面不抓取的情況。
③內容豐富。
④廣告適當。
(2)鏈接的重要程度
①目錄層級——淺層優先。
②鏈接在站內的受歡迎程度。
本文地址:http://m.123beaconmarketing.com//article/2518.html