百度搜索引擎抓取一般都是通過鏈接進(jìn)行索引抓取網(wǎng)站對內(nèi)容,而網(wǎng)站一般常用的鏈接包括錨點(diǎn)文本鏈接、超鏈接、純文本鏈接和圖像鏈接。因此要使網(wǎng)站包含更多網(wǎng)頁，首先必須從爬蟲程序中抓取網(wǎng)頁。如果網(wǎng)站頁面定期更新，爬蟲更經(jīng)常訪問頁面，高質(zhì)量的內(nèi)容特別喜歡爬行動物捕捉原始內(nèi)容。蜘蛛很快就會上網(wǎng)站。網(wǎng)站和網(wǎng)頁權(quán)重。這應(yīng)該是最重要的。
第一、網(wǎng)站的頁面和權(quán)重
質(zhì)量高、資格老的網(wǎng)站被認(rèn)為具有較高的權(quán)重，這種網(wǎng)站的頁面破蟲深度也比較高，會收錄更多的頁面。
第二、頻繁更新頁面內(nèi)容
蜘蛛每次爬行都會保存頁面數(shù)據(jù)。如果第二個爬行發(fā)現(xiàn)頁面與第一次收錄的頁面完全一樣的話，說明頁面沒有更新，多次捕捉后蜘蛛對頁面更新頻率很了解，如果有不經(jīng)常更新的頁面，蜘蛛也不需要經(jīng)常捕捉。如果頁面內(nèi)容經(jīng)常更新，蜘蛛會更頻繁地訪問這樣的頁面，頁面上出現(xiàn)的新連接自然也會被蜘蛛更快地跟蹤，捕捉新頁面。
第四、導(dǎo)入鏈接
無論是外部鏈接還是同一網(wǎng)站的內(nèi)部鏈接，蜘蛛為了捕捉，必須有導(dǎo)入鏈接進(jìn)入頁面。否則蜘蛛根本沒有機(jī)會知道頁面的存在。高質(zhì)量導(dǎo)入鏈接也經(jīng)常將頁面上的導(dǎo)出鏈接增加為深度諧波。
第四、主頁的點(diǎn)擊距離
一般網(wǎng)站上權(quán)重最高的是網(wǎng)站，大部分過分的連鎖店是網(wǎng)站，蜘蛛最常訪問的是網(wǎng)站。因此，離主頁點(diǎn)擊距離越近，頁面權(quán)重越高，蜘蛛爬行的機(jī)會就越大。
第五、網(wǎng)站URL結(jié)構(gòu)
包含頁面權(quán)重，執(zhí)行迭代計(jì)算后才能知道，前面說的頁面權(quán)重越高，對捕獲就越有利。搜索引擎蜘蛛在抓之前如何知道頁面權(quán)重?因此蜘蛛除了與首頁的距離、歷史資料等因素外，還可以直觀地判斷出短而淺的URL是網(wǎng)站的權(quán)重相對較高的。
第六、蜘蛛引線方法：
1、文本鏈接
2、超鏈接
3、錨點(diǎn)文本鏈接
重量大、年輪多、權(quán)威大的蜘蛛必須特別對待。這種網(wǎng)站的破網(wǎng)頻率很高，我們都知道搜索引擎蜘蛛，為了保證高效率，不會破網(wǎng)網(wǎng)站的所有頁面。網(wǎng)站的權(quán)重越高，爬網(wǎng)的深度越高，可以爬的頁面就越多。
