1）網頁鏈接預測

網頁中的鏈接是網絡爬蟲持續工作的前提，然而網頁中既包含了主題相關的鏈接，也包含了大量與主題無關的鏈接，面向主題的網絡爬蟲技術需要對即將要下載的鏈接進行預測，以免下載到與主題無關的網頁。網頁鏈接預測就是判斷當前已經下載的網頁中的鏈接所指向的網頁是否與需要的主題相關，這是主題爬行繫統的關鍵所在，任何一個主題爬行繫統都要求盡可能爬行到和主題相關的網頁，這樣在一定程度上可以避免出現主題漂移現像，也可以以小的帶寬資源獲得多的主題相關網頁。近年來，國內外研究者們所做的工作大致歸為兩類：一類是對整個頁面進行綜合評價，但是現在的網頁很多都是多主題的，也就是說在一個網頁內並存幾個主題，或者雖然有個比較主要的主題但是其他主題的內容也很多。面對這樣的網頁，頁面中的每個鏈接被賦予相同的權重，勢必會有大量的不相關的鏈接被提取出來，甚至很可能造成下文所述的“隧道”問題。第二類是基於鏈接的判斷，即網頁中的每一個鏈接依據它附近的文本賦予不同的權重，有些甚至還考慮了鏈接所在各級標題，但標題的加入有時候反而會使得主題變模糊，基於鏈接的判斷的問題是因為所取的信息量偏少，可能有大量的相關鏈接不能夠被提取出來。

網頁分塊技術能把網頁分成不同的內容塊，每一個內容塊賦予不同的權重，超過一定閾值的內容塊可以認為是和主題相關的。與主題相關的內容塊裡面的鏈接就假設都是和爬行主題相關的，把這些塊中的鏈接放到爬行池等待下一步爬行，而把那些和主題不相關的塊去掉，不爬行裡面的鏈接。這種方法能更好地預測網頁，既避免了針對整個網頁進行評價的粒度過粗，又避免了基於鏈接判斷方法的粒度過細，很大程度上能保證爬行下來的網頁是和主題相關的。

2）多主題和隧道問題

隨著網頁制作技術和網站商業化進程的推進，當今網頁中的內容和傳統的文本相比有更多的表示形式，網頁中的主題也不再單一。網頁中有用戶需要的主題內容，有與主題內容相關聯的其他主題鏈接，還有很多信息隻是為了方便瀏覽，如導航條、廣告、版權信息等。網頁中包含的多主題對於用戶來說並不是什麼問題，因為用戶可以快速地識別出哪些是自己需要的主題信息，哪些是無關緊要的主題信息。然而這種多主題的網頁卻對網絡爬蟲產生了巨大的干擾，讓機器去識別對用戶有用的主題信息則困難較大。在web中還存在著一種現像，就是從當前已經得到的頁面到目標網頁有時往往需要經過幾個不相關網頁纔能夠達到，但是這幾個網頁之間都有著鏈接的聯繫。這些無關的鏈接就像長長的隧道一樣連接著兩個主題相關頁面，因此，這種現像被稱為“隧道現像”。

……