首先是通過(guò)互聯(lián)網(wǎng)進(jìn)行網(wǎng)頁(yè)抓取，把準(zhǔn)備好的URL隊(duì)列里的網(wǎng)頁(yè)內(nèi)容全部獲取出來(lái)。然后把獲取到的數(shù)據(jù)進(jìn)行預(yù)處理操作，進(jìn)行初步的去重，去燥，再按照既定的規(guī)則進(jìn)行數(shù)據(jù)檢索，從而得到需要的數(shù)據(jù)展示給用戶。