国产综合精品蜜芽|国偷自产一区二区视频|性做久久久久免费观看|亚洲欧洲国产综合另类国码|亚洲中文字幕1区2区3区|国产成人欧美综合在线影院|无码久久久久久中文字幕视频|国产精品高清一区二区三区久久

  • 服務(wù)熱線:400-103-0299
  • 在線客服
  • 手機(jī)端
    公眾號(hào)二維碼

蜘蛛是如何工作的


發(fā)布日期:2015-06-18

 

隨著搜索引擎的不斷更新和升級(jí),搜索引擎的的收錄方式也在不斷的改變,作為一個(gè)seoer對(duì)搜索引擎的不斷更新,搜索蜘蛛搜索的搜索原理是務(wù)必要了解的。下面就由我們網(wǎng)站制作公司給大家講講當(dāng)前搜索蜘蛛的工作原理吧,希望對(duì)大家有所幫助。

第一種是集中式網(wǎng)絡(luò)蜘蛛
集中式網(wǎng)絡(luò)蜘蛛的工作原理是:首先通過初始設(shè)定的種子URL爬取其所對(duì)應(yīng)的Web頁面,通過蜘蛛的解析模塊從Web頁面中提取內(nèi)容以及新的URL鏈接,保存新獲取的URL鏈接到指定URL集合中,以進(jìn)行后續(xù)抓取任務(wù)。其突出特點(diǎn)是運(yùn)行在某臺(tái)主機(jī)之上,從而開始訪問互聯(lián)網(wǎng)進(jìn)行網(wǎng)頁抓取任務(wù)。早期實(shí)現(xiàn)的網(wǎng)絡(luò)蜘蛛大多采用這種工作方式,但是如今,隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹,集中式的網(wǎng)絡(luò)蜘蛛往往受限于軟硬件資源的限制,其釆集效率往往難以滿足業(yè)務(wù)的需求。
 
第二是分布式網(wǎng)絡(luò)蜘蛛
分布式網(wǎng)絡(luò)蜘蛛的工作運(yùn)行原理實(shí)際上可以看作是多個(gè)集中式蜘蛛的協(xié)同合作,進(jìn)而彌補(bǔ)了集中式網(wǎng)絡(luò)蜘蛛所存在的缺陷。分布式網(wǎng)絡(luò)蜘蛛包含多個(gè)子網(wǎng)絡(luò)蜘蛛,其分布性體現(xiàn)在這些蜘蛛可以分布在不同的地理位置,每個(gè)子蜘蛛在執(zhí)行抓取任務(wù)的過程中與單個(gè)集中式蜘蛛基本一致,同樣是從互聯(lián)網(wǎng)上下載Web頁面,并將網(wǎng)頁數(shù)據(jù)保存到本地文件系統(tǒng)中,從頁面中解析出新的URL,并按照這些URL的指向繼續(xù)爬行,從而不斷抓取頁面。分布式蜘蛛需要額外處理的是分割下載任務(wù),并將分割的下載任務(wù)分配給各個(gè)子蜘蛛執(zhí)行,然后控制不同爬行器之間的數(shù)據(jù)交換,協(xié)調(diào)各個(gè)子蜘蛛的抓取進(jìn)度。