深挖網(wǎng)絡(luò)爬蟲技術(shù)及Crawl4J應(yīng)用
什么是網(wǎng)絡(luò)爬蟲
網(wǎng)絡(luò)爬蟲(又被稱為網(wǎng)頁蜘蛛,網(wǎng)絡(luò)機(jī)器人,在FOAF社區(qū)中間,更經(jīng)常的稱為網(wǎng)頁追逐者),是一種按照一定的規(guī)則,自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲。
——來源:百度百科
網(wǎng)絡(luò)爬蟲是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁,它通過特定的搜索算法來確定路線,通常從網(wǎng)站的某一個(gè)頁面開始,讀取網(wǎng)頁的內(nèi)容,找到在網(wǎng)頁中的其它鏈接地址,然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁,根據(jù)深度優(yōu)先算法或者廣度優(yōu)先算法一直循環(huán)下去,直到把這個(gè)網(wǎng)站滿足條件的所有網(wǎng)頁都抓取完為止。
網(wǎng)絡(luò)爬蟲的工作原理
在網(wǎng)絡(luò)爬蟲的系統(tǒng)框架中,主過程由控制器,解析器,資源庫三部分組成。控制器的主要工作是負(fù)責(zé)給多線程中的各個(gè)爬蟲線程分配工作任務(wù)。解析器的主要工作是下載網(wǎng)頁,進(jìn)行頁面的處理,主要是將一些JS腳本標(biāo)簽、CSS代碼內(nèi)容、空格字符、HTML標(biāo)簽等內(nèi)容處理掉,爬蟲的基本工作是由解析器完成。資源庫是用來存放下載到的網(wǎng)頁資源,一般都采用大型的數(shù)據(jù)庫存儲(chǔ),如Oracle數(shù)據(jù)庫,并對(duì)其建立索引。
控制器:控制器是網(wǎng)絡(luò)爬蟲的中央控制器,它主要是負(fù)責(zé)根據(jù)系統(tǒng)傳過來的URL鏈接,從線程池中分配一個(gè)線程,然后啟動(dòng)該線程調(diào)用爬蟲爬取網(wǎng)頁的過程。
解析器:解析器是負(fù)責(zé)網(wǎng)絡(luò)爬蟲的主要部分,其負(fù)責(zé)的工作主要有:下載網(wǎng)頁的內(nèi)容,對(duì)網(wǎng)頁的文本進(jìn)行處理,如過濾功能,抽取特殊HTML標(biāo)簽的功能,分析數(shù)據(jù)功能。
資源庫:主要是用來存儲(chǔ)網(wǎng)頁中下載下來的數(shù)據(jù)記錄的容器,并提供生成索引的目標(biāo)源。
網(wǎng)絡(luò)爬蟲的流程
圖1:網(wǎng)絡(luò)爬蟲的流程
1. 發(fā)起請(qǐng)求:向目標(biāo)URL站點(diǎn)發(fā)起HTTP請(qǐng)求報(bào)文(請(qǐng)求頭,請(qǐng)求體等),等待服務(wù)器響應(yīng)。請(qǐng)求可根據(jù)需要來設(shè)定是否需要包含額外的請(qǐng)求頭或者請(qǐng)求體內(nèi)容。
2. 獲取響應(yīng)內(nèi)容:如果服務(wù)器能正常響應(yīng),此時(shí)會(huì)得到一個(gè)Response,Response的內(nèi)容即是所要獲取的頁面內(nèi)容,類型可能有HTML,Json字符串,二進(jìn)制數(shù)據(jù)(如圖片視頻)等類型。
3. 解析內(nèi)容:解析得到的請(qǐng)求響應(yīng)內(nèi)容,然后對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步加工處理。對(duì)請(qǐng)求響應(yīng)內(nèi)容如是HTML,可以用正則表達(dá)式、網(wǎng)頁解析庫進(jìn)行解析;如是Json,可以直接轉(zhuǎn)為Json對(duì)象解析等;如是URL且滿足條件則繼續(xù)發(fā)起新的HTTP請(qǐng)求。
4. 保存數(shù)據(jù):將解析加工后的數(shù)據(jù)進(jìn)行保存處理?梢员4鏋槲谋荆翑(shù)據(jù)庫,或保存特定格式的文件(圖片視頻等)。
網(wǎng)絡(luò)爬蟲技術(shù)Crawl4J應(yīng)用
1. 技術(shù)介紹
Crawl4J:是一個(gè)輕量級(jí)且支持多線程網(wǎng)絡(luò)爬蟲技術(shù),開發(fā)者可以調(diào)用相應(yīng)的接口和設(shè)定響應(yīng)的參數(shù)配置在短時(shí)間內(nèi)創(chuàng)建一個(gè)網(wǎng)絡(luò)爬蟲應(yīng)用。
Jsoup:jsoup 是一款HTML解析器,可直接解析某個(gè)URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API,可通過DOM,CSS以及類似于JavaScript的操作方法來取出和操作數(shù)據(jù)。適用于單網(wǎng)頁數(shù)據(jù)抓取或靜態(tài)HTML內(nèi)容解析。
因此在項(xiàng)目中我們可以通過網(wǎng)絡(luò)爬蟲Crawl4J技術(shù)進(jìn)行爬取網(wǎng)頁內(nèi)容,然后通過Jsoup技術(shù)對(duì)響應(yīng)結(jié)果進(jìn)行解析,并提取滿足條件的內(nèi)容。
2. 項(xiàng)目示例
接下來我們以抓取CSDN博客首頁被推薦文章的為例子,定向采集每篇博客的標(biāo)題,時(shí)間,閱讀量。
具體實(shí)現(xiàn)步驟如下:
Maven依賴Jar包:
<dependency>
<groupId>edu.uci.ics</groupId>
<artifactId>crawler4j</artifactId>
<version>4.3</version>
</dependency>
控制器:
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市