一、爬蟲的簡單理解

1. 什么是爬蟲？

網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，如果把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么蜘蛛就是在網(wǎng)上爬來爬去的蜘蛛，爬蟲程序通過請求url地址，根據(jù)響應(yīng)的內(nèi)容進(jìn)行解析采集數(shù)據(jù)， 比如：如果響應(yīng)內(nèi)容是html，分析dom結(jié)構(gòu)，進(jìn)行dom解析、或者正則匹配，如果響應(yīng)內(nèi)容是xml/json數(shù)據(jù)，就可以轉(zhuǎn)數(shù)據(jù)對象，然后對數(shù)據(jù)進(jìn)行解析。

2. 爬蟲有什么作用？

通過有效的爬蟲手段批量采集數(shù)據(jù)，可以降低人工成本，提高有效數(shù)據(jù)量，給予運(yùn)營/銷售的數(shù)據(jù)支撐，加快產(chǎn)品發(fā)展。

3. 爬蟲業(yè)界的情況

目前互聯(lián)網(wǎng)產(chǎn)品競爭激烈，業(yè)界大部分都會(huì)使用爬蟲技術(shù)對競品產(chǎn)品的數(shù)據(jù)進(jìn)行挖掘、采集、大數(shù)據(jù)分析，這是必備手段，并且很多公司都設(shè)立了爬蟲工程師的崗位。

4. 合法性

爬蟲是利用程序進(jìn)行批量爬取網(wǎng)頁上的公開信息，也就是前端顯示的數(shù)據(jù)信息。因?yàn)樾畔⑹峭耆_的，所以是合法的。其實(shí)就像瀏覽器一樣，瀏覽器解析響應(yīng)內(nèi)容并渲染為頁面，而爬蟲解析響應(yīng)內(nèi)容采集想要的數(shù)據(jù)進(jìn)行存儲(chǔ)。

5. 反爬蟲

爬蟲很難完全的制止，道高一尺魔高一丈，這是一場沒有硝煙的戰(zhàn)爭，碼農(nóng)VS碼農(nóng)

反爬蟲一些手段：

合法檢測：請求校驗(yàn)(useragent，referer，接口加簽名，等) 小黑屋：IP/用戶限制請求頻率，或者直接攔截 投毒：反爬蟲高境界可以不用攔截，攔截是一時(shí)的，投毒返回虛假數(shù)據(jù)，可以誤導(dǎo)競品決策

二、通用爬蟲

根據(jù)使⽤場景，⽹絡(luò)爬⾍可分為 通⽤爬⾍ 和 聚焦爬⾍ 兩種.。

1、通⽤爬⾍

通⽤⽹絡(luò)爬⾍是?人饕?媯?aidu、Google、Yahoo）抓取系統(tǒng)的重要組成部分。主要⽬的是將互聯(lián)⽹上的⽹⻚下載到本地，形成⼀個(gè)互聯(lián)⽹內(nèi)容的鏡像備份。

⽹絡(luò)爬⾍的基本⼯作流程如下：

⾸先選取⼀部分精⼼挑選的種⼦URL； 將這些 URL 放⼊待抓取 URL 隊(duì)列； 從待抓取 URL 隊(duì)列中取出待抓取在 URL，解析 DNS，并且得到主機(jī)的 ip，并將 URL 對應(yīng)的⽹⻚下載下來，存儲(chǔ)進(jìn)已下載⽹⻚庫中。此外，將 這些 URL 放進(jìn)已抓取 URL 隊(duì)列。 分析已抓取 URL 隊(duì)列中的 URL，分析其中的其他 URL，并且將 URL放⼊ 待抓取 URL 隊(duì)列，從⽽進(jìn)⼊下⼀個(gè)循環(huán)....

2、通⽤搜索引擎（Search Engine）⼯作原理

隨著⽹絡(luò)的迅速發(fā)展，萬維⽹成為⼤量信息的載體，如何有效地提取并利⽤這些信息成為⼀個(gè)巨⼤的挑戰(zhàn)，通常⽤戶會(huì)通過搜索引擎（Yahoo，Google，百度等），來作為訪問萬維⽹的⼊⼝。

⽽ 通⽤⽹絡(luò)爬⾍ 是搜索引擎系統(tǒng)中⼗分重要的組成部分，它負(fù)責(zé)從互聯(lián)⽹中搜集⽹⻚，采集信息，這些⽹⻚信息⽤于為搜索引擎建⽴索引從⽽提供⽀持，它決定著整個(gè)引擎系統(tǒng)的內(nèi)容是否豐富，信息是否即時(shí)，因此其性能的優(yōu)劣直接影響著搜索引擎的效果。

第⼀步：抓取⽹⻚

搜索引擎通過⼀種有特定規(guī)律的軟件，來跟蹤⽹⻚的鏈接，從⼀個(gè)鏈接爬到另外⼀個(gè)鏈接，像蜘蛛在蜘蛛⽹上爬⾏⼀樣，所以被稱為“蜘蛛”也被稱為“機(jī)器⼈”。

但是搜索引擎蜘蛛的爬⾏是被輸⼊了⼀定的規(guī)則的，它需要遵從⼀些命令或⽂件的內(nèi)容。Robots 協(xié)議（也稱為爬⾍協(xié)議、機(jī)器⼈協(xié)議等）的全稱是“⽹絡(luò)爬⾍排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），⽹站通過 Robots 協(xié)議告訴搜索引擎哪些⻚⾯可以抓取，哪些⻚⾯不能抓取

https://www.taobao.com/robots...http://www.qq.com/robots.txt

robots.txt 只是約定，爬⾍遵守或者不遵守完全在于爬⾍作者的意愿。舉個(gè)例⼦，公交⻋上貼著「請為⽼弱病殘?jiān)凶屪梗?#12068;部分⼈并不⻅得會(huì)遵守。⼀般來講，只有⼤的搜索引擎爬⾍會(huì)遵守你⽹站的 robots.txt 協(xié)議，其它的爬⾍基本都不會(huì)看⼀眼你的 robots.txt 寫的是什么。

第⼆步：數(shù)據(jù)存儲(chǔ)

搜索引擎是通過蜘蛛跟蹤鏈接爬⾏到⽹⻚，并將爬⾏的數(shù)據(jù)存⼊原始⻚⾯數(shù)據(jù)庫。其中的⻚⾯數(shù)據(jù)與⽤戶瀏覽器得到的 HTML 是完全⼀樣的。搜索引擎蜘蛛在抓取⻚⾯時(shí)，也做⼀定的重復(fù)內(nèi)容檢測，⼀旦遇到權(quán)重很低的⽹站上有⼤量抄襲、采集或者復(fù)制的內(nèi)容，很可能就不再爬⾏。

第三步：預(yù)處理

搜索引擎將蜘蛛抓取回來的⻚⾯，進(jìn)⾏各種步驟的預(yù)處理。

提取⽂字 中⽂分詞 去停⽌ 詞 消除噪⾳（搜索引擎需要識別并消除這些噪聲，⽐如版權(quán)聲明⽂字、導(dǎo) 航條、⼴告等……） 正向索引 倒排索 引鏈接關(guān)系計(jì)算 特殊⽂件處理 ....

除了 HTML⽂件外，搜索引擎通常還能抓取和索引以⽂字為基礎(chǔ)的多種⽂件類型，如 PDF、Word、WPS、XLS、PPT、TXT ⽂件等。我們在搜索結(jié)果中也經(jīng)常會(huì)看到這些⽂件類型。

但搜索引擎還不能處理圖⽚、視頻、Flash 這類⾮⽂字內(nèi)容，也不能執(zhí)⾏腳本和程序。

第四步：排名，提供檢索服務(wù)搜索引擎是根據(jù)⼀定的策略、運(yùn)⽤特定的計(jì)算機(jī)程序從互聯(lián)⽹上搜集信息，在對信息進(jìn)⾏組織和處理后，為⽤戶提供檢索服務(wù)，將⽤戶檢索相關(guān)的信息展示給⽤戶的系統(tǒng)。

但是，這些通⽤性搜索引擎也存在著⼀定的局限性：

不同領(lǐng)域、不同背景的⽤戶往往具有不同的檢索⽬的和需求，通⽤搜索引擎所返回的結(jié)果包含⼤量⽤戶不關(guān)⼼的⽹⻚。 通⽤搜索引擎的⽬標(biāo)是盡可能⼤的⽹絡(luò)覆蓋率，有限的搜索引擎服務(wù)器資源與⽆限的⽹絡(luò)數(shù)據(jù)資源之間的⽭盾將進(jìn)⼀步加深。 萬維⽹數(shù)據(jù)形式的豐富和⽹絡(luò)技術(shù)的不斷發(fā)展，圖⽚、數(shù)據(jù)庫、⾳頻、視頻多媒體等不同數(shù)據(jù)⼤量出現(xiàn)，通⽤搜索引擎往往對這些信息含量密集且具有⼀定結(jié)構(gòu)的數(shù)據(jù)⽆能為⼒，不能很好地發(fā)現(xiàn)和獲取。 通⽤搜索引擎⼤多提供基于關(guān)鍵字的檢索，難以⽀持根據(jù)語義信息提出的查詢。

三、聚焦爬⾍(Focused Crawler)

聚焦爬⾍，⼜稱主題爬⾍（或?qū)I(yè)爬⾍），是“⾯向特定主題”的⼀種⽹絡(luò)爬⾍程序。它與我們通常所說的爬⾍（通⽤爬⾍）的區(qū)別之處就在于，聚焦爬⾍在實(shí)施⽹⻚抓取時(shí)要進(jìn)⾏主題篩選。它盡量保證只抓取與主題相關(guān)的⽹⻚信息。 聚焦⽹絡(luò)爬⾍并不追求⼤的覆蓋，⽽將⽬標(biāo)定為抓取與某⼀特定主題內(nèi)容相關(guān)的⽹⻚，為⾯向主題的⽤戶查詢準(zhǔn)備數(shù)據(jù)資源。 聚焦爬⾍的⼯作流程較為復(fù)雜，需要根據(jù)⼀定的⽹⻚分析算法過濾與主題⽆關(guān)的鏈接，保留有⽤的鏈接并將其放⼊等待抓取的 URL 隊(duì)列。然后，它將根據(jù)⼀定的搜索策略從隊(duì)列中選擇下⼀步要抓取的⽹⻚URL，并重復(fù)上述過程，直到達(dá)到系統(tǒng)的某⼀條件時(shí)停⽌。 另外，所有被爬⾍抓取的⽹⻚將會(huì)被系統(tǒng)存貯，進(jìn)⾏⼀定的分析、過濾，并建⽴索引，以便之后的查詢和檢索；對于聚焦爬⾍來說，這⼀過程所得到的分析結(jié)果還可能對以后的抓取過程給出反饋和指導(dǎo)。

以上就是淺析python 通⽤爬⾍和聚焦爬⾍的詳細(xì)內(nèi)容，更多關(guān)于python 爬蟲的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！