本書講解 了 如何使用Python?來編寫網(wǎng)絡(luò)爬蟲程序 ， 內(nèi) 容包括 網(wǎng)絡(luò)爬蟲簡介 ， 從頁面 中 抓取數(shù)據(jù) 的三種方法 ， 提取緩存 中 的 數(shù)據(jù) ， 使用 多 個線程和進(jìn)程來進(jìn)行并發(fā)抓取 ， 如何抓取動態(tài)頁面 中 的 內(nèi) 容 ， 與表單進(jìn)行交互 ， 處理頁面 中 的 驗(yàn)證碼 問 題， 以及使用 Sca rpy 和 Portia 來進(jìn)行數(shù)據(jù)抓取 ， 并在最后使用 本書介紹 的 數(shù)據(jù)抓取技術(shù)對幾個真實(shí) 的 網(wǎng) 站進(jìn)行 了 抓取 ， 旨在幫 助讀者活學(xué)活用書中介紹 的技術(shù) 。本書適合有一定Python 編程經(jīng)驗(yàn) ， 而且對爬蟲技術(shù)感興趣的讀者閱讀 。

　　互聯(lián)網(wǎng) 包含了迄今為止最有用的數(shù)據(jù)集， 并且大部分可以免費(fèi)公開訪問。但是， 這些數(shù)據(jù)難以復(fù)用。 它們被嵌入在網(wǎng) 站的結(jié)構(gòu)和樣式當(dāng)中， 需要抽取出來才能使用。 從網(wǎng) 頁中抽取數(shù)據(jù)的過程又被稱為網(wǎng) 絡(luò)爬蟲。 隨著越來越多的信息被發(fā)布到網(wǎng) 絡(luò)上， 網(wǎng) 絡(luò)爬蟲也變得越來越有用。

?

　　本書內(nèi)容

　　第1章， 網(wǎng) 絡(luò)爬蟲簡介， 介紹了網(wǎng) 絡(luò)爬蟲， 并講解了爬取網(wǎng)站 的方法。

　　第2章， 數(shù)據(jù)抓取，展示了如何從網(wǎng) 頁中抽取數(shù)據(jù)。

　　第3章， 下載緩存， 學(xué)習(xí)了如何通過緩存結(jié)果避免重復(fù)下載的問題。

　　第4章， 并發(fā)下載， 通過并行下載加速數(shù)據(jù)抓 取。

　　第5章， 動態(tài)內(nèi)容， 展示了如何從動態(tài)網(wǎng) 站中抽取數(shù)據(jù)。

　　第6章， 表單交互， 展示了如何與 表單進(jìn)行交互， 從而訪問你需要的數(shù)據(jù)。

　　第7章， 驗(yàn)證碼處理， 闡述了如何訪問被驗(yàn)證碼圖像保護(hù)的數(shù)據(jù)。

　　第8章， Scrapy， 學(xué)習(xí)了如何使用流行的高級框架 Scrapy。

　　第9章， 總結(jié)， 對我們介紹的這些網(wǎng) 絡(luò)爬蟲技術(shù)進(jìn)行總結(jié)。

　　假 設(shè)我有一個鞋店， 并且想要及時了解競爭對手的價格。 我可以每天訪問他們的網(wǎng) 站 ， 與 我店鋪中鞋子的價格進(jìn)行對比。但是， 如果我店鋪中的鞋類品種繁多，或是希望 能夠更加頻繁地查看價格變化的話， 就需要花費(fèi)大量的時間， 甚至難以實(shí)現(xiàn)。 再舉一個例 子， 我看中了一雙鞋， 想等它促銷時再購買。我可能需要每天訪問這家鞋店的網(wǎng) 站 來查看這雙鞋是否降價， 也許需要等待幾個月的時間， 我才能如愿盼到這雙鞋促銷。 上述這兩個重復(fù)性的手工流程，都可以利用本書介紹的網(wǎng) 絡(luò)爬蟲技術(shù)實(shí)現(xiàn)自動化處理。

　　理想狀態(tài)下， 網(wǎng) 絡(luò)爬蟲并不是必須品，每個網(wǎng)站 都應(yīng)該提供 API， 以結(jié)構(gòu)化的格式共享它們的數(shù)據(jù)。 然而現(xiàn)實(shí)情況中， 雖然一些網(wǎng)站 已經(jīng)提供了這種 API，但是它們通常會限制可以抓 取的數(shù)據(jù)，以及訪問這些數(shù)據(jù)的頻率。 另外，對于網(wǎng)站 的開發(fā)者而言， 維護(hù)前端界面比維護(hù)后端API接口優(yōu)先級更高。 總之， 我們不能僅僅依賴于 API去訪問我們所需的在線數(shù)據(jù)， 而是應(yīng)該學(xué)習(xí)一些網(wǎng) 絡(luò)爬蟲技術(shù)的相 關(guān)知識。