python 網(wǎng)絡(luò)數(shù)據(jù)采集 pdf 完整版是一款非常好用的Python語(yǔ)言學(xué)習(xí)電子書(shū)籍，書(shū)籍目錄清晰針對(duì)性學(xué)習(xí)電子版附帶視頻，幫您快速掌握網(wǎng)站數(shù)據(jù)編輯操作技能?？靵?lái)綠色資源網(wǎng)下載體驗(yàn)吧！

Python網(wǎng)絡(luò)數(shù)據(jù)采集介紹

本書(shū)采用簡(jiǎn)潔強(qiáng)大的Python語(yǔ)言，介紹了網(wǎng)絡(luò)數(shù)據(jù)采集，并為采集新式網(wǎng)絡(luò)中的各種數(shù)據(jù)類(lèi)型提供了全面的指導(dǎo)。第1部分重點(diǎn)介紹網(wǎng)絡(luò)數(shù)據(jù)采集的基本原理：如何用Python從網(wǎng)絡(luò)服務(wù)器請(qǐng)求信息，如何對(duì)服務(wù)器的響應(yīng)進(jìn)行基本處理，以及如何以自動(dòng)化手段與網(wǎng)站進(jìn)行交互。第二部分介紹如何用網(wǎng)絡(luò)爬蟲(chóng)測(cè)試網(wǎng)站，自動(dòng)化處理，以及如何通過(guò)更多的方式接入網(wǎng)絡(luò)。

Python網(wǎng)絡(luò)數(shù)據(jù)采集pdf目錄

目錄

譯者序 ix

前言 xi

第一部分 創(chuàng)建爬蟲(chóng)

第1章 初見(jiàn)網(wǎng)絡(luò)爬蟲(chóng) 2

1.1 網(wǎng)絡(luò)連接 2

1.2 BeautifulSoup簡(jiǎn)介 4

1.2.1 安裝BeautifulSoup 5

1.2.2 運(yùn)行BeautifulSoup 7

1.2.3 可靠的網(wǎng)絡(luò)連接 8

第2章 復(fù)雜HTML解析 11

2.1 不是一直都要用錘子 11

2.2 再端一碗BeautifulSoup 12

2.2.1 BeautifulSoup的find()和findAll() 13

2.2.2 其他BeautifulSoup對(duì)象 15

2.2.3 導(dǎo)航樹(shù) 16

2.3 正則表達(dá)式 19

2.4 正則表達(dá)式和BeautifulSoup 23

2.5 獲取屬性 24

2.6 Lambda表達(dá)式 24

2.7 超越BeautifulSoup 25

第3 章 開(kāi)始采集 26

3.1 遍歷單個(gè)域名 26

3.2 采集整個(gè)網(wǎng)站 30

3.3 通過(guò)互聯(lián)網(wǎng)采集 34

3.4 用Scrapy 采集 38

第4 章 使用API 42

4.1 API 概述 43

4.2 API 通用規(guī)則 43

4.2.1 方法 44

4.2.2 驗(yàn)證 44

4.3 服務(wù)器響應(yīng) 45

4.4 echo Nest 46

4.5 Twitter API 48

4.5.1 開(kāi)始 48

4.5.2 幾個(gè)示例 50

4.6 Google API 52

4.6.1 開(kāi)始 52

4.6.2 幾個(gè)示例 53

4.7 解析JSON 數(shù)據(jù) 55

4.8 回到主題 56

4.9 再說(shuō)一點(diǎn)API 60

第5 章 存儲(chǔ)數(shù)據(jù) 61

5.1 媒體文件 61

5.2 把數(shù)據(jù)存儲(chǔ)到CSV 64

5.3 mysql 65

5.3.1 安裝MySQL 66

5.3.2 基本命令 68

5.3.3 與Python 整合 71

5.3.4 數(shù)據(jù)庫(kù)技術(shù)與最佳實(shí)踐 74

5.3.5 MySQL 里的“六度空間游戲” 75

5.4 Email 77

第6 章 讀取文檔 80

6.1 文檔編碼 80

6.2 純文本 81

6.3 CSV 85

6.4 PDF 87

6.5 微軟Word 和.docx 88

第二部分 高級(jí)數(shù)據(jù)采集

第7 章 數(shù)據(jù)清洗 94

7.1 編寫(xiě)代碼清洗數(shù)據(jù) 94

7.2 數(shù)據(jù)存儲(chǔ)后再清洗 98

第8 章 自然語(yǔ)言處理 103

8.1 概括數(shù)據(jù) 104

8.2 馬爾可夫模型 106

8.3 自然語(yǔ)言工具包 112

8.3.1 安裝與設(shè)置 112

8.3.2 用NLTK 做統(tǒng)計(jì)分析 113

8.3.3 用NLTK 做詞性分析 115

8.4 其他資源 119

第9 章 穿越網(wǎng)頁(yè)表單與登錄窗口進(jìn)行采集 120

9.1 Python Requests 庫(kù) 120

9.2 提交一個(gè)基本表單 121

9.3 單選按鈕、復(fù)選框和其他輸入 123

9.4 提交文件和圖像 124

9.5 處理登錄和cookie 125

9.6 其他表單問(wèn)題 127

第10 章 采集javascript 128

10.1 JavaScript 簡(jiǎn)介 128

10.2 Ajax 和動(dòng)態(tài)HTML 131

10.3 處理重定向 137

第11 章 圖像識(shí)別與文字處理 139

11.1 OCR 庫(kù)概述 140

11.1.1 Pillow 140

11.1.2 Tesseract 140

11.1.3 NumPy 141

11.2 處理格式規(guī)范的文字 142

11.3 讀取驗(yàn)證碼與訓(xùn)練Tesseract 146

11.4 獲取驗(yàn)證碼提交答案 151

第12 章 避開(kāi)采集陷阱 154

12.1 道德規(guī)范 154

12.2 讓網(wǎng)絡(luò)機(jī)器人看起來(lái)像人類(lèi)用戶(hù) 155

12.2.1 修改請(qǐng)求頭 155

12.2.2 處理cookie 157

12.2.3 時(shí)間就是一切 159

12.3 常見(jiàn)表單安全措施 159

12.3.1 隱含輸入字段值 159

12.3.2 避免蜜罐 160

12.4 問(wèn)題檢查表 162

第13 章 用爬蟲(chóng)測(cè)試網(wǎng)站 164

13.1 測(cè)試簡(jiǎn)介 164

13.2 Python 單元測(cè)試 165

13.3 Selenium 單元測(cè)試 168

13.4 Python 單元測(cè)試與Selenium 單元測(cè)試的選擇 172

第14 章 遠(yuǎn)程采集 174

14.1 為什么要用遠(yuǎn)程服務(wù)器 174

14.1.1 避免IP 地址被封殺 174

14.1.2 移植性與擴(kuò)展性 175

14.2 Tor 代理服務(wù)器 176

14.3 遠(yuǎn)程主機(jī) 177

14.3.1 從網(wǎng)站主機(jī)運(yùn)行 178

14.3.2 從云主機(jī)運(yùn)行 178

14.4 其他資源 179

14.5 勇往直前 180

附錄A Python 簡(jiǎn)介 181

附錄B 互聯(lián)網(wǎng)簡(jiǎn)介 184

附錄C 網(wǎng)絡(luò)數(shù)據(jù)采集的法律與道德約束 188

作者簡(jiǎn)介 200

封面介紹 200