【四、涉及的庫和網(wǎng)站】

1、網(wǎng)址如下：

https：／／www．doutula．com／photo／list／？page＝｛｝

2、涉及的庫：requests、lxml、fake＿useragent、time、os

3、軟件：PyCharm

【五、項(xiàng)目實(shí)施】

1、我們定義一個(gè)class類繼承object，然后定義init方法繼承self，再定義一個(gè)主函數(shù)main繼承self。導(dǎo)入需要的庫和網(wǎng)址，創(chuàng)建保存文件夾。import requests， osfrom lxml import etreefrom fake＿useragent import UserAgentimport timeclass bnotiank（object）：    def ＿＿init＿＿（self）：        os．mkdir（＂圖片＂）  ＃ 在創(chuàng)建文件夾 記住只有第一次運(yùn)行加上，如果多次運(yùn)行請(qǐng)注釋掉本行。    def main（self）：          passif ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    Siper＝bnotiank（）    Siper．main（）

2、隨機(jī)UserAgent ，構(gòu)造請(qǐng)求頭，防止反爬。    ua ＝ UserAgent（verify＿ssl＝False）    for i in range（1， 50）：        self．headers ＝ ｛            ＇User－Agent＇： ua．random        ｝

3、發(fā)送請(qǐng)求 ，獲取響應(yīng)，頁面回調(diào)，方便下次請(qǐng)求。   ＇＇＇發(fā)送請(qǐng)求  獲取響應(yīng)＇＇＇    def get＿page（self， url）：        res ＝ requests．get（url＝url， headers＝self．headers）        html ＝ res．content．decode（＂utf－8＂）        return html

4、定義parse＿page函數(shù)，獲取二級(jí)頁面地址，for遍歷獲取需要的字段。

def parse＿page（self， html）：        parse＿h(yuǎn)tml ＝ etree．HTML（html）        image＿src＿list ＝ parse＿h(yuǎn)tml．xpath（＇／／p／a／＠href＇）        ＃ print（image＿src＿list）

5、對(duì)二級(jí)頁面發(fā)生請(qǐng)求，xpath解析數(shù)據(jù)，獲取大圖片鏈接。

reo ＝ parse＿h(yuǎn)tml1．xpath（＇／／div／／div［＠class＝＂content＂］＇） ＃父結(jié)點(diǎn)    for j in reo：        d ＝ j．xpath（＇．／／article［＠class＝＂article－content＂］／／p／img／＠src＇）［0］        text ＝ parse＿h(yuǎn)tml1．xpath（＇／／h1［＠class ＝＂article－title＂］ ／／a／text（）＇）［0］．strip（）

6、請(qǐng)求圖片地址，寫入文檔。

html2 ＝ requests．get（url＝d， headers＝self．headers）．content    dirname ＝ ＂．／d／＂ ＋ text ＋ ＂．jpg＂ ＃定義圖命名    with open（dirname， ＇wb＇） as f：        f．write（html2）        print（＂％s 【下載成功�。。。　浚� ％ text）

7、調(diào)用方法，實(shí)現(xiàn)功能。    url ＝ self．url．format（page）    print（url）    html ＝ self．get＿page（url）    self．parse＿page（html）

8、設(shè)置延時(shí)。（防止ip被封）。

time．sleep（1） ＂＂＂時(shí)間延時(shí)＂＂＂

【六、效果展示】

1、點(diǎn)擊綠色小三角運(yùn)行輸入起始頁，終止頁。

2、將下載成功信息顯示在控制臺(tái)。