我們之前一直都在使用的urlopen，這是一個特殊的opener（也就是模塊幫我們構建好的）。

但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高級功能。所以要支持這些功能：

1.使用相差的Handler處理器來創(chuàng)建特定功能的處理器對象；

2.然后通過urllib.request.build_opener()方法，創(chuàng)建自定義opener對象

3.使用自定義的opener對象，調用open()方法發(fā)送請求。

如果程序里所有的請求都使用自定義的opener，可以使用urllib.request.install_opener()將自定義的opener對象定義為全局opener，表示如果之后凡是調用urlopen，都將使用這個opener（根據(jù)自己的需求來選擇）

簡單的自定義opener()

#!/usr/bin/python3# -*- coding:utf-8 -*-__author__ = ’mayi’import urllib.request# 構建一個HTTPHandler處理器對象，支持處理HTTP請求。http_handler = urllib.request.HTTPHandler()# # 構建一個HTTPSHandler處理器對象，支持處理HTTPS請求# https_handler = urllib.request.HTTPSHandler()# 調用urllib.request.build_opener()方法，創(chuàng)建支持處理HTTP請求的opener對象opener = urllib.request.build_opener(http_handler)# 構建Request請求request = urllib.request.Request('http://www.baidu.com/')# 調用自定義opener對象的open()方法，發(fā)送request請求response = opener.open(request)# 獲取服務器響應內容html = response.read()print(html)

這種方式發(fā)送請求得到的結果，和使用urllib.request.urlopen()發(fā)送HTTP/HTTPS請求得到的結果是一樣的。

如果在HTTPHandler()增加debuglevel = 1參數(shù)，還會將Debug Log打開，這樣程序在執(zhí)行的時候，會把收包和發(fā)包的報頭在屏幕上自動打印出來，方便調度，有時可以省去抓包的工作。

# 僅需要修改的代碼部分：# 構建一個HTTPHandler 處理器對象，支持處理HTTP請求，同時開啟Debug Log，debuglevel 值默認 0http_handler = urllib.request.HTTPHandler(debuglevel = 1)# 構建一個HTTPHSandler 處理器對象，支持處理HTTPS請求，同時開啟Debug Log，debuglevel 值默認 0https_handler = urllib.request.HTTPSHandler(debuglevel = 1)

ProxyHandler處理器（IP代理設置）

很多網(wǎng)站會檢測某一段時間IP的訪問次數(shù)（通過流量統(tǒng)計、系統(tǒng)日志等），如果某個IP訪問次數(shù)多的不像正常人，它會禁止這個IP的訪問。

所以我們通常可以設置一些代理服務器，每隔一段時間換一個代理，就算IP被禁止，依然可以換個IP繼續(xù)爬取。

urllib.request中通過ProxyHandler來設置使用代理服務器，下面代碼說明如何使用自定義opener來使用代理：

#!/usr/bin/python3# -*- coding:utf-8 -*-__author__ = ’mayi’ '''ProxyHandler處理器（代理設置）很多網(wǎng)站會檢測某一段時間某個IP的訪問次數(shù)（通過流量統(tǒng)計，系統(tǒng)日志等），如果訪問次數(shù)多的不像正常人，它會禁止這個IP的訪問。所以我們可能通過設置一些代理服務器，每隔一段時間換一個代理IP，就算IP被禁止，我們依然可以換個IP繼續(xù)爬取。''' import urllib.request # 構建了兩個代理Handler，一個有代理IP，一個沒有代理IPhttp_proxy_handler = urllib.request.ProxyHandler({'http':'222.33.192.238:8118'})null_proxy_handler = urllib.request.ProxyHandler({}) # 定義一個代理開關proxy_switch = True # 根據(jù)代理開關是否拱形，使用不同的代理模式# 通過urllib.request.build_opener()方法使用這些代理Handler對象，創(chuàng)建自定義opener對象if proxy_switch: opener = urllib.request.build_opener(http_proxy_handler)else: opener = urllib.request.build_opener(null_proxy_handler) request = urllib.request.Request('http://www.baidu.com/')# 1. 如果這么寫，只有使用opener.open()方法發(fā)送請求才使用自定義的代理，而urlopen()則不使用自定義代理。response = opener.open(request)# 2. 如果這么寫，就是將opener應用到全局，之后所有的，不管是opener.open()還是urlopen() 發(fā)送請求，都將使用自定義代理。# urllib.request.install_opener(opener)# response = urlopen(request)html = response.read() print(html)

免費的開放代理獲取基本沒有什么成本，我們可以在一些代理網(wǎng)站上收集這些免費代理，測試后如果可以用，就把它收集起來用在爬蟲上面。

免費代理網(wǎng)站舉例：

西刺免費代理IP 快代理免費代理 Proxy360代理 全網(wǎng)代理IP

如果代理IP足夠多，就可以讓程序隨機獲取一個代理IP去訪問網(wǎng)站。

import randomproxy_list = [ {'http' : '1.85.220.77:8118'}, {'http' : '110.73.6.57:8123'}, {'http' : '171.39.4.8:8123'}, {'http' : '122.244.53.133:808'}, {'http' : '171.39.75.81:8123'}]# 隨機選擇一個代理proxy = random.choice(proxy_list)

但是，這些免費開放的代理一般會有很多人都在使用，而且代理有壽命短、速度慢、匿名度不高、HTTP/HTTPS支持不穩(wěn)定等缺點。

所以，要根據(jù)自己的需求，選擇是否需要使用高品質的私密代理（通常需要找專門的代理供應商購買，再通過用戶名/密碼授權使用）。

Cookie

Cookie是指某些網(wǎng)站服務器為了辨別用戶身份和進行Session跟蹤，而儲存在用戶瀏覽器上的文本文件，Cookie可以保持登錄信息到用戶下次與服務器的會話。

Cookie原理

HTTP是無狀態(tài)的面向連接的協(xié)議，為了保持連接狀態(tài)，引入了Cookie機制，Cookie是HTTP消息頭中的一種屬性,包括:

Cookie名字（Name） Cookie的值（Value） Cookie的過期時間（Expires/Max-Age） Cookie作用路徑（Path） Cookie所在域名（Domain），

使用Cookie進行安全連接（Secure）。

前兩個參數(shù)是Cookie應用的必要條件，另外，還包括Cookie大小（Size，不同瀏覽器對Cookie個數(shù)及大小限制是有差異的）。Cookie由變量名和值組成，根據(jù)Netscape公司的規(guī)定，Cookie格式如下：

Set－Cookie: NAME=VALUE；Expires=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE

http.cookiejar庫和HTTPCookieProcessor處理器

在Python3.x處理Cookie，一般是通過http.cookjar模塊和urllib.request模塊的HTTPCookieProcessor處理器類一起使用。

http.cookjar模塊：主要作用是提供用于存儲cookie的對象

HTTPCookieProcessor處理器：主要作用是處理這些cookie對象，并構建handler對象。

http.cookjar庫

該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

CookieJar：管理HTTP cookie值、存儲HTTP請求生成的cookie、向傳出的HTTP請求添加cookie的對象。整個cookie都存儲在內存中，對CookieJar實例進行垃圾回收后cookie也將丟失。 FileCookieJar(filename, delayload = None, policy = None)：從CookieJar派生而來，用來創(chuàng)建FileCookieJar實例，檢索cookie信息并將cookie存儲到文件中。filename是存儲cookie的文件名。delayload為True時支持延遲訪問訪問文件，即只有在需要時才讀取文件或文件中存儲數(shù)據(jù)。 MozillaCookieJar(filename, delayload = None, policy = None)：從FileCookieJar派生而來，創(chuàng)建與Mozilla瀏覽器cookies.txt兼容的FileCookieJar實例。 LWPCookieJar(filename, delayload = None, policy = None)：從FileCookieJar派生而來，創(chuàng)建與libwww-perl標準的Set-Cookie3文件格式兼容的FileCookieJar實例。

其實大多數(shù)情況下，我們只用CookieJar()，如果需要和本地文件交互，就用MozillaCookiejar()或LWPCookieJar()

案例：利用http.cookiejar和post登錄人人網(wǎng)

#!/usr/bin/python3# -*- coding:utf-8 -*-__author__ = ’mayi’ '''利用http.cookiejar和post登錄人人網(wǎng)url = 'http://www.renren.com/PLogin.do'''' import urllibimport urllib.requestimport http.cookiejar # 構建一個CookieJar對象實例來保存cookiecookie = http.cookiejar.CookieJar()# 使用HTTPCookieProcessor()來創(chuàng)建cookie處理器對象，參數(shù)為CookieJar()對象cookie_handler = urllib.request.HTTPCookieProcessor(cookie)# 通過build_opener()來構建openeropener = urllib.request.build_opener(cookie_handler)# 設置User-Agent頭：addheaders接受一個列表，里面每個元素都是一個headers信息的元組，opener將附帶headers信息opener.addheaders = [(’User-Agent’, ’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36’)]# 需要登錄的賬戶和密碼email = input('請輸入您的賬戶：')password = input('請輸入您的密碼：')data = {'email': email, 'password': password}# 通過urlencode()轉碼postdata = urllib.parse.urlencode(data)postdata = postdata.encode(encoding = 'utf-8') # str轉bytes# 構建Request請求對象，包含需要發(fā)送的用戶名和密碼request = urllib.request.Request('http://www.renren.com/PLogin.do', data = postdata)# 通過opener發(fā)送這個請求，并獲取登錄后的Cookie值opener.open(request)# opener包含用戶登錄后的Cookie值，可以直接訪問那些登錄后才可以訪問的頁面response = opener.open('http://www.renren.com/413928886/profile')# 獲取頁面內容html = response.read()# 將頁面內容存儲至本地磁盤fo = open('renren.html', 'wb')fo.write(html)fo.close()

模擬登錄要注意幾點：

登錄一般都會先有一個HTTP GET，用于獲取一些信息及獲得Cookie，然后再HTTP POST登錄。 HTTP POST登錄的鏈接有可能是動態(tài)的，從GET返回的信息中獲取。 password（密碼）有些是明文發(fā)送，有些是加密后發(fā)送。有些網(wǎng)站甚至采用動態(tài)加密的，同時包括了很多其他數(shù)據(jù)的加密信息，只能通過查看JS源碼獲得加密算法，再去破解加密，非常困難。 大多數(shù)網(wǎng)站的登錄整體流程是類似的，可能部分細節(jié)不一樣，所以其他網(wǎng)站登錄時，需根據(jù)具體情況，作對應的修改。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持好吧啦網(wǎng)。