文章詳情頁
網頁爬蟲 - Python requests.get 爬蟲 設置代理 IP地址未改變
瀏覽：130日期：2022-06-29 13:02:16
問題描述
工作需要爬取亞馬遜上面的信息，但是亞馬遜反爬蟲太厲害，同一個IP地址會被封。Python版本：3.6， IDE：Pycharm 2017.1在網上查了很多資料，requests庫的手冊也讀過，但是都是同一個方法，代碼如下：
import requests’’’代理IP地址（高匿）’’’proxy = {’HTTPS’: ’117.85.105.170:808’}’’’head 信息’’’head = {’User-Agent’: ’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36’, ’Connection’: ’keep-alive’}’’’http://icanhazip.com會返回當前的IP地址’’’p = requests.get(’http://icanhazip.com’, headers=head, proxies=proxy)print(p.text)
根據我看過的許多教程的理論，如果代理設置成功，最后顯示的IP應該是代理的IP地址，但是最終還是我真實的IP地址，這樣一來不就等于沒有設置代理么？
問題解答
回答1：proxies在你訪問http時用http的設置，訪問https時用https的設置所以你的proxy需要同時包含http及https的配置，這樣才能生效
proxy = { ’http’: ’http://117.85.105.170:808’, ’https’: ’https://117.85.105.170:808’}
相關文章：
1. PHP類中的$this2. javascript - 請教如何獲取百度貼吧新增的兩個加密參數3. javascript - 使用百度文本編輯器ueditor不顯示樣式問題4. css - 關于margin折疊的一個問題。5. css3 - text-overflow為何會在li的子標簽a下失效6. Javaee框架可以跳過ssh，先學ssm嗎？7. win下面的cmder中的vim . 中文亂碼. 試了百度上的各種解決方式.. 還是沒弄好8. win10系統 php安裝swoole擴展9. docker - MySQL 報錯：Access denied for user ’xxx’@’localhost’10. mysql update 如何回滾？
排行榜
網公網安備