文章詳情頁
python - scrapy抓取知網(wǎng)response的內(nèi)容重復(fù)
瀏覽：106日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結(jié)果response請求成功 但是每次內(nèi)容都一樣的沒變化都是第一次請求時的內(nèi)容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區(qū)別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關(guān)文章：
1. php - 第三方支付平臺在很短時間內(nèi)多次異步通知,訂單多次確認(rèn)收款2. html5 - h5寫的app用的webview，用手機(jī)瀏覽器打開不顯示？3. css3 - css before 中文亂碼？4. Mysql && Redis 并發(fā)問題5. javascript - node服務(wù)端渲染的困惑6. javascript - 百度echarts series數(shù)據(jù)更新問題7. javascript - webpack --hot 熱重載無效的問題8. mysql新建字段時 timestamp NOT NULL DEFAULT ’0000-00-00 00:00:00’ 報錯9. mysql scripts提示 /usr/bin/perl: bad interpreter10. mysql - 一個表和多個表是多對多的關(guān)系，該怎么設(shè)計
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備