文章詳情頁(yè)
python - scrapy抓取知網(wǎng)response的內(nèi)容重復(fù)
瀏覽：127日期：2022-06-27 08:47:44
問(wèn)題描述
遍歷請(qǐng)求翻頁(yè)的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結(jié)果response請(qǐng)求成功 但是每次內(nèi)容都一樣的沒(méi)變化都是第一次請(qǐng)求時(shí)的內(nèi)容，但是用postman分別請(qǐng)求分頁(yè)的url就沒(méi)有這問(wèn)題。= = 是被ban了嗎 之前就不會(huì)這樣
問(wèn)題解答
回答1：那就要分析一下用postman或者瀏覽器訪問(wèn)時(shí)請(qǐng)求的header頭和用scrapy請(qǐng)求頭有什么區(qū)別
回答2：被反爬識(shí)別到了
回答3：看下控制臺(tái)打印的log，看看是否正確抓取了下一頁(yè)2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個(gè)x(http:xx/page/x)是否是變化的
相關(guān)文章：
1. node.js - vue-cli無(wú)法創(chuàng)建項(xiàng)目。2. javascript - h5微信中怎么禁止橫屏3. index.php錯(cuò)誤，求指點(diǎn)4. angular.js - angularjs 百度統(tǒng)計(jì)怎么統(tǒng)計(jì)5. angular.js - 可以通過(guò)vue或者angular雙向數(shù)據(jù)綁定iframe元素嗎?6. java - 計(jì)算機(jī)圖像表示方法？7. css3 - 這種情景怎么解釋？display:flex 遭遇 white-space: nowrap;8. PHP單例模式9. objective-c - 微信支付的問(wèn)題10. Html 入門(mén)教程視頻無(wú)法播放
排行榜
熱門(mén)標(biāo)簽
網(wǎng)公網(wǎng)安備