文章詳情頁
python - 基于scrapy-redis的分布式爬蟲運行的時候不能正常運行 遇到的問題如下截圖所示
瀏覽：121日期：2022-08-03 11:20:00
問題描述
爬蟲運行時一直是這樣的每一分鐘出現一條這樣的信息，無限循環。不能爬取下來數據
這是redis服務端的顯示
這樣是什么問題，望有高手可以為我解惑，謝謝。
問題解答
回答1：使用scrapy_redis，你要去投放url讓spider去爬取，你投放了嗎？比如
redis-cli lpush myspider:start_urls http://google.com
相關文章：
1. javascript - 從mysql獲取json數據，前端怎么處理轉換解析json類型2. dockerfile - 為什么docker容器啟動不了？3. javascript - 如何獲取未來元素的父元素在頁面中所有相同元素中是第幾個?4. Android下，rxJava+retrofit 并發上傳文件和串行上傳文件的效率為什么差不多？5. angular.js - ng-grid 和tabset一起用時，grid width默認特別小6. javascript - 學習網頁開發，關于head區域一段腳本的疑惑7. Whitelabel錯誤頁面發生意外錯誤（類型=未找到，狀態= 404）/WEB-INF/views/home.jsp8. 熱切期待朱老師的回復，網頁視頻在線播放器插件配置錯誤9. macos - mac下docker如何設置代理10. objective-c - iPhone如何實現微信的搖一搖功能？
排行榜
網公網安備