文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：155日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是并發的數量，默認是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發寫起來，模型越復雜(如線程控制，線程狀態監控)，效率是越低的。
相關文章：
1. 極光推送 - Android app消息推送 百度 極光 個推 信鴿哪個好一些？2. 什么是前后端分離？用vue angular等js框架就能實現前后分離了嗎？3. ddos - apache日志很多其它網址，什么情況？4. java - Mybatis關聯查詢5. html - css中怎么命名顏色比較好？6. html - chrome 下 transiton translateX(10px) 后字體變化7. java - 為什么第一個線程已經釋放了鎖，第二個線程卻不行？8. javascript - avalon使用:duplex設置select默認option的bug9. android - 百度地圖加載完成監聽10. 這是什么情況？？？
排行榜
網公網安備