文章詳情頁
java - QQ空間爬蟲總是被封號
瀏覽：141日期：2022-09-24 17:58:56
問題描述
抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎？如何既可以快速 又可以不封號！謝謝啦！
代碼在github上地址https://github.com/20100507/Q...
問題解答
回答1：反爬蟲策略：
1、識別請求頭，判斷是否是爬蟲2、記錄請求頻率、路徑和訪問ip，判斷是否是爬蟲3、請求參數(shù)中進行加密或復雜加密，增加爬蟲開發(fā)的難度（如淘寶的ua算法）4、復雜驗證碼
應(yīng)對反爬蟲策略：
1、在爬取過程中，適當切換代理ip2、適當降低請求頻率3、請求頭模擬成瀏覽器的請求，也就是用戶正常訪問的請求
你的問題，主要可以通過定時切換ip，或一旦被封再切換ip，來解決，可以考慮去“站大爺”等代理ip網(wǎng)站付費獲取，或者去多用幾個電信賬號，用ASDL撥號來切換ip。
標簽：
qq
上一條：有用ruby抓取新浪微博內(nèi)容的源代碼可共享嗎？下一條：javascript - 為什么公司很少用node做后臺,對比java,php,python傳統(tǒng)后臺， node的優(yōu)勢在哪里，適合做什么
相關(guān)文章：
1. 為什么HTML5規(guī)范中會包含一些和html無關(guān)的東西？如本地存儲等。2. javascript - 微信IOS頁面中input type=number輸入數(shù)字無法顯示，安卓顯示正常3. css3 - 寬度設(shè)置的都是百分比，為什么還是不適配移動端？4. Java。根據(jù)WSDL驗證SOAP消息5. html5 - 求一個獲取手機定位的小demo，web端的 Geolocation6. javascript - perfect-scrollbar 插件的使用7. javascript - 一個JS的算法，求大神解答8. javascript - web網(wǎng)頁版app返回上一頁按鈕在ios設(shè)備失效怎么辦？安卓上可以，代碼如下，請大神幫助，萬分感謝。9. javascript - h5頁面微信授權(quán)登錄后用戶關(guān)閉頁面再次進入又要授權(quán)10. html - 關(guān)于bootstrap中container、row、col的應(yīng)用
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備