基于Python爬取fofa網(wǎng)頁端數(shù)據(jù)過程解析
FOFA-網(wǎng)絡(luò)空間安全搜索引擎是網(wǎng)絡(luò)空間資產(chǎn)檢索系統(tǒng)(FOFA)是世界上數(shù)據(jù)覆蓋更完整的IT設(shè)備搜索引擎,擁有全球聯(lián)網(wǎng)IT設(shè)備更全的DNA信息。探索全球互聯(lián)網(wǎng)的資產(chǎn)信息,進(jìn)行資產(chǎn)及漏洞影響范圍分析、應(yīng)用分布統(tǒng)計(jì)、應(yīng)用流行度態(tài)勢(shì)感知等。
安裝環(huán)境:
pip install requestspip install lxmlpip install fire
使用命令:
python fofa.py -s=title='你的關(guān)鍵字' -o='結(jié)果輸出文件' -c='你的cookie'
代碼如下:
import requests,time,base64,firefrom lxml import etreedef fofasc(s,o,c): try: sbase64 = (base64.b64encode(s.encode(’utf-8’))).decode(’utf-8’) cookies = { '_fofapro_ars_session': c } headers = { ’User-Agent’: ’Mozilla/5.0 (Linux; Android 7.1.2; PCRT00 Build/N2G48H; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.158 Safari/537.36 fanwe_app_sdk sdk_type/android sdk_version_name/4.0.1 sdk_version/2020042901 screen_width/720 screen_height/1280’, } for i in range(1,1000): url = 'https://www.fofa.so/result?q='+s+'&qbase64='+sbase64+'&full=true&page='+str(i) r = requests.get(url, headers=headers, cookies=cookies) soup = etree.HTML(r.text) result = soup.xpath(’//*[@id='ajax_content']/div/div/div/a/text()’) print(result) if result != []:for rs in result: with open(o,mode='a+') as f: f.write(rs+'n') else:print('已經(jīng)獲取不到任何數(shù)據(jù),爬取完畢!')break time.sleep(2) except KeyboardInterrupt: print(’用戶退出’)if __name__ == ’__main__’: fire.Fire(fofasc)
以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. asp(vbs)Rs.Open和Conn.Execute的詳解和區(qū)別及&H0001的說明2. CSS hack用法案例詳解3. ASP 處理JSON數(shù)據(jù)的實(shí)現(xiàn)代碼4. PHP設(shè)計(jì)模式中工廠模式深入詳解5. 用css截取字符的幾種方法詳解(css排版隱藏溢出文本)6. asp中response.write("中文")或者js中文亂碼問題7. 將properties文件的配置設(shè)置為整個(gè)Web應(yīng)用的全局變量實(shí)現(xiàn)方法8. ThinkPHP5實(shí)現(xiàn)JWT Token認(rèn)證的過程(親測(cè)可用)9. ASP 信息提示函數(shù)并作返回或者轉(zhuǎn)向10. jsp網(wǎng)頁實(shí)現(xiàn)貪吃蛇小游戲
