javascript - node爬取微博
問題描述
剛接觸node,想寫個爬蟲，爬取新浪微博評論，但是發現頁面是由JS動態生成的，用http模塊爬取不到，然后用phantomjs爬取，（聽說會比較慢，運行了近15分鐘，這也太慢了，不知是否寫錯），還是不行，問一下有什么辦法能夠爬取類似于新浪微博的網頁嗎？
let page=require('webpage').create();let url='http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment';/*page.settings = { javascriptEnabled: true, loadImages: false, webSecurityEnabled: false, userAgent: ’Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER’};*/page.open(url,(status)=>{ console.log('Status:'+status); if(status=='success'){let val = page.evaluate(()=>{ var list_box=document.querySelector('.list_box'); console.log(list_box); return list_box});console.log(val) }else{console.log('failed') } phantom.exit();});
問題解答
回答1：自己寫過微博的爬取,有兩種思路
仔細看一下應該是有接口去獲取相應數據的然后用正則去匹配
微博提供了開發者API接口的,雖然用著比較麻煩
相關文章：
1. android - 安卓做前端，PHP做后臺服務器 有什么需要注意的？2. docker不顯示端口映射呢？3. mysql - 我用SQL語句 更新 行的時候,發現全部 中文都被清空了,請問怎么解決?4. python - 子進程執行完成為僵尸進程，怎么解決5. python - xpath提取網頁路徑沒問題，但是缺失內容？6. javascript - 求教各位，本地HTML頁面怎么在DIV中嵌套服務器上的頁面內容？不用iframe。7. python-mysql Commands out of sync8. java中返回一個對象，和輸出對像的值，意義在哪兒9. javascript - 給某個類添加一個偽類，這個類有click事件，現在我點擊偽類也觸發了click事件10. docker images顯示的鏡像過多，狗眼被亮瞎了，怎么辦？
網公網安備