node.js - node async寫的爬蟲小程序請求高手指導
問題描述
var cnodeUrl = 'https://segmentfault.com/';// 存放所有主題鏈接鏈接var topicUrls = [];/** * 所有的url請求完成后，ep控制異步結束，進入每一個主題 */ep.after(’topic_html’, topicUrls.length, function(topics) { var concurrencyCount = 0; // 記錄并發數 /** * 進入主題，取得題目 * @callback topics [{title:’’}] */ var fetchUrl = function(myurl, callback) {var fetchStart = new Date().getTime();concurrencyCount++;console.log(’現在的并發數是’, concurrencyCount, ’，正在抓取的是’, myurl);superagent.get(myurl).end(function(err, ssres) { if (err) {callback(err, myurl + ’ error happened!’); } var time = new Date().getTime() - fetchStart; console.log(’抓取 ’ + myurl + ’ 成功’, ’，耗時’ + time + ’毫秒’); concurrencyCount--; var $ = cheerio.load(ssres.text); var reslut = {title: $(’.question__author>a>strong’).text(),answer: $(’#answers-title’).text() }; callback(null, result);}) } // 控制最大并發數為5，在結果中取出callback返回來的整個結果數組。 async.mapLimit(topicUrls, 5, function (myurl, callback) {fetchUrl(myurl, callback); }, function (err, result) {console.log(’===== result: ======n’, result);//res.send(result); });})// 獲得所有主題鏈接 topicUrlssuperagent.get(cnodeUrl).end(function(err, sres) { if(err) {return next(err); } var $ = cheerio.load(sres.text); $(’.stream-list’).each(function(idx, element) {var $element = $(element).find(’.title>a’);var href = url.resolve(cnodeUrl, $element.attr(’href’));topicUrls.push(href); }) console.log(’get authorUrls successful!n’, topicUrls); ep.emit(’topic_html’, ’get topicUrls successful’);})
得到的結果是：
請教一下哪里出了問題？
問題解答
回答1：重寫了下：
var async = require(’async’);var cheerio = require(’cheerio’);var superagent = require(’superagent’);var url = require(’url’);var cnodeUrl = 'https://segmentfault.com/';// 存放所有主題鏈接鏈接var topicUrls = [];// 獲得所有主題鏈接 topicUrlssuperagent.get(cnodeUrl).end(function(err, sres) { if(err) {return next(err); } var $ = cheerio.load(sres.text); $(’.stream-list__item’).each(function(idx, element) {var $element = $(element).find(’.title>a’);var href = url.resolve(cnodeUrl, $element.attr(’href’));topicUrls.push(href); }) // 控制最大并發數為5，在結果中取出callback返回來的整個結果數組。 async.mapLimit(topicUrls, 5, function (myurl, callback) {fetchUrl(myurl, callback); }, function (err, result) {console.log(’===== result: ======’, result); });})function fetchUrl(myurl,callback) { var fetchStart = new Date().getTime(); superagent.get(myurl).end(function(err, ssres) {if (err) { callback(err, myurl + ’ error happened!’);}var time = new Date().getTime() - fetchStart;console.log(’抓取 ’ + myurl + ’ 成功’, ’，耗時’ + time + ’毫秒’);// concurrencyCount--;var $ = cheerio.load(ssres.text);var reslut = { title: $(’.question__author>a>strong’).text(), answer: $(’#answers-title’).text()};callback(null, reslut); })}
你上面的代碼，我感覺你是參考
https://github.com/alsotang/node-lessons/blob/master/lesson4/app.js
這個課程寫的吧，應該是你用的eventproxy方式不正確
相關文章：
1. mac連接阿里云docker集群，已經卡了2天了，求問？2. css - div內部滾動，安卓沒有滾動條（非body滾動），有什么辦法可以顯示嗎？3. javascript - web移動端 ? 版權這個字在安卓上默認藍色顏色 怎么解決？4. javascript - 關于ios微信端瀏覽器網頁的一些問題5. javascript - angular左右滑動如何切換路由狀態，？？？？6. javascript - 微信公眾號網頁使用redux如何管理用戶刷新？7. python - JWT, django如何定制關于用戶的Permission？8. PHP類封裝的插入數據，總是插入不成功，返回false；9. PHPExcel表格導入數據庫怎么導入10. objective-c - 微信支付的問題
網公網安備