問題描述

使用node request模塊批量抓取圖片，但是發(fā)現(xiàn)有些圖片下載的不完全，圖片一部分顯示正常，一部分是灰色的。而且圖片下載不全也是隨機(jī)出現(xiàn)，不一定是哪一張。代碼如下：

var arr=['http:www.a.com/1.png','http:www.a.com/2.png','http:www.a.com/3.png'....]for(var i=0;i<30;i++){ lodPic(arr[i])}function loadPic(url){ var _url=encodeURI(url); request.head(_url,function(err,res,body){if(err){ console.log(err);}request(url).pipe(fs.createWriteStream(ph)).on(’close’,function(){ console.log(’finfish’);});; });}

問題解答

var request = require(’request’);var options = { url: ’https://api.github.com/repos/request/request’, headers: { ’content-length’: 1024, }};function callback(error, response, body) { //}request(options, callback);

看代碼，把content-length設(shè)置的再大一點(diǎn)試試，我之前用cpp寫靜態(tài)服務(wù)器的時(shí)候遇到過，有的圖片比這個(gè)值要大，所以只有一半被傳輸成功。而有的圖片比這個(gè)值小，所以能傳輸完整。不知道你也是不是這個(gè)問題。

可能 30 個(gè)并發(fā)寫入磁盤有點(diǎn)問題，題主試試減少并發(fā)數(shù)量？或者試試 async.js 的 parallelLimit()　？

http的HEAD方法是沒有響應(yīng)主體的，你用這個(gè)http方法請(qǐng)求圖片肯定什么都拿不倒。