выпуск с использованием асинхронного модуля в Node.js

Question

Имея проблему, оцените любую помощь.

Я пытаюсь собрать все мои асинхронные функции вместе. Пробовал async.parallel, async.each, gather-gm. Ничто не делает окончательную работу обратного вызова. Вот обновленный код (но не работает должным образом):

var calls = []; 

async.each(parser.allHrefs,function (href,callback) { 

    getHtml(href,function(err, add){ 
     console.log("Passing data: " + href); 

     if(err){ 
      return callback(err); 
     }; 

     if(add){ 
      calls.push(href); 
     }; 

     return callback(); 
    }); 
}, function (err) { 
    if(err){ 
     console.log('something went wrong'); 
    }else{ 
     console.log('finished'); 
    }; 
}); 

И первая функция:

function getHtml(link, callback) {  
    httpreq.get(link, function(err, res) { 

    if(err) {    
     return callback(err);  
    } 

    if(res.statusCode >= 300) {  
     return callback(null, false);  
    } else { 
     //cut parsing code here... 
     return callback(null, true);   
    } 
    }); 
} 

p.s.:I've обновил раз код пару. В этом примере я попытался использовать async.parallel. И дело в том, что даже когда я даже не получаю ошибок, я до сих пор не добираюсь до функции getLocations. Код выглядит намного лучше, чем первые версии, но все же отказывается работать правильно.

Answer 1

Вместо того, чтобы удалять parser.allHrefs, пока вы проходите через него. Вы должны реорганизовать getHtml, чтобы узнать, можете ли вы добавить ссылку или нет. Как это:

function getHtml (link, callback) {  
    httpreq.get(link, function(err, res) { 
     //the request has already finished executing here 
     if(err) {  
      return callback(err);  
     } 

     if(res.statusCode >= 300) { 
      return callback(null,false); 
     } else { 
      //cut parsing code here... 
      return callback(null,true); 
     } 
    }); 
}; 

Таким образом, при вызове функции gatherSecondLevelData вы проверяете, если добавить ссылку или не нравится:

function gatherSecondLevelData (err) { 
    var calls = []; 

    async.each(parser.allHrefs,function (href,callback) { 

     getHtml(href,function(err, add){ 

      if(err){ 
       return callback(err); 
      }; 

      if(add){ 
       calls.push(href); 
      }; 

      return callback(); 
     }); 
    }, function (err) { 
     if(err){ 
      console.log('something went wrong'); 
     }else{ 
      console.log('finished'); 
     }; 
    }); 
}; 

Answer 2

В вашей функции gethtml есть несколько проблем, которые необходимо исправить.

Убедитесь, что везде, где вы сейчас вернулись, вы вызываете обратный вызов, например.

return callback(err) 

когда вы хотите сообщить об ошибке или

return callback(null, result) 

когда вы хотите общаться успеха и возвращают результат. Никогда не возвращайтесь без вызова обратного вызова.