Избегайте обратного вызова ад с несколькими потоками

Question

Как я могу избежать использования рекурсивной структуры, когда у меня появилось несколько потоков, и мне нужно получить абсолютное событие end, чтобы закончить логику.

var someArray = ['file1', 'file2', 'file3']; 

someArray.forEach(function(file) { 
    fs 
     .createReadStream(file) 
     .pipe(/* do some stuff */) 
     .on('data', function(usageInfo) { 

      // done? 

     }); 
} 

У меня есть несколько файлов, которые я должен обрабатывать через tp некоторые процессы. Как настроить событие, которое сообщает мне, когда все они сделаны? В настоящее время я получаю каждый end событие индивидуально.

Я могу абсолютно запустить каждый поток в одно и то же время. Мне просто нужно как-то собрать конец?

Я мог бы вызвать вызов функции для каждого end события и считать это ... это звучит Hacky хотя? ...

Я чувствую, что есть способ сделать это с обещаниями, но я не знаю, как.

Answer 1

Я чувствую, что есть способ сделать это с обещаниями, но я не знаю, как это сделать.

Да, есть. Как обещает сделать представляют асинхронные значения, вы получите обещание в конце одного потока:

var p = new Promise(function(resolve, reject) { 
    fs.createReadStream(file) 
    .on('error', reject) 
    .pipe(/* do some stuff */) 
    .on('end', resolve) 
    .on('error', reject); // call reject(err) when something goes wrong 
}); 

Он может быть использован как p.then(functio(usageInfo) { console.log("stream ended"); }).

Теперь, если вы создадите несколько обещаний, один для имени файла в вашем массиве, все потоки будут работать параллельно и разрешить их соответствующие обещания, когда это будет сделано. Затем вы можете использовать Promise.all для сбора - прочитайте «ожидание» - все результаты от каждого из них в новое обещание для массива результатов.

var promises = ['file1', 'file2', 'file3'].map(function(file) { 
    return new Promise(function(resolve, reject) { 
     … 
    }); 
}); 
Promise.all(promises).then(function(usageInfos) { 
    console.log("all of them done", usageInfos), 
}, function(err) { 
    console.error("(At least) one of them failed", err); 
}); 

Answer 2

использовать счетчик:

var someArray = ['file1', 'file2', 'file3']; 
var still_processing = someArray.length; 

someArray.forEach(function(file) { 
    fs.createReadStream(file) 
     .pipe(/* do some stuff */) 
     .on('end', function() { 
      still_processing--; 

      if (!still_processing) { 
       // done 
      } 
     }); 
} 

Это является основным механизмом. Эта схема последовательности операций управления инкапсулируется с помощью функции async.parallel() в async.js:

var someArray = ['file1', 'file2', 'file3']; 
var streams_to_process = []; 

someArray.forEach(function(file) { 
    streams_to_process.push(function(callback) { 
     var result = ""; 
     fs.createReadStream(file) 
      .pipe(/* do some stuff */) 
      .on('end', function() { 
       callback(null, result); 
      }); 
    }); 
}); 

async.parallel(streams_to_process, function(err, results) { 
    // all done 
}); 

Внутри async.parallel использует счетчик захваченного в затворе, чтобы отслеживать, когда все процессы в асинхронных (этом случае «конец» события) сделано.

Для этого есть другие библиотеки. Большинство библиотек с обещаниями, например, предоставляют метод .all(), который работает одинаково - внутренне отслеживая значение счетчика и активируя обратный вызов .then(), когда все будет сделано.