NodeJS: проблема скремблирования двух URL с обещаниями

Question

Я очищаю r/theonion и записываю заголовки в текстовый файл onion.txt. После этого я собираюсь очистить r/nottheonion и записать заголовки в текстовый файл nottheonion.txt. Мне удалось написать onion.txt, но не tothetheonion.txt.

var onion_url = "https://www.reddit.com/r/theonion"; 
var not_onion_url = "https://www.reddit.com/r/nottheonion"; 

var promise = new Promise(function(resolve, reject) { 

    request(onion_url, function(error, response, html) { 
     if (error) { 
      console.log("Error: " + error); 
     } 

     var $ = cheerio.load(html); 

     $("div#siteTable > div.link").each(function(idx) { 
      var title = $(this).find('p.title > a.title').text().trim(); 
      console.log(title); 

      fs.appendFile('onion.txt', title + '\n'); 
     }); 
     }); 
    }); 

promise.then(function(result) { 
    request(not_onion_url, function(error, response, html) { 
     if (error) { 
      console.log("Error: " + error); 
     } 

     var $ = cheerio.load(html); 

     $("div#siteTable > div.link").each(function(idx) { 
      var title = $(this).find('p.title > a.title').te . xt().trim(); 
      console.log(title); 

      fs.appendFile('not_onion.txt', title + '\n'); 
     }); 
    }); 
}, function(err) { 
    console.log("Error with scraping r/nottheonion"); 
}); 

Answer 1

Использование request-promise и fs-promise упростить код, если вы хотите использовать обещание в любом случае, и использовать функцию, чтобы не повторяться.

var rp = require('request-promise'); 
var fsp = require('fs-promise'); 

var onion_url = "https://www.reddit.com/r/theonion"; 
var not_onion_url = "https://www.reddit.com/r/nottheonion"; 

function parse(html) { 
    var result = ''; 
    var $ = cheerio.load(html); 
    $("div#siteTable > div.link").each(function(idx) { 
     var title = $(this).find('p.title > a.title').text().trim(); 
     console.log(title); 
     result += title + '\n'; 
    }); 
    return result; 
} 

var append = file => content => fsp.appendFile(file, content); 

rp(onion_url) 
    .then(parse) 
    .then(append('onion.txt')) 
    .then(() => console.log('Success')) 
    .catch(err => console.log('Error:', err)); 

rp(not_onion_url) 
    .then(parse) 
    .then(append('not_onion.txt')) 
    .then(() => console.log('Success')) 
    .catch(err => console.log('Error:', err)); 

Это не проверено.