Как разбирать большие данные?

Question

У меня есть приложение express.js. Пользователи запрашивают mysite.com/something, и они получают большое количество текста. После каждого запроса мне нужно проанализировать данные (например, найти что-то в тексте и поместить в мою базу данных Redis).

app.get('something', function (req, res) { 
    var data = //getting data 
    res.send(data); 
    //parsing data 
}); 

Проблема заключается в том, что анализ данных занимает слишком много времени, и это синхронное, которая означает, что пользователи должны ждать, пока он не закончит, чтобы получить свои данные.

Есть ли способ проанализировать данные в другом .js-файле и позволить пользователям сразу получать результаты?

Answer 1

Если количество данных велико, вам следует рассмотреть возможность использования потоков узлов для его синтаксического анализа. Используйте through2, чтобы легко создавать потоки преобразования. Используя потоки, вы обрабатываете один фрагмент данных (один объект, одну строку csv, один тег xml) сразу же, передавая его в кусок ответа куском.

Также вы никогда не должны использовать синхронный код в своем приложении. Все должно быть асинхронным.