NodeJS загружать файлы 100% использование процессора

Question

Я пробовал две разные библиотеки: multer и formidable для обработки загрузки файлов в узел, и оба они используют 100% -ный процессор во время загрузки.

Это проблема общего узла? И как люди справляются с этим в условиях высокой параллелизма?

Node версии: v0.10.36 (я даже попробовал другие варианты, как v0.11.x или v0.10.33)

Formidable например

Picture.upload = function(user, req, cb) { 
    var formidable = require('formidable') 

    var form = new formidable.IncomingForm(); 
    form.uploadDir = "./uploads"; 
    form.maxFieldsSize = app.settings.uploadMaxSize * 1024 * 1024; 
    form.maxFields = 1000; 

    form.parse(req, function(err, fields, files) { 
     cb(null, files); 
    }); 
} 

Multer пример

app.use(multer({ dest: './uploads/', 
    rename: function (fieldname, filename) { 
     return filename+Date.now(); 
    }, 
    limits: { 
     files: 1, 
     fileSize: app.settings.uploadMaxSize * 1024 * 1024 
    } 
})); // after I process the file from req.files 

Файл загружен как multipart/form-data.

Я использую loopback, но я не думаю, что это имеет значение.

Answer 1

В среде с высоким уровнем параллелизма, если задача заставляет процессор достичь 100% грубого узла, будет block. Я предполагаю, что загрузка файла означает то же, что и статические активы. Существует много дискуссий here о том, как nodejs не подходит для обслуживания статического контента. Вместо этого используйте nginx или apache.

Другим решением является делегирование загрузки в рабочий процесс или систему очередей. См. Например, ZMQ.