Как преобразовать массив вложенных объектов JSON в CSV в NodeJS и ExpressJS

Question

Я хочу отправить CSV-файл с сервера на клиент. У меня есть объекты JSON, которые я получаю от MongoDB с помощью ExpressJS Response.

Вот мой код для NodeJS, который принимает почтовый запрос от клиента с идентификатором в теле и с параметром имени коллекции, а в ответе он извлекает данные, относящиеся к этим идентификаторам.

app.post('/api/v1/imagelist_data/raw-data/:db', function(req, res) { 
    console.log("I received a NEW POST raw-data request"); 
    var dbname = req.params.db; 

    var myarray = req.body._id; 

    // Setting Collection Name 
    var mycollection = db.collection(dbname); 

    // Convert the list of ids to mongo object ids 
    var objectIds = myarray.map(function(item) { 
     return mongojs.ObjectId(item); 
    }); 

    console.log(objectIds); 

    mycollection.find({ 
     _id: { 
      $in: objectIds 
     } 
    }, function(err, docs) { 

     res.json(docs); 


    }); 

Теперь я получаю массив объектов в ответ на стороне клиента. Я хочу создать файл CSV с этим массивом объектов.

Массивы объектов выглядят следующим образом.

[ 
{ 
    "_id": "58405524d70210dc299ca275", 
    "pictureNumber": 1, 
    "scAttitude": [ 
     0, 
     0, 
     0, 
     1 
    ], 
    "scPosition": [ 
     1, 
     0, 
     0 
    ], 
    "integrationTime": 10, 
    "time": "2016-12-01T16:51:57.000Z", 
    "offset": 1, 
    "gain": 2, 
    "ledStatus": false, 
    "imageType": "Image", 
    "cameraType": "Mongo", 
    "testPatternStatus": false, 
    "temperatureCCD": 189, 
    "temperatureLED1": 162, 
    "temperatureLED2": 152, 
    "temperatureVBG": 490, 
    "temperatureGND": 0, 
    "imageValid": true, 
    "remarks": " Reception time: Thu Dec 01 17:51:47 CET 2016", 
    "imageSize": 2271320 
}, 
{ 
    "_id": "586bc534b31a89bb45b0083e", 
    "pictureNumber": 2, 
    "scAttitude": [ 
     1, 
     0, 
     0, 
     1 
    ], 
    "scPosition": [ 
     1, 
     0, 
     0 
    ], 
    "integrationTime": 20, 
    "time": "2016-12-02T16:51:57.000Z", 
    "offset": 2, 
    "gain": 0, 
    "ledStatus": false, 
    "imageType": "Image", 
    "cameraType": "MOngo", 
    "testPatternStatus": false, 
    "temperatureCCD": 189, 
    "temperatureLED1": 162, 
    "temperatureLED2": 152, 
    "temperatureVBG": 490, 
    "temperatureGND": 0, 
    "imageValid": true, 
    "remarks": " Reception time: Thu Dec 01 17:51:47 CET 2016", 
    "imageSize": 2271320 
}] 

Должен ли я выполнять эту обработку на стороне сервера или на стороне клиента?

Я хочу загрузить CSV-файл с данными на клиентской стороне одним нажатием кнопки.

Как я могу это достичь?

Answer 1

Мое предложение состоит в том, чтобы сгенерировать CSV-файл на стороне сервера и вернуть его в виде вложения на клиентах. Эта методология гарантирует, что файл CSV будет одинаковым на всех устройствах (ноутбук/телефоны/таблицы/и т. Д.). Кроме того, вы избегаете повторной реализации создания CSV для каждого другого клиента.

Ответ с CSV-файла в expressjs:

mycollection.find({ 
    _id: { 
     $in: objectIds 
    } 
}, function(err, docs) { 
    if (err) { 
     res.status(400); 
     res.send('Unexpected db error'); 
    } 

    var csv = convertCollectionToCsv(docs); 
    if (!csv) { 
     res.status(400); 
     res.send('Invalid csv format'); 
    } 

    res.attachment('filename.csv'); 
    res.status(200).send(csv); 
}); 

Вы можете либо выбрать сторонние библиотеки для CSV конвертер/парсер, или, если это слишком просто, вы можете создать свой собственный. Ниже приводится типичная методика для того, чтобы создать CSV-файл:

var data = getData(); 
 
var csv = convertCollectionToCsv(data); 
 
console.log(csv); 
 

 
function convertCollectionToCsv(docs, seperator) { 
 
    if (!(Array.isArray(docs) && docs.length > 0)) { 
 
    return; 
 
    } 
 

 
    seperator = seperator || ','; 
 

 
    var header = createHeader(docs); 
 
    var body = docs.map(convertObjectsToCsv); 
 
    var csv = [] 
 
    .concat([header]) 
 
    .concat(body) 
 
    .join('\n'); 
 

 
    return csv; 
 

 
    function createHeader(docs) { 
 
    var headRow = docs[0]; 
 
    var header = Object.keys(headRow); 
 
    return header.join(seperator); 
 
    } 
 

 
    function convertObjectsToCsv (doc) { 
 
    // special treatment for dates, nested arrays or objects 
 
    // for instance: 
 
    doc['scAttitude'] = (doc['scAttitude'] || []).join('-'); 
 
    doc['scPosition'] = (doc['scPosition'] || []).join('-'); 
 

 
    var values = getValuesFromObject(doc); 
 
    return values.join(seperator); 
 
    } 
 
} 
 

 
function getValuesFromObject(obj) { 
 
    if (typeof obj !== 'object' || obj === null) { 
 
    return []; 
 
    } 
 

 
    var keys = Object.keys(obj); 
 
    var values = []; 
 
    for (var i = 0; i < keys.length; ++i) { 
 
    values.push(obj[keys[i]]); 
 
    } 
 

 
    return values; 
 
} 
 

 
function getData() { 
 
    return [{ 
 
     "_id": "58405524d70210dc299ca275", 
 
     "pictureNumber": 1, 
 
     "scAttitude": [ 
 
      0, 
 
      0, 
 
      0, 
 
      1 
 
     ], 
 
     "scPosition": [ 
 
      1, 
 
      0, 
 
      0 
 
     ], 
 
     "integrationTime": 10, 
 
     "time": "2016-12-01T16:51:57.000Z", 
 
     "offset": 1, 
 
     "gain": 2, 
 
     "ledStatus": false, 
 
     "imageType": "Image", 
 
     "cameraType": "Mongo", 
 
     "testPatternStatus": false, 
 
     "temperatureCCD": 189, 
 
     "temperatureLED1": 162, 
 
     "temperatureLED2": 152, 
 
     "temperatureVBG": 490, 
 
     "temperatureGND": 0, 
 
     "imageValid": true, 
 
     "remarks": " Reception time: Thu Dec 01 17:51:47 CET 2016", 
 
     "imageSize": 2271320 
 
    }, 
 
    { 
 
     "_id": "586bc534b31a89bb45b0083e", 
 
     "pictureNumber": 2, 
 
     "scAttitude": [ 
 
      1, 
 
      0, 
 
      0, 
 
      1 
 
     ], 
 
     "scPosition": [ 
 
      1, 
 
      0, 
 
      0 
 
     ], 
 
     "integrationTime": 20, 
 
     "time": "2016-12-02T16:51:57.000Z", 
 
     "offset": 2, 
 
     "gain": 0, 
 
     "ledStatus": false, 
 
     "imageType": "Image", 
 
     "cameraType": "MOngo", 
 
     "testPatternStatus": false, 
 
     "temperatureCCD": 189, 
 
     "temperatureLED1": 162, 
 
     "temperatureLED2": 152, 
 
     "temperatureVBG": 490, 
 
     "temperatureGND": 0, 
 
     "imageValid": true, 
 
     "remarks": " Reception time: Thu Dec 01 17:51:47 CET 2016", 
 
     "imageSize": 2271320 
 
    }]; 
 
}

Answer 2

Вы можете использовать любой из этих модулей:

• https://www.npmjs.com/package/csv
• https://www.npmjs.com/package/tsv

(не волнуйтесь, если это CSV или TSV - просто убедитесь, что вы используете правильный разделитель, который запятая в вашем случае) или что-то еще из этих списков:

• https://www.npmjs.com/browse/keyword/csv
• https://www.npmjs.com/browse/keyword/tsv

Это намного проще и менее подвержен ошибкам, чем вручную сочинял правильный выход, особенно если у вас есть какие-либо специальные символы.