Как индексировать двоичный файл в ElasticSearch без использования Base64

Question

Я использую пакет NodeJS elasticsearch для взаимодействия с ElasticSearch. У меня есть документ с полем file. Я хочу иметь возможность загружать файл в индекс, но единственный способ, который я нашел, - использовать плагин elasticsearch-mapper-attachment.

Проблема в том, что если я его использую, я должен загрузить весь файл в память, закодировать его на Base64 и передать String в ElasticSearch.

Я бы хотел, чтобы передать Stream в ElasticSearch (ссылка на любой двоичный файл: pdf, xls, doc, ppt).

Answer 1

Плагин elasticsearch-mapper-attachment дополняет загруженный двоичный файл и извлекает текст для дальнейшей индексации с использованием встроенного экстрактора Tika.

Что делают некоторые приложения (например, Aspire Search Technology) - они запускают двоичные файлы через Tika локально, извлекают текст и загружают именно этот текст с документами для индексации.

Возможно, это не тот ответ, который вы ищете, но у вас действительно есть только два варианта: используйте плагин Elastic (и конвертируйте двоичный код в base64 в код yoru, прежде чем загружать документ в эластичный), или проанализируйте двоичный файл и извлеките текст в вашем коде, а затем загрузите только этот текст в эластичный. Быстрее проще, последний дает вам больше контроля над процессом.