какие самые быстрые/популярные поисковые технологии

Question

Каковы самые быстрые поисковые технологии помимо реляционных запросов БД?

У меня есть коллекция текстовых файлов из разных источников (банки/книги/фондовые рынки). Каждая строка в этих текстовых файлах является записью. Каждая строка также может быть проанализирована в некоторых столбцах базы данных (название/дата покупки/владельца/...). Не обязательно, чтобы каждая строка имела все поля. Если какой-либо текст не вычисляет какое-либо из полей, я сохраняю его, как в отдельном столбце (columnA). Если анализатор не находит какой-либо столбец, я просто храню строку в столбце A.

Я чем занимаюсь поиском БД на основе пользовательских входов. Я нахожу, что поиск становится медленным после нескольких миллионов записей. Я хочу перейти к альтернативному хранилищу, например файловой системе или другому индексированному хранилищу.

Что вы считаете самой быстрой технологией хранения такого требования?

В настоящее время я использую SQLite DB. Поскольку я собираюсь переписать весь код, я буду более чем счастлив, если любая другая технология хранения данных может дать мне более быстрые результаты.

Answer 1

1. Apache Lucene является высокопроизводительное, полнофункциональный текстовый поисковая библиотека написана полностью на Java. Это технология подходит практически для любого приложения , для которого требуется полнотекстовый поиск, особенно кросс-платформенный.
2. Lucene.Ne т является исходным кодом, класса в классе, API-за API и algorithmatic порта Java Lucene поисковой системы на C# и платформы .NET с использованием Microsoft .NET Framework .

Answer 2

Реляционные базы данных не очень хороши при поиске текста. Возможно, вы могли бы попробовать что-то более подходящее для задачи, например, solr. Тем не менее, похоже, что вы вкладываете много данных в SQLite (это может быть немного «облегчено» для вашей цели). Если вы переключились на что-то вроде MySQL или Postgres, вы можете получить необходимую скорость без большой перезаписи.