Splunk Database

Question

Я понимаю, что Splunk не нуждается в большой функциональности, которую предоставила бы база данных MySQL, а также для индексирования и выполнения поисковых запросов в Big Data это не очень хорошая возможность использовать реляционную базу данных.

Включает ли Splunk Lucene в качестве поисковой системы или же они сделали свой формат данных на диске?

Прошу прощения, если есть какие-либо проблемы с тем, как я задаю вопрос. Это мой первый вопрос о переполнении стека.

Answer 1

не Googling помогло бы: http://answers.splunk.com/answers/43533/search-capabilities-of-splunk-how-powerful-is-it-really -> Нет Lucene

Answer 2

Splunk имеет собственный формат данных для их индексов. Lucene is не используется, а у Splunk есть собственный язык поиска, называемый SPL.

Answer 3

Splunk использует собственную поисковую систему, это не зависит от сторонних организаций.

Его поисковая система основана только на файлах, без базы данных. Он не хранит поля, а только исходные данные. Поля извлекаются во время поиска, и из-за этого они очень динамичны. Его также очень быстро в поиске ключевых слов в данных (игла в стоге сена).

1. Разбиение данных на события, основанные на времени, с указанием времени для каждого необработанного события.
2. Маркировка каждое слово найдено в событиях и их расположение по всему индексу
3. Сохранение событий в сжатом формате (tar.gz)

Чтобы быть более детальным, Splunk хранит данные следующим образом:

1. Очень быстрый поиск ключевых слов внутри событий
2. Посмотрите в исходных необработанных данных
3. Создание новых полей на сырых данных в формате d использовать их с помощью команд статистики.

Источник: http://www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks

+3 лет опыта Splunk архитектор.