Быстрый поиск по огромной базе данных mysql

Question

Мне нужно индексировать огромную базу данных mysql (5 миллиардов записей). я редко создавать, обновлять или удалять

только некоторые запрос как SELECT * FROM tbl_person где имя LIKE «Foo%»

Я уже установил мой индекс на поле.

С одним будет лучше для лучшей производительности по запросу чтения

1 один запрос на столе 5billions записей или 10 запроса на таблицу 500millions записей и присоединиться результат после.

Answer 1

Вы никогда не получите «хорошую» производительность, используя предложение LIKE на MySQL db этого размера, потому что не может не использовать индекс.

Если вам нужны такие эффективные запросы, то вам следует рассмотреть различные варианты хранения. Общим методом является наличие отдельных индексированных столбцов для каждой длины строки.

Например:

1. FOOBAR
2. fooba
3. foob
4. Foo
5. Ф.О.
6. е

вы значительно увеличить данные на вашем складе , но ваши требования покажут, является ли это подходящим компромиссом ... это пространство дешевле, чем производительность? Только вы знаете ответ.

EDIT: Я вижу вторую часть вашего вопроса, сейчас. Вы спрашиваете, является ли это лучше иметь один запрос на 5б записей или 10 запросов на 50ой гею и UNION результата ....

Я склонен сказать, что вы почти наверняка иметь лучшие результаты с одного запросом если у вас нет эффективной системы ошпаривания для отсылки запросов ... вам придется протестировать ее, чтобы проверить свою существующую инфраструктуру.

Answer 2

Есть много вещей, которые вы можете сделать. Во-первых, если вы регулярно проводите поиск по имени человека, подумайте о том, чтобы разделить свою таблицу на первые или первые несколько букв имени лица. См. Partitioning Types.

Например, поскольку Целые гораздо быстрее искать по, можно сделать поле, называемым name_abbr, что является SMALLINT, который представляет лицо, первые 2 или 3 буквы имени. Вы должны индексировать и разделять это поле! Итак, aaa будет 1, aab будет 2 и так далее. Ваш запрос будет выглядеть следующим образом:

SELECT * FROM Table WHERE name_abbr=123 AND name LIKE 'foo%'; 

Теперь, это ударит правильный раздел и LIKE будет иметь только проверить на гораздо меньшем наборе записей.

Есть много других вещей, которые вы можете сделать, но помните, что с большими наборами данных всегда лучше разбивать данные на группы и всегда стараться использовать целые числа для запросов, когда это возможно. Кроме того, обязательно используйте ключевое слово EXPLAIN, чтобы убедиться, что ваши запросы используют индексы и разделы, которые вы хотите использовать.