Лучший способ ускорить отображение результатов поиска

Question

Мы прототипировали систему результатов поиска для базы данных mySQL с примерно 2 миллионами имен и адресов и 3 миллионами записей подписки и регистрации конференций.

В настоящий момент выполняется поиск и все результаты возвращаются - для каждого результата я затем выполняю второй запрос для поиска подписки/конференций для уникального идентификатора человека. У меня есть индексы на всех важных столбцах, и отдельные запросы выполняются довольно быстро в phpMyAdmin (0.0xxx секунд), но передают это на отображаемую веб-страницу (PHP, выгружается с использованием DataTables), и страница занимает секунды для рендеринга. Мы попытались перенести данные в базу данных Lucene, и это похоже на LIGHTNING, но узкое место все же, по-видимому, отображает результаты, а не извлекает их.

Возможно, это связано с накладными расходами на строительство, обслуживание и рендеринг страницы в браузере. Я думаю, что я могу удалить подзапрос, о котором я упоминал выше, выполнив GROUP_CONCAT, чтобы получить коды подписки в исходном запросе, но как я могу ускорить отображение страницы с результатами?

Я мало думаю и часто спрашиваю с помощью AJAX/серверной подкачки, возможно, это путь сюда (возможно, получить 50 результатов, запрос меньше, страница меньше и может быть отправлена ​​быстрее), но я приветствую любые предложения, которые, возможно, у вас есть.

Answer 1

Даже если вы используете разбивку на страницы с DataTables, все результаты будут загружены в исходный код страницы на первый, хотя вы используете server side feature.

Загрузка 2 миллиона строк сразу всегда будет оказывать медленно. Вы должны пойти на разбиение страницы на стороне сервера, это может быть AJAX или обычным PHP-скриптом.

Вы также можете использовать систему кеша, чтобы ускорить загрузку данных с сервера и избегать вызова базы данных, когда она не нужна. Если ваши данные могут меняться случайным образом во времени, вы всегда можете использовать функцию для проверки того, изменились ли данные с момента последнего кэширования данных, и если да, обновите кешированные данные.