PHP - оптимизировать SQL, выбрать несколько строк для очень БОЛЬШОЙ таблицы

Question

У меня есть чрезвычайно большая таблица ~ миллиард строк.

foreach($idArray as $id){ 
    'SELECT DIE_X, DIE_Y, LOG_INDEX, TREND_ELEMENT, TREND_DATA FROM trend_data_level_5 WHERE TREND_INDEX =' $id; 
    $result = mysql_query($query); 
} 

Этот подход занимает много времени, так как мой стол становится все больше и больше. Я использую механизм innoDB для моей базы данных SQL.

Я запустил таймер, и указанная выше петля взяла ~ 17 секунд для стола размером ~ 15 милион. Представьте себе, как долго это займет миллиардные ряды!

Могу ли я получить это время значительно? Если да, то какой лучший подход?

EDIT: Вот то, что таблица выглядит

------------------------------------------------------------------------------------------------------------------------------------------------+ 
| Table    | Create Table 
                                       | 
+--------------------+-------------------------------------------------------------------------------------------------------------------------------- 
------------------------------------------------------------------------------------------------------------------------------------------------+ 
| trend_data_level_5 | CREATE TABLE trend_data_level_5 (
    LOG_INDEX int(5) DEFAULT NULL, 
    DIE_X int(3) DEFAULT NULL, 
    DIE_Y int(3) DEFAULT NULL, 
    TREND_INDEX int(10) DEFAULT NULL, 
    TREND_ELEMENT varchar(3) DEFAULT NULL, 
    TREND_DATA int(5) DEFAULT NULL 
) ENGINE=InnoDB DEFAULT CHARSET=utf8 | 
+--------------------+-------------------------------------------------------------------------------------------------------------------------------- 
------------------------------------------------------------------------------------------------------------------------------------------------+ 

Answer 1

Прежде всего, я бы использовал расширение MYSQLI. Более подробную информацию здесь: MySqli manual

Во-вторых, я не знаю, сколько элементов может иметь $idArray массив, но вы можете сделать предложение так:

$list = implode(",", $idArray); 
$query = "SELECT DIE_X, DIE_Y, LOG_INDEX, TREND_ELEMENT, TREND_DATA FROM trend_data_level_5 WHERE TREND_INDEX IN ($list)"; 
$stmt = $your_mysqli_object->prepare($query); 
$stmt->execute(); 
$stmt->store_result(); // This releases the real transaction and charges the data to PHP 

while($stmt->fetch()) 
{ 
    //... 
} 

Оно не может быть самый оптимизированный код (Я уверен, что это не так), но в этом случае вы делаете запрос только один раз, а затем перебираете результат, делая свою магию.

Надеюсь, я помог вам. Сообщите мне, если он работает правильно или если вы нашли лучшее решение. Я тоже хочу учиться!

Answer 2

Если trend_index является первичным ключом использовать в качестве так. В противном случае создайте индекс, используя trend_index: CREATE INDEX B ON T1 (B);

Если это уникально, сделайте так CREATE UNIQUE INDEX C ON T1 (C);

Для простого запроса, которого должно быть достаточно.

Answer 3

Это очень простой вопрос. Ответ заключается в использовании индексов (у вас их нет), и в Интернете есть много ресурсов, которые помогут вам понять, как это сделать.

Answer 4

Я бы предложил использовать PDO. Тогда вам придется использовать один готовый запрос (запросы в цикле - очень плохая практика, так как это очень медленно!), Тогда вы сделаете $pdo->fetchAll(), что принесет вам двумерный массив (или массив массивов, если вы хотеть). Затем вы можете безопасно выполнить свой foreach через этот массив.
Сообщите мне, если вам нужны дополнительные объяснения.