Как улучшить производительность вставки на таблице с миллиардами строк?

Question

У меня есть таблица с миллиардами строк, которая больше не подходит в памяти.

Когда я вставляю новые строки навалом, накладные расходы на пересчет первичного индекса убивают производительность. Я должен иметь этот индекс, потому что в противном случае инструкции SELECT будут очень медленными. Но так как вставки имеют случайный порядок, каждая вставленная строка должна записываться в другую область диска.

И поскольку жесткий диск ограничен 200 операций ввода-вывода в секунду, это замедляет вставку при сканировании.

Могу ли я «съесть свой пирог и съесть его» в то же время в этой ситуации? Возможно, создав другую таблицу, в которой данные будут сгруппированы по разному столбцу (с использованием другого первичного ключа)? Но это кажется мне расточительным, и я даже не знаю, поможет ли это ...

Или, может быть, я мог бы использовать какой-то промежуточный стол? Вставьте там 1 000 000 строк и затем вставьте их в целевую таблицу, сгруппированную по первичному ключу?

Я обречен?

EDIT:

Я разделил таблицу по горизонтали.

Когда я удалил первичный ключ в этом поле, который мне нужен, и поместил его в поле автоинкремента, вставки были невероятно быстрыми.

К сожалению, поскольку данные на диске размещены по значению первичного ключа, это убило выбранную производительность ... потому что выбор не запрашивает, основываясь на значении автоинкремента, а скорее на значении PK.

Так что либо я вставляю строки быстро, либо я их быстро выбираю. Разве нет решения, которое могло бы помочь в обоих случаях?

Answer 1

. Когда вы вставляете новую строку каждый раз, она будет индексировать после ввода данных. Это займет больше времени. Вы можете использовать

START TRANSACTION

... Вы г вставить запрос ...

COMMIT

Answer 2

Попробуйте Понравился

mysql_query ("START TRANSACTION");

Ваш запрос вставки

mysql_query ("COMMIT");