Поддержание большой таблицы уникальных значений в MySQL

Question

Это, вероятно, распространенная ситуация, но я не мог найти конкретного ответа на SO или Google.

У меня есть большая таблица (> 10 миллионов строк) отношений друзей в базе данных MySQL, которая очень важна и ее необходимо поддерживать таким образом, чтобы не было повторяющихся строк. Таблица хранит пользовательские uids. SQL для таблицы:

CREATE TABLE possiblefriends(
id INT NOT NULL AUTO_INCREMENT, 
PRIMARY KEY(id), 
user INT, 
possiblefriend INT) 

образом таблица работает так, что каждый пользователь имеет около 1000 или около того «возможных друзей», которые обнаруживаются и должны быть сохранены, но дублировать «возможные друзья» должны быть избегать.

Проблема заключается в том, что из-за дизайна программы в течение дня мне нужно добавить 1 миллион строк или больше в таблицу, которая может быть или не содержать повторяющиеся записи строк. Простой ответ, казалось бы, должен был проверить каждую строку, чтобы увидеть, является ли она дубликатом, а если нет, то вставьте ее в таблицу. Но этот метод, вероятно, будет очень медленным, так как размер таблицы увеличивается до 100 миллионов строк, 1 миллиард строк или выше (что я ожидаю в ближайшее время).

Какой лучший (то есть самый быстрый) способ сохранить эту уникальную таблицу?

Мне не нужно иметь таблицу с уникальными значениями всегда под рукой. Мне просто нужно это раз в день для пакетных заданий. В этом случае следует создать отдельную таблицу, которая просто вставляет все возможные строки (содержащие повторяющиеся строки и все), а затем в конце дня создает вторую таблицу, которая вычисляет все уникальные строки в первой таблице?

Если нет, что является лучшим способом для этой таблицы долгосрочным?

(Если показатели являются лучшим долгосрочным решением, скажите, пожалуйста, какие индексы использовать)

Answer 1

Добавить уникальный индекс на (user, possiblefriend) затем использовать один из:

• INSERT ... ON DUPLICATE KEY UPDATE ...
• INSERT IGNORE
• REPLACE

для ванной убедитесь, что вы не получаете ошибок при попытке вставить повторяющуюся строку.

Возможно, вы также захотите рассмотреть вопрос о том, можете ли вы перенести свой первичный ключ с автоматическим добавлением и использовать (user, possiblefriend) в качестве первичного ключа. Это уменьшит размер вашей таблицы, а первичный ключ будет функционировать как индекс, что избавит вас от необходимости создавать дополнительный индекс.

Смотрите также:

• “INSERT IGNORE” vs “INSERT … ON DUPLICATE KEY UPDATE”

Answer 2

Уникальный индекс позволит вам быть уверенным, что поле действительно уникально, вы можете добавить уникальный индекс, как так:

CREATE TABLE possiblefriends( 
id INT NOT NULL AUTO_INCREMENT, 
PRIMARY KEY(id), 
user INT, 
possiblefriend INT, 
PRIMARY KEY (id), 
UNIQUE INDEX DefUserID_UNIQUE (user ASC, possiblefriend ASC)) 

Это также значительно расширит доступ к вашему столу.

Ваш другой вопрос с массовой вставкой является немного более сложным, вы можете использовать встроенное дублирование функции KEY UPDATE ниже:

INSERT INTO table (a,b,c) VALUES (1,2,3) 
    ON DUPLICATE KEY UPDATE c=c+1; 

UPDATE table SET c=c+1 WHERE a=1;