2 столбец столбца, игнорировать дубликаты на массовой вставке postgresql

Question

У меня есть таблица Join в Rails, которая представляет собой всего лишь таблицу из 2 столбцов с идентификаторами.

Для массовой вставки в эту таблицу, я использую

ActiveRecord::Base.connection.execute("INSERT INTO myjointable (first_id,second_id) VALUES #{values}) 

К сожалению, это дает мне ошибки, когда есть дубликаты. Мне не нужно обновлять какие-либо значения, просто переходите к следующему insert, если существует дубликат.

Как мне это сделать?

Как fyi я искал stackoverflow, и большинство ответов немного продвинулось для меня, чтобы понять. Я также проверял документы postgresql и играл в консоли rails, но все равно безрезультатно. Я не могу понять этого, поэтому я надеюсь, что кто-то еще может помочь мне рассказать, что я делаю неправильно.

Ближайшим заявление я попытался это:

INSERT INTO myjointable (first_id,second_id) SELECT 1,2 
WHERE NOT EXISTS (
     SELECT first_id FROM myjointable 
     WHERE first_id = 1 AND second_id IN (...)) 

Часть проблемы с этим утверждением является то, что я только вставив значение 1 в то время, в то время как я хочу о том, что массовые вставки. Также раздел second_id IN (...) может содержать до 100 различных значений, поэтому я не уверен, насколько это будет медленным.

Обратите внимание, что в большинстве случаев не должно быть много дубликатов, поэтому я не уверен, что массовая вставка во временную таблицу и поиск отличных значений - хорошая идея.

Изменить, чтобы добавить контекст:

Причина мне нужно массовую вставку, потому что у меня есть отношения многие ко многим между 2 моделями, где одна из моделей никогда не заселенных форме. У меня есть акции и история цен на акции. Истории цен на акции никогда не создаются в форме, а скорее вставляются сами, вытаскивая данные из YahooFinance с их API финансов Yahoo. Я использую атрибут activerecord-import для массового ввода для истории цен на акции (например, столбцы Model.import, значения), но я не могу набирать столбцы conable.import, значения, потому что я получаю

Answer 1

Вот как я занялся it: Создайте временную таблицу и заполните ее новыми значениями. Затем заблокируйте таблицу старых значений соединений, чтобы предотвратить одновременную модификацию (важно) и вставить все пары значений, которые появляются в новой таблице, но не старые.

Один из способов сделать это - сделать левое внешнее объединение старых значений на новые и фильтровать для строк, где старые значения таблицы соединений являются нулевыми. Другой подход заключается в использовании подзапроса EXISTS. Эти два варианта, вероятно, приведут к такому же плану запроса, как только оптимизатор запросов будет выполнен с ними в любом случае.

Пример, непроверенных (так как вы не обеспечивают SQLFiddle или выборочные данные), но должно работать:

BEGIN; 

CREATE TEMPORARY TABLE newjoinvalues(
    first_id integer, 
    second_id integer, 
    primary key(first_id,second_id) 
); 

-- Now populate `newjoinvalues` with multi-valued inserts or COPY 
COPY newjoinvalues(first_id, second_id) FROM stdin; 

LOCK TABLE myjoinvalues IN EXCLUSIVE MODE; 

INSERT INTO myjoinvalues 
SELECT n.first_id, n.second_id 
FROM newjoinvalues n 
LEFT OUTER JOIN myjoinvalues m ON (n.first_id = m.first_id AND n.second_id = m.second_id) 
WHERE m.first_id IS NULL AND m.second_id IS NULL; 

COMMIT; 

Это не будет обновлять существующие значения, но вы можете сделать это довольно легко слишком используя с второй запрос, который делает UPDATE ... FROM, сохраняя при этом блокировку записи.

Обратите внимание, что режим блокировки указано выше, не будет блокировать SELECT с, пишет только как INSERT, UPDATE и DELETE, поэтому запросы могут продолжать быть внесены в таблицу, в то время как процесс продолжается, вы просто не можете обновить его.

Если вы не можете согласиться с тем, что альтернативный вариант заключается в том, чтобы запустить обновление в изоляции SERIALIZABLE (работает только для этой цели в Pg 9.1 и выше). Это приведет к сбою запроса при возникновении одновременной записи, поэтому вы должны быть готовы повторить его снова и снова. По этой причине, скорее всего, будет лучше просто жить с блокировкой стола на некоторое время.

Answer 2

Я закончил с использованием предложения WITH, чтобы выбрать мои значения и присвоить им имя. Затем я вставил эти значения и использовал WHERE NOT EXISTS, чтобы эффективно пропускать любые элементы, которые уже есть в моей базе данных.

Пока это выглядит, как он работает ...

WITH withqueryname(first_id,second_id) AS (VALUES(1,2),(3,4),(5,6)...etc) 
INSERT INTO jointablename (first_id,second_id) 
SELECT * FROM withqueryname 
WHERE NOT EXISTS( 
     SELECT first_id FROM jointablename WHERE 
      first_id = 1 AND 
      second_id IN (1,2,3,4,5,6..etc)) 

Вы можете поменять местами значения с переменной. Шахта была VALUES#{values}

Вы также можете поменять second_id IN на переменную. Шахта была second_id IN #{variable}.