Python + MySQLdb executemany

Question

Я использую Python и его модуль MySQLdb для импорта некоторых данных измерений в базу данных Mysql. Объем данных, который у нас есть, довольно высок (в настоящее время около ~ 250 МБ csv-файлов и еще много нового).

В настоящее время я использую cursor.execute (...) для импорта некоторых метаданных. Это не проблематично, так как для этого есть только несколько записей.

Проблема заключается в том, что, когда я пытаюсь использовать cursor.executemany() для импорта большего количества фактических данных измерений, MySQLdb поднимает

TypeError: not all arguments converted during string formatting 

Мой текущий код

def __insert_values(self, values): 
    cursor = self.connection.cursor() 
    cursor.executemany(""" 
     insert into values (ensg, value, sampleid) 
     values (%s, %s, %s)""", values) 
    cursor.close() 

где values - это список кортежей, содержащих по три строки. Любые идеи, что может быть неправильно с этим?

Edit:

Значение генерируется

yield (prefix + row['id'], row['value'], sample_id) 

, а затем прочитать в список один тысяч в то время, когда строка является и итератором наступающей из csv.DictReader.

Answer 1

В ретроспективе это было действительно глупое бу Трудно заметить ошибку. Значения - это ключевое слово в sql, поэтому значениям имени таблицы нужны кавычки вокруг него.

def __insert_values(self, values): 
    cursor = self.connection.cursor() 
    cursor.executemany(""" 
     insert into `values` (ensg, value, sampleid) 
     values (%s, %s, %s)""", values) 
    cursor.close() 

Answer 2

Сообщение, которое вы получаете, указывает, что внутри метода executemany() произошло одно из преобразований. Проверьте values список для кортежа дольше 3.

Для быстрой проверки:

max(map(len, values)) 

Если результат выше, чем 3, найти свой плохой кортеж с фильтром:

[t for t in values if len(t) != 3] 

или, если вам нужен индекс:

[(i,t) for i,t in enumerate(values) if len(t) != 3]