Добрый день всем, мне нужно знать, как эффективно загружать данные из достаточно больших файлов в базу данных mySql. Итак, у меня есть два файла: 5,85Gb и 6Gb данных. Для загрузки я использовал `LOAD DATA LOCAL INTO FILE. Первый файл все еще загружается (для 36часов). Текущий размер индекса 7,2 ГБ. У меня есть два вопроса:Эффективная загрузка данных из больших файлов в базу данных
1) Данные отформатированы Lile: {string, int, int, int, int}. Мне не нужны эти значения int, поэтому я создал таблицу с одним полем типа varchar (128), мой запрос LOAD DATA LOCAL INFILE "file" INTO TABLE "tale", так что данные будут корректными (я имею в виду только строки без полей int).
2) Чем больше индекс, чем больше времени загрузки для следующего. Итак, я делаю что-то неправильно? Я имею в виду, что мне нужно. Мне нужен быстрый поиск, затем в этих строках (особенно в последнем слове). Таким образом, все строки имеют ровно 5 слов, делает ли любой смысл помещать каждое слово в другой столбец (n строк, 5 столбцов).
Пожалуйста, любые предложения.