Проблема с производительностью: загрузка данных infile делает запрос выбора медленным

Question

У меня есть программа, которая сканирует твиттер, facebook, google + 24 часа в сутки. За пользователь А спискупоиск работает и вставлен (100 результатов в одно времени, функция работает в цикле до тех пор пока не является futher результатов)

Yii::app()->db->createCommand(
    "LOAD DATA INFILE '/var/tmp/inboxli_user".$user.".txt' 
     INTO TABLE inbox 
     FIELDS TERMINATED BY ',$%' 
     LINES STARTING BY 'thisisthebeginningxxx' 
      (created_on, created_at, tweet, tweet_id, profile_image, 
      twitter_user_id, screenname, followers, lang, tags, type, 
      positive_score, readme, answered, deleted, searchlist_id, 
      handled_by, used_as_newsitem, user_id) 
    "      )->execute(); 

в базу данных для того, чтобы держать нагрузку как можно меньше на сервер. Когда мои функции выполняют объемную вставку, мои функции выбора выполняются очень медленно. Обычно загрузка входящих сообщений в течение 1,5 секунд, но когда вставка выполняется, иногда для открытия страницы требуется 20 секунд.

Мой вопрос, как я могу это оптимизировать? Таким образом, вставка и выбор могут использовать базу данных одновременно, не замедляя работу?

Answer 1

Ну, сначала убедитесь, что вы правильно указали таблицу. См. How does database indexing work?

, что ускорит выбор операторов в значительной степени.

Во-вторых, возможно, что вы разделили файл на несколько кусков. Таким образом, сервер базы данных удаляет кеши и журналы для каждого загруженного вами нового файла.

См: https://www.percona.com/blog/2008/07/03/how-to-load-large-files-safely-into-innodb-with-load-data-infile/

Answer 2

• Сойти MyISAM! Использовать InnoDB; он делает гораздо лучшую работу, не блокируя другие действия.
• Данные по нагрузке очень эффективны, увеличьте количество, скажем, 500.
• Какие у вас индексы? Посмотрим SHOW CREATE TABLE. DROP любые ненужные индексы; это ускорит LOAD.
• Рассмотрите возможность отключения кеша запросов.