max_questions - оценка содержания [mysql/php]

Question

Я запускаю веб-приложение, используя php/MySql.

Я перемещаю и преобразую большой объем данных и стараюсь сделать это за короткий промежуток времени, поэтому я запускаю несколько параллельных сеансов.

Мое приложение находится на общем сервере, поэтому у меня нет доступа к изменению целой кучи параметров (включая max_questions).

Я столкнулся с ошибками max_questions на неудовлетворительно частом основании.

Я попытался упорядочить свой код, чтобы свести к минимуму проблемы (поиск способов объединения нескольких запросов в один), но это только помогло незначительно.

Учитывая, что у меня нет доступа для изменения значения max_questions; есть ли в любом случае, что я могу прочитать, сколько вопросов из моего максимума я использовал, чтобы я мог дросселировать выполнение, чтобы оставаться ниже предела?

Так что в настоящий момент я начинаю ночные задания, которые не срабатывают, возможно, через пару часов, тогда как если бы я замедлил их, чтобы бежать на 80%, они могли работать в течение 10 часов.

Есть ли в любом случае я могу видеть, если я выше, скажу 95% моего пособия в любой момент времени и поэтому замедляю мою обработку, когда это так?

Благодарен за любые предложения.

Answer 1

Если вы слишком быстро бомбардируете MySQL, неважно, если вы соберете свои запросы - даже если их собрать, это хорошая идея, чтобы ваш скрипт закончился раньше. Вы просто достигнете предела более сложными запросами. Вы можете использовать usleep для выполнения дроссельной заслонки, тогда вам придется учитывать интервал дроссельной заслонки на задержку, которая гарантирует, что ваш скрипт не успеет выполнить ежечасные запросы за пределом.

Сначала узнайте значение max_questions, или макс. почасовые запросы для одного пользователя. (Определено в db/table mysql/user.) Затем зарегистрируйте время начала вашего скрипта и учтите количество запросов, которые вы выполнили. Когда вы приближаетесь к пределу, установите скрипт в режим ожидания до 60 минут, затем сбросьте таймер. Если вы используете комбинацию этого подхода и постоянный микропереключатель, у вас меньше шансов нанести другие ограничения (например, max_user_connections), который может иметь ваш хост.

Если ваш хост позволяет вам иметь несколько пользователей MySQL, которые могут обращаться к одной базе данных, вы можете настроить отдельного пользователя для каждого параллельного сеанса или настроить ротатор пользователя в свою процедуру подключения к базе данных. (Если нет, вы можете разбить базу данных, если можно выделить различные аспекты процесса и делегировать разные задачи различным пользователям. В этот момент я предпочел бы получить базовый VPS за 5 долларов США в месяц.)

Для общей ссылки, ссылки на руководство по MySQL на Account Resource Limits. При создании или изменении пользователей используется MAX_QUERIES_PER_HOUR, что переводится в столбец max_questions. Если у вас есть необходимые разрешения, вы можете выпустить оператор FLUSH USER_RESOURCES, чтобы сбросить счетчики за пределы использования, отличные от max_user_connections (сбросит все почасовые ограничения).

Редактировать: Вы можете настроить свою базу данных, чтобы сохранить статистику пользователя в таблице под базой данных mysql. Установите userstat = 1 в вашей конфигурации, перезапустите сервер и статистику можно получить с помощью SHOW USER_STATISTICS.Это работает, по крайней мере, с MariaDB (info) и Percona (info) вилки MySQL; однако я не могу найти информацию об этом для самой MySQL, это может потребовать установки стороннего плагина.