Действительно ли Торнадо не блокирует?

Question

Tornado рекламирует себя как «относительно простой, неблокирующий веб-серверный фреймворк» и был разработан для решения проблемы C10k. Однако, глядя на их обертке базы данных, которая оборачивает MySQLDb, я наткнулся на следующий фрагмент кода:

def _execute(self, cursor, query, parameters): 
    try: 
     return cursor.execute(query, parameters) 
    except OperationalError: 
     logging.error("Error connecting to MySQL on %s", self.host) 
     self.close() 
     raise 

Насколько я знаю, звонки на MySQLdb, который построен на вершине libmysqlclient, блокируют.

Я правильно понял, что долговременный запрос сделает весь сервер Tornado невосприимчивым до тех пор, пока он не закончится или не будет волшебства в коде?

Answer 1

Да, при отсутствии других мер сервер будет ожидать завершения выполнения запроса. Это не означает, что Tornado не является неблокирующим веб-сервером.

«Неблокирующий веб-сервер» не блокирует сетевые операции ввода-вывода (и может иметь некоторое положение для ввода/вывода на диск, если он выполняет статический файл). Это не означает, что вы получаете мгновенное, нарушение причинно-следственной инструкции в вашем приложении.

Выполнение вызова базы данных требует времени, как чтение файлов, форматирование строк, обработка шаблонов и т. Д. Требует времени. Выполнение любой из этих вещей в том же потоке, что и основной цикл событий сервера, предотвратит движение цикла до тех пор, пока вы не закончите.

Answer 2

Да; это вовсе не полностью неблокирующий веб-сервер.

Неблокирующий веб-сервер не блокирует, используя неблокирующие API для ввода-вывода файлов, доступа к базе данных и т. Д., Чтобы гарантировать, что один запрос, который должен ждать чего-то, запросы от обработки. Это относится к всем, которые могут блокировать сервер, включая доступ к базе данных.

Нет ничего глупого, как «нарушение причинности» при наличии неблокирующего доступа к базе данных; имеет смысл запускать неблокирующий запрос, связанный с одним запросом, и обрабатывать другие запросы, пока они все еще работают. На практике это обычно означает создание нескольких соединений с базой данных базы данных.

Обратите внимание, что если вы пытаетесь выполнить десять тысяч одновременных запросов, будьте осторожны: большинство баз данных не могут справиться с этим. Если у вас более нескольких десятков запросов на базу данных, которые вы запускаете параллельно, вы, вероятно, хотите получить что-то вроде пула соединений, чтобы веб-сервер мог делать много соединений с базой данных, не опуская бэкэнд. Это вызовет блокировку запросов, ожидающих очереди, чтобы получить доступ к базе данных, но это означает, что это не блокирует весь сервер - просто запросы, которым нужна база данных.

Answer 3

Торнадо не блокируется, если вы пишете неблокирующий код сверху, если он, например. используя asyncmongo и @tornado.web.asynchronous декоратор. Tornado в качестве основы предоставляет инструменты для этого.

Брет Тейлор, один из первых авторов, writes:

Мы экспериментировали с различными подходами асинхронной DB, но остановились на синхронно на FriendFeed, потому что в целом, если наши DB запросы были backlogging наши запросы, наши движки не может масштабироваться до нагрузки в любом случае.Вещи, которые были достаточно медленными, были абстрагированы, чтобы разделить бэкэнд-услуги, которые мы асинхронно выводили через модуль async HTTP .

Это правда, что Tornado не включает в себя неблокирующий уровень базы данных; на самом деле слой базы данных не является неотъемлемой частью структуры Tornado вообще, в отличие от, например, ORM Django. Да, Tornado поставляется с блокирующей оболочкой MySQL, потому что это то, что использовал FriendFeed, но это скорее внешняя библиотека, чем основная функциональность. Я уверен, что большинство людей используют что-то еще для доступа к базе данных.