Какая лучшая база данных/хранилище для хранения статистических данных?

Question

У меня есть система, которая собирает данные журнала Apache в режиме реального времени из примерно 90-100 веб-серверов. Я также определил некоторые шаблоны URL.

Теперь я хочу создать еще одну систему, которая обновляет время появления каждого шаблона на основе этих журналов.

Я думал об использовании MySQL для хранения статистических данных, обновлять их заявление: "Update table установить count = кол + 1, где ....",

, но я боюсь, что MySQL будет медленным для данных с такого количества серверов. Кроме того, я ищу некоторые решения для хранения данных и хранения данных, которые более масштабируемы и просты. (В качестве СУБД MySQL поддерживает слишком много вещей, которые мне не нужны в этой ситуации). Есть ли у вас какие-либо идеи ?

Answer 1

Apache Cassandra является высокопроизводительным магазином для хранения столбцов и может очень хорошо масштабироваться. Кривая обучения немного крутая, но без проблем обрабатывать большие объемы данных.

Более простым решением будет хранилище с ключом, например Redis. Это легче понять, чем Кассандра. Как правило, Redis поддерживает репликацию master-slave как способ масштабирования, поэтому производительность записи вашего основного сервера может быть узким местом. Riak имеет децентрализованную архитектуру без каких-либо центральных узлов. Он не имеет ни единой точки отказа, ни каких-либо узких мест, поэтому легче масштабировать.

Answer 2

Хранение ключевого значения представляется подходящим решением для моей системы. После беглого просмотра на этих складах, я по поводу о гонки условия выпуска, так как там будет много клиентов, пытающихся сделать эти шаги на тот же ключ:

1. счетчик = storage.get (ключ)
2. storage.set (ключ, кол + 1)

Я работал с Токио кабинетом раньше, и у них есть метод «addint», который идеально подобранный мой случай, мне интересно, если другие хранилища имеют аналогичную функцию ? Я не выбрал Tokyo Cabinet/Tyrant, потому что у меня возникли некоторые проблемы с его масштабируемостью и стабильностью данных (например, ремонт поврежденных данных, ...)