Производительность - TTL vs Удаление строки в Cassandra

Question

У нас есть массивный набор данных, который написан в миллионы строк в cassandra. У нас также есть планировщик, который должен обрабатывать эти записи и удалять их после их успешной обработки.

Было интересно, удаляет ли строка после обработки и маркирует строку TTL (по существу, задерживает ее удаление).

Есть ли какие-либо плюсы и минусы с Deletion vs TTL w.r.t Cassandra performance?.

Спасибо большое _DD

Answer 1

Из того, что мало информации вы дали здесь это звучит для меня, что вы используете Кассандру в очереди, которая хорошо известна антишаблоном. Вы можете прочитать больше о том, что здесь:

http://www.datastax.com/dev/blog/cassandra-anti-patterns-queues-and-queue-like-datasets

Однако, чтобы ответить на ваш основной вопрос есть небольшая разница в производительности между использованием TTL и удалений. TTL в C * обрабатываются как надгробные камни, которые являются такими же, как и удаление. Основное различие заключается в том, что надгробная плита не записывается в запись, у которой TTL истек, пока эта запись не будет прочитана снова. Когда удаление называется надгробием, немедленно создается. Могилы в целом вызывают значительные проблемы с производительностью в C *, и хотя существуют некоторые способы смягчения проблем, которые они создают с большим количеством из них, обычно указывают на плохую модель данных или плохой вариант использования для C *. Если вы действительно смотрите на использование C * в качестве очереди, почему бы не взглянуть на использование чего-то более подходящего для этой цели, такого как Redis?

Answer 2

Основываясь на том, что я прочитал, TTL, вероятно, будет так же быстро, как ваш быстрый процесс удаления может быть. Причиной этого является то, что TTL не должен искать данные, чтобы отметить его надгробным камнем. TTL живет на записи, и когда запись считывается, и срок действия TTL истек, тогда он отмечен надгробным камнем.

http://docs.datastax.com/en/cql/3.1/cql/cql_using/use_expire_c.html

Answer 3

При использовании TTL запись не сразу удаляется из хранилища, она помечена как надгробная плита. Он физически удаляется только тогда, когда происходит уплотнение. До этого времени данные воздействуют на обработку узлов, поскольку они потребляют ресурсы до тех пор, пока не произойдет уплотнение. Когда вы выполняете событие запроса диапазона, удаленные (помеченные как надгробные) записи проверяются Cassandra. Таким образом, использование TTL для удаления слишком большого количества записей считается анти-шаблоном. Рекомендация заключается в использовании временных таблиц, чтобы отдельные строки не удалялись. Просто отбросьте всю таблицу.