Я пытаюсь записать данные в таблицы Cassandra, используя Spark на Scala. Иногда задача искры прерывается между ними и есть частичная запись. Отскакивает ли Spark частичная запись при первом запуске новой задачи.Spark Job для вставки данных в Cassandra
1
A
ответ
0
Нет, но если я прав, вы можете просто переработать свои данные. Что будет перезаписывать частичную запись. При написании в Cassandra используется некоторое обновление (upsert), когда вы пытаетесь вставить данные с одним и тем же основным ключом.
2
Нет. Искры (и Кассандра, если на то пошло) не вставляют стиль фиксации, основанный на всей задаче. Это означает, что ваши записи должны быть идемпотентными, иначе вы можете столкнуться со странным поведением.
Смежные вопросы
- 1. Spark SQL для вставки данных в Cassandra
- 2. Spark Job Cant Подключиться к Cassandra
- 3. Использование Spark для сохранения данных в Cassandra
- 4. Чтение данных разъема Spark-Cassandra
- 5. Агрегация данных Cassandra от Spark
- 6. Spark-Cassandra Vs Spark-Elasticsearch
- 7. Spark Streaming Continuous Job
- 8. Что такое Spark Job?
- 9. Spark job-server
- 10. Spark 1.6 вставка данных в Cassandra
- 11. Spark job aborted
- 12. Движение данных в Cassandra/HDFS и Spark
- 13. Spark DataFrame и Cassandra
- 14. Spark job server for spark 1.6.0
- 15. Spark maven зависимости для Cassandra
- 16. Cassandra + Spark для анализа в реальном времени
- 17. Cassandra and Spark
- 18. Spark Cassandra Write Performance
- 19. Apache Cassandra and Spark
- 20. Spark Cassandra Performance Issue
- 21. Spark - соединение Cassandra
- 22. Cassandra Spark Datastax Replica
- 23. Cassandra, Spark, Elasticsearch: потоковые данные для визуализации в кибане
- 24. Ошибка вставки Cassandra
- 25. Разъем Spark, Cassandra,
- 26. Spark Cassandra List Тип данных Сопоставление
- 27. Клиент Pelops Java для вставки в базу данных Cassandra
- 28. Spark Job Server с Java
- 29. Ошибка интеграции Spark cassandra с разъемом spark-cassandra
- 30. Spark broadcasting cassandra Connector
Любые входные данные о том, как сделать их идемпотентными? Я столкнулся с проблемами с дублирующимися записями в таблице cassandra с неудачными задачами и перезапуском задачи с самого начала. –
Привет всем, Любые входы на этом? –
убедитесь, что вы не писали от чего-то, что изменяется при повторных попытках. Будьте осторожны с не-идемпотентными операциями (добавление в списки и карты). Основные идемпотентные вещи. Вы пишете должны быть одинаковыми независимо от того, сколько раз код выполняет. – RussS