2015-06-08 2 views
3

Мы производим ежечасные агрегации, используя Spark SQL и Cassandra на огромных данных. Мы разработали клиент Java, который запускается каждый час, чтобы выполнить агрегацию, используя Spark SQL. Для исторических нагрузок Когда мы запуск этой программы в течение 10 дней (240 часов) данных, после того, как около 100 часов обработки Cassandra терпит неудачу с ошибкой ниже:Cassandra Bulk Load - NoHostAvailableException

com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (no host was tried)

что вызывает Cassandra на провал?

+0

какой версии искрового разъема/datastax драйвера Java вы используете? –

+0

Мы используем наконечник искры-кассандра 1.2.0-rc3. Версия искры - 1.2.1, а версия cassandra - 2.0.13 – Ramana

+0

См. Сообщение Русс http://stackoverflow.com/questions/27058355/datastax-enterprise-savetocassandra-generate-a-lot-of-hinted-handoff – phact

ответ

2

Это решается после настройки более высоких значений для "spark.cassandra.read.timeout_ms" и "spark.cassandra.connection.timeout_ms"

Смежные вопросы