Не удалось найти источник данных: com.stratio.datasource.mongodb

Я прочитал все разные проблемы из других пакетов Stratio, но я не смог решить свою проблему.Не удалось найти источник данных: com.stratio.datasource.mongodb

Когда я пытаюсь с: »./bin/spark-submit --packages com.stratio.datasource: искровым mongodb_2.11: 0.12.0 "

или

" ./ bin/spark-submit --jars /home/user/Spark-MongoDB/spark-mongodb_2.11/target/spark-mongodb_2.11-0.12.1-RC1-SNAPSHOT.jar ".

Я боролся с этим в течение последних двух дней, что это я делаю неправильно? Я использую искру 2.0.0, Ubuntu 14.04.

источник

2016-09-12 MasterWizard

Это команда, которую я использую на своей тестовой машине, и она работает нормально.

искровым отправить --packages com.stratio.datasource: искрового-mongodb_2.11: 0.12.0 --master местного [1] Cell.py

У меня есть в той же среде т.е. Ubuntu 14.04, scala 2.11 и spark 2.0.0

Я пытаюсь записать данные в mongodb с помощью моей программы python и работает как ожидалось.

источник

2016-09-14 10:35:33 catchbubbles

Если его образец файла python может отправить мне код ... Также эта строка правильная: res.write.format ("com.stratio.datasource.mongodb"). Mode ('append'). Options (host = '127.0.0.1: 27017', database = 'panoids', collection = 'city', idField = '_ id', splitKey = '_ id'). Save() – MasterWizard

Ваша строка кажется мне верной. Часть кода (здесь строки - мой rdd и sc - SparkSession) recs = sc.createDataFrame (строки, ["date", "activecount"]) recs.write.format ("com.stratio.datasource (host = 'db: 27017', database = 'test', collection = 'daily_activecounts'). save() – catchbubbles

Не удалось найти источник данных: com.stratio.datasource.mongodb

ответ

Смежные вопросы