Как избежать типов данных конфликтов при сопоставлении коллекций Mongodb с фреймворком Spark. Мы не можем передавать типы данных конфликтов в строку. И получение ошибки при выполнении операций выбора.MongoDB Spark Conflict datatype
Я использую MongoDB-Спарк-разъем v2.10: 1.0.0
ConflictType указывает, что было обнаружено, что поле содержит различные типы данных, которые не могут быть принуждены к объединительной типа. Другими словами, он содержит различные типы данных. т.е. номера и строки или строки. Проверьте поля данных данных ConflictType, запустив printSchema().
В MongoDB Spark Connector v1, обходной путь заключается в вручную установить схему для DataFrame в string.
В MongoDB Spark Connector v2 базовый тип для конфликтующих типов будет находиться в strings. см. также SPARK-84.