выборки данных JSON с помощью искрового SQL

Question

Когда я пытаюсь извлечь вложенные данные в формате JSON с помощью искрового SQL-запрос:

SparkContext sc = new SparkContext(new SparkConf().setAppName("sql").setMaster("local")); 
SQLContext sqlContext = new SQLContext(sc); 
DataFrame df = sqlContext.read().json("path_to_s3_bucket").cache(); 
df.registerTempTable("table_name"); 
DataFrame d=sqlContext.sql("Select address.state as state from table_name"); 

Я получаю й за исключением следующего

Exception in thread "main" org.apache.spark.sql.AnalysisException: Can't extract value from address 

Мои данные Json является например: -

"address":{"city":"xyz","state":"abc","country":"pqr"} 

Помогите решить проблему.

Answer 1

Ваш json недействителен. Это должно быть: {"address": {"city": "xyz", "state": "abc", "country": "pqr"}}