Я не получаю пример Google работаетИспользование BigQuery Connector с искрой
https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example PySpark
Есть несколько ошибок в коде я думаю, как:
«# Выходные параметры 'mapred.bq.project.id': '',
Должно быть: 'mapred.bq.output.project.id': '',
и
'# Запись данных обратно в новую таблицу BigQuery.
'# BigQueryOutputFormat отбрасывает ключи, поэтому установите ключ в None.
(word_counts
.map (лямбда пары: Нет, json.dumps (пара))
.saveAsNewAPIHadoopDataset (CONF))
даст сообщение об ошибке. Если бы я изменить его на:
(word_counts
.map (лямбда-пара: (Нет, json.dumps (пара)))
.saveAsNewAPIHadoopDataset (конф))
Я получаю сообщение об ошибке:
org.apache.hadoop.io.Text не может быть добавлен в com.google.gson.JsonObject
И что бы я ни пытался, я не могу выполнить эту работу.
Существует набор данных создан в BigQuery с именем я отдал его в «конфе» с завершающим «_hadoop_temporary_job_201512081419_0008»
И таблица создается с «_attempt_201512081419_0008_r_000000_0» на конце. Но всегда пустые
Может ли кто-нибудь помочь мне в этом?