Ошибка bluemix pyspark при вызове jdbc

Я использую pySpark в службе Spark в Bluemix, чтобы преобразовать что-то в свои данные, а затем записать его в DashDB, также в Bluemix. Но когда я пытаюсь загрузить данные, я получаю следующую ошибку:Ошибка bluemix pyspark при вызове jdbc

Py4JJavaError: Произошла ошибка при вызове o111.jdbc. : org.apache.spark.SparkException: Работа прерывается из-за срыва этапа: Задача 0 на этапе 4.0 не удалась 10 раз, последний сбой: потерянная задача 0.9 в стадии 4.0 (TID 23, yp-spark-dal09-env5-0045) : com.ibm.db2.jcc.am.BatchUpdateException: [jcc] [t4] [102] [10040] [4.19.26] Пакетный отказ. Пакет был отправлен, но по крайней мере одно исключение произошло на отдельном члене партии. Используйте getNextException() для извлечения исключений для определенных элементов. ERRORCODE = -4229, SQLSTATE = null

Я уже пытался создать новый DashDB, но получаю ту же ошибку. Затем я попытался создать еще один ноутбук, но он также не будет работать. Я пытался остановить все ядра и запускать только ядро за раз, не работает.

Все ноутбуки, которые я пытаюсь записать данные из фрейма данных, получают ту же ошибку, но в одних случаях данные загружаются, а в других - нет.

Это код, который я использую, чтобы написать:

for num in range(0,22): 
(shared_df_first 
    .select(
     Func.col('Customer').alias("CUSTOMER"), 
     Func.col('Customer Environment').alias("CUST_ENV"), 
     Func.col('Device').alias("DEVICE"), 
     Func.col('User ID').alias("USER_ID"), 
     Func.col('Date').alias("DATE"), 
     Func.col('Time').alias("TIME"), 
     Func.col('Requester').alias("REQUESTER"), 
     Func.col('Manager').alias("MANAGER"), 
     Func.col('Manager Mail').alias("MANAGER_MAIL"), 
     Func.col('Ticket').alias("TICKET"), 
     Func.col('Request').alias("REQUEST"), 
     Func.col('Teste').alias("TESTE"), 
     Func.col('Approver USERID').alias("APPROVER_USERID"), 
     Func.col('Approver Name').alias("APPROVER_NAME"), 
     Func.col('Period in hours').alias("PERIOD"), 
     Func.col('Business Need').alias("BUSINESS_NEED"), 
     Func.col('Password Periodic Changable').alias("PASSWORD_PERIODIC_CHANGABLE"), 
     Func.col('Is Pre Approved?').alias("IS_PRE_APPROVED"), 
     Func.col('Has Personal User ID?').alias("HAS_PERSONAL_USER_ID"), 
     Func.col('Check in way').alias("CHECK_IN_WAY"), 
     Func.col('SLA').alias("SLA"), 
     Func.col('Invalid Business Need').alias("BUSINESS_NEED_INVALID") 
    ) 
    .write 
    .jdbc("jdbc:db2://bluemix05.bluforcloud.com:50000/BLUDB", "DASH014638.WATSON_UAT_DEV", "append", propertiesDBDash 
) 
print num + 1 



df = ds_clean.toDF(["account_id","customer","device_name","device_os","user_id","user_id_type","creation_date","last_logon","password_is_never_expires","responsible", 
       "privileges","user_id_status"]) 
propertiesDBDash = { 
       "user":"dash014638", 
       "password":"pwd"} 
df.write.mode("append").jdbc("jdbc:db2://bluemix05.bluforcloud.com:50000/BLUDB", "DASH014638.DORMANT_PROD",properties=propertiesDBDash) 

df = ds_clean.toDF(["REQUEST_NUMBER","TYPE_TICKET","SOLUTIONER","CUSTOMER","DELIVERY","OPEN_DATE","OPEN_TIME","CLOSE_DATE","CLOSE_TIME","SERVICE","DEVICE","PLATFORM","REQUESTER","REQUESTER_MANAGER_MAIL","SLA","ELAPSED_TIME","SLA_STATUS","URGENCY","ACTION","REQUEST_STATUS"]) 

propertiesDBDash = { 
       "user":"dash014638", 
       "password":"pwd"} 
df.write.mode("append").jdbc("jdbc:db2://bluemix05.bluforcloud.com:50000/BLUDB", "DASH014638.WATSON_REQUEST_NEW",properties=propertiesDBDash)

источник

2016-09-15 Bruno Hirata

Это похоже, что Bluemix не показывает все ошибки, извлекаемые dashDB. Поэтому настоящая проблема заключается в том, что я пытаюсь вставить данные больше, чем поле данных, указанное в dashDB.

источник

2016-09-20 16:01:21

Ошибка bluemix pyspark при вызове jdbc

ответ

Смежные вопросы