PySpark Уличные запросы не показывают вывод

Я могу создавать, удалять, изменять таблицы с помощью pyspark и hivecontext. Я загружу список с командами, которые я хочу отправить, в строчном формате, и передать их в эту функцию:PySpark Уличные запросы не показывают вывод

def hiveCommands(commands, database): 
    conf = SparkConf().setAppName(database + 'project').setMaster('local') 
    sc = SparkContext(conf=conf) 
    df = HiveContext(sc) 
    f = df.sql('use ' + database) 
    for command in commands: 
     f = df.sql(command) 
     f.collect()

Он отлично работает для обслуживания, но я стараюсь окунуть свои пальцы в анализ, и я дон Когда я пытаюсь отправить команду, например «описать таблицу», я вижу какой-либо вывод.

Я просто, что он принимает команду и выполняет ее без каких-либо ошибок, но я не вижу, каков фактический вывод запроса. Мне, возможно, придется возиться с моим .profile или .bashrc, не совсем уверен. Что-то из Linux newby. Любая помощь будет оценена по достоинству.

источник

2016-08-01 firestreak

Почему ожидать любой выход? Здесь нет единого метода, который мог бы произвести его. – zero323

Ну, я попробовал «print f» в конце моей петли, и ничего не производил, поэтому я подумал, что, может быть, нужен специальный метод. – firestreak

Я бы предложил вернуться к документам, проверяя, что именно делает SQLContext.sql. Там нет ничего полезного для печати. – zero323

Вызов show метод, чтобы увидеть результаты:

for command in commands: 
    df.sql(command).show()

источник

2016-08-01 19:24:29

PySpark Уличные запросы не показывают вывод

ответ

Смежные вопросы