pandas.read_csv в Спарк среде (IBM Bluemix)

Question

Я использую IPython в Spark/Bluemix среде

У меня есть CSV-файл загружен в хранилище объекта, и я могу прочитать это нормально, используя sc.textfile, но я получаю, когда я file does not exist использовать pandas pd.read_csv

1. data = sc.textFile("swift://notebooks.books/rtenews.csv")

2. import pandas as pd data = pd.read_csv('swift://notebooks.books/rtenews.csv')

IOError File swift://notebooks.books/rtenews.csv does not exist

Почему это? Как я могу прочитать файл csv в фреймворке pandas?

Answer 1

После того, как вы загрузили файл CSV в свой Bluemix Object Storage, вы можете прочитать файл CSV, используя искру непосредственно:

data = sc.textFile("swift://notebooks.books/rtenews.csv") 

Это возможно, потому что конфигурации было сделано, чтобы включить эту функцию.

Если вы пытаетесь читать CSV-файл с помощью следующего кода с помощью pandas:

import pandas as pd 
data = pd.read_csv('swift://notebooks.books/rtenews.csv') 

Это не будет работать, потому что pandas не поддерживают прямой доступ Bluemix хранения объектов. Взгляните на документацию по API pandas.read_csv(): http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html Он поддерживает только несколько действительных схем URL.

Тем не менее, вы можете прочитать CSV-файл на вашем носителе памяти Bluemix как объект StringIO в pandas.DataFrame.

Вы можете найти инструкции в "Осаждение Анализ" образец ноутбука:

• Создать новый ноутбук от образцов: Новый ноутбук -> Образцы Tab -> Осадки Анализ
• HTML экспорт: https://console.ng.bluemix.net/data/notebooks/samples/Precipitation%20Analysis
• Видео : https://www.youtube.com/watch?v=H1oNZwG3tCk

Используйте этот подход не для больших CSV-файлов!