Как получить подмножество csv-файла как Spark RDD

Question

Я новичок в Spark и пытаюсь прочитать файл csv и получить первый и второй столбцы в файле. Дело в том, что файл csv огромен, и мне не интересно разбирать каждую строку в файле csv. Кроме того, запуск функции collect() может привести к сбою процесса, потому что памяти может быть недостаточно для поддержки объема возвращаемых данных. Поэтому мне было интересно, можно ли создать RDD только с подмножеством данных csv. Например, возможно ли создать RDD, содержащий строки от 10 до 1000 из файла csv, и игнорировать другие строки.

Прямо сейчас, все у меня есть

csvdata = sc.textFile("hdfs://nn:port/datasets/sample.csv").map(lambda line: line.split(",")) 

Это в основном создает RDD для всего файла CSV. Возможно ли создать RDD из csvdata, содержащих строки от 10 до 1000?

Большое спасибо за предоставленную помощь.

Answer 1

Вы можете загрузить все и фильтр по индексу:

rdd = sc.parallelize(range(0, -10000, -1)) 
rdd.zipWithIndex().filter(lambda kv: 9 <= kv[1] < 999).keys() 

Настройка диапазонов в зависимости от того, как вы определяете 10-й линии.

Answer 2

RDD - это не данные, хранящиеся в памяти, это намерение работать над некоторыми данными. Когда вы вызываете операцию терминала, например «собираете» или «уменьшаете», Spark обрабатывает данные. Spark делает некоторую умную оптимизацию под капотом, которая ограничивает объем работы, которую она должна выполнять, основываясь на истории ваших операций на RDD.

(попробуйте сами, вызвав некоторые операции РДУ, но не называя работу терминала. Ничего не происходит!)

Так что вы можете сделать, например, (Это Scala, но не слишком отличается в питоне)

val first10results: Array[Array[String]] = sc.textFile(filePath) 
     .map(f => f.split(",")) 
     .take(10) 

Спарк будет знать, из-за take(10), что вы хотите только первые 10 строк. Так что это займет всего 10 строк из файла! Просто.