Как работает искра sc.textFile?

Question

JavaRDD<String> input = sc.textFile("data.txt"); 

Для приведенного выше примера кода в Spark я знаю, что он возвращает распределенный список строк. Но индивидуальная строка в этом списке равна line или word жетонам data.txt?

Answer 1

Строка в вашем rdd равна строке в data.txt.

Если данные в файле data.txt являются некоторыми типами данных csv, вы можете использовать пакет spark-csv, который будет разделять данные на столбцы для вас, поэтому вам не нужно самостоятельно разбирать строки.