Работа с большим gzip-файлом в Spark

Question

У меня есть большой (около 85 ГБ сжатый) gzipped файл из s3, который я пытаюсь обработать с помощью Spark на AWS EMR (прямо сейчас с m4.xlarge master экземпляром и двумя m4. 10xlarge ядра каждый с объемом EBS объемом 100 ГБ). Я знаю, что gzip является нерасщепляемым файловым форматом и I'veseenitsuggested что нужно перераспределить сжатый файл, потому что Spark изначально дает RDD с одним разделом. Тем не менее, после выполнения

scala> val raw = spark.read.format("com.databricks.spark.csv"). 
    | options(Map("delimiter" -> "\\t", "codec" -> "org.apache.hadoop.io.compress.GzipCodec")). 
    | load("s3://path/to/file.gz"). 
    | repartition(sc.defaultParallelism * 3) 
raw: org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [_c0: string, _c1: string ... 48 more fields 
scala> raw.count() 

и взгляд на интерфейс приложения Спарк, я все еще вижу только один активный исполнитель (остальные 14 мертвы) с одной задачей, и работа никогда не заканчивается (или, по крайней мере, я вы не дождались достаточно долго для этого).

• Что здесь происходит? Может ли кто-нибудь помочь мне понять, как Spark работает в этом примере?
• Должен ли я использовать другую конфигурацию кластера?
• К сожалению, у меня нет контроля над режимом сжатия, но есть ли альтернативный способ борьбы с таким файлом?

Answer 1

Если формат файла не является разделяемым, то нет возможности избежать полного чтения файла на одном ядре. Чтобы распараллелить работу, вы должны знать, как назначать куски работы на разные компьютеры. В случае gzip предположим, что вы разделите его на 128M кусков. N-й кусок зависит от информации о позиции n-1-го куска, чтобы знать, как декомпрессировать, что зависит от n-2-го куска и так далее до первого.

Если вы хотите распараллеливать, вам необходимо сделать этот файл разделимым. Один из способов - распаковать его и обработать без сжатия, или вы можете разархивировать его, разделить на несколько файлов (один файл для каждой требуемой параллельной задачи) и gzip каждый файл.