какие типы файлов, используемых для потоковой передачи в Apache Spark

Question

Я хочу знать, какие типы файлов используются для загрузки данных в Apache Spark, например (CSV, TXT и т.д.)

Answer 1

fileStream может принимать любой тип файла поскольку вы можете предоставить класс входного формата, который может преобразовать его в записи. Чтобы быть полезным, вход должен быть расщепляемым и легко разобрать без чтения целого файла, но он не должен иметь до тех пор, пока вы можете принять штраф за производительность.