Почему моя Spark работает медленнее, чем чистый Python? Сравнение производительности

Question

Spark новичок здесь. Я попытался выполнить какое-то действие pandas на моем фрейме данных, используя Spark, и, на удивление, он медленнее, чем чистый Python (т. Е. Использует пакет pandas в Python). Вот что я сделал:

1) В Спарк:

Она занимает около 30 секунд, чтобы получить результаты обратно. Но использование Python занимает около 1 секунды.

2) В Спарк:

sqlContext.sql("SELECT gender, count(*) FROM train GROUP BY gender").show() 

То же самое, занимает около 30 сек в Спарк, 1 сек в Python.

несколько возможных причин моя искра гораздо медленнее, чем чистый Python:

1) Мой набор данных составляет около 220 000 записей, 24 МБ, и это не достаточно большой набор данных, чтобы показать преимущества масштабирования Спарк.

2) Моя искра работает локально, и я должен запускать ее в чем-то вроде Amazon EC.

3) Запуск локально в порядке, но моя вычислительная способность просто не режет его. Это 8-гигабайтный RAM 2015 Macbook.

4) Spark медленный, потому что я запускаю Python. Если я использую Scala, было бы намного лучше. (Кон. Аргумент: я слышал, что многие люди используют PySpark просто отлично.)

Какой из них, скорее всего, является причиной или самым правдоподобным объяснением? Мне бы хотелось услышать от экспертов Spark. Большое спасибо!!

Answer 1

Python, безусловно, будет работать лучше по сравнению с pyspark на небольших наборах данных. Вы увидите разницу, когда имеете дело с большими наборами данных.

По умолчанию при запуске искры в контексте SQL Context или Hive Context он будет использовать по умолчанию 200 разделов. Вам нужно изменить его на 10 или на какое-либо значение с помощью sqlContext.sql("set spark.sql.shuffle.partitions=10");. Это будет определенно быстрее, чем с дефолтом.

1) Мой набор данных о 220 000 записей, 24 МБ, и это не является большой достаточно набора данных, чтобы показать преимущества масштабирования Спарк.

Вы правы, вы не увидите большой разницы в более низких объемах. Искра также может быть медленнее.

2) Моя искра работает локально, и я должен запустить ее в чем-то вроде Amazon EC вместо этого.

Для вашего тома это может не сильно помочь.

3) Запуск на месте - это нормально, но моя вычислительная мощность просто не обрезает . Это 8-гигабайтный RAM 2015 Macbook.

Опять же, это не имеет значения для набора данных 20 МБ.

4) Spark медленный, потому что я запускаю Python. Если я использую Scala, то он будет намного лучше, чем . (Кон-аргумент: я слышал, что многие люди используют PySpark просто отлично.)

На самостоятельном уровне будет разница. У Python больше времени на выполнение, чем на scala, но в более крупном кластере с распределенной возможностью не обязательно