Я очень смущаюсь по поводу этих двух. Я знаю, что акула такая же, как улей, в 100 раз быстрее, работа на искру. Я хочу знать основное различие между искрами и акулой. Что лучше означает быстрее.Что лучше с точки зрения скорости, акулы или искры
Когда я должен использовать искру или когда акула ?????
Spark - это основа для распределенной обработки данных, вы можете написать свой код в Scala, Java и Python. Shark был переименован в SparkSQL, и это какой-то механизм SQL поверх Spark - вы пишете SQL-запросы, и они выполняются с использованием инфраструктуры Spark.
Вот Спарк руководство по программированию: https://spark.apache.org/docs/latest/programming-guide.html Вот Спарк SQL руководство: https://spark.apache.org/docs/latest/sql-programming-guide.html
Так что, если вы пишете запрос Спарк SQL, он будет преобразован в Спарк код и казнены, а это означает, что в целом вы можете написать Спарк код, который будет работать с той же скоростью или быстрее, чем Spark SQL-запрос
Можно ли сказать, что искра такая же, как hadoop ??? –
Использование искры в данных памяти, так что это быстрее, чем hadoop. но когда данные будут в Tb, тогда ... –
Нет. И Spark и Hadoop MapReduce являются средами для распределенной обработки данных, но они разные. И Hadoop - это не только MapReduce, но и большая экосистема продуктов на основе HDFS, YARN и MapReduce. То же самое касается Spark, у вас есть SparkSQL, Spark Streaming, MLlib, GraphX, Bagel. Общие различия между Spark и MR заключаются в том, что Spark обеспечивает быстрый обмен данными, сохраняя все данные в памяти по умолчанию и позволяя графы общей обработки данных. MapReduce всегда 2 шага - карта и сокращение, в то время как в Spark может быть много карт, многие уменьшаются, groupbys, объединения и т. Д. – 0x0FFF