Когда я запускаю настройку pyspark, он создает ноутбук Jupyter, с которым я могу с радостью получить доступ в Интернете. Он также автоматически создает объекты, такие как «sc» и «spark» - контексты. Где я могу переопределить, как эти объекты инициализируются?Как установить контекст pyspark по умолчанию в jupyter ноутбуках?
0
A
ответ
0
Запустить чистое ядро python в jupyter. Затем добавить переменные среды для искры и pyspark и предварять sys.path
с pyspark LIBS, например:
import os, sys
os.environ['SPARK_HOME'] = '/home/mario/spark-2.1.0-bin-hadoop2.7'
os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[2] --driver-memory 2g pyspark-shell"
os.environ['PYSPARK_PYTHON'] = '/usr/bin/python3'
sys.path.insert(0, '/home/mario/spark-2.1.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip')
sys.path.insert(0, '/home/mario/spark-2.1.0-bin-hadoop2.7/python')
Затем вы можете настроить инициализацию искры внутри jupyter ячейки, например:
from pyspark.sql.session import SparkSession
spark = (SparkSession.builder
.appName('picapica')
.config('spark.speculation', 'true')
.getOrCreate())
Смежные вопросы
- 1. Запуск pySpark в ноутбуках Jupyter - Windows
- 2. Настроить первую ячейку по умолчанию в ноутбуках Jupyter
- 3. Jupyter Notebook rpy2 Rmagics: Как установить размер графика по умолчанию?
- 4. Как обернуть код/текст в ноутбуках Jupyter
- 5. В экспортированных ноутбуках Jupyter, как отключить ¶?
- 6. Как настроить размер отступа в моих ноутбуках Jupyter?
- 7. автозаполнение в Jupyter с pyspark & scala
- 8. Загрузите удлинитель ноутбука Jupyter по умолчанию
- 9. Как настроить команды запуска по умолчанию в ноутбуках iPython?
- 10. Как установить psycopg2 для использования в HDInsight PySpark Jupyter notebook
- 11. Установить контекст запроса на значение по умолчанию
- 12. Jupyter & PySpark: Как запустить несколько ноутбуков
- 13. Как установить среду по умолчанию для Anaconda/Jupyter?
- 14. Как распечатать pandas DataFrame полностью в ноутбуках jupyter?
- 15. Как автоматически загрузить профиль в ноутбуках IPython/Jupyter?
- 16. Настройка импорта по умолчанию Jupyter
- 17. добавления пакетов pyspark используя jupyter ноутбук
- 18. Как интегрировать pyspark на jupyter notebook
- 19. Настройка конфигурации по умолчанию для Jupyter QtConsole
- 20. Добавление пользовательских флягам pyspark в jupyter ноутбук
- 21. Как проверить работу Jupyter на ноутбуках через командную строку
- 22. Как распределить классы с PySpark и Jupyter
- 23. Где загружается команда% load filename.py в ноутбуках Jupyter?
- 24. Маркировка ссылки на ячейку кода/вывода в ноутбуках Jupyter?
- 25. сюжетные сюжеты в ноутбуках jupyter: валидация не сработала при сохранении
- 26. Установить контекст по умолчанию в платформе Zend для XML
- 27. Как установить spark.sql.parquet.output.committer.class в pyspark
- 28. Не удается запустить pyspark в Jupyter
- 29. PySpark SparkContext Имя Ошибка «sc» в jupyter
- 30. JQuery .closest контекст по умолчанию