Как правильно преобразовать обычное приложение Python в версию PySpark

Question

Я начинающий для PySpark, недавно я попытался отправить простое приложение python (пакетное изменение размера) в мой искровой кластер. Я могу запустить приложение через pycharm успешно, и когда я подаю заявку на иск, изображения также будут изменены.

это мой исходный код Python:

import os 
from PIL import Image 
size_64 = (64,64) 

for f in os.listdir('.') 
    if f.endswith('.jpg'): 
     i = Image.open(f) 
     fn, fext = os.path.splitext(f) 
     i.thumbnail(size_64) 
     i.save('resize/{}_64'.format(fn, fext)) 

Тогда я превратил его так, что я думал, что я могу представить мой питон приложение правильно:

import os 
from PIL import Image 
from pyspark import SparkContext, SparkConf 

APP_NAME = "ImageResizer" 

def main(sc): 
    size_64 = (64,64) 
    for f in os.listdir('.') 
     if f.endswith('.jpg'): 
      i = Image.open(f) 
      fn, fext = os.path.splitext(f) 
      i.thumbnail(size_64) 
      i.save('resize/{}_64'.format(fn, fext)) 
print 'done' 

if __name__ == "__main__": 
    conf = SparkConf().setAppName(APP_NAME) 
    conf = conf.setMaster("spark://10.233.70.48:7077") 
    sc = SparkContext(conf=conf) 
    main(sc) 

Однако, мне сказали, что я фактически не использовал искру (я так думаю, но я просто не знаю, как). Мне интересно, как я могу правильно преобразовать исходный код в путь Pyspark.

Может ли кто-нибудь, кто знаком с pyspark, помочь мне? И любые предложения о том, где я могу правильно и систематически научиться писать приложения PySpark? Спасибо

Answer 1

Прямо сейчас вы не используете искру вообще. Вы просто используете SparkContext в качестве переменной, которую вы передаете своей основной функции (а затем ничего не делаете). Чтобы использовать PySpark, вам нужно переосмыслить свое приложение. Такие команды, как os.listdir('.'), работают нормально на одной машине, но если вы запустите ее на кластере компьютеров, в котором каталог ссылается на .? Машина, на которой была отправлена ​​работа? Локальный каталог на каждой машине? Общий сетевой диск? Если вы просто работаете на одной машине (для тестов достаточно много). Вы можете начать использовать Spark, просто распараллеливая список (превратите его в RDD). Затем можно применить операции на РДУ, как map, filter и reduce

s_list = sc.parallelize(os.listdir('.')) 
s_jpg_list = s_list.filter(lambda f: f.endswith('.jpg')) 
def resize_image(f): 
    i = Image.open(f) 
    size_64 = (64,64) 
    fn, fext = os.path.splitext(f) 
    i.thumbnail(size_64) 
    out_path = 'resize/{}_64'.format(fn, fext) 
    i.save(out_path) 
    return out_path 
s_jpg_files = s_jpg_list.map(resize_image) 
print('Converted Images:', s_jpg_files.collect()) 

Answer 2

но изображения не изменяются - это не то же самое, что и сбой приложения. Когда приложение отправлено, он использует рабочий каталог приложения. Там не будет никаких файлов для обработки, и он существует без каких-либо работ.