Запуск скриптов параллельно в рубине

Question

мне нужно конвертировать видео в 4 нити

Например, у меня есть активные модели Запись видео с названиями: video1, video2, Video3, Video4, Video5

Итак, мне нужно выполнить что-то вроде этого

bundle exec script/video_converter start 

Где скрипт будет обрабатывать непрореагировавших видео для 4 потоков, например

Video.where(state: 'unconverted').first.process 

Но если одно из 4 видеороликов преобразовано, следующее видео должно автоматически добавляться в поток

Какое это лучшее решение? Sidekiq gem? Демоны gem + Ruby Threads вручную?

Сейчас я использую этот скрипт:

THREAD_COUNT = 4 
SLEEP_TIME = 5 
logger = CONVERTATION_LOG 
spawns = [] 
loop do 
    videos = Video.where(state:'unconverted').limit(THREAD_COUNT).reorder("ID DESC") 
    videos.each do |video| 
    spawns << Spawnling.new do 
     result = video.process 
     if result.nil? 
     video.create_thumbnail! 
     else 
     video.failured! 
     end 
    end 
    end 
    Spawnling.wait(spawns) 
    sleep(SLEEP_TIME) 
end 

Но этот сценарий ждет 4 видео, и после того, как он занимает еще 4 видео. Я хочу, чтобы после преобразования одного из 4-го видео он будет автоматически добавлен в новый поток, который пуст.

Answer 1

Если ваша цель состоит в том, чтобы продолжать обрабатывать видео, используя только 4 потока (или что-то, что Спаполинг настроен для использования - поскольку он поддерживает fork и thread), тогда вы можете использовать Queue для очереди всех ваших видеозаписей, которые будут обработаны , порождают 4 потока и позволяют им обрабатывать записи один за другим, пока очередь не будет пустой.

require "rails" 
require "spawnling" 

# In your case, videos are read from DB, below array is for illustration 
videos = ["v1", "v2", "v3", "v4", "v5", "v6", "..."] 


THREAD_COUNT = 4 

spawns = [] 

q = Queue.new 

videos.each {|i| q.push(i) } 

THREAD_COUNT.times do 
    spawns << Spawnling.new do 
    until q.empty? do 
     v = q.pop 

     # simulate processing 
     puts "Processing video #{v}" 

     # simulate processing time 
     sleep(rand(10)) 
    end 
    end 
end 

Spawnling.wait(spawns) 

Этот ответ вдохновлен this answer

_{PS: Я добавил несколько указаний требуется и определенный videos массив, чтобы сделать выше кода самодостаточным работает, например.}