Несколько работников в инструменте командной строки Swift

Question

При написании инструмента командной строки (CLT) в Swift я хочу обработать много данных. Я решил, что мой код связан с процессором, и производительность может выиграть от использования нескольких ядер. Поэтому я хочу распараллелить части кода. Скажем, я хочу, чтобы достичь следующего псевдокода:

Fetch items from database 
Divide items in X chunks 
Process chunks in parallel 
Wait for chunks to finish 
Do some other processing (single-thread) 

Теперь я использую НОД и наивный подход будет выглядеть следующим образом:

let group = dispatch_group_create() 
let queue = dispatch_queue_create("", DISPATCH_QUEUE_CONCURRENT) 
for chunk in chunks { 
    dispatch_group_async(group, queue) { 
     worker(chunk) 
    } 
} 
dispatch_group_wait(group, DISPATCH_TIME_FOREVER) 

Однако НОД требует цикла выполнения, так код будет зависать, поскольку группа никогда не выполняется. Runloop можно запустить с dispatch_main(), но он никогда не выходит. Также можно запустить NSRunLoop всего несколько секунд, однако это не похоже на твердое решение. Независимо от GCD, как это можно достичь с помощью Swift?

Answer 1

я ошибочно интерпретирован фиксирующая нить для программы висящей. Работа будет выполняться просто отлично без цикла запуска. Код в вопросе будет работать нормально и блокирует основной поток до тех пор, пока вся группа не закончит.

Так говорят chunks содержит 4 элемента рабочей нагрузки, следующий код раскручивает 4 одновременных рабочих, а затем ждет всех рабочих, чтобы закончить:

let group = dispatch_group_create() 
let queue = dispatch_queue_create("", DISPATCH_QUEUE_CONCURRENT) 
for chunk in chunks { 
    dispatch_group_async(group, queue) { 
     do_work(chunk) 
    } 
} 
dispatch_group_wait(group, DISPATCH_TIME_FOREVER) 

Answer 2

Как и с CLI Objective-C, вы можете создать собственный цикл запуска, используя NSRunLoop.

Вот одна из возможных реализаций, созданные по образцу this gist:

class MainProcess { 
    var shouldExit = false 

    func start() { 
     // do your stuff here 
     // set shouldExit to true when you're done 
    } 
} 

println("Hello, World!") 

var runLoop : NSRunLoop 
var process : MainProcess 

autoreleasepool { 
    runLoop = NSRunLoop.currentRunLoop() 
    process = MainProcess() 

    process.start() 

    while (!process.shouldExit && (runLoop.runMode(NSDefaultRunLoopMode, beforeDate: NSDate(timeIntervalSinceNow: 2)))) { 
     // do nothing 
    } 
} 

Как Мартин отмечает, вы можете использовать NSDate.distantFuture() as NSDate вместо NSDate(timeIntervalSinceNow: 2). (Бросок необходимо, так как distantFuture() метод подписи указывает, что он возвращает AnyObject.)

Если вам необходимо получить доступ аргументы CLI see this answer. Вы также можете return exit codes using exit().

Answer 3

Я думаю CFRunLoop гораздо проще, чем NSRunLoop в этом случае

func main() { 
    /**** YOUR CODE START **/ 
    let group = dispatch_group_create() 
    let queue = dispatch_queue_create("", DISPATCH_QUEUE_CONCURRENT) 
    for chunk in chunks { 
     dispatch_group_async(group, queue) { 
      worker(chunk) 
     } 
    } 
    dispatch_group_wait(group, DISPATCH_TIME_FOREVER) 
    /**** END **/ 
} 


let runloop = CFRunLoopGetCurrent() 
CFRunLoopPerformBlock(runloop, kCFRunLoopDefaultMode) {() -> Void in 
    dispatch_async(dispatch_queue_create("main", nil)) { 
     main() 
     CFRunLoopStop(runloop) 
    } 
} 
CFRunLoopRun() 

Answer 4

Swift 3 минимальная реализация решения Aaron Brager:

var shouldExit = false 
doSomethingAsync() { _ in 
    defer { 
     shouldExit = true 
    } 
} 
autoreleasepool { 
    var runLoop = RunLoop.current 
    while (!shouldExit && (runLoop.run(mode: .defaultRunLoopMode, before: Date.distantFuture))) {} 
}