Stanford CoreNLP Annotators Thread safe?

Question

сайт Стэнфордского CoreNLP

http://nlp.stanford.edu/software/corenlp.shtml

списки десятков аннотаторами, которые работают как шарм. Я хотел бы использовать экземпляры аннотаторов для общих задач (lemmatization, tagging, parsing) несколькими потоками. Например, чтобы разделить обработку больших массивов (ГБ текста) на потоки или предоставить веб-службы.

В прошлом было обсуждено обращение к LocalThreads, которое, по моему мнению, использует один экземпляр аннотатора для каждого потока (таким образом избегая проблем, связанных с безопасностью потоков). Это вариант, но таким образом все файлы и ресурсы модели должны быть загружены в n раз.

Являются ли аннотаторы (или некоторые из них) потокобезопасными для использования? Я не мог найти ничего убедительного/официального в дискуссиях, документах или вопросах.

Answer 1

Да, аннотаторы предназначены для поточной защиты. Вы можете создать новую AnnotationPipeline (например, новый объект StanfordCoreNLP), а затем многие потоки могут передавать аннотации в этот конвейер без перезагрузки модели для каждого потока.