Использование многопоточности в Java для чтения данных

Question

Я пытаюсь понять, как использовать потоки в моей программе. Прямо сейчас у меня есть однопоточная программа, которая читает один огромный файл. Очень простая программа, просто читается строка за строкой и собирает некоторые статистические данные о словах. Теперь я хотел бы использовать несколько потоков, чтобы сделать это быстрее. Я не уверен, как подойти к этому.

Одним из решений является разделение данных на X частей заранее, а затем есть потоки X, каждый из которых работает на одной части одновременно, с одним методом синхронизации для записи статистики в память. Есть ли лучший подход? в частности, я хотел бы избежать предварительного разделения данных заранее.

Спасибо!

Answer 1

Прежде всего, сделайте некоторое профилирование, чтобы убедиться, что ваш процесс на самом деле связан с вычислением, а не с привязкой ввода/вывода. То есть, ваш сбор статистики медленнее, чем доступ к файлу. В противном случае многопоточность будет медленной вашей программой, а не скоростью, особенно если вы работаете на одноядерном процессоре (или в старинном JVM).

Также подумайте: если ваш файл находится на жестком диске: как вы планируете читать? Вы рискуете добавить задержки на поиск жесткого диска в противном случае, остановив все потоки, которым удалось закончить свой кусок работы, в то время как один поток просит жесткий диск искать позицию 0x03457000 ...

Answer 2

Вы можете посмотреть на producer-consumer подход. Это классическая проблема с потоками, где один поток создает данные (в вашем случае тот, который читает файл), и записывает его в общий буфер, из которого другой поток считывает данные (потребитель), которые являются вашими потоками вычислений (некоторые Java examples).

Также посмотрите на Javas non-blocking IO.

Answer 3

Предположение о том, что доступ многопоточных диск быстрее может быть не так, как disguessed здесь: Directory walker on modern operating systems slower when it's multi-threaded?

Повышение эффективности может быть достигнуто путем чтения расщепления и обработки данных в отдельных потоках.

Но ждите, читайте файлы по очереди? Это не кажется оптимальным. Лучше читать их как поток символов (используя FileReader).

See this sun tutorial.

Answer 4

если ваша проблема I/O Bound, может быть, вы можете рассмотреть возможность разделения данных на несколько файлов и положить его в распределенной файловой системы, такие как Hadoop Filesystem (HDFS), а затем запустить Map/Reduce операцию по Это?