Какие технологии DFS существуют для высокоскоростного доступа (скажем, 10000 удаленных потоков в локальной сети 1 gbs) из 1 000 000 файлов, которые находятся только в диапазоне размера MB, но DSF должен обеспечивать высокий поток одновременных потоков для пользователей?Распределенная файловая система для высокоскоростного доступа к небольшим файлам
Общие файловые системы HPC, такие как Luster или GPFS, часто не обеспечивают хорошую поддержку сценария, который вы описываете, а оптимизированы с высокой пропускной способностью при больших доступа к файлам. В контексте HPC вам следует рассмотреть возможность использования промежуточного программного обеспечения IO, такого как MPI-IO или высокоуровневых IO-библиотек, таких как HDF5, а не для непосредственного взаимодействия с файловой системой. Эти библиотеки могут скрыть сложность оптимизации доступа к конкретным файловым системам из вашего приложения, что подходит, зависит от структуры вашего сценария приложения.
С другой стороны, для высококонкурентных и неструктурированных небольших доступов вы можете ознакомиться с облачными технологиями, например. Google Filesystem, распределенные хранилища ключевых значений, Cassandra, чтобы дать несколько указателей для дальнейших исследований.
Общий подход к абстракции и доступу к файлам (интерфейс POSIX) не был разработан для высококонкурентного доступа, что затрудняет согласование с интерфейсом и обеспечивает высокую параллельность одновременно.
Если вы хотите получить более конкретные рекомендации по подходящей технологии, предоставьте более подробную информацию о вашем прецеденте (-ах).