Мы должны хранить около 13 миллионов файлов и выполнять некоторые стандартные операции над файлами. Мы используем Windows. Первый вопрос: можем ли мы сохранить его в файловой системе? Общий размер файла составит около 6000 ТБ. Я проверяю gridfs на MongoDB. Я не знаю, хороший ли это подход. Мы будем использовать Java на сервере.
Если он может удобно хранить эти файлы, то какова будет производительность для извлечения файла и обслуживания его пользователю и операций, таких как переименование файлов, обновление метаданных и т. Д.
Нам также необходимо выполнить резервное копирование всех файлов во вторичное хранилище файловой системы позже. Но файлы в gridfs будут храниться в кусках. Итак, вопрос в том, как мы можем быстро получить все эти файлы и отправить их во вторичную файловую систему.
Пожалуйста, дайте мне знать подход, который я должен принять.13 миллионов файлов gridfs mongo
ответ
MongoDB - это веб-шкала, поэтому должно быть хорошо
Как резервное копирование всех файлов, хранящихся в gridfs, во вторичное хранилище файловой системы работать, легко ли это сделать? –
Обязательное сообщение NSFW: http://www.youtube.com/watch?v=b2F-DItXtZs. Кроме того, резервное копирование GridFS в другую файловую систему не очень интуитивно и, если вы храните файлы в Windows, извлечение их из базы данных GridFS сделает их нечитаемыми многими приложениями MS, такими как Word, Excel, Photoviewer. Если вы работаете в Linux, все должно быть в порядке. – PinkElephantsOnParade
- 1. Mongo: избегать дублирования файлов в gridfs
- 2. Mongo gridfs-stream
- 3. nginx mongo и gridfs bug
- 4. Несколько GridFS в базе данных Mongo и несколько файлов
- 5. String Mongo удалить все файлы из GridFs
- 6. Обновление 13 миллионов строк - SQL Server 2008
- 7. Поддерживает ли mongo-scala-драйвер GridFs?
- 8. Как использовать gridfs с mongo-cxx-драйвером
- 9. Как изменить размер изображения из mongo gridfs
- 10. Ссылка на файл Mongo document и gridfs
- 11. Mongo 2.6.x GridFS и драйвер java
- 12. Node.js, отображающий изображения из GridFS Mongo
- 13. серверная сторона Mongodb Сжатие файлов GridFS
- 14. Создайте собственные файлы_ид в mongo GridFs, используя PHP
- 15. ошибка получения файлов из gridfs
- 16. PHP + GridFS: Собственный id
- 17. Управление версиями файлов с помощью GridFS
- 18. Разбор миллионов небольших XML-файлов
- 19. ext производительность обработки миллионов файлов
- 20. Clojure: Группа-слишком медленно (файл 13 миллионов линий)
- 21. MongoDb и GridFS - любой вирусный риск при загрузке файлов?
- 22. Загрузить файл с помощью ng-file-upload и mongo gridfs
- 23. Slow Select Query В SqlServer сохраняется 13 миллионов записей из 60 миллионов записей из таблицы
- 24. Gridfs in mongodb
- 25. MongoDB GridFS Разъяснение
- 26. Хранить файл в GridFS Mongo с помощью ExpressJS после загрузки
- 27. Ошибка: не найдены фрагменты файла с Mongo gridFS
- 28. Как получить файл изображения из Mongo с помощью Sails.JS + GridFS?
- 29. Mongo GridFS Как удалить файлы старше установленной даты?
- 30. Render Image Сохранено в Mongo (GridFS) с Node + Jade + Express
@JeffFoster, все еще не уверен, какой путь следовать. Заглядывая в некоторые высокопроизводительные файловые системы, Ceph, Luster и т. Д. Я не очень разбираюсь в файловых системах. Является ли gridfs лучшим вариантом ...? –
@Vish Как написано Джеффом, это что-то для профессионала ... И не для «нормального» профессионала, вероятно ... Для pro pro :-) – xanatos