PHP/MYSQL Хранить большие массивы данных в базе данных

Question

Я создаю платформу для сбора и анализа файлов «csv», которая содержит 5000 строк в среднем и 40 столбцов; файлы могут быть загружены любым зарегистрированным пользователем, поэтому теоретически не должно быть ограничений на количество файлов, которые могут быть загружены и сохранены (при условии, что у меня не более 20 загрузок в день). Этот файл анализируется с помощью специально созданного парсера PHP, который является очень эффективным, но здесь возникает проблема: хранение. В частности, я хотел бы сохранить эти данные в MySQL db для дальнейшего использования: как мне организовать мою базу данных? Должен ли я создавать таблицу, содержащую строку для каждого файла, в каждой ячейке, содержащей содержимое каждого столбца исходного файла? Или я должен вставить одну строку для каждой строки в файле? Первый из них кажется мне лучше из-за огромного количества строк, созданных вторым решением, но также менее эффективного, потому что в любое время, когда мне нужно извлечь какие-либо данные в базе данных, мне придется снова проанализировать весь блок, а затем извлечь данные, которые мне нужны

Учитывая, что я не могу хранить данные в массивах PHP из-за нехватки памяти, если одновременно подключено слишком много пользователей, что было бы лучшим решением в этом случае?

Answer 1

Поскольку все файлы имеют одинаковые столбцы, вы должны хранить их в одной таблице и добавлять еще один столбец (возможно, ссылаясь на вторую таблицу с одной строкой на загрузку), чтобы однозначно идентифицировать набор строк.

т.д .:

rowId, setId, col1, col2, ... 
1, 1, 'abc', 'def', ... 
2, 1, 'abc', 'def', ... 
3, 1, 'abc', 'def', ... 
4, 2, 'abc', 'def', ... 
5, 2, 'abc', 'def', ... 
6, 2, 'abc', 'def', ... 

Это то, что данные могут выглядеть для 2 комплекта из 3 строк каждая.