В настоящее время я пытаюсь написать сайт для тестирования/обучения, который будет обернут вокруг IMDB datasets that are dumped.Организация ночных IMDB дампов в структурированные данные
У меня возникли проблемы с определением наилучшего способа извлечения данных в формат, который проще в управлении. Мне нужно будет извлекать данные из нескольких файлов:
- movies.list = списка фильмов всех фильмов и года производства
- MPAA-оценка-reasons.list = рейтинги MPAA
- обкатка times.list = Время работы
Данные в этих таблицах связаны уникальным именем, которое присваивается каждой строке. По сути, мне нужно будет объединить строки каждого из этих текстовых файлов вместе, используя уникальное имя. После этого мне нужно будет проанализировать данные, которые мне нужны, из фактического уникального имени, так как название фильма явно не указано. Уникальное имя также указывает, является ли запись видеоиграми или телешоу, на которые я не буду собирать данные.
Вытягивание данных из этих уникальных определителей имен, скорее всего, будет кошмаром Regex, но я больше обеспокоен тем, что лучший способ для фактической группировки текстовых файлов в управляемый формат где-нибудь ... Должен ли я ...
- Вытяните данные в промежуточные таблицы на сервере SQL, а затем напишите отдельную часть в моем приложении, чтобы присоединиться к таблицам и собрать все вместе?
- Загрузите строки из текстовых файлов в таблицу данных .NET и выполните мою обработку таким образом?
- При этом я собираюсь вызвать кошмар памяти для коробки, в которой работает это приложение?
- Другая альтернатива?
На боковой ноте файл movie.list содержит более 1 миллиона строк данных.
Заранее за вашу помощь.
Крис