Лучший способ хранения больших демографических наборов данных

Question

Мне нужно хранить множество демографических данных, которые я собираю для своих исследований в базе данных. Я пытаюсь выяснить, что было бы хорошим решением для хранения данных, таких, как это:

http://factfinder2.census.gov/faces/tableservices/jsf/pages/productview.xhtml?pid=ACS_11_3YR_S0201&prodType=table

Моя цель состоит в том, чтобы сохранить все эти данные таким образом, что я могу извлекать разделы данных, когда мне нужно , Секция данных, которые мне интересны, - это часть данных «Секс и возраст» или часть «Домашние хозяйства по типу».

Я новичок в разработке таблиц базы данных и тому подобных. Может ли кто-нибудь помочь мне в этом отношении?

Разъяснение:

• Моя проблема здесь не то, что данные огромна. Проблема, которую я испытываю, состоит в том, что данные, которые я собираю, очень разнообразны. Мне интересно, должен ли я распространять каждый из них в разных таблицах. Должен ли я иметь один стол для категории «Секс и возраст», а другой для категории «Домашний по типу»?
• И еще одна проблема - это информация метаданных. Мне нужно знать информацию, которая классифицирует то, что является источником этого набора данных и т. Д.
• В настоящий момент точки данных могут не отображаться в миллионах. Мне может потребоваться хранить эту информацию на государственном уровне. Моим приоритетом было бы то, что данные должны быть легко загружены. Сохранение информации с одной страницы, например, одной из ссылок выше по нескольким таблицам, заключается в том, что было бы довольно сложно сместить данные вместе. Также вспомнить, что было в том, что было бы нелегко.

Нужно ли кому-либо еще хранить данные? Какое решение сработало для вас лучше всего?

Answer 1

Хотя ваш вопрос довольно расплывчатый, я думаю, что «большой», вы имеете в виду несколько миллионов строк. Если ваш размер данных ограничен такими цифрами, вы можете просто создать базу данных и сбросить данные. Поскольку вы также помечаете OLAP для этой цели, вам может быть интересно создать куб OLAP или что-то подобное. Вы должны собирать данные, может быть в формате txt, CSV-файле, файле excel или что-либо подобное. Вы также можете использовать bcp для экспорта/импорта объемных данных. См. Это link. Кроме того, вы можете сбросить эти данные в SQL Sever (или любой другой, который вам нравится). Создайте таблицу (ы), а затем, если вы хотите создать куб OLAP, создайте таблицы измерений и фактов. Создайте куб OLAP. Всякий раз, когда вам нужны данные, относящиеся к вашей точке интереса, просмотрите свой куб. Если вас интересует только поиск данных, вы можете легко запросить свою реляционную базу данных. Надеюсь, это поможет вам отредактировать ваш вопрос.