У меня есть данные электронной почты в формате XML, и я пытаюсь загрузить это в несколько таблиц SAS. Структура XML не является плоской и имеет несколько уровней в иерархии. Из этого XML-файла я хочу создать несколько таблиц SAS (например, Sender, Recipients, Attachments, Email Body и Metadata ...). Очевидно, что для одного сообщения электронной почты будет один отправитель, одно сообщение электронной почты, но любое количество получателей и вложений. Для этого в настоящее время я использую файл XML Map для перевода данных в нужные мне таблицы.Чтение из XML в несколько таблиц SAS
Проблема заключается в том, что с помощью движка xmlv2 с файлом MAP кажется, что SAS читает XML-файл один раз для каждой таблицы, которую я хочу создать. Это создает проблему, так как это плохо масштабируется! Например, если у меня есть 200 ГБ XML-файлов и вы хотите создать 10 таблиц, я прочитаю 2TB данных для этого. Есть ли лучший способ обработки XML-файлов, так что мне нужно сделать только один проход файла, чтобы прочитать все данные в наборах данных SAS?
Заранее спасибо.
Как вы используете движок xmlv2 с файлом карты? IE, так что у вас есть 'libname xmlv2 myxmlf" blah.xml ";', теперь, что вы делаете, чтобы создать свои десять файлов? – Joe
Есть ли способ, которым вы можете предварительно обработать XML-файлы, чтобы объединить все их в один гигантский XML-файл. Таким образом, файл будет считываться только один раз за стол. Все еще не идеальный, но, возможно, работоспособный? –
Я использовал для импорта 4GB XML, и это заняло очень много времени. Вы можете рассмотреть предварительные данные перед импортом в SAS. – grotos