Как ограничить количество обрабатываемых записей в пакете SSIS?

Question

У меня есть таблица с записями 7M. Я хочу обрезать до 10k для dev. Я попробовал удалить, но весь мир был почти перегружен размером журнала транзакций, поэтому я усекал таблицу.

Теперь я хочу вставить записи 10k из исходной таблицы в таблицу dev, но у нее есть столбец идентификаторов и множество других столбцов, поэтому я подумал, что попробую SSIS (через мастер) , который отлично справляется с идентификацией, но не дает мне места для редактирования запроса. Поэтому я быстро сделал представление с верхним предложением и изменил свойство RowSet источника на представление. Теперь все терпит неудачу, потому что ничего не видит в представлении, хотя я скопировал и вставил имя вида из моего оператора представления представления, который не срабатывает второй раз, потому что, действительно, представление действительно существует.

Определяет ли SSIS, какие объекты БД используются при создании пакета, что исключает новое представление, и если да, то как я могу его обновить?

Answer 1

Нет необходимости использовать SSIS для этого. Вы должны иметь возможность вставлять записи, используя SQL. Во-первых, вам нужно установить IDENTITY_INSERT для включения. Затем, вы должны быть в состоянии выполнить что-то вроде этого:

SET IDENTITY_INSERT db.schema.dev_table ON

INSERT INTO dev_table Выбор TOP (10000) * FROM prod_table

Answer 2

Вы пытались закрыть и снова открыть пакет? Я бы не ожидал, что вам придется это делать. Моей первой мыслью было бы это проблема безопасности - вы не предоставили себе выбор на нем.

Answer 3

Вы используете полное имя для просмотра? У Doe sit есть другой владелец, чем владелец по умолчанию? Откройте источник данных и сделайте предварительный просмотр данных, чтобы убедиться, что все подключено.

Answer 4

Ed является правильным, SSIS является излишеством для этой задачи - тем более, что вы только вставляете 10K записей.

Предполагая, что схема таблицы DEV идентична произведению, сценарий Ed отображается очень хорошо.

Если схема отличается, вы можете указать столбцы конкретно - включая столбец идентификатора (помните, чтобы после этого установить идентификатор вставки OFF). Например:

SET IDENTITY_INSERT dbo.dev_table ON 
INSERT INTO dev_table (Id, Col1,Col2,Col3,Col4) 
SELECT TOP 10000 Id, Col1, Col2, Col3, Col4 FROM prod_table 
SET IDENTITY_INSERT dbo.dev_table OFF 

Answer 5

Можно также использовали контроль выборки строки, чтобы извлечь случайное число записей из общих данных, а не просто получать верхние 10000 строк. Это даст лучшую выборку для использования в разработке/тестировании, так как вы не будете разрабатывать против только 10000 самых старых (если ваш дистрибутив похож на большинство таблиц, которые я видел), а вместо этого выборки из всего вашего файла.