SSIS загрузка файла по условиям проверки

Question

• У меня есть 10 плоских файлов (формат .dat) в папке, которые необходимо загружать в базу данных каждый день в назначенное время.
• Вся информация, связанная с файлами, присутствует в базе данных, такой как имя файла, путь к файлу, имя таблицы, имена столбцов и разделитель.
• Нам нужно проверить, существует ли файл или нет, если нет, необходимо зарегистрировать запись «Файл не найден».
• Если файл существует, ему необходимо проверить запись трейлера (последняя запись в файле, в которой указано: Count = 00001000, это должно быть количество записей в этом конкретном файле).
• Если запись трейлера не существует, необходимо зарегистрировать запись «Нет записи трейлера». Если в записи трейлера указано нулевое значение, тогда запись в журнале должна быть сделана «Нулевой подсчет», а также, если подсчеты файл не соответствует записи в журнале, «Count несоответствие».
• Если все условия выполнены, данные необходимо загрузить в базу данных для каждого файла.

Просьба предложить свои идеи для реализации вышеуказанного сценария. Благодаря!!!

Answer 1

Следующее решение может помочь вам решить проблему.

Используйте для каждого контейнера с контуром "Item" enumerator. Поскольку у вас 10 файлов, и если что-то не хватает, вам нужно поднять, тогда вы должны это использовать. Перечислитель файлов просто перебирает файлы, не вызывает никаких ошибок.

Ниже приведены шаги.

Создайте следующий пакет SSIS с переменными.

1. FileFullPath
2. IsValidated

Для каждого перечислителем петли должны быть настроены как следующие скриншоты.

Configuartion в коллекции:

конфигурации в разделе Variable

Внутри контейнера есть задача сценария. вы должны упомянуть FileFullPath как переменную readonly и IsValidate как чтение и запись, как на следующем экране.

Нажмите кнопку Изменить сценарий и вставьте следующий код.

public void Main() 
{ 
     Dts.Variables["IsValidated"].Value = true; 

     string fileFullPath = Dts.Variables["FileFullPath"].Value.ToString(); 

      if (!File.Exists(fileFullPath)) 
      { 
        var msg = String.Format("File is not available in location : {0}", fileFullPath); 
        Dts.Events.FireError(0, "Dat file loading", msg, string.Empty, 0); 
        Dts.TaskResult = (int)ScriptResults.Failure; 
      } 

      //Read last line 
      String lstLine = File.ReadLines(fileFullPath).Last(); 

      int totalCount = 0; 
      bool talierExists = int.TryParse(lstLine, out totalCount); 

      if (!talierExists) 
      { 
        var msg = String.Format("No tailer row found and last line is : {0}", lstLine); 
        Dts.Events.FireError(0, "Dat file loading", msg, string.Empty, 0); 
        Dts.TaskResult = (int)ScriptResults.Failure; 
      } 

      //Total count 
      int fullCount = File.ReadLines(fileFullPath).Count(); 

      if (fullCount != totalCount) 
      { 
        var msg = String.Format("No of count is not matching, tailer count = {0} and full count={1}"); 
        Dts.Events.FireError(0, "Dat file loading", msg, string.Empty, 0); 
        Dts.TaskResult = (int)ScriptResults.Failure; 
      } 

      Dts.Variables["IsValidated"].Value = true; 

      Dts.TaskResult = (int)ScriptResults.Success; 
} 

После этого у вас есть поток данных. Подключите задачу сценария к потоку данных и щелкните правой кнопкой мыши на соединителе и перейдите к редактированию и настройке следующим образом.

Ваш пакет SSIS будет, как выглядит следующим образом.

Надеется, что это помогает!