Transform Flat File без разделителей

Question

Я хотел бы преобразовать плоский файл test.txt в плоский файл test-output.txt.

Ниже схема:

---

ПРИМЕР ВХОД: test.txt

COD/ID:37 
PRJ/NAME: Josephy Murphy 
PRJ/EMAIL: jmurphy@email.com 
PRJ/DESCRIPTION: test37, test37, test37 ... 

COD/ID:38 
PRJ/NAME: Paul Newman 
PRJ/EMAIL: pnewman@email.com 
PRJ/DESCRIPTION: test38, test38, test38 ... 

. 
. 

---

Пример вывод: тест-output.txt (труба с разделителями без меток)

37|Josephy Murphy|jmurphy@email.com|test37, test37, test37 ... 
38|Paul Newman|pnewman@email.com|test38, test38, test38 ... 
. 
. 

---

ссылки на скриншоты:
test.txt
test-output.txt

Я хочу, чтобы импортировать этот файл в SQL Server. Но файл test.txt (15 000 000 строк) не используется по умолчанию для импорта с разделителями.

Я буду использовать SSIS для импорта данных, но должен быть в формате CSV или другом формате с разделителями.

Я думал об использовании компонента REGEX или SSIS Script. Я знаю процедуру импорта с помощью файлов SSIS с форматированным текстом, но этот файл не отформатирован.

Answer 1

С Regex, например:

class Program 
    { 
     private static Regex reg = new Regex(@"COD/ID:\s(?<id>\d+)\r\nPRJ/NAME:\s(?<name>.+?)\r\nPRJ/EMAIL:\s(?<email>\S+?@\S+?\.\S+?)\r\nPRJ/DESCRIPTION:\s(?<description>.*?)(?:\n|$)"); 

     static void Main(string[] args) 
     { 
      string original = @" 
COD/ID: 37 
PRJ/NAME: Josephy Murphy 
PRJ/EMAIL: jmurphy@email.com 
PRJ/DESCRIPTION: test37, test37, test37 ... 

COD/ID: 38 
PRJ/NAME: Paul Newman 
PRJ/EMAIL: pnewman@email.com 
PRJ/DESCRIPTION: test38, test38, test38 ..."; 


      string result = string.Join(
       "\n", 
       reg.Matches(original) 
       .Cast<Match>() 
       .Select(m => string.Format("{0}|{1}|{2}|{3}",m.Groups["id"].Value,m.Groups["name"].Value,m.Groups["email"].Value,m.Groups["description"].Value))); 
      Console.WriteLine(result); 
     } 
    } 

Редактировать

class Program 
{ 
    private static Regex reg = new Regex(@"COD/ID:\s(?<id>\d+)\r\nPRJ/NAME:\s(?<name>.+?)\r\nPRJ/EMAIL:\s(?<email>\S+?@\S+?\.\S+?)\r\nPRJ/DESCRIPTION:\s(?<description>.*?)\r\n"); 

    static void Main(string[] args) 
    { 
     StringBuilder intermediateStringBuilder = new StringBuilder(); 

     using (StreamReader reader = new StreamReader(@"YourInputPath.txt",true)) 
     {    
      using (StreamWriter writer = new StreamWriter("YourOutputPath.txt")) 
      { 
       while (reader.Peek() > 0) 
       { 
        string line = reader.ReadLine(); 
        if (!string.IsNullOrWhiteSpace(line)) 
        { 
         intermediateStringBuilder.AppendLine(line); 
        } 
        else 
        { 
         WriteToFile(intermediateStringBuilder, writer); 
        } 
       } 
       WriteToFile(intermediateStringBuilder,writer); 
      } 
     } 
    } 

    private static void WriteToFile(StringBuilder intermediateStringBuilder, StreamWriter writer) 
    { 
     Match m = reg.Match(intermediateStringBuilder.ToString()); 
     writer.WriteLine("{0}|{1}|{2}|{3}", m.Groups["id"].Value, m.Groups["name"].Value, m.Groups["email"].Value, m.Groups["description"].Value); 
     intermediateStringBuilder.Clear(); 
    } 
} 

Answer 2

Вы можете сделать это без регулярных выражений в данном случае, поскольку контекст известно.

Используйте это:

public class EntryN 
{ 
    public string id { get; set; } 
    public string name { get; set; } 
    public string email { get; set; } 
    public string description { get; set; } 

    public EntryN() 
    { 
     this.id = this.name = this.email = this.description = string.Empty; 
    } 
    public string ToLine() 
    { 
     return this.id + "|" + this.name + "|" + this.email + "|" + this.description; 
    } 
} 

var entries = new List<EntryN>(); 
using (var sl = new StreamReader(@"c:\YOURPATH.txt", true)) 
{ 
    var entry = new EntryN(); 
    var line = string.Empty; 
    while ((line = sl.ReadLine()) != null) 
    { 
     if (line.StartsWith("COD/ID:")) 
      entry.id = line.Substring(8).Trim(); 
     else if (line.StartsWith("PRJ/NAME:")) 
      entry.name = line.Substring(10).Trim(); 
     else if (line.StartsWith("PRJ/EMAIL")) 
      entry.email = line.Substring(11).Trim(); 
     else if (line.StartsWith("PRJ/DESCRIPTION")) 
      entry.description = line.Substring(17).Trim(); 
     else if (line.Trim() == string.Empty) 
     { 
      entries.Add(entry); 
      entry = new EntryN(); 
     } 
    } 
    if (!entry.Equals(new EntryN())) 
     entries.Add(entry); 
    sl.Close(); 
} 

var resulted = entries.Select(p => p.ToLine()).ToList(); 

Выход:

EDIT: Другой код без отдельного класса, который будет писать напрямую, без создания дополнительных строк:

var id = string.Empty; 
var name = string.Empty; 
var email = string.Empty; 
var description = string.Empty; 
using (var sw = new StreamWriter(@"OUTPUT_FILE", false, Encoding.UTF8)) 
{ 
    using (var sl = new StreamReader(@"INPUT_FILE", true)) 
    { 
     var line = string.Empty; 
     while ((line = sl.ReadLine()) != null) 
     { 
      if (line.StartsWith("COD/ID:")) 
       id = line.Substring(8).Trim(); 
      else if (line.StartsWith("PRJ/NAME:")) 
       name = line.Substring(10).Trim(); 
      else if (line.StartsWith("PRJ/EMAIL")) 
       email = line.Substring(11).Trim(); 
      else if (line.StartsWith("PRJ/DESCRIPTION")) 
       description = line.Substring(17).Trim(); 
      else if (line.Trim() == string.Empty) 
      { 
       sw.WriteLine(string.Format("{0}|{1}|{2}|{3}", id, name, email, description)); 
       id = name = email = description = string.Empty; 
      } 
     } 
     if (!new string[] {id, name, email, description}.Any(p => string.IsNullOrWhiteSpace(p))) 
      sw.WriteLine(string.Format("{0}|{1}|{2}|{3}", id, name, email, description)); 
     sl.Close(); 
    } 
    sw.Close(); 
}