Как сделать многопоточное приложение с циклом foreach

Question

У вас есть приложение, которое сортирует большой файл txt по некоторым условиям. Мне нужно запустить, например, 5 потоков, но я читаю строки за строкой из файла с помощью цикла foreach. И если я запустил 5 потоков с моим кодом, все потоки будут принимать одинаковые строки.

Вот мой код, где я начала 1 Тема:

Thread[] thr; 
    private void button1_Click(object sender, EventArgs e) 
    { 
     button1.Enabled = false; 
     button4.Enabled = true; 
     decimal value = 1; 
     int i = 0; 
     int j = (int)(value); 
     thr = new Thread[j]; 
     for (; i < j; i++) 
     { 
      thr[i] = new Thread(new ThreadStart(go)); 
      thr[i].IsBackground = true; 
      thr[i].Start(); 
     } 
    } 

    private static IEnumerable<string> ReadLineFromFile(TextReader fileReader) 
    { 
     using (fileReader) 
     { 
      string currentLine; 
      while ((currentLine = fileReader.ReadLine()) != null) 
      { 
       yield return currentLine; 
      } 
     } 
    } 


    public void go() 
    { 
     while (true) 
     { 
      TextReader readFile = new StreamReader(file_path, System.Text.Encoding.UTF8, true); 
      foreach (string line in ReadLineFromFile(readFile)) 
      { 
       if (line.Split(':')[0].Contains("@")) 
       { 
        string out_line = line.Split(':')[0].Replace("+", "") + ":" + line.Split(':')[1]; 
        lock (locker) 
        { 
         mail_count++; 
         log_mail(mail_count); 
         mail.Add(out_line.Trim().Replace(";", ":")); 
        } 
       } 
       else 
       { 
        string out_line = line.Split(':')[0].Replace("+", "") + ":" + line.Split(':')[1]; 
        lock (locker) 
        { 
         rubbish_count++; 
         log_rubbish(rubbish_count); 
         rubbish.Add(out_line.Trim()); 
        } 
       } 
      } 
      MessageBox.Show("Ready"); 
      BeginInvoke(
      new MethodInvoker(() => 
      { 
       button1.Enabled = true; 
       button4.Enabled = false; 
      })); 
      break; 
     } 
    } 

Answer 1

Почему не происходит с обычной схеме производитель-потребитель? Создайте один файл для чтения нитей, поместите строки в какую-либо общую коллекцию, а другие потоки просто выбирают данные из коллекции и обрабатывают ее.

Подробнее - вы можете прочитать из файла и для каждой строки создать Task, который позаботится об обработке этой строки и поместит результат в выходную коллекцию.

Это кажется более чем 5 нитями, пытаясь прочитать один и тот же файл и не читая одну и ту же строку несколько раз.

Answer 2

Невозможно использовать все потоки для чтения одного и того же файла, и чтение из общего файла затруднено и неэффективно.

В вашей основной функции, вам нужно будет что-то вроде:

Parallel.ForEach(System.IO.File.ReadLines(file_path, System.Text.Encoding.UTF8), 
    line => ProcessOneLine(line) 
); 

, а затем ProcessOneLine бы сделать .Split(':') и т.д.

Answer 3

Я хотел бы подтвердить и расширить то, что сказал Пако. Другие потоки должны использовать данные из общей коллекции, содержащей данные, и обрабатывать ее.

Наличие нескольких потоков доступа к текстовому файлу звучит как потенциальная возможность для условий гонки. По существу непредсказуемые результаты могут возникать, если поток изменяет файл, в то время как из него читает другой поток.

Я также испытал BSOD в прошлом при использовании нескольких потоков, которые обращаются к одному и тому же текстовому файлу и могут рекомендовать против него. Однако, если вы настаиваете на этом, я бы рекомендовал вам взглянуть на ключевое слово «lock» и шаблон дизайна singleton. Это позволит вам убедиться, что только один поток обращается к файлу за раз.

Ссылки по теме:

http://msdn.microsoft.com/en-us/library/c5kehkcz(v=vs.80).aspx http://en.wikipedia.org/wiki/Singleton_pattern

http://en.wikipedia.org/wiki/Double-checked_locking