Проблема с бесконечным циклом при чтении из файла

Question

Я пишу программу на C# для чтения из файла и выводя в файл csv все уникальные слова и количество вхождений в файле для каждого слова. Моя проблема в том, что когда я пытаюсь запустить свою программу, я никогда не выхожу из своего цикла while, который идет по строкам.

public override List<WordEntry> GetWordCount() 
{ 
     List<WordEntry> words = new List<WordEntry>(); 
     WordEntry wordEntry = new WordEntry(); 
     //string[] tokens = null; 
     string line, temp, getword; 
     int count = 0, index = 0; 
     long number; 

     while ((line = input.ReadLine()) != null) 
     { 
      if (line == null) 
       Debug.Write("shouldnt happen"); 
      char[] delimit = { ' ', ',' }; 
      string[] tokens = line.Split(delimit); 

      if (words.Count == 0) 
      { 
       wordEntry.Word = tokens[0]; 
       wordEntry.WordCount = 1; 
       words.Add(wordEntry); 
      }//end if 

      for (int i = 0; i < tokens.Length; i++) 
      { 
       for (int j = 0; j < words.Count; j++) 
       { 
        if (tokens[i] == words[j].Word) 
        { 
         number = words[j].WordCount; 
         number++; 
         getword = words[j].Word; 
         wordEntry.WordCount = number; 
         wordEntry.Word = getword; 
         words.RemoveAt(j); 
         words.Insert(j, wordEntry); 
        }//end if 
        else 
        { 
         wordEntry.Word = tokens[i]; 
         wordEntry.WordCount = 1; 
         words.Add(wordEntry); 
        }//end else 
       }//end for 
      }//end for 
     }//end while 
     return words; 
} 

Он застревает в цикле while, как будто он никогда не доходит до конца файла. Файл составляет 2,6 МБ, чтобы он мог довести его до конца.

Answer 1

Вот как вы можете переписать свой код, чтобы использовать словарь.

var words = new Dictionary<string,int>(); 

while ((line = input.ReadLine()) != null) 
{ 
    if (line == null) 
     Debug.Write("shouldnt happen"); 
    char[] delimit = { ' ', ',' }; 
    string[] tokens = line.Split(delimit); 

    foreach (var word in tokens) 
    { 
     if(words.ContainsKey(word)) 
      words[word]++; 
     else 
      words.Add(word, 1); 
    } 
} 

Это уменьшает сложность кода, потому что словарь содержит поиск по O (1).

EDIT

Вы можете конвертировать словарь в List<WordEntry> как это.

return words 
    .Select(kvp => new WorkEntry 
     { 
      Word = kvp.Key, 
      WordCount = kvp.Value 
     }) 
    .ToList(); 

Answer 2

Я предполагаю, что на самом деле ваш код не выходит из «for (int j = 0; j < words.Count; j ++)», потому что новые элементы сохраняются в списке слов.