Получение определенной информации из текстового файла

Question

У меня есть ~ 7Mb текстовый файл, который нужно извлечь некоторую информацию и содержит много примеров подобного формата в:

  "name": "Riki's Dagger", 
      "defindex": 0, 
      "item_class": "dota_item_wearable", 
      "item_type_name": "#DOTA_WearableType_Daggers", 
      "item_name": "#DOTA_Item_Rikis_Dagger", 
      "proper_name": false, 
      "item_quality": 0, 
      "image_inventory": null, 
      "min_ilevel": 1, 
      "max_ilevel": 1, 
      "image_url": "", 
      "image_url_large": "", 

Я хочу, чтобы извлечь имя и defindex, убедитесь, что этот экземпляр имеет/не содержит некоторых ключевых слов, а затем помещает его в новый текстовый файл, чтобы потом использовать его. Мой план состоял в том, чтобы искать файл для каждого экземпляра «name» (с кавычками) и устанавливать все содержимое перед следующим экземпляром «name» для переменной с именем current. Затем оттуда найдите текущую строку для необходимой мне информации. Это лучший способ сделать это и как я буду заниматься этим? Должен ли я использовать Regex или слишком большой файл? Некоторое направление будет высоко оценено.

Это то, что я до сих пор:

using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Text; 
using System.Data; 
using System.IO; 

namespace ConsoleApplication1 
{ 
    class Test 
    { 
     static void Main(string[] args) 
      { 
      string ingameschemaFilePath = @"C:\Users\Andrew\Documents\GitHub\SteamBot\Bin\Debug\ingameschema.txt"; 
      string dota2schemaFilePath = @"C:\Users\Andrew\Documents\GitHub\SteamBot\Bin\Debug\dota2schema.txt"; 
      string schemaFilePath = @"C:\Users\Andrew\Documents\GitHub\SteamBot\Bin\Debug\schema.txt"; 

      string[] ingameschema = File.ReadAllLines(ingameschemaFilePath); 
      string[] dota2schema = File.ReadAllLines(dota2schemaFilePath); 
      string[] current = null; 
      string[] name = null; 
      string[] defindex = null; 
      string[] rarity = null; 

      using (TextWriter textWriter = new StreamWriter(schemaFilePath)) 
      { 
       foreach (//search for "name"->"name" segment here) 
       { 
        // if current.Contains("dota_item_wearable") == false, current.Contains("announcer", "courier", "ward", "egg", "costume", "HUD", "smeevil", "taunt", "bait", "lure", "bundle") == true, 
        //   break 
        } 
       } 
      System.Console.WriteLine("Press any key to exit."); 
      System.Console.ReadKey(); 
    } 
    } 
} 

Answer 1

Я думаю, вы должны использовать StreamReader читать построчно из текстового файла, а затем найти нужную информацию в этой строке.

Существует только проблема, если вы сохраняете часть файла до тех пор, пока не закончите читать его, тогда вы можете столкнуться с проблемами памяти (но вы удивитесь, насколько велики вы можете позволить спискам & Словари до вас закончилась нехватка памяти)

Что вам нужно сделать, это сохранить обработанные данные, как только сможете, и не хранить их в памяти (или сохранить как можно меньше в памяти).

Answer 2

Один из подходов, который вы можете рассмотреть, заключается в том, чтобы поместить источник в какую-то коллекцию на основе словаря, которую вы можете затем запросить клавишами, заинтересованными для этого элемента.

Пример

static void Main(string[] args) 
    { 
     string sourcefile = @"C:\test\source.txt"; 
     string outputfile = @"C:\test\output.txt"; 

     string[] source = File.ReadAllLines(sourcefile); 

     // The list would represent the collection of all the items 
     List<NameValueCollection> list = new List<NameValueCollection>(); 

     // Each nvc would represent the collection of attributes for that item 
     NameValueCollection nvc = null; 

     foreach (string s in source) 
     { 
      //Split your string into its key and value 
      string[] nv = s.Split(':'); 

      //If the key is name you have finished your previous item, and will it to the list and start a new one 
      if (nv[0] == "name") 
      { 
       if (nvc != null) 
        list.Add(nvc); 

       nvc = new NameValueCollection(); 
      } 
      // Add your attribute and value to the items attribute collection 
      nvc.Add(nv[0], nv[1]); 
     } 
    } 

7mb немного большим, но с сегодняшней памяти, вы должны быть в порядке. Если это станет проблемой, вы можете вместо этого использовать ReadLine из объекта Stream, который будет загружать каждую строку в память по одному за раз.

Дайте мне знать, если это вообще поможет.