Элегантный способ анализа файлов данных для моделирования

Question

Я работаю над этим проектом, где мне нужно прочитать много данных из .dat-файлов и использовать данные для выполнения имитаций. Данные в моем .dat файл выглядит следующим образом:

DeviceID InteractingDeviceID InteractionStartTime InteractionEndTime 
    1   2     1101    1105 

1,2 1101 и 1105 табуляцией и это означает, что устройство 1 взаимодействует с устройством 2 на 1101 мс и закончил взаимодействие на 1105ms.

У меня есть набор данных трассировки, которые собирают тысячи таких взаимодействий, и моя задача - проанализировать эти взаимодействия.

Первый шаг - проанализировать файл. Язык выбора - C++. Подход, о котором я думал, - это прочитать файл, так как каждая прочитанная строка создаст объект устройства. Этот объект устройства будет содержать свойство DeviceId и массив/вектор structs, который будет содержать список всех устройств, с которыми взаимодействовал данный DeviceId в течение моделирования. Структура будет содержать идентификатор взаимодействующего устройства, время начала взаимодействия и время окончания взаимодействия.

У меня есть два раза вопрос здесь:

1. мой подход правильный?

2. Если я нахожусь на правильном пути, как быстро анализировать эти файлы с разделителями табуляции и создавать объекты устройства без чрезмерной избыточной памяти с использованием C++?

Толчок в правильном направлении будет очень ценным.

Благодаря

Answer 1

Ваш подход кажется правильным, учитывая предоставленную вами информацию.

Я предполагаю, что вы бы создать класс что-то вроде:

class device { 
    public: 
    int id; 
    vector<interaction> interactions; 
    void add_interaction(interaction add_me); // uses vector::insert 
}; 

с

typedef struct interaction_t { 
    int other_device_id; 
    int start_time; 
    int end_time; 
} interaction; 

В этот момент вы должны быть в состоянии прочитать в файле, по одной строке время и вытащить данные.

device* pDev = NULL; 
interaction new_interaction; 
ifstream ifs("data.dat"); 
char temp[MAX_LINE_LENGTH+1]; 
int id, other_id, start, end; 

while(ifs.getline(temp, MAX_LINE_LENGTH)) { 
    sscanf(temp, "%i\t%i\t%i\t%i", 
     &id, 
     &new_interaction.other_device_id, 
     &new_interaction.start_time, 
     &new_interaction.end_time); 
    pDev = find_device_by_id(id); 
    pDev->add_interaction(new_interaction); 
} 

Код не проверен и только для иллюстрации, но вы можете получить эту идею. Трюк должен был бы написать функцию find_device_by_id (вернул бы указатель на объект device с соответствующим полем id). Это не должно требовать слишком больших издержек памяти на входную строку; если ваши входные файлы огромны, возможно, вы не сможете хранить данные в памяти и, возможно, придется хранить их в базе данных.

Answer 2

Посмотрите на Boost.Spirit. Это достойная структура парсера.

редактировать, фиксированная связь

Answer 3

Решение вопроса о проектировании в памяти хранения и связывания:

Вы не сказали нам достаточно. Необходимая структура ваших данных зависит от того, как вам нужно использовать данные.

• Если вы собираетесь проходить через (все или частичные) данные по времени начала, разве вы не сможете посещать события по порядку по времени начала? Если вы собираетесь прыгать в середину потока, вы не сможете эффективно искать время начала.
• Если вы хотите, чтобы событие было активным в течение определенного интервала, вам также необходимо иметь возможность эффективно искать по времени окончания.
• Если вы хотите изучить все взаимодействия одного устройства, вам необходимо выбрать события на устройстве (которые вы предложили, чтобы структура была хорошо)
• ... какие у вас другие варианты использования ...

Если вам не нужна лучшая производительность (т. Е. Хорошая производительность), реляционная БД может быть в порядке. Или вы можете строить структуры памяти со всеми характеристиками, которые вам нужны, но они могут быть умеренно сложными ...

Answer 4

Я сделал аналогичную вещь с взаимодействующими людьми.Для будущей расширяемости я бы сделал следующее: Имейте класс устройства, который содержит идентификатор и вектор указателей Объекты взаимодействия. Устройства могут храниться в виде карты (или хеш-карты), удобной для поиска. Класс взаимодействия будет содержать остальную информацию из файла. Это позволит вам создавать полиморфные устройства и взаимодействия, если каждый из вас имеет несколько видов устройств или взаимодействий. Вы также можете иметь фабрики для устройств и взаимодействий, чтобы облегчить это.