Управление памятью на С ++

Question

На прошлой неделе я написал несколько строк кода на C#, чтобы запустить большой текстовый файл (300 000 строк) в словарь. Потребовалось десять минут, чтобы написать, и это выполнено менее чем за секунду.

Теперь я конвертирую этот фрагмент кода в C++ (потому что он мне нужен в старом объекте C++ COM). Я провел там два дня. :-(Несмотря на то, что разница в производительности просто потрясающая сама по себе, это производительность, о которой мне бы понадобился совет.

Загрузка занимает 7 секунд, а еще хуже: требуется всего лишь столько времени, чтобы освободить все CStringWs впоследствии. Это не приемлемо, и я должен найти способ, чтобы увеличить производительность.

есть ли шанс, что я могу выделить это много строк, не видя эту ужасную деградацию Performace?

Мое предположение прямо сейчас что мне придется набивать весь текст в большой массив, а затем пусть моя хэш-таблица указывает на начало каждой строки в этом массиве и отбрасывает материал CStringW.

Но до этого, какие-либо советы от вас, эксперты C++?

EDIT: Мой ответ для себя приводится ниже. Я понял, что это самый быстрый маршрут для меня, а также шаг в том, что I рассмотреть в правильном направлении - в направлении более управляемого кода.

Answer 1

Вы ступаете в ботинки Raymond Chen. Он сделал то же самое, написав китайский словарь в неуправляемом C++. Рико Мариани тоже сделал это, написав его на C#. Г-н Мариани сделал одну версию. Г-н Чэнь написал 6 версий, пытаясь соответствовать перформансу версии Мариани. Он почти переписал значительные куски библиотеки времени выполнения C/C++, чтобы добраться туда.

После этого управляемый код получил гораздо больше уважения. ГЦ-распределитель невозможно избить. Отметьте this blog сообщение для ссылок. Это может заинтересовать вас blog post, поучительно посмотреть, как семантика значений STL является частью проблемы.

Answer 2

Какой контейнер вы храните в своих строках? Если это std::vector из CStringW, и если у вас нет reserve -ed достаточно памяти заранее, вы обязательно получите удар. A vector обычно изменяет размер, когда он достигает своего предела (который не очень высок), а затем копирует все в новое место памяти, что может дать вам большой успех. Поскольку ваш vector растет экспоненциально (т. Е. Если начальный размер равен 1, то в следующий раз он выделяет 2, 4 в следующий раз, удар становится все реже и реже).

Это также помогает узнать, сколько длинных отдельных строк. (Время от времени:

Answer 3

Yikes. избавиться от CStrings ...

попробуйте профайлер. Вы уверены, что вы не просто запустили код отладки?

используйте вместо этого std :: string.

EDIT:

Я просто сделал простой тест CTOR и dtor сравнений.

CStringW, кажется, занимает от 2 до 3 раз больше времени, чтобы сделать новый/удалить.

повторил 1000000 раз, делая новый/удалять для каждого типа. Ничего другого - и вызов GetTickCount() до и после каждого цикла. Постоянно получаем вдвое больше времени для CStringW.

Это не касается всей вашей проблемы, хотя я подозреваю.

EDIT: Я также не думаю, что использование строки или CStringW является реальной проблемой - есть что-то еще, что вызывает вашу проблему.

(но ради бога, используйте СТЛ в любом случае!)

Вам нужно профилировать его. Это катастрофа.

Answer 4

При работе со строковыми классами вы всегда должны смотреть на ненужные операции, например, слишком часто не использовать конструкторы, конкатенацию и такие операции, особенно избегать их в циклах. Я полагаю, что есть причина кодирования символов, которую вы используете CStringW, поэтому вы, вероятно, не можете использовать что-то другое, это будет еще один способ оптимизации вашего кода.

Answer 5

Если это словарь только для чтения, то для вас должно работать следующее.

Use fseek/ftell functionality, to find the size of the text file. 

Allocate a chunk of memory of that size + 1 to hold it. 

fread the entire text file, into your memory chunk. 

Iterate though the chunk. 

    push_back into a vector<const char *> the starting address of each line. 

    search for the line terminator using strchr. 

    when you find it, deposit a NUL, which turns it into a string. 
    the next character is the start of the next line 

until you do not find a line terminator. 

Insert a final NUL character. 

Теперь вы можете использовать вектор, чтобы получить указатель, который позволит вам доступ соответствующего значения.

Когда вы закончите свой словарь, освободите память, позвольте вектору умереть при выходе из сферы действия.

[EDIT] Это может быть немного сложнее на платформе dos, поскольку терминатором линии является CRLF.

В этом случае используйте strstr, чтобы найти его, и увеличьте на 2, чтобы найти начало следующей строки.

Answer 6

Это звучит очень похоже на то, как игра Raymond Chen vs Rico Mariani C++ vs C# китайского/английского словаря испепеляла. У Раймона было несколько итераций, чтобы обыграть C#.

Возможно, есть идеи, которые помогут.

http://blogs.msdn.com/ricom/archive/2005/05/10/performance-quiz-6-chinese-english-dictionary-reader.aspx

Answer 7

Загрузите строку в один буфер, проанализируйте текст, чтобы заменить разрывы строк на терминаторы строк ('\ 0'), и используйте указатели в этом буфере для добавления в набор.

Альтернативно - например, если вам нужно выполнить преобразование ANSI/UNICODE во время загрузки - используйте распределитель блоков, который жертвует удалением отдельных элементов.

class ChunkAlloc 
{ 
    std::vector<BYTE> m_data; 
    size_t m_fill; 
    public: 
    ChunkAlloc(size_t chunkSize) : m_data(size), m_fill(0) {} 
    void * Alloc(size_t size) 
    { 
     if (m_data.size() - m_fill < size) 
     { 
      // normally, you'd reserve a new chunk here 
      return 0; 
     } 
     void * result = &(m_data[m_fill]); 
     m_fill += size; 
     return m_fill; 
    } 
} 
// all allocations from chuunk are freed when chung is destroyed. 

не взламывать бы, что вместе в течение десяти минут, но за 30 минут, а некоторые тестировании звучат нормально :)

Answer 8

Спасибо всем вам за ваши содержательные комментарии. Упреки для вас! :-)

Должен признаться, что я не был готов к этому вообще, - что C# таким образом побьет живое дерьмо из старого старого С ++. Пожалуйста, не читайте это как нарушение C++, но вместо этого, что удивительно хороший менеджер памяти, который находится внутри .NET Framework.

Я решил сделать шаг назад и сразиться с этой битвой на арене InterOp вместо этого! То есть, я сохраню свой код на C# и позволю своему старому коду C++ поговорить с кодом C# через интерфейс COM.

Много вопросов были заданы вопросы о моем коде, и я постараюсь ответить на некоторые из них:

• Компилятор был Visual Studio 2008, и нет, я не был запущен отладочную сборку.

• Файл был прочитан с помощью устройства чтения файлов UTF8, которое я загрузил у сотрудника Microsoft, который опубликовал его на своем сайте. Он вернул CStringW, и около 30% времени было потрачено там только на чтение файла.

• Контейнер, в котором хранятся строки, был только фиксированным вектором указателей на CStringW, и он никогда не изменялся.

EDIT: Я убежден, что предложения мне давали бы действительно работать, и что я, вероятно, мог бы бить C# код, если я вложил достаточно времени в нем. С другой стороны, это не создало бы никакой ценности для клиентов, и единственная причина, по которой это может быть достигнуто, - это просто доказать, что это можно сделать ...

Answer 9

Проблема не в CString, а скорее что вы выделяете много мелких объектов - для этого оптимизатор памяти по умолчанию не оптимизирован.

Напишите свой собственный распределитель - выделите большой кусок памяти, а затем просто выделите указатель в нем при выделении. Это то, что делает .NET-распределитель .NET. Когда вы будете готовы удалить весь буфер.

Я думаю, что был образец написания пользовательских новый/удалять операторы (Подробнее) Эффективное использование C++

Answer 10

Это не удивительно, что управление памятью CLR является лучше, чем кучу старых и грязных трюков MFC основан на: это по крайней мере, в два раза моложе самой MFC, и она основана на пуле. Когда мне приходилось работать над подобным проектом со строковыми массивами и WinAPI/MFC, я просто использовал std :: basic_string, созданный с помощью TCHAR от WinAPI и моего собственного распределителя на основе Loki :: SmallObjAllocator. Вы также можете взглянуть на boost :: pool в этом случае (если вы хотите, чтобы у него было «чувство std» или вам нужно использовать версию компилятора VC++ старше 7.1).