Самый быстрый выход в файл в c и C++

Question

Я помогал кому-то с вопросом о выходе на C, и я не смог ответить на этот, казалось бы, простой вопрос, на который я хотел использовать ответ (в моем ответе), то есть:

Каков самый быстрый способ вывода в файл на C/C++?

Я проделал большую работу с генерацией простых чисел и математическим алгоритмом, используя C++ и Java, и это было самым большим удержанием для меня иногда - мне иногда нужно много перемещать в файл и быстро.

Простите меня, если на это был дан ответ, но я искал google и SO в течение некоторого времени безрезультатно.

Я не ожидаю, что кто-то сделает работу по бенчмаркингу, но есть несколько способов подать в файл, и я сомневаюсь, что знаю их всех.

Итак, подведем итог,

Какие способы есть для вывода в файл в C и C++?

И какой из них является более быстрыми?

Очевидно, перенаправление с консоли ужасно. Любое краткое сравнение printf, cout, fputc и т. Д. Поможет.

Edit:

Из комментариев,

Там отличный базовый тест соиЬ и Printf в: mixing cout and printf for faster output

Это отличный старт, но не самый лучший ответ на то, что Я прошу. Например, он не обрабатывает std :: ostreambuf_iterator <>, упомянутый в комментариях, если это возможно. Он также не обрабатывать fputc или упомянуть перенаправление консоли (как плохо по сравнению) (не то, что ему нужно)

Edit 2:

Кроме того, ради аргументируя свое историческое дело, вы можете взять на себя почти бесконечное количество выводимых данных (программы буквально работают в течение нескольких дней на более новом Intel i7, производя гигабайты текста)

Временное хранилище полезно только здесь - вы не можете буферизировать гигабайты данных, которые я знаю ,

Answer 1

cout на самом деле немного быстрее, чем printf, потому что это функция шаблона, поэтому сборка предварительно скомпилирована для используемого типа, хотя разница в скорости незначительна. Я думаю, что ваша настоящая бутылочная шея - это не вызов, который делает язык, а скорость записи на жестких дисках. Если вы действительно хотите пройти весь путь, вы можете создать многопоточное или сетевое решение, которое будет хранить данные в буфере, а затем медленно записывать данные на жесткий диск отдельно от обработки данных ,

Answer 2

Насколько я знаю, самым большим узким местом было бы написать персонаж за раз (например, используя fputc). Это сравнивается с созданием буфера в памяти и сбрасыванием всей партии (с использованием fwrite). Опыт показал мне, что использование fputc и запись отдельных персонажей значительно медленнее.

Это, вероятно, связано с аппаратными факторами, а не с какой-либо одной функцией.

Answer 3

Узкое место в производительности вывода - это форматирование символов.

Во встроенных системах я улучшил производительность, форматируя текст в буфер (массив символов), а затем отправляя весь буфер для вывода с использованием команд записи блоков, таких как cout.write или fwrite. Функция обхода форматирования и передачи данных почти прямо.

Вы можете столкнуться с буферизацией ОС по пути.

Узкое место не связано с процессом форматирования символов, но несколько вызовов функции.

Если текст является постоянным, не называйте отформатированные функции вывода, записать его прямой:

static const char Message[] = "Hello there\n"; 
cout.write(&Message[0], sizeof(Message) - 1); // -1 because the '\0' doesn't need to be written 

Answer 4

функции, такие как fwrite, fprintf и т.д., на самом деле делает write системный вызов. Единственная разница с write заключается в том, что эти функции используют буфер для уменьшения количества системных вызовов.

Так что, если мне нужно выбирать между fwrite, fprintf и write, я бы избежать fprintf, потому что это хорошо, но сложная функция, которая делает много вещей. Если мне действительно нужно что-то быстро, я бы полностью восполнил составную часть до минимально необходимого минимума. И между fwrite и write я бы выбрал fwrite, если мне нужно написать много небольших данных, иначе write может быть быстрее, потому что он не требует всей системы буферизации.