Чтение в очень больших файлах в Golang

Question

В настоящее время я пытаюсь прочитать файл с 200 + столбцами и 1000 + строками. Я использую следующий код:

var result []string 

file, err := os.Open("t8.txt") 
if (err != nil) { 
    fmt.Println(err) 
} 
defer file.Close() 
scan := bufio.NewScanner(file) 
for scan.Scan() { 
    result = append(result, scan.Text()) 

} 


fmt.Println(scan.Err()) //token too long 

Однако, когда я распечатать результаты, все это я получаю это первая линия, потому что он говорит, что маркер слишком долго. Когда я пытаюсь использовать файлы меньшего размера, он работает нормально. Есть ли способ в Голанге, который я мог бы сканировать в больших файлах?

Answer 1

Как уже указывалось на C @ Dave в комментариях вы работаете в MaxScanTokenSize = 64 * 1024

Чтобы обойти это ограничение, используйте bufio.Reader, который имеет метод ReadString (DELIM байт), который представляется целесообразным для вашего дела.

Из сканера идут документ (в частности, последнее предложение):

Сканер обеспечивает удобный интерфейс для чтения данных, таких как файл новой строки с разделителями строк текста. Последовательные вызовы метода Scan будут проходить через «токены» файла, пропуская байты между токенами. Спецификация маркера определяется разделенной функцией типа SplitFunc; функция разделения по умолчанию разрывает вход в линии с отключением линии. Функции разделения - это , определенные в этом пакете для сканирования файла в строки, байты, Руны с кодировкой UTF-8 и слова с разделителями-ограничителями. Клиент может вместо этого предоставить пользовательскую функцию разделения.

Сканирование останавливается неустранимо при EOF, первой ошибке ввода-вывода или токене слишком велико, чтобы вписаться в буфер. Когда сканирование останавливается, читатель может иметь , продвинутый сколь угодно далеко за последний токен. Программы, которым требуется больше , управляют обработкой ошибок или большими токенами или должны запускаться последовательно сканирует на считыватель, вместо этого следует использовать bufio.Reader.