Подсчет строк через bufio

Question

Я использую bufio для создания цикла for для каждой строки в текстовом файле. Я не знаю, как подсчитать количество строк.

scanner := bufio.NewScanner(bufio.NewReader(file)) 

Вышеупомянутое - это то, что я использую для сканирования моего файла.

Answer 1

Вы могли бы сделать что-то вроде этого:

counter := 0 
for scanner.Scan() { 
    line := scanner.Text() 
    counter++ 
    // do something with your line 
} 
fmt.Printf("Lines read: %d", counter) 

Answer 2

Вот мой подход, чтобы сделать задачу:

inputFile, err := os.Open("input.txt") 

if err != nil { 
    panic("Error happend during opening the file. Please check if file exists!") 
    os.Exit(1) 
} 

defer inputFile.Close() 

inputReader := bufio.NewReader(inputFile) 

scanner := bufio.NewScanner(inputReader) 
// Count the words. 
count := 0 
for scanner.Scan() { 
    line := scanner.Text() 
    fmt.Printf("%v\n", line) 
    count++ 
} 
if err := scanner.Err(); err != nil { 
    fmt.Fprintln(os.Stderr, "reading input:", err) 
} 
fmt.Printf("%d\n", count) 

Answer 3

Держите это просто и быстро. Нет необходимости в буферизации, scanner уже делает это. Не делайте ненужных преобразований string. Например,

package main 

import (
    "bufio" 
    "fmt" 
    "os" 
) 

func lineCount(filename string) (int64, error) { 
    lc := int64(0) 
    f, err := os.Open(filename) 
    if err != nil { 
     return 0, err 
    } 
    defer f.Close() 
    s := bufio.NewScanner(f) 
    for s.Scan() { 
     lc++ 
    } 
    return lc, s.Err() 
} 

func main() { 
    filename := `testfile` 
    lc, err := lineCount(filename) 
    if err != nil { 
     fmt.Println(err) 
     return 
    } 
    fmt.Println(filename+" line count:", lc) 
} 

Answer 4

Как я уже отмечал, принятый ответ терпит неудачу на длинных линиях. Предел по умолчанию - bufio.MaxScanTokenSize, который составляет 64KiB. Поэтому, если ваша линия длиннее 65536 символов, она будет терпеть неудачу. У вас есть два варианта.

1. Позвоните по номеру scanner.Buffer() и укажите необходимый параметр max. buffer может быть небольшим по умолчанию, потому что Scanner достаточно умен, чтобы выделить новые. Может быть проблемой, если вы заранее не знаете общий размер, например, с интерфейсом vanilla Reader, и у вас есть огромные линии - потребление памяти будет соответственно расти, так как Scanner записывает всю строку.
2. Recreate scanner во внешнем контуре, это гарантирует, что вы продвинуться дальше:

var scanner *bufio.Scanner 
counter := 0 
for scanner == nil || scanner.Err() == bufio.ErrTooLong { 
    scanner = bufio.NewScanner(reader) 
    for scanner.Scan() { 
     counter++ 
    } 
} 

Проблема с (2) является то, что вы продолжаете выделения и освобождения буферов вместо использования их. Итак, давайте взломать (1) и (2):

var scanner *bufio.Scanner 
buffer := make([]byte, bufio.MaxScanTokenSize) 
counter := 0 
for scanner == nil || scanner.Err() == bufio.ErrTooLong { 
    scanner = bufio.NewScanner(reader) 
    scanner.Buffer(buffer, 0) 
    for scanner.Scan() { 
     counter++ 
    } 
}