Ruby: Какой элегантный способ выбрать случайную строку из текстового файла?

Question

Я видел некоторые действительно красивые примеры Ruby, и я пытаюсь изменить свое мышление, чтобы иметь возможность производить их, а не просто восхищаться ими. Вот лучшее, что я мог придумать для выбора случайной строки из файла:

def pick_random_line 
    random_line = nil 
    File.open("data.txt") do |file| 
    file_lines = file.readlines() 
    random_line = file_lines[Random.rand(0...file_lines.size())] 
    end 

    random_line                                        
end 

Я чувствую, что это должно быть возможно сделать это в более коротком, более элегантном способе без сохранения содержимого всего файла в памяти , Здесь?

Answer 1

Вы можете сделать это, не сохраняя ничего, кроме текущего кандидата для случайной строки.

def pick_random_line 
    chosen_line = nil 
    File.foreach("data.txt").each_with_index do |line, number| 
    chosen_line = line if rand < 1.0/(number+1) 
    end 
    return chosen_line 
end 

Таким образом, первая линия выбрана с вероятностью 1/1 = 1; вторая линия выбирается с вероятностью 1/2, поэтому половина времени она удерживает первую и половину времени, когда она переключается на вторую.

Затем третья линия выбирается с вероятностью 1/3 - так что 1/3 времени она выбирает ее, а остальные 2/3 времени она держит в зависимости от того, какой из первых двух он выбрал. Поскольку каждый из них имел 50% -ный шанс быть выбранным по линии 2, каждый из них заканчивается с вероятностью 1/3 от выбора по строке 3.

И так далее. На линии N каждая строка из 1-N имеет даже 1/N шанс быть выбранным, и она проходит весь путь через файл (пока файл не настолько огромен, что 1/(количество строк в файле) меньше, чем epsilon :)). И вы делаете только один проход через файл и никогда не храните больше двух строк одновременно.

EDIT Вы не собираетесь, чтобы получить реальное краткое решение с помощью этого алгоритма, но вы можете превратить его в один-лайнер, если вы хотите:

def pick_random_line 
    File.foreach("data.txt").each_with_index.reduce(nil) { |picked,pair| 
    rand < 1.0/(1+pair[1]) ? pair[0] : picked } 
end 

Answer 2

Это не намного лучше, чем то, что вы придумали, но, по крайней мере, это короче:

def pick_random_line 
    lines = File.readlines("data.txt") 
    lines[rand(lines.length)] 
end 

Одна вещь, которую вы можете сделать, чтобы сделать ваш код более Rubyish является опуская скобки. Используйте readlines и size вместо readlines() и size().

Answer 3

Существует уже случайная запись селектор, встроенный в класс Ruby Array: sample().

def pick_random_line 
    File.readlines("data.txt").sample 
end 

Answer 4

Stat файла, выбрать случайное число между нулем и размер файла, стремиться к этому байта в файле. Сканируйте до следующей новой строки, затем прочитайте и верните следующую строку (если вы не находитесь в конце файла).

Answer 5

Один лайнер:

def pick_random_line(file) 
    `head -$((${RANDOM} % `wc -l < #{file}` + 1)) #{file} | tail -1` 
end 

Если возразить, что это не рубин, пойти найти разговор в этом году под названием Euruko рубин в отличие от Banana.

PS: Игнорировать неправильную подсветку синтаксиса SO.

Answer 6

Вот сокращенный вариант EXELLENT ответа Марка, не столь коротким, как Дэйв хотя

def pick_random_line number=1, chosen_line="" 
    File.foreach("data.txt") {|line| chosen_line = line if rand < 1.0/number+=1} 
    chosen_line 
end 

Answer 7

Эта функция делает именно то, что вам нужно.

Это не один лайнер. Но он работает с текстовыми файлами любого размера (кроме нулевого размера, может быть :).

def random_line(filename) 
    blocksize, line = 1024, "" 
    File.open(filename) do |file| 
    initial_position = rand(File.size(filename)-1)+1 # random pointer position. Not a line number! 
    pos = Array.new(2).fill(initial_position) # array [prev_position, current_position] 
    # Find beginning of current line 
    begin 
     pos.push([pos[1]-blocksize, 0].max).shift # calc new position 
     file.pos = pos[1] # move pointer backward within file 
     offset = (n = file.read(pos[0] - pos[1]).rindex(/\n/)) ? n+1 : nil 
    end until pos[1] == 0 || offset 
    file.pos = pos[1] + offset.to_i 
    # Collect line text till the end 
    begin 
     data = file.read(blocksize) 
     line.concat((p = data.index(/\n/)) ? data[0,p.to_i] : data) 
    end until file.eof? or p 
    end 
    line 
end 

Попробуйте:

filename = "huge_text_file.txt" 
100.times { puts random_line(filename).force_encoding("UTF-8") } 

Незначительные (IMHO) Недостатки:

1. длиннее линия, тем выше вероятность, что будет определена.

2. не учитывает разделитель строк «\ r» (зависит от конкретного окна). Используйте файлы с окончанием строки в стиле Unix!