Прочитайте сначала N строк файла в python

Question

У нас есть большой файл необработанных данных, который мы хотели бы обрезать до указанного размера. Я опытный в .net C#, однако хотел бы сделать это в python, чтобы упростить вещи и из интереса.

Как я могу получить первые N строк текстового файла в python? Будет ли используемая ОС иметь какое-либо влияние на реализацию?

Спасибо :)

Answer 1

with open("datafile") as myfile: 
    head = [next(myfile) for x in xrange(N)] 
print head 

Вот еще один способ

from itertools import islice 
with open("datafile") as myfile: 
    head = list(islice(myfile, N)) 
print head 

Answer 2

Там нет конкретного способа чтения количества строк, вскрытых объект файла.

Я думаю, самый простой способ будет следующее:

lines =[] 
with open(file_name) as f: 
    lines.extend(f.readline() for i in xrange(N)) 

Answer 3

Если вы хотите что-то, что очевидно (не глядя на эзотерические вещи в руководствах) работает без импорта и попробовать/за исключением и работает на справедливый диапазоне Python 2.x версии (2,2 до 2,6):

def headn(file_name, n): 
    """Like *x head -N command""" 
    result = [] 
    nlines = 0 
    assert n >= 1 
    for line in open(file_name): 
     result.append(line) 
     nlines += 1 
     if nlines >= n: 
      break 
    return result 

if __name__ == "__main__": 
    import sys 
    rval = headn(sys.argv[1], int(sys.argv[2])) 
    print rval 
    print len(rval) 

Answer 4

N=10 
f=open("file") 
for i in range(N): 
    line=f.next().strip() 
    print line 
f.close() 

Answer 5

на основе gnibbler топ проголосовали ответ (20 Nov '09 в 0:27): этот класс добавить головку() и хвост() для файл ob ект.

class File(file): 
    def head(self, lines_2find=1): 
     self.seek(0)       #Rewind file 
     return [self.next() for x in xrange(lines_2find)] 

    def tail(self, lines_2find=1): 
     self.seek(0, 2)       #go to end of file 
     bytes_in_file = self.tell()    
     lines_found, total_bytes_scanned = 0, 0 
     while (lines_2find+1 > lines_found and 
       bytes_in_file > total_bytes_scanned): 
      byte_block = min(1024, bytes_in_file-total_bytes_scanned) 
      self.seek(-(byte_block+total_bytes_scanned), 2) 
      total_bytes_scanned += byte_block 
      lines_found += self.read(1024).count('\n') 
     self.seek(-total_bytes_scanned, 2) 
     line_list = list(self.readlines()) 
     return line_list[-lines_2find:] 

Использование:

f = File('path/to/file', 'r') 
f.head(3) 
f.tail(3) 

Answer 6

наиболее удобный способ сам по себе:

LINE_COUNT = 3 
print [s for (i, s) in enumerate(open('test.txt')) if i < LINE_COUNT] 

Решение основано на List Comprehension Функция Open() поддерживает интерфейс итерации. Элемент перечисления() охватывает open() и возвращает кортежи (индекс, элемент), затем мы проверяем, что мы находимся внутри принятого диапазона (если i < LINE_COUNT), а затем просто распечатаем результат.

Наслаждайтесь Python. ;)

Answer 7

Начиная с Python 2.6, вы можете использовать более сложные функции в базовом кластере ввода-вывода. Так популярнейший ответ выше, можно переписать так:

with open("datafile") as myfile: 
     head = myfile.readlines(N) 
    print head 

(Вам не придется беспокоиться о файле, имеющем меньше, чем N строк, поскольку не исключение StopIteration не отбрасываются.)

Answer 8

Если вы хотите быстро прочитайте первые строки и вам не нужна производительность, вы можете использовать .readlines(), который возвращает объект списка, а затем нарезает список.

E.g.в течение первых 5 строк:

with open("pathofmyfileandfileandname") as myfile: 
    firstNlines=myfile.readlines()[0:5] #put here the interval you want 

Примечание: весь файл читается так не самый лучший с точки зрения производительности но проста в использовании, быстро писать и легко помнить, так что если вы хотите просто выполнить некоторые вычисления один раз очень удобно

print firstNlines 

Answer 9

Если у вас есть очень большой файл, и Ассу ming вы хотите, чтобы выход был массивом numpy, используя np.genfromtxt, вы заморозите свой компьютер. Это намного лучше в моем опыте:

def load_big_file(fname,maxrows): 
'''only works for well-formed text file of space-separated doubles''' 

rows = [] # unknown number of lines, so use list 

with open(fname) as f: 
    j=0   
    for line in f: 
     if j==maxrows: 
      break 
     else: 
      line = [float(s) for s in line.split()] 
      rows.append(np.array(line, dtype = np.double)) 
      j+=1 
return np.vstack(rows) # convert list of vectors to array 

Answer 10

Для первых 5 строк, просто сделать:

N=5 
with open("data_file", "r") as file: 
    for i in range(N): 
     print file.next() 

Answer 11

Что я могу сделать, чтобы вызвать N строк с использованием pandas. Я думаю, что производительность не является лучшим, но, например, если N=1000:

import pandas as pd 
yourfile = pd.read('path/to/your/file.csv',nrows=1000) 

Answer 12

#!/usr/bin/python 

import subprocess 

p = subprocess.Popen(["tail", "-n 3", "passlist"], stdout=subprocess.PIPE) 

output, err = p.communicate() 

print output 

Этот метод работает для меня

Answer 13

Два самых интуитивных способов сделать это будет:

1. Итерации по файлу по очереди, и break после N строк.

2. Итерация по файлу по строкам с использованием метода next()N раз. (Это, по существу, просто другой синтаксис для того, что делает верхний ответ.)

Вот код:

# Method 1: 
with open("fileName", "r") as f: 
    counter = 0 
    for line in f: 
     print line 
     counter += 1 
     if counter == N: break 

# Method 2: 
with open("fileName", "r") as f: 
    for i in xrange(N): 
     line = f.next() 
     print line 

В нижней строке, до тех пор, пока вы не используете readlines() или enumerate Входящий весь файл в память, у вас есть много вариантов.