Редактирование загруженного CSV в памяти перед записью

Question

Предупреждение: я очень новичок в Python и в программировании в целом. Я пытаюсь использовать Python 3, чтобы получить некоторые CSV-данные и внести некоторые изменения в него, прежде чем записывать их в файл. Моя проблема заключается в доступе к данным CSV из переменной, например, так:

import csv 
import requests 

csvfile = session.get(url) 
reader = csv.reader(csvfile.content) 

for row in reader: 
    do(something) 

Это возвращает:

_csv.Error: iterator should return strings, not int (did you open the file in text mode?) 

Googling показал, что я должен кормить текст читателя вместо байт, поэтому я попытался :

reader = csv.reader(csvfile.text) 

Это также не работает, поскольку цикл работает через него буквой вместо строки за строкой. Я также экспериментировал с TextIOWrapper и аналогичными параметрами без успеха. Единственный способ, которым я сумел получить эту работу, написав данные в файл, чтение, а затем вносить изменения, например, так:

csvfile = session.get(url) 

with open("temp.txt", 'wb') as f: 
    f.write(csvfile.content) 

with open("temp.txt", 'rU', encoding="utf8") as data: 
    reader = csv.reader(data) 
    for row in reader: 
     do(something) 

Я чувствую, что это далеко не самый оптимальный способ делая это, даже если он работает. Каким образом можно читать и редактировать данные CSV непосредственно из памяти, не сохраняя его во временном файле?

Answer 1

вам не придется писать временный файл, вот что я хотел бы сделать, используя «CSV» и «просит» модули:

import csv 
import requests 

__csvfilepathname__ = r'c:\test\test.csv' 
__url__ = 'https://server.domain.com/test.csv' 

def csv_reader(filename, enc = 'utf_8'): 
    with open(filename, 'r', encoding = enc) as openfileobject: 
     reader = csv.reader(openfileobject) 
     for row in reader: 
      #do something 
      print(row) 
    return 

def csv_from_url(url): 
    line = '' 
    datalist = [] 
    s = requests.Session() 
    r = s.get(url)  
    for x in r.text.replace('\r',''): 
     if not x[0] == '\n': 
      line = line + str(x[0]) 
     else: 
      datalist.append(line) 
      line = '' 
    datalist.append(line) 
    # at this point you already have a data list 'datalist' 
    # no need really to use the csv.reader object, but here goes: 
    reader = csv.reader(datalist) 
    for row in reader: 
     #do something 
     print(row) 
    return 

def main(): 
    csv_reader(__csvfilepathname__) 
    csv_from_url(__url__) 
    return 

if __name__ == '__main__': 
    main() 

не очень красиво, и, вероятно, не очень хорошо в отношении памяти/производительности, в зависимости от того, насколько «большой» ваш csv/data

HTH, Edwin.