Поток данных реального времени в python из CSV-файла

У меня есть файл CSV, который имеет данные от случайного датчика, записанного в течение нескольких минут. Теперь я хочу передать эти данные из файла CSV в свой pyhton-код, как если бы он сам получал данные непосредственно от датчика. (код предназначен для считывания с двух разных датчиков/csv-файлов и их усреднения) Кто-то предложил использовать Apache Spark для потоковой передачи данных, но я чувствую, что это слишком сложно для меня. Может ли быть более простое решение?Поток данных реального времени в python из CSV-файла

источник

2017-01-17 M. Ali

Разве вы не можете просто прочесть его по строкам? (и необязательно добавить немного задержки между чтением строки) – Olian04

Хотите ли вы издеваться над интерфейсом датчика или вам просто нужны данные? Вам нужны задержки между чтением? Является ли временной меткой данных, чтобы вы могли рассчитать задержки, если они вам нужны? –

@ Olian04 возможно я мог бы это сделать. Я довольно новичок в программировании и понятия не имею о всех этих вещах. Извиняюсь за глупость. но я должен будет дать некоторую задержку времени между чтением строк, чтобы дать ему реальный эффект? –

Вы можете использовать что-то наподобие tail -f в python для достижения этой цели. это должно делать то, что вы хотите. http://lethain.com/tailing-in-python/

источник

2017-01-17 18:55:30 acushner

Возможно ли, если я сделаю виртуальное последовательное устройство и передам данные через это? Я имею в виду, в конечном итоге, как я буду взаимодействовать с датчиками в любом случае, так почему же код в соответствии с этим? –

понятия не имею, но, возможно? кажется более сложным, чем просто чтение файлов csv, если вы не хотите перевернуть его и иметь интерфейс python непосредственно с датчиками, а процесс python также хранит данные csv. – acushner

Вы можете также использовать панда read_csv() для чтения большого файла CSV в мелких кусках, основной код написан ниже:

import pandas as pd 
chunksize = 100 
for chunk in pd.read_csv('myfile.csv', chunksize=chunksize): 
    print(chunk)

Эта ссылка объясняет, как это работает: http://pandas.pydata.org/pandas-docs/stable/io.html#io-chunking

источник

2017-10-04 10:54:16

Поток данных реального времени в python из CSV-файла

ответ

Смежные вопросы