Вычисление статистики непосредственно из файла CSV

Question

У меня есть файл журнала транзакций в формате CSV, который я хочу использовать для запуска статистики. Журнал имеет следующие поля:

 
date: Time/date stamp 
salesperson: The username of the person who closed the sale 
promo: sum total of items in the sale that were promotions. 
amount: grand total of the sale 

Я хотел бы получить следующую статистику:

 
salesperson: The username of the salesperson being analyzed. 
minAmount: The smallest grand total of this salesperson's transaction. 
avgAmount: The mean grand total.. 
maxAmount: The largest grand total.. 
minPromo: The smallest promo amount by the salesperson. 
avgPromo: The mean promo amount... 

Я соблазн построить структуру базы данных, импортировать этот файл, писать SQL, и тянуть из статистики. Мне не нужно ничего больше из этих данных, чем эти статистические данные. Есть ли более простой способ? Я надеюсь, что скрипт bash может сделать это легко.

Answer 1

Может также выпустить awk-скрипт для этого. Это только CSV с несколькими переменными.

Answer 2

Вы можете прокручивать строки в CSV и использовать переменные скрипта bash для хранения минимальных/минимальных сумм. Для среднего просто держите общее количество, а затем разделите на общее количество строк (не считая возможного заголовка).

Вот некоторые useful snippets для работы с CSV-файлами в bash.

Если ваши данные могут быть указаны (например, поскольку поле содержит запятую), обработка с помощью bash, sed и т. Д. Становится намного сложнее.

Answer 3

TxtSushi делает это:

tssql -table trans transactions.csv \ 
'select 
    salesperson, 
    min(as_real(amount)) as minAmount, 
    avg(as_real(amount)) as avgAmount, 
    max(as_real(amount)) as maxAmount, 
    min(as_real(promo)) as minPromo, 
    avg(as_real(promo)) as avgPromo 
from trans 
group by salesperson'

У меня есть куча example scripts, показывающий, как использовать его.

Редактировать: фиксированный синтаксис