SQLite или текстовый файл?

Question

Я обрабатываю много текста/данных, которые я обмениваю между Python, R, а иногда и Matlab.

My go-to - это текстовый файл, но иногда используется SQLite для хранения данных и доступа из каждой программы (хотя и не для Matlab). Я не использую GROUPBY, AVG и т. Д. В SQL так же сильно, как я делаю эти операции в R, поэтому я не обязательно требую операций с базой данных.

Для таких приложений, которые требуют обмена данными между программами для использования доступных библиотек на каждом языке, существует хорошее эмпирическое правило, по которому используется формат/метод обмена данными (даже XML или NetCDF или HDF5)?

Я знаю, что между Python -> R существует rpy или rpy2, но я задавался вопросом об этом вопросе в более общем смысле - я использую многие компьютеры, у которых все нет rpy2, а также используют несколько других частей научного анализа программное обеспечение, требующее доступа к данным в разное время (этапы обработки и анализа также разделяются).

Answer 1

Если все языки поддерживают SQLite - используйте его. Сила SQL может быть не очень полезной для вас прямо сейчас, но она, вероятно, будет в какой-то момент, и это избавит вас от необходимости переписывать вещи позже, когда вы решите, что хотите иметь возможность запрашивать ваши данные более сложными способами.

SQLite также, вероятно, будет значительно быстрее, если вы хотите получить доступ к определенным битам данных в вашем хранилище данных, поскольку делать это с помощью текстового файла сложно, не читая весь файл (хотя это невозможно).

Answer 2

Плоский текстовый файл (например, в формате csv) был бы самым портативным решением. Почти каждая программа/библиотека может работать с этим форматом: R и Python имеют хорошую поддержку csv, и если ваш набор данных не слишком велик, вы даже можете импортировать csv в Excel для небольших задач.

Однако текстовые файлы не используются для больших наборов данных, так как их необходимо полностью прочитать для почти всех операций (в зависимости от структуры ваших данных).

SQLite позволяет очень легко фильтровать данные (даже без особых знаний SQL), и, как вы уже упоминали, может выполнять некоторые вычисления самостоятельно (AVG, SUM, ...). Используя плагин Firefox SQLiteManager, вы можете работать с БД на каждом компьютере без каких-либо проблем с установкой/конфигурацией и, таким образом, легко управлять своими данными (импорт/экспорт, фильтрация).

Поэтому я бы рекомендовал использовать SQLite для больших наборов данных, для которых требуется большая фильтрация для извлечения необходимых данных. Для небольших наборов данных или если нет необходимости выбирать подмножества ваших данных, текстовый файл (CSV) должен быть точным.