Лучший способ для хранения TimeStamp

Question

У меня есть следующее значение TimeStamp: Wed Jun 25 09:18:15 +0000 2014.

Я пишу программу MapReduce в Python, которая читает объекты JSON из местоположения Amazon S3 и экспортирует его в локальный файл CSV. Затем файл CSV будет экспортировать данные в базу данных MySQL и HBase. У меня около 200 миллионов записей (1 ТБ), поэтому мне нужно оптимизировать каждый шаг обработки.

Какой тип данных следует использовать для хранения значения TimeStamp в базе данных Python, CSV, MySQL и HBase? Мне нужно сохранить все аспекты значения TimeStamp. Моя схема имеет 4 столбца в файлах CSV, MySQL и HBase.

Спасибо!

Answer 1

Использовать долго, чтобы представлять время (миллисекунды), чтобы вы не беспокоились о date formatting/string encoding. Это пространство эффективно и намного проще выполнять запросы диапазона.