2015-10-15 2 views
0

Мне нужно загружать данные в таблицу с определенными пользователем типами, но видеть, что пользовательские типы не поддерживаются в загрузчике. Я думал, если бы я написал каждую строку в качестве инструкции insert (50 миллионов) в текстовый файл, могу ли я загрузить текстовый файл операторов insert параллельно?запуск текстового файла вставок параллельно в cassandra

Сейчас я просто использую команду копирования для загрузки данных, но получаю около 2500 строк в секунду, поэтому загрузка 60 миллионов записей происходит довольно медленно.

Попытка выяснить, какой самый быстрый способ загрузить данные, если бы я не мог использовать утилиту массового разгрузки.

ответ

1

Вы можете написать свою собственную программу by usind Cassandras asynchronous queries, Datastax предлагает драйверы для практически любого популярного языка.

+0

Спасибо @Will! Просто сделал это редактирование, поскольку я пытаюсь использовать python для этого, но я сталкиваюсь с какой-то проблемой, так как это мой первый опыт использования python ... – user2061886

Смежные вопросы