DSE Version 4.8.2Cassandra ReBuild
Я добавил 6 новых узлов в кластер с данными и поместил бутстрап: false. После того, как они присоединились, я запускаю перестройку для каждого. Я считаю, что 1 NODE выполнен, но команда на консоли все еще «работает» (например, я еще не могу запустить еще одну команду). Я хочу убедиться, что он полностью выполнен. Нет никакого уплотнения и никаких потоков, активных для этой единицы. UPDATE: теперь прошло 4 дня и все еще сидит в командной строке.
Есть ли что-нибудь, кроме compationstats и netstats, которые, возможно, мне не хватает? Я видел, как он сбрасывал данные, а затем сжимал его, но теперь .....
Еще один вопрос, после того, как я полностью закончил перестраивать, тогда очистка есть ли какие-либо другие задачи, которые я должен рассмотреть, чтобы полностью синхронизировать кластер?
UPDATE:
Как я пытаюсь запустить восстановление, я получаю следующее сообщение об ошибке. Я увеличил лимит файлов в Ubuntu 14.04 до 200 000, и я все еще получаю ошибку.
INFO [MemtableFlushWriter: 747] 2016-02-29 03: 57: 1811 Memtable.java:382 - Завершена промывка /СМИ/slot02/CJD/матч b633b251a04f11e58b7b89a485a622c1/CJD-матч-ТМП-ка -127932-Data.db (71.866MiB) для commitlog позиции ReplayPosition (segmentId = 1456708497054, позиция = 14141564) ИНФОРМАЦИЯ [ScheduledTasks: 1] 2016-02-29 03: 58: 33573 ColumnFamilyStore.java:905 - Enqueuing flush of compaction_history: 17177 (0%) on-heap, 0 (0%) off-heap INFO [MemtableFlushWriter: 748] 2016-02-29 03: 58: 33,57 Memtable.java:347 - Написание Memtable-compaction_history @ 971836863 (3.428KiB serial ized ized ized ized 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 INFO [MemtableFlushWriter: 748] 2016-02-29 03: 58: 33,575 Memtable.java:382 - Завершена промывка /media/slot01 /system/compaction_history-b4dbb7b4dc493fb5b3bfce6e434832ca/system-compaction_history-tmp-ka-142-Data.db (0.000KiB) для commitlog позиции ReplayPosition (segmentId = 1456708497058, позиция = 20942643) WARN [ПОТОК-in/10.0.1.243 ] 2016-02-29 04: 00: 02,317 CLibrary.java:231 - open (/ media/slot01/cjd/match-b633b25aa44e11e58b7b89a485a622c1, O_RDONLY) failed, errno (24). ОШИБКА [STREAM-IN-/10.0.1.243] 2016-02-29 04: 00: 02,541 JVMStabilityInspector.java:117 - Состояние JVM, определенное на , нестабильно. Выход силой из-за: java.io.FileNotFoundException: /media/slot01/cjd/match-b633b251a04f11e58b7b89a485a622c1/cjd-match-tmp-ka-128371-Index.db (Слишком много открытых файлов) в java.io.RandomAccessFile .open0 (Родной Метод) ~ [na: 1.8.0_72] на java.io.RandomAccessFile.open (RandomAccessFile.java:316) ~ [na: 1.8.0_72] на java.io.RandomAccessFile. (RandomAccessFile .java: 243) ~ [na: 1.8.0_72] at org.apache.cassandra.io.util.SequentialWriter. (SequentialWriter.java:78) ~ [cassandra-all-2.1.11.908.jar: 2.1. 11.908] на org.apache.cassandra.io.util.SequentialWriter.open (SequentialWriter.java:111) ~ [cassandra-all-2.1.11.908.jar: 2.1. 11.908] на org.apache.cassandra.io.util.SequentialWriter.open (SequentialWriter.java:106) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908] на org.apache.cassandra.io .sstable.SSTableWriter $ IndexWriter. (SSTableWriter.java:587) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908] на org.apache.cassandra.io.sstable.SSTableWriter. (SSTableWriter.java:140) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908] на org.apache.cassandra.io.sstable.SSTableWriter. (SSTableWriter.java:81) ~ [ cassandra-all-2.1.11.908.jar: 2.1.11.908] at org.apache.cassandra.streaming.StreamReader.createWriter (StreamReader.java:135) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908 ] на странице org.apache.cassandra.streaming.compress.CompressedStreamReader.read (CompressedStreamReader.java:80) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908] на странице org.apache.cassandra.streaming. messages.IncomingFileMessage $ 1.deserialize (IncomingFileMessage.java:48) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908] на org.apache.cassandra.streaming.messages.IncomingFileMessag e $ 1.deserialize (IncomingFileMessage.java:38) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908] at org.apache.cassandra.streaming.messages.StreamMessage.deserialize (StreamMessage.java:56) ~ [cassandra-all-2.1.11.908.jar: 2.1.11.908] at org.apache.cassandra.stream.ConnectionHandler $ IncomingMessageHandler.run (ConnectionHandler.java:250) ~ [cassandra-all-2.1.11.908. jar: 2.1.11.908] at java.lang.Thread.run (Thread.java:745) [na: 1.8.0_72] INFO [Thread-2] 2016-02-29 04: 00: 02,543 DseDaemon.java: 418 - Закрытие DSE ...
В настоящее время мой лимит OpenFile составляет 200 000 от ulimit -a. Я мог бы попытаться подняться выше, но Кассандра предлагает 100 000 лимитов.
Если мне нужно было УГАДАТЬ, проблема заключается в одном компактном компактном узле из-за того, что два диска заполнены на узле, откуда поступают данные. По мере того как он извлекает данные перестройки оттуда, он вытягивает 50 000 небольших файлов, в отличие от других узлов, вытягивая 1-2 больших файла. Возможно, это то, что я должен исправить первым?
Настоятельно нужна помощь ... Спасибо!
Спасибо,
doanduyhai, Хотя я полностью согласен с вашим заявлением.У меня возникли проблемы при подключении к кластеру с auto_bootstrap: true. В других статьях, которые я читал, они сказали, что они установлены в false, затем перестраивают, после того как они завершатся, чтобы установить значение true. Каждый раз, когда я пытался присоединиться, я получал ошибки java-heap-out. Каждый NODE имеет 16 ядер и 40 ГБ оперативной памяти. Должен ли я повторить попытку установить истину и воссоединиться сейчас? Некоторые данные были добавлены к новым узлам, хотя уже. –
Вы добавляли одновременно узлы ONE BY ONE или все 6 узлов? – doanduyhai
Я добавил их все одновременно (или 3, затем 3). В настоящее время я запускаю очистку на узле CASS4, который имеет два заполненных диска. Мы действительно выполняем репликацию = 2, так что, надеюсь, это означает, что она вытащит эти данные с другого узла, если нет, не будет вреда для фола. Важно ли добавлять узлы по одному за раз? –