Ошибка потока - плохой дескриптор файла

Question

Я пытался использовать Streamsets для запроса базы данных Oracle и публикации данных в Kafka. Я загрузил tarball Streamsets на свой Mac и распаковал его в свой домашний каталог. Запуск $HOME/streamsets-datacollector-2.1.0.2/bin/streamsets dc начался с моей первой попытки, затем я выполнил инструкции here, чтобы добавить драйвер jdbc, а затем инструкции here, чтобы настроить работу с потоками. Однако, я получил ошибку: JDBC_00 - Cannot connect to specified database: com.streamsets.pipeline.api.StageException: JDBC_06 - Failed to initialize connection pool: java.sql.SQLRecoverableException: IO Error: Bad file descriptor.

Answer 1

Это связано с ограничением количества файлов, которые процесс может открыть. Когда я запустил ulimit -n на ноутбуке, он показал 4864, затем я установил его на 10,000 через ulimit -n 10000, перезапустил сервер потоков, и он сработал! Если мне нужно продолжить выполнение этого, я найду более процедурный способ настройки ulimit для этого процесса, чтобы обойти эту проблему.