Как обрабатывать огромные данные из службы REST

Мы используем службу REST, которая возвращает огромные данные. В процессе производства серверное оборудование может справиться с этим. Мне нужно проверить службу REST, получив данные на моем локальном компьютере, , который не может обрабатывать огромные данные. Моя локальная машина - 4G i5. Я получаю исключение из памяти каждый раз, когда я нахожу службу.Как обрабатывать огромные данные из службы REST

response.getStatus() возвращает 200 статус. Но, собирая данные с помощью считывателя потока ввода, я получаю исключение из памяти.

BufferedReader br = new BufferedReader(new 
InputStreamReader(newByteArrayInputStream(response.getEntity().getBytes())));

Есть ли другой способ для сбора данных без исключения исключения памяти?

Я попытался подтолкнуть свой размер виртуальной машины к 2G, но он все еще не работает.

источник

2014-02-06 om39a

Как насчет возврата только части ответа? –

пишите на диск или в/dev/null – PeterMmm

@Petey Мне нужен массив байтов для записи в файл, но при получении байтов он не работает. Response.getEntity(). GetBytes() ' – om39a

Если служба поддерживает его, используйте стандартный подход HTTP requesting chunks в пределах диапазона всей полезной нагрузки содержимого ответа.

Другой подход (опять же, если API поддерживает его) составляет pagination.

источник

2014-02-06 17:57:47

Это хороший подход, который я могу порекомендовать. Спасибо, Брайан! – om39a

Вы можете установить пороговое значение в конфигурации службы REST, которая ограничивает объем возвращаемых данных. В производстве порог не будет установлен или будет установлен на большое значение. В тестовой среде вы можете установить порог на небольшое управляемое значение.

источник

2014-02-06 17:53:46 DwB

Как обрабатывать огромные данные из службы REST

ответ

Смежные вопросы