AWS Kinesis для веб-сервисов

Question

Один из моих клиентов имеет существующее приложение, которое считывает данные из сторонней службы, записывает в мою базу данных. Позже эти данные используются для создания веб-сервисов для моего приложения для Android.

Теперь весь код переносится в AWS, и мой клиент хочет получить лучший сервис для этого. Поэтому при расследовании я обнаружил, что услуга AWS «Kinesis» может использоваться для потоковой передачи данных. К сожалению, этого нет в свободном уровне, чтобы опробовать. Если кто-то с опытом работы в AWS может сказать мне, могу ли я использовать «Kinesis» для этой цели веб-службы?

Thanks and regards, Tismon Varghese.

Answer 1

Kinesis - это сервис, который способен получать события на одном конце и позволяет обрабатывать эти события на другом конце и быть буфером посередине, чтобы хранить эти события в течение определенного периода времени.

Да, вы можете глотать события из любого источника в Кинезис (если они меньше 1 МБ - см. Больше ограничений здесь: http://docs.aws.amazon.com/streams/latest/dev/service-sizes-and-limits.html). Вы также можете прочитать события на другой стороне и поместить их в свою базу данных (Redshift, RDS или вашу БД на EC2).

У вас может быть несколько вариантов чтения этих событий. Он может быть полностью автоматическим, если вы используете Kinesis Firehose для записи в Redshift. Он может быть безсерверным с использованием AWS Lambda, который запускается, когда у вас есть новые события в потоке кинезий. И это также можно сделать на ваших серверах с помощью собственного кода с использованием библиотеки с открытым исходным кодом: KCL (http://docs.aws.amazon.com/streams/latest/dev/developing-consumers-with-kcl.html).

Kinesis - чрезвычайно низкая стоимость, и вы можете попробовать его за пару долларов и даже меньше на пару дней. Существует много вариантов оптимизации его использования, если вы начинаете использовать его в значительной степени, но сначала вам нужно начать работу с мышлением в режиме реального времени.