Слияние файлов PDF, хранящихся на Amazon S3

Question

В настоящее время я использую pdfbox для загрузки всех моих pdf-файлов на свой сервер, а затем с помощью pdfbox для их объединения. Он работает отлично, но он очень медленный, так как я должен загрузить их все.

Есть ли способ выполнить все это на S3 напрямую? Я пытаюсь найти способ сделать это, даже если не в java и в python и не может этого сделать.

я прочитал следующее:

Merging files on S3 Amazon

https://github.com/boazsegev/combine_pdf/issues/18

Есть ли способ объединить файлы, хранящиеся в S3, без необходимости загружать их?

EDIT

Так я в конечном итоге делает он использует concurrent.futures и его реализации с concurrent.futures.ThreadPoolExecutor. Я установил максимум 8 рабочих потоков для загрузки всех файлов PDF из s3.

Как только все файлы были загружены, я объединил их с pdfbox. Просто.

Answer 1

S3 - это просто хранилище данных, поэтому на каком-то уровне вам необходимо перенести файлы PDF с S3 на сервер, а затем обратно. Вероятно, вы получите максимальную скорость, выполнив конверсии в экземпляре EC2, расположенном в том же регионе, что и ваш ведро S3.

Если вы не хотите, чтобы вы делали это самостоятельно, вы можете использовать только AWS Lambda, который представляет собой вычислительную службу, в которой вы можете загрузить свой код и управлять AWS Это.