Удаленный файл, хранящийся в файловом дескрипторе до сбора мусора

Question

У меня есть служба java, которая загружает очень большие файлы, выполняет некоторую обработку, а затем удаляет их. Я заметил, что служба держится за дескриптор файла, пока не запустят сбор мусора. Это проблема, потому что ОС (debian) не может вернуть это пространство до тех пор, пока не будет выпущен дескриптор файла. Как заставить JVM восстановить это пространство после того, как объект файла выходит из области видимости? Я бы предпочел не использовать system.gc().

Чтобы было ясно, что я наблюдал это поведение

1. работает lsof и видеть удаленные файлы (отмеченные как deleted). Также df -h показывает файлы, занимающие место.
2. running jcmd <pid> GC.run
3. lsof и больше не видя файл. df -h показывает дисковое пространство.

Вот упрощенная версия Java Код:

public void downloadAndProcess() throws IOException { 
    File destinationFile = new File("blah"); 
    s3Client.getObject(
      new GetObjectRequest(bucket, key), 
      destinationFile 
    ); 
    // do some processing 
    destinationFile.delete(); 
} 

Answer 1

«Это проблема, потому что ОС (Debian) не может вернуть это пространство, пока дескриптор файла не будет отпущена»

Это твоя проблема, это неправильно. Дескриптор файла - это целое число, каждый процесс получает один (и зависит от процесса, а не от нуля). Os освободит место в этой ситуации, и это именно то, что для дескрипторов файлов (а не для указателей на файл bytearray).

Если это все равно вас пугает, отправьте свой код Java и код оболочки, чтобы было ясно, в чем проблема.