Как getProgress больших файлов с помощью XMLStreamReader

Question

Я использую ниже код для чтения большого файла XML (в ГЗ) в Hadoop RecordReader с использованием XMLStreamReader

public class RecordReader { 
    int progressCouunt = 0; 
    public RecordReader() { 
    XMLInputFactory factory = XMLInputFactory.newInstance(); 
    FSDataInputStream fdDataInputStream = fs.open(file); //hdfs file 
    try { 
      reader = factory.createXMLStreamReader(fdDataInputStream); 
    } catch (XMLStreamException exception) { 
      throw new RuntimeException("XMLStreamException exception : ", exception); 
    } 
    } 
    @Override 
    public float getProgress() throws IOException, InterruptedException { 
    return progressCouunt; 
    } 
} 

Мой вопрос заключается в том, чтобы получить чтение прогресса файла с XMLStreamReader так как он не предоставляет начальную или конечную позицию для расчета процента прогресса. Я ссылался на How do I keep track of parsing progress of large files in StAX?, но не могу использовать userReader. Пожалуйста, помогите мне здесь.

Answer 1

Вы можете обернуть InputStream, расширив FilterInputStream.

public interface InputStreamListener { 
    void onBytesRead(long totalBytes); 
} 

public class PublishingInputStream extends FilterInputStream { 
    private final InputStreamListener; 
    private long totalBytes = 0; 

    public PublishingInputStream(InputStream in, InputStreamListener listener) { 
     super(in); 
     this.listener = listener; 
    } 

    @Override 
    public int read(byte[] b) { 
     int count = super.read(b); 
     this.totalBytes += count; 
     this.listener.onBytesRead(totalBytes); 
    } 

    // TODO: override the other read() methods 
} 

Использование

XMLInputFactory factory = XMLInputFactory.newInstance(); 
InputStream in = fs.open(file); 
final long fileSize = someHadoopService.getFileLength(file); 
InputStremListener listener = new InputStreamListener() { 
    public void onBytesRead(long totalBytes) { 
     System.out.println(String.format("Read %s of %s bytes", totalBytes, fileSize)); 
    } 
}; 
InputStream publishingIn = new PublishingInputStream(in, listener); 
try { 
    reader = factory.createXMLStreamReader(publishingIn); 
    // etc