NiFi: удалить фиксированное количество строк заголовка из файла

Question

Я обрабатываю файл, и я хотел бы удалить (обрезать) первые строки заголовка X, чтобы хранить только данные, возможно, избегая использования регулярных выражений.

Благодаря

Answer 1

Вы можете удалить первые строки заголовка X с помощью ExecuteScript PROCESOR в Nifi.

Ниже приведен пример Jython сценарий, который я написал для себя:

import json 
import java.io 
from org.apache.commons.io import IOUtils 
from java.nio.charset import StandardCharsets 
from org.apache.nifi.processor.io import StreamCallback 

class PyStreamCallback(StreamCallback): 
    def __init__(self): 
     pass 
    def process(self, inputStream, outputStream): 
    text = IOUtils.readLines(inputStream, StandardCharsets.UTF_8) 
    for line in text[3:]: 
     outputStream.write(line + "\n") 

flowFile = session.get() 
if (flowFile != None): 
    flowFile = session.write(flowFile,PyStreamCallback()) 
    flowFile = session.putAttribute(flowFile, "filename", flowFile.getAttribute('filename').split('.')[0]+'_translated.json') 
    session.transfer(flowFile, REL_SUCCESS) 

Это, очевидно, удаляет первые 3 строки, но вы можете легко изменить его, чтобы удалить больше или меньше строк.

Надеюсь, что это поможет.