Как использовать несколько файлов ETL с помощью Scriptella?

Question

У меня есть несколько файлов журнала 1.csv, 2.csv и 3.csv, сгенерированные журнальным отчетом. Я хочу прочитать эти файлы и проанализировать их одновременно с помощью Scriptella.

Answer 1

Scriptella не обеспечивает параллельное выполнение задания из коробки. Вместо этого вы должны использовать планировщик заданий, предоставляемый операционной системой или средой программирования (например, запустите несколько файлов ETL, отправив задания в ExecutorService).

Вот рабочий пример, чтобы импортировать один файл, указанный в качестве системного свойства:

ETL файл:

<!DOCTYPE etl SYSTEM "http://scriptella.javaforge.com/dtd/etl.dtd"> 
<etl> 
    <connection id="in" driver="csv" url="$input"/> 
    <connection id="out" driver="text"/> 
    <query connection-id="in"> 
     <script connection-id="out"> 
      Importing: $1, $2 
     </script> 
    </query> 
</etl> 

кода Java для запуска файлов параллельно:

//Imports 3 csv files in parallel using a fixed thread pool 
public class ParallelCsvTest { 
    public static void main(String[] args) throws EtlExecutorException, MalformedURLException, InterruptedException { 
     final ExecutorService service = Executors.newFixedThreadPool(3); 
     for (int i=1;i<=3;i++) { 
      //Pass a name as a parameter to ETL file, e.g. input<i>.csv 
      final Map<String,?> map = Collections.singletonMap("input", "input"+i+".csv"); 
      EtlExecutor executor = EtlExecutor.newExecutor(new File("parallel.csv.etl.xml").toURI().toURL(), map); 
      service.submit((Callable<ExecutionStatistics>)executor); 
     } 
     service.shutdown(); 
     service.awaitTermination(10, TimeUnit.SECONDS); 
    } 
} 

В этом примере создайте 3 csv-файла input1.csv, input2.csv и input3.csv a d поместите их в текущий рабочий каталог. Пример файла CSV:

Level, Message 
INFO,Process 1 started 
INFO,Process 1 stopped