Spring Batch, как фильтровать дублированные элементы перед отправкой в ​​ItemWriter

Question

Я прочитал плоский файл (например. CSV-файл с 1 строкой на пользователя, например: UserId; Data1; Date2).

Но как обрабатывать дублированный элемент пользователя в считывающее (где нет списка previus пользователей ... прочитанные)

stepBuilderFactory.get("createUserStep1") 
.<User, User>chunk(1000) 
.reader(flatFileItemReader) // FlatFileItemReader 
.writer(itemWriter) // For example JDBC Writer 
.build(); 

Answer 1

Фильтрация обычно осуществляется с ItemProcessor. Если номер ItemProcessor возвращает значение null, элемент фильтруется и не передается на номер ItemWriter. В противном случае. В вашем случае вы можете сохранить список ранее увиденных пользователей в ItemProcessor. Если пользователь не был замечен раньше, передайте его. Если он был замечен раньше, верните значение null. Вы можете прочитать больше о фильтрации с ItemProcessor в документации здесь: http://docs.spring.io/spring-batch/trunk/reference/html/readersAndWriters.html#filiteringRecords

/** 
* This implementation assumes that there is enough room in memory to store the duplicate 
* Users. Otherwise, you'd want to store them somewhere you can do a look-up on. 
*/ 
public class UserFilterItemProcessor implements ItemProcessor<User, User> { 

    // This assumes that User.equals() identifies the duplicates 
    private Set<User> seenUsers = new HashSet<User>(); 

    public User process(User user) { 
     if(seenUsers.contains(user)) { 
      return null; 
     } 
     seenUsers.add(user); 
     return user; 

    } 
} 

Answer 2

Как вы могли видеть здесь http://docs.spring.io/spring-batch/trunk/reference/html/readersAndWriters.html#faultTolerant

Когда кусок откатывается, элементы, которые были в кэше во время чтения может быть переработано. Если шаг сконфигурирован, чтобы быть терпимым ошибка (использование пропустить или повторить обработку обычно), любая ItemProcessor используется должна быть реализована таким образом, что идемпотентна

Это означает, что в примере Майкла, первый раз, когда пользователь Обработанные пользователя кэшируется в наборе, и если происходит сбой Написание детали, если шаг отказоустойчивость процессора будет выполняться снова для того же пользователя, и это Фильтр отфильтрует пользователь.

Улучшен код:

/** 
* This implementation assumes that there is enough room in memory to store the duplicate 
* Users. Otherwise, you'd want to store them somewhere you can do a look-up on. 
*/ 
public class UserFilterItemProcessor implements ItemProcessor<User, User> { 

    // This assumes that User.equals() identifies the duplicates 
    private Set<User> seenUsers = new HashSet<User>(); 

    public User process(User user) { 
     if(seenUsers.contains(user) && !user.hasBeenProcessed()) { 
      return null; 
     } else { 
      seenUsers.add(user); 
      user.setProcessed(true); 
      return user; 
     } 
    } 
}