Пропуск первой строки .csv в Map уменьшить java

Question

Как функция mapper работает для каждой строки, могу ли я узнать, как пропустить первую строку. Для некоторого файла он состоит из заголовка столбца, который я хочу игнорировать.

Answer 1

В картографе при чтении файла, данные считываются в качестве ключевого значения пара. Ключ - это смещение байта, где начинается следующая строка. Для строки 1 она всегда равна нулю. Поэтому в функции картографа выполните следующие действия:

@Override 
    public void map(LongWritable key, Text value, Context context) throws IOException { 
     try { 
      if (key.get() == 0 && value.toString().contains("header") /*Some condition satisfying it is header*/) 
       return; 
      else { 
       // For rest of data it goes here 
      } 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    }  

Answer 2

Поскольку файл может храниться в нескольких узлах, мы не можем сказать, в какой машине присутствует часть заголовка, а какой обработчик обрабатывает эту часть файла. Мы можем отфильтровать заголовок в самом Mapper. Для этого вам нужно знать заголовки. Например, Строка [] cols = line.tokenize(); если (перевалы [0] .equals ("заголовок")) {// пропустить } еще {// испускает }