Modify Grep для разбора файлов Sequence/Snappy

Question

Я пытаюсь получить пример Grep в комплекте с CDH для чтения файлов Sequence/Snappy.

По умолчанию программа выбрасывает ошибки, пытаясь прочитать Sequence/мгновенным файлы:

java.io.EOFException: Неожиданный конец блока в входном потоке на org.apache.hadoop.io.compress. BlockDecompressorStream.getCompressedData (BlockDecompressorStream.java:121)
на org.apache.hadoop.io.compress.BlockDecompressorStream.decompress (BlockDecompressorStream.java:95)
в org.apache.hadoop.io.compress.DecompressorStream.read (DecompressorStream.java:83)
at java.io.InputStream.read (InputStream.java:82)

Поэтому я отредактировал код для чтения файлов последовательности.

Изменено:

FileInputFormat.setInputPaths(grepJob, args[0]); 

To:

FileInputFormat.setInputPaths(grepJob, args[0]); 
    grepJob.setInputFormatClass(SequenceFileAsTextInputFormat.class); 

Но я все еще получаю ту же ошибку.

1) Нужно ли мне вручную установить кодек сжатия ввода? Я думал, что считыватель SequenceFile автоматически обнаруживает сжатие.
2) Если мне нужно вручную установить сжатие, я делаю это с помощью «setInputFormatClass» или это что-то, что я установил в объекте «conf»?

Answer 1

Получил мой код для работы. Я немного запутался относительно того, как, но мне не нужно было указывать кодек сжатия в любом месте кода. Вот исходный код:

package org.myorg; 

import java.util.Random; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.conf.Configured; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.LongWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.*; 
import org.apache.hadoop.mapreduce.lib.input.*; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.input.SequenceFileInputFormat; 
import org.apache.hadoop.mapreduce.lib.map.InverseMapper; 
import org.apache.hadoop.mapreduce.lib.map.RegexMapper; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 
import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat; 
import org.apache.hadoop.mapreduce.lib.reduce.LongSumReducer; 
import org.apache.hadoop.util.Tool; 
import org.apache.hadoop.util.ToolRunner; 
import org.apache.hadoop.io.SequenceFile.CompressionType; 
import org.apache.hadoop.io.SequenceFile.Metadata; 
import org.apache.hadoop.io.compress.*; 


/* Extracts matching regexs from input files and counts them. */ 
public class Grep extends Configured implements Tool { 
private Grep() {} // singleton 

public int run(String[] args) throws Exception { 
if (args.length < 3) { 
System.out.println("Grep <inDir> <outDir> <regex> [<group>]"); 
ToolRunner.printGenericCommandUsage(System.out); 
return 2; 
} 

Path tempDir = 
new Path("grep-temp-"+ 
Integer.toString(new Random().nextInt(Integer.MAX_VALUE))); 

Configuration conf = getConf(); 
conf.set(RegexMapper.PATTERN, args[2]); 
if (args.length == 4) 
conf.set(RegexMapper.GROUP, args[3]); 


Job grepJob = new Job(conf); 

try { 

grepJob.setJobName("grep-search"); 

FileInputFormat.setInputPaths(grepJob, args[0]); 
grepJob.setInputFormatClass(SequenceFileAsTextInputFormat.class); 

grepJob.setMapperClass(RegexMapper.class); 

grepJob.setCombinerClass(LongSumReducer.class); 
grepJob.setReducerClass(LongSumReducer.class); 
FileOutputFormat.setOutputPath(grepJob, tempDir); 
grepJob.setOutputFormatClass(SequenceFileOutputFormat.class); 
grepJob.setOutputKeyClass(Text.class); 
grepJob.setOutputValueClass(LongWritable.class); 

grepJob.waitForCompletion(true); 

Job sortJob = new Job(conf); 
sortJob.setJobName("grep-sort"); 

FileInputFormat.setInputPaths(sortJob, tempDir); 
sortJob.setInputFormatClass(SequenceFileInputFormat.class); 

sortJob.setMapperClass(InverseMapper.class); 

sortJob.setNumReduceTasks(1); // write a single file 
FileOutputFormat.setOutputPath(sortJob, new Path(args[1])); 
sortJob.setSortComparatorClass(// sort by decreasing freq 
LongWritable.DecreasingComparator.class); 

sortJob.waitForCompletion(true); 
} 
finally { 
FileSystem.get(conf).delete(tempDir, true); 
} 
return 0; 
} 

public static void main(String[] args) throws Exception { 
int res = ToolRunner.run(new Configuration(), new Grep(), args); 
System.exit(res); 
} 

} 

Я смущен, потому что в простой программе «кошки», я должен был установить кодек сжатия.

package org.myorg; 
import java.io.*; 
import java.util.*; 
import java.net.*; 
import org.apache.hadoop.fs.*; 
import org.apache.hadoop.conf.*; 
import org.apache.hadoop.io.*; 
import org.apache.hadoop.mapreduce.*; 
import org.apache.hadoop.util.*; 
import org.apache.hadoop.io.SequenceFile.CompressionType; 
import org.apache.hadoop.io.SequenceFile.Metadata; 
import org.apache.hadoop.io.compress.*; 
import java.nio.charset.*; 

public class seqcat { 

public static void main(String[] args) throws IOException { 
    String uri = args[0]; 
    Configuration conf = new Configuration(); 
    FileSystem fs = FileSystem.getLocal(conf); 
    Path seqFilePath = new Path(uri); 
    SequenceFile.Reader reader = new SequenceFile.Reader(conf, SequenceFile.Reader.file(seqFilePath)); 

    Writable key = (Writable) ReflectionUtils.newInstance(reader.getKeyClass(), conf); 
    Writable value = (Writable) ReflectionUtils.newInstance(reader.getValueClass(), conf); 

    CompressionCodecFactory ccf = new CompressionCodecFactory(conf); 
    CompressionCodec codec = ccf.getCodecByClassName(DefaultCodec.class.getName()); 

    while (reader.next(key, value)) { 
       byte[] strBytes = ((BytesWritable) value).getBytes(); 
       int len = ((BytesWritable) value).getLength(); 
       String val = new String(strBytes,0,len,Charset.forName("UTF-8")); 
       System.out.println(val); 
      } 

    reader.close(); 
    } 
}