0
У меня есть данные об авариях из анализа данных трафика. Некоторые из столбцов:Hadoop Вторичный сорт - использовать или не использовать
Accident Id, от несчастных случаев Дата, день недели
1, 1/1/1979, 5 (четверг)
2, 1/2/1979, 6 (пятница)
.......
3, 1/1/1980, 0 (воскресенье)
Я пытаюсь решить следующие:
Находит количество несчастных случаев в год в день
так результат должен выглядеть следующим образом:
где Ключ (год, день недели)
и стоимость = количество несчастных случаев в тот же день Здесь линии 1 представляет, год = 1979 день = воскресенье и количество несчастных случаев = 500 и т. Д.
1979,1 500
1979,2 1500
1979,3 2500
1979,4 3500
1979,5 4500
1979,6 5500
1979,7 6500
1980,1 500
1980,2 1500
1980,3 2500
1980,4 3500
1980,5 4500
В этом случае я пытаюсь решить его, используя метод вторичной сортировки. Это правильный способ решить эту проблему?
Если вторичная сортировка правильная, ее не работает для меня. Вот ключевой класс, картограф и редуктор. Но мой результат не соответствует ожиданиям. Пожалуйста, помогите ..
public class DOW implements WritableComparable<DOW> {
private Text year;
private Text day;
// private final Text count;
// private int count;
public DOW() {
this.year = new Text();
this.day = new Text();
// this.count = count;
}
public DOW(Text year, Text day) {
this.year = year;
this.day = day;
// this.count = count;
}
public Text getYear() {
return this.year;
}
public void setYear(Text year) {
this.year = year;
}
public Text getDay() {
return this.day;
}
public void setDay(Text day) {
this.day = day;
}
@Override
public void readFields(DataInput in) throws IOException {
// TODO Auto-generated method stub
year.readFields(in);
day.readFields(in);
}
@Override
public void write(DataOutput out) throws IOException {
// TODO Auto-generated method stub
year.write(out);
day.write(out);
}
@Override
public int compareTo(DOW o) {
// TODO Auto-generated method stub
int cmp = year.compareTo(o.year);
if (cmp != 0) {
return cmp;
}
return o.day.compareTo(this.day);
}
@Override
public String toString() {
// TODO Auto-generated method stub
return year + "," + day;
}
@Override
public boolean equals(Object o) {
// TODO Auto-generated method stub
if (o instanceof DOW) {
DOW tp = (DOW) o;
return year.equals(tp.year) && day.equals(tp.day);
}
return false;
}
@Override
public int hashCode() {
// TODO Auto-generated method stub
return year.hashCode() * 163 + day.hashCode();
}
}
public class AccidentDowDemo extends Configured implements Tool {
public static class DOWMapper extends Mapper<LongWritable, Text, DOW, IntWritable> {
private static final Logger sLogger = Logger.getLogger(DOWMapper.class);
@Override
protected void map(LongWritable key, Text value, Context context)
throws java.io.IOException, InterruptedException {
if (value.toString().contains(",")) {
String[] array = value.toString().split(",");
if (!array[9].equals("Date")) {
Date dt = null;
try {
dt = new SimpleDateFormat("dd/mm/yyyy").parse(array[9]);
} catch (ParseException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
int year = dt.getYear();
int day = Integer.parseInt(array[10].toString());
context.write(new DOW(new Text(Integer.toString(year)),
new Text(Integer.toString(day))),
new IntWritable(1));
}
}
};
}
public static class DOWReducer extends Reducer<DOW, IntWritable, DOW, IntWritable> {
private static final Logger sLogger = Logger
.getLogger(DOWReducer.class);
@Override
protected void reduce(DOW key, Iterable<IntWritable> values,
Context context) throws java.io.IOException,
InterruptedException {
int count = 0;
sLogger.info("key =" + key);
for (IntWritable x : values) {
int val = Integer.parseInt(x.toString());
count = count + val;
}
context.write(key, new IntWritable(count));
};
}
public static class FirstPartitioner extends Partitioner<DOW, IntWritable> {
@Override
public int getPartition(DOW key, IntWritable value, int numPartitions) {
// TODO Auto-generated method stub
return Math.abs(Integer.parseInt(key.getYear().toString()) * 127)
% numPartitions;
}
}
public static class KeyComparator extends WritableComparator {
protected KeyComparator() {
super(DOW.class, true);
}
@Override
public int compare(WritableComparable w1, WritableComparable w2) {
// TODO Auto-generated method stub
DOW ip1 = (DOW) w1;
DOW ip2 = (DOW) w2;
int cmp = ip1.getYear().compareTo(ip2.getYear());
if (cmp == 0) {
cmp = -1 * ip1.getDay().compareTo(ip2.getDay());
}
return cmp;
}
}
public static class GroupComparator extends WritableComparator {
protected GroupComparator() {
super(DOW.class, true);
}
@Override
public int compare(WritableComparable w1, WritableComparable w2) {
// TODO Auto-generated method stub
DOW ip1 = (DOW) w1;
DOW ip2 = (DOW) w2;
return ip1.getYear().compareTo(ip2.getYear());
}
}
}
Просто для уточнения расчета количества дорожно-транспортных происшествий на ежегодной основе вы можете передать карту как и подвести итог в сторону редуктора и для расчета на ежедневной основе вы можете использовать mapper как <целая дата в MM/DD/YYYY, новый DoubleWritable (1)> и суммируйте значение со стороны редуктора. Вы подумали об этом и почему-то проигнорировали? и почему вы хотите взять недельные дни вместе с вашим ключом? –
Привет, На самом деле я хочу, чтобы результат выглядел так: 1979, 1 500. Эта строка говорит мне, что в 1979 году по воскресеньям зарегистрировано 500 несчастных случаев. Так что за каждый год у меня будет 7 рядов, то есть 1 строка в день, и каждый ряд расскажет, сколько несчастных случаев в день недели. Надеюсь, что это очистит ваш вопрос. – DevHelp