input-split

0зной

1ответ

hadoop - как будет вводиться форма разбиения, если файл имеет только одну запись, а размер файла больше размера блока?

пример, чтобы объяснить вопрос - У меня есть файл размером 500MB (input.csv) файл содержит только одну строку (запись) в нем так, как файл будет храниться в блоках HDFS и как будут вычисляться входные

0зной

1ответ

Местоположение HadoopPartition

У меня есть набор данных в csv-файле, который занимает два блока в HDFS и реплицируется на двух узлах A и B. Каждый узел имеет копию набора данных. Когда Spark начинает обработку данных, я видел два с

2зной

3ответ

Входной сигнал Hadoop для сжатого блока

Если у меня есть сжатый файл размером 1 ГБ, который является разделяемым, и по умолчанию размер блока и размер входного разделения составляют 128 МБ, тогда есть 8 блоков и 8 разделенных входных данных

1зной

1ответ

Разделяют ли расколы, такие как FileSplit в Haddop, блоки?

Первый вопрос: Я хочу знать, будут ли сплиты менять блоки любыми способами (т. Е. Изменить размер, переместить блок в другое место, создать новые блоки, ...). Второй вопрос: Я думаю, шпагат не меняет

1зной

1ответ

Python Input Split с предельным диапазоном

var1,var2 = input("Enter two digits a and b (0-9):").split(' ') while True: if (0 <= var1 <= 9) and (0 <= var2 <= 9): result = var1+var2 print("The result is: %r." %result) Я исполь

0зной

1ответ

Входные разрывы в Hadoop

Если размер входного файла составляет 200 МБ, то будет 4 блока/входные расщепления, но на каждом узле данных будет работать с ним. Если все 4 входных разделения находятся в одном узле данных, будет вы

4зной

2ответ

Hadoop MapReduce Реализация RecordReader необходима?

Из док Apache на Hadoop MapReduce InputFormat Интерфейс: "[L] ogical расщепляется на основе входного размера недостаточно для многих приложений, так как запись границы должны соблюдаться В таких случа

0зной

1ответ

Mapper, не выполняющийся на имени хоста, возвращаемого из getLocations() из InputSplit в Hadoop

Я расширил класс Hadoop InputSplit, чтобы рассчитать свой собственный разделитель входных данных, однако при возвращении определенного HostIP (то есть IP-адреса данных) в качестве строки для переопред