0
Я играю с HBase & Hadoop и запускаю их в псевдораспределенном режиме на моей машине. У меня есть таблицы, написанные для HBase, которые хранятся в «Hbase» каталог на HDFS, как показано нижеРезервное копирование каталога hdfs из псевдораспределенного в локальный каталог?
$HADOOP_HOME/bin/hadoop fs -ls /Found 3 items
drwxr-xr-x - robocode supergroup 0 2013-04-17 11:48 /Users
drwxr-xr-x - robocode supergroup 0 2013-04-17 11:26 /hbase
drwxr-xr-x - robocode supergroup 0 2013-04-08 15:07 /usr
Я хочу сделать резервную копию этого каталога Hbase из HDFS в каталог на моем рабочем столе, так что я могу восстановить его HBase/hdfs на более поздний срок. Я использую distcp, как показано ниже, это, кажется, прекрасно работать, но когда он завершает нет никаких признаков каталога Hbase на моем рабочем столе
hadoop distcp hdfs://localhost:8020/hbase /Users/robocode/Desktop/
13/04/17 11:55:39 INFO tools.DistCp: srcPaths=[hdfs://localhost:8020/hbase]
13/04/17 11:55:39 INFO tools.DistCp: destPath=/Users/robocode/Desktop
13/04/17 11:55:39 INFO tools.DistCp: sourcePathsCount=40
13/04/17 11:55:39 INFO tools.DistCp: filesToCopyCount=17
13/04/17 11:55:39 INFO tools.DistCp: bytesToCopyCount=22.9k
13/04/17 11:55:40 INFO mapred.JobClient: Running job: job_201304171125_0004
13/04/17 11:55:41 INFO mapred.JobClient: map 0% reduce 0%
13/04/17 11:55:55 INFO mapred.JobClient: map 100% reduce 0%
13/04/17 11:56:00 INFO mapred.JobClient: Job complete: job_201304171125_0004
13/04/17 11:56:00 INFO mapred.JobClient: Counters: 20
13/04/17 11:56:00 INFO mapred.JobClient: Job Counters
13/04/17 11:56:00 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=11840
13/04/17 11:56:00 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
13/04/17 11:56:00 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
13/04/17 11:56:00 INFO mapred.JobClient: Launched map tasks=1
13/04/17 11:56:00 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=0
13/04/17 11:56:00 INFO mapred.JobClient: File Input Format Counters
13/04/17 11:56:00 INFO mapred.JobClient: Bytes Read=7105
13/04/17 11:56:00 INFO mapred.JobClient: File Output Format Counters
13/04/17 11:56:00 INFO mapred.JobClient: Bytes Written=673
13/04/17 11:56:00 INFO mapred.JobClient: FileSystemCounters
13/04/17 11:56:00 INFO mapred.JobClient: HDFS_BYTES_READ=24954
13/04/17 11:56:00 INFO mapred.JobClient: FILE_BYTES_WRITTEN=22417
13/04/17 11:56:00 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=18365
13/04/17 11:56:00 INFO mapred.JobClient: distcp
13/04/17 11:56:00 INFO mapred.JobClient: Files copied=7
13/04/17 11:56:00 INFO mapred.JobClient: Bytes copied=17692
13/04/17 11:56:00 INFO mapred.JobClient: Bytes expected=17692
13/04/17 11:56:00 INFO mapred.JobClient: Files skipped=10
13/04/17 11:56:00 INFO mapred.JobClient: Map-Reduce Framework
13/04/17 11:56:00 INFO mapred.JobClient: Map input records=39
13/04/17 11:56:00 INFO mapred.JobClient: Spilled Records=0
13/04/17 11:56:00 INFO mapred.JobClient: Total committed heap usage (bytes)=85000192
13/04/17 11:56:00 INFO mapred.JobClient: Map input bytes=7005
13/04/17 11:56:00 INFO mapred.JobClient: Map output records=10
13/04/17 11:56:00 INFO mapred.JobClient: SPLIT_RAW_BYTES=157
Любые мысли о том, куда я иду неправильно?
Проверьте '/ Users/Robocode/Desktop /' путь в HDFS, моя догадка это копируется в HDFS. Я не уверен, что вы можете перенаправить на локальную файловую систему, вы можете попробовать с помощью префикса 'file: /// Users/robocode/Desktop /' –
Правильно, что вы были Крисом! Он действительно справлялся с HDFS, но, префикс его с файлом: ///, он скопировал его в локальную файловую систему. Бесконечно благодарен! –