Hadoop hdfs cat pipe edgenode to hdfs

Question

Я пытаюсь отправить данные из местного edgenode в hdfs в виде трубы. Цель состоит в том, чтобы имитировать данные, поступающие с внешнего сервера, проходящего через краевой узел, ударяющего по трубе, а затем посадку в hdf. Это наше требование. Я попробовал команду ниже, но, похоже, он остановился.

mkfifo my_pipe 
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt 

Answer 1

Если вы cat именованный канал будет висеть, поскольку она не ждет, пока EOF.

Если вы хотите сделать это с помощью труб, возможно, вы должны попробовать что-то проще, как:

cat mysqlfile.sql | hadoop fs -put - /path/you/desire/file.txt 

Вы найдете полезную информацию о названных трубах, кошках и хвосте на this thread.