HDFS 文件读写

启动 HDFS

• 进入 hadoop 用户

  su hadoop

• 启动 SSH 服务

  sudo service ssh start

• 连接 localhost

  ssh localhost

• 开启服务

  start-all.sh

• 查看

  jps

  出现以下信息

  

  表示启动成功

准备测试文件

创建一个工作文件夹

$ sudo mkdir /usr/local/hadoop/hadoop-demo

进入工作文件夹

$ cd /usr/local/hadoop/hadoop-demo

创建一个测试文件 testfile，大小 1G

$ dd if=/dev/zero of=testfile bs=1M count=1024

HDFS 读文件

• 进入 hadoop 目录

  $ cd /usr/local/hadoop

• 创建 hadoop 工作文件夹

  hadoop fs -mkdir /test1

• 获取 hadoop 集群报告

  $ hdfs dfsadmin -report

• 上传本地文件（读）

  $./bin/hdfs dfs -put /usr/local/hadoop/hadoop-demo/testfile /test1

• 查看

  $ hadoop fs -ls /test1

HDFS 写文件

• 本地创建一个输出文件夹

  $ sudo mkdir /usr/local/hadoop/hadoop-demo/out

• 写入文件

  $ ./bin/hdfs dfs -get /test1/testfile /usr/local/hadoop/hadoop-demo/out

最终将testfile写入/out文件夹