下面我们看一下HDFS的基本操作
我的电脑上 我在vmware
这个虚拟机软件上
创建了三个虚拟机
一个是master
另外两个是slave
相当于是通过三个节点
构建了一个虚拟的集群系统
这三个虚拟节点上都运行的是
CentOS Linux7这样的一个操作系统
然后我通过Xshell终端
连接到master
和这两个slave节点上去
我已经提前设置好了用户名和密码
直接双击就连接到这三个节点上
然后在我的系统里面
我已经装好了
Hadoop这一套平台相关的这些软件
我们在master节点上
输入start DFS
这样的一个脚本命令
来启动HDFS
然后运行startyarn这个脚本
去启动这个yarn
这两个脚本执行完以后
我们看一下
用GPS命令看一下
这个节点上的这些Java进程
我们看到master节点上就有了
这个yarn ResourceManager这个进程
然后还有HDFS的NameNode
还有SecondaryNameNode这两个进程
然后slave节点上我们看一下
有yarn.NodeManager这个进程
还有HDFS的DataNode这个进程
那Hadoop平台启动起来以后
我们就可以在客户端
通过浏览器去访问HDFS文件系统
我们输入
master这个节点的IP地址
端口号50070
就可以看到
三个节点构成的Hadoop平台上HDFS文件系统
HDFS文件系统
它的一个概况
这里还有一个Browse the file system
通过这个可以看到
这个文件系统它的目录的状况
这是根目录下 已经存在了这些子目录
我们看到目录下这个文件
我的配置里面是每一个块是128兆的
所以这里这个文件
它的大小是128兆
它只占了一个块
然后我们再对这个文件我们操作一下
我们把它从HDFS文件系统
挖取到本地文件系统里
然后修改一下这个文件
然后再上传下去
上传到HDFS文件系统里
我们把这个操作在这里做一下
我们先调用hdfs dfs-cat这个命令
我们去看一下这个文件的内容是什么
这样就显示出来了这个文件的内容
然后我们调用-get命令
把这个文件下载到本地
本地文件名还是这样的一个文件名
现在这个文件我看是已经存在的
那我们可以先把它删掉
然后再调用刚才这个命令给它下载下来
这是新下载下来的文件
然后我们可以修改一下它
比如说 这里我加上一行
然后我们可以用-rm命令
把HDFS文件系统里面的文件先给它删了
然后再调用-put的命令
把我们刚才编辑过的文件再上传上去
然后我们再看一下
HDFS这个文件系统里
现在这个文件
是不是刚才我们已经编辑过的文件
我们刚才加了这一行数据的文件
这里就演示了一下
HDFS的这些基本SHELL命令的操作