[[428008]]kaiyun
本文转载自微信公众号「大数据技艺派」,作家柯柯。转载本文请磋议大数据技艺派公众号。
一个snapshot(快照)是一个一说念文献系统、大约某个目次在某一时刻的镜像,使用vmware访佛软件的同学指定,快照不错为造谣机保存某个气象,淌若作念了鼎新,大约系统被折腾坏,还有个还原的操作。
快照专揽在如下场景中:
退守用户的无理操作;
备份:给hdfs目次作念快照,然后复制快照内部的文献到备份;
磨真金不怕火/测试
厄运回应
HDFS的快照操作
这里测试的Hadoop3.0版块,亦然我的线上版块。
开启快照
hdfs kaiyundfsadmin -allowSnapshot /data/test/test_snapshot [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 16:59 /data/test/test_snapshot/ods_user1.txt
这里开启目次/data/test/test_snapshot快照功能,该目次现时有一个文献ods_user1.txt。
创建快照
给目次/data/test/test_snapshot创建了一个快照,名为backup01。
hdfs dfs -createSnapshot /data/test/test_snapshot backup01 [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot/backup01 Found 1 items -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 16:59 /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt
不错看到实质上是在开启快照的目次下新建了一个文献夹.snapshot,底下有个目次backup01,内部有一个文献,十分于复制了一份文献。
查抄快照
hdfs lsSnapshottableDir
再上传一个文献
hdfs dfs -put data/urls.txt /data/test/test_snapshot
再创建一个快照
hdfs dfs -createSnapshot /data/test/test_snapshot backup02
这里又新建了一个快照backup02,.snapshot底下有两个目次,分离是backup01和backup02。
[hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot Found 3 items drwxr-xr-x - hdfs supergroup 0 2021-10-08 17:04 /data/test/test_snapshot/.snapshot/backup01 drwxr-xr-x - hdfs supergroup 0 2021-10-08 17:12 /data/test/test_snapshot/.snapshot/backup02
对比快照
因为自后又上传了一个文献,是以快照backup02底下有2个文献了,比backup01多一个文献urls.txt。
[hdfs@cdh-003 ~]$ hdfs snapshotDiff /data/test/test_snapshot backup01 backup02 Difference between snapshot backup01 and snapshot backup02 under directory /data/test/test_snapshot: M . + ./urls.txt
回应快照淌若不注意把文献删除了,这个文献就被转移到回收站(淌若开启了回收站),淌若回收站到期计帐了大约莫得开启回收站,这个时代快照的作用就发扬出来了,平直cp当年。
hdfs dfs -cp /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt /data/test/test_snapshot
|