新闻中心

kaiyun 一篇对于HDFS的快照教会

         发布日期:2023-12-09 13:05    点击次数:132

kaiyun 一篇对于HDFS的快照教会

[[428008]]kaiyun

本文转载自微信公众号「大数据技艺派」,作家柯柯。转载本文请磋议大数据技艺派公众号。

一个snapshot(快照)是一个一说念文献系统、大约某个目次在某一时刻的镜像,使用vmware访佛软件的同学指定,快照不错为造谣机保存某个气象,淌若作念了鼎新,大约系统被折腾坏,还有个还原的操作。

快照专揽在如下场景中:

退守用户的无理操作; 备份:给hdfs目次作念快照,然后复制快照内部的文献到备份; 磨真金不怕火/测试 厄运回应 HDFS的快照操作

这里测试的Hadoop3.0版块,亦然我的线上版块。

开启快照
hdfs kaiyundfsadmin -allowSnapshot /data/test/test_snapshot  [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot -rw-r--r--   2 hdfs supergroup         88 2021-10-08 16:59 /data/test/test_snapshot/ods_user1.txt 

这里开启目次/data/test/test_snapshot快照功能,该目次现时有一个文献ods_user1.txt。

创建快照

给目次/data/test/test_snapshot创建了一个快照,名为backup01。

hdfs dfs -createSnapshot /data/test/test_snapshot backup01  [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot/backup01 Found 1 items -rw-r--r--   2 hdfs supergroup         88 2021-10-08 16:59 /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt 

不错看到实质上是在开启快照的目次下新建了一个文献夹.snapshot,底下有个目次backup01,内部有一个文献,十分于复制了一份文献。

查抄快照

hdfs lsSnapshottableDir 

再上传一个文献

hdfs dfs -put data/urls.txt /data/test/test_snapshot 

再创建一个快照

hdfs dfs -createSnapshot /data/test/test_snapshot backup02 

这里又新建了一个快照backup02,.snapshot底下有两个目次,分离是backup01和backup02。

[hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot Found 3 items drwxr-xr-x   - hdfs supergroup          0 2021-10-08 17:04 /data/test/test_snapshot/.snapshot/backup01 drwxr-xr-x   - hdfs supergroup          0 2021-10-08 17:12 /data/test/test_snapshot/.snapshot/backup02 

对比快照

因为自后又上传了一个文献,是以快照backup02底下有2个文献了,比backup01多一个文献urls.txt。

[hdfs@cdh-003 ~]$ hdfs snapshotDiff /data/test/test_snapshot backup01 backup02 Difference between snapshot backup01 and snapshot backup02 under directory /data/test/test_snapshot: M .  + ./urls.txt 

回应快照淌若不注意把文献删除了,这个文献就被转移到回收站(淌若开启了回收站),淌若回收站到期计帐了大约莫得开启回收站,这个时代快照的作用就发扬出来了,平直cp当年。

hdfs dfs -cp /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt /data/test/test_snapshot 

 



 
友情链接:

Powered by ky体育网页app @2013-2022 RSS地图 HTML地图