百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

如何使用Linux强大的磁盘数据管理工具dd

liebian365 2024-10-14 22:23 18 浏览 0 评论

请关注本头条号,每天坚持更新原创干货技术文章。

如需学习视频,请在微信搜索公众号“智传网优”直接开始自助视频学习

1. dd命令简介

dd在linux中是 一个非常强大的工具,常用于复制大量数据,测试读写性能 ,清空硬盘数据(不可恢复),由于dd 命令允许以二进制方式读写,所以特别适合在原始设备上输入、输出。dd命令用于复制文件并对原文件的内容进行转换和格式化处理。dd命令功能很强大的,对于一些比较底层的问题,使用dd命令往往可以得到出人意料的效果。用的比较多的还是用dd来备份裸设备。但是不推荐,如果需要备份oracle裸设备,可以使用rman备份,或使用第三方软件备份,使用dd的话,管理起来不太方便。建议在有需要的时候使用dd 对物理磁盘操作,如果是文件系统的话还是使用tar backup cpio等其他命令更加方便。另外,使用dd对磁盘操作时,最好使用块设备文件。

dd命令简介

2. dd命令与cp命令的区别

两个命令都用于复制数据。cp仅仅是复制文件,全程全部经由操作系统处理,而dd则是底层数据的复制,复制到目标块设备时,数据是连接的,而cp可能不是连续的。dd可以复制分区信息等等底层信息,而cp只能复制可读文件。

3. dd选项

dd指令使用

语法格式

dd [option]

dd指令选项详解

if=file:输入文件名,缺省为标准输入

if =输入文件(或设备名称)。

of =输出文件(或设备名称)。

ibs = bytes 一次读取bytes字节,即读入缓冲区的字节数。

skip = blocks 跳过读入缓冲区开头的ibs*blocks块。

obs = bytes 一次写入bytes字节,即写入缓冲区的字节数。

bs = bytes 同时设置读/写缓冲区的字节数(等于设置ibs和obs)。

cbs = byte 一次转换bytes字节。

count=blocks 只拷贝输入的blocks块。

conv = ASCII 把EBCDIC码转换为ASCIl码。

conv = ebcdic 把ASCIl码转换为EBCDIC码。

conv = ibm 把ASCIl码转换为alternate EBCDIC码。

conv = block 把变动位转换成固定字符。

conv = ublock 把固定位转换成变动位。

conv = ucase 把字母由小写转换为大写。

conv = lcase 把字母由大写转换为小写。

conv = notrunc 不截短输出文件。

conv = swab 交换每一对输入字节。

conv = noerror 出错时不停止处理。

conv = sync 把每个输入记录的大小都调到ibs的大小(用NUL填充)。

4. dd常用选项

if=inputfile

指定源文件,即指定输入文件、缺省为标准输入,在LINUX中一切皆文件,因此可指定一些特殊的文件(如设备文件)用于特殊用途

of=outputfile

指定目标文件,即指定输出文件,缺省为标准输出

bs=N bytes

同时指定读入/输出的块大小为N个字节,N为数字

count=N blocks

指定拷贝的块数量,块大小由bs指定。N为数字

以上4个dd参数为最常用的选项。

5. 常用案例

5.1 备份整个盘(分区)的数据

以sda为源,sdb为目标

[root@zcwyou ~]# dd if=/dev/sda of=/dev/sdb

5.2 备份整个盘(分区)数据到文件

把sda的数据备份到/root/backup/sda.raw

[root@zcwyou ~]# dd if=/dev/sda of=/root/backup/sda.raw

5.3 根据备份文件恢复到某分区

比如:把/root/backup/sda.raw恢复到/dev/sda

[root@zcwyou ~]# dd if=/root/backup/sda.raw of=/dev/sda

5.4 备份整个盘(分区)并压缩后保存至指定路径

备份/dev/sda,并使用gzip压缩后保存为/root/sda.raw.gz

[root@zcwyou ~]# dd if=/dev/sda | gzip > /root/sda.raw.gz

5.5 将备份的压缩文件还原到分区

把文件/root/sda.raw.gz还原到分区

[root@zcwyou ~]# gzip -dc /root/sda.raw.gz | dd of=/dev/sda

5.6 备份MBR

备份sda的MBR,保存到

[root@zcwyou ~]# dd if=/dev/sda of=/root/sda.mbr bs=512 count=1

使用dd命令备份MBR

bs用于指定备份的块大小,单位为字节,MBR存放的位置的分区的前512字节,count用于指定块的数量。块大小可以使用的计量单位表

单元大小 代码

字节(1B) c

字节(2B) w

块(512B) b

千字节(1024B) k

兆字节(1024KB) M

吉字节(1024MB) G

5.7 还原MBR

把保存的MBR恢复到sda

[root@zcwyou ~]# dd if=/root/sda.mbr of=/dev/sda

5.8 拷贝内存内容到硬盘

[root@zcwyou ~]# dd if=/dev/mem of=/root/backup/mem.mem bs=1024

5.9 拷贝光盘内容到硬盘

[root@zcwyou ~]# dd if=/dev/cdrom of=/var/backup/cdrom.iso

5.10 增加swap分区文件大小

创建一个空白文件,用于SWAP空间,大小按需求

[root@zcwyou ~]# dd if=/dev/zero of=/swapfile bs=1024 count=100000

用/dev/zero填充0,输出文件swapfile,

使用dd命令创建swap空间

指定文件为swap文件

[root@zcwyou ~]# mkswap /swapfile

挂载swap文件

[root@zcwyou ~]# swapon /swapfile

修改/etc/fstab,开机自动挂载

增加一行

/swapfile swap swap default 0 0

5.11 销毁硬盘数据(慎用)

利用随机数填充硬盘,用于销毁数据

[root@zcwyou ~]# dd if=/dev/urandom of=/dev/sdb

5.12 测试磁盘写能力

[root@zcwyou ~]# time dd if=/dev/zero of=/test.dbf bs=8k count=300000

使用dd命令测试磁盘写能力

因为/dev/zero是一个伪设备,它只产生空字符流,对它不会产生IO,所以,IO都会集中在of文件中,of文件只用于写,所以这个命令相当于测试磁盘的写能力。

5.13 测试磁盘读能力

[root@zcwyou ~]# time dd if=/dev/sdb1 of=/dev/null bs=8k

使用dd命令测试磁盘读能力

因为/dev/sdb1是一个物理分区,对它的读取会产生IO,/dev/null是伪设备,相当于黑洞,of到该设备不会产生IO,所以,这个命令的IO只发生在/dev/sdb1上,也相当于测试磁盘的读能力。

5.14 查找性能最佳的块大小

测试4个数值,找到执行时间最短的即为最佳

[root@zcwyou ~]# dd if=/dev/zero bs=1024 count=1000000 of=/path/to/test.1GB
[root@zcwyou ~]# dd if=/dev/zero bs=2048 count=500000 of=/path/to/test.1GB
[root@zcwyou ~]# dd if=/dev/zero bs=4096 count=250000 of=/path/to/test.1GB
[root@zcwyou ~]# dd if=/dev/zero bs=8192 count=125000 of=/path/to/test.1GB

5.15 某种程度上修复硬盘

当硬盘较长时间(比如1,2年)放置不使用后,磁盘上会产生magnetic flux point。当磁头读到这些区域时会遇到困难,并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。使用以下命令有可能使这些数据起死回生, 且这个过程是安全,高效的。

[root@zcwyou ~]# dd if=/dev/sda of=/dev/sda

5.16 从raw设备备份到raw设备

[root@zcwyou ~]# dd if=/dev/rsd1b of=/dev/rsd2b bs=8k skip=8 seek=8 count=3841 

5.17 裸设备到文件系统

dd if=/dev/rsd1b of=/backup/df1.dbf bs=8k skip=8 count=3841

6. 结合nc进行远程备份

[root@zcwyou ~]# dd if=/dev/sda bs=16065b | nc 192.168.1.100 1234

源数据服务器,把dd数据重定向到nc

[root@zcwyou ~]# netcat -l -p 1234 | dd of=/dev/sdc bs=16065b

目标备份服务器,通过nc接收数据,把数据重定向到dd

可以把接收到的数据使用bzip2压缩后保存

[root@zcwyou ~]# netcat -l -p 1234 | bzip2 > partition.img

可以把接收到的数据使用gzip压缩后保存

[root@zcwyou ~]# netcat -l -p 1234 | gzip > partition.img

7. 修改数据某处

将一个很大的视频文件中的第i个字节的值改成0x41(也就是大写字母A的ASCII值)

[root@zcwyou ~]# echo A | dd of=bigfile seek=$i bs=1 count=1 conv=notrunc

8. 总结

dd是一个强大的数据备份管理工具,包括备份,恢复,读写速度测试等等,是Linux上非常强大的一个工具,使用时,要注意对目前业务的影响,不建议在磁盘IO高的情况使用dd,也不建议在业务繁忙时间使用dd。

本文已同步至博客站:

https://www.linuxrumen.com/cyml/714.html

点击了解更多,快速查看更多的技术文章列表。

相关推荐

4万多吨豪华游轮遇险 竟是因为这个原因……

(观察者网讯)4.7万吨豪华游轮搁浅,竟是因为油量太低?据观察者网此前报道,挪威游轮“维京天空”号上周六(23日)在挪威近海发生引擎故障搁浅。船上载有1300多人,其中28人受伤住院。经过数天的调...

“菜鸟黑客”必用兵器之“渗透测试篇二”

"菜鸟黑客"必用兵器之"渗透测试篇二"上篇文章主要针对伙伴们对"渗透测试"应该如何学习?"渗透测试"的基本流程?本篇文章继续上次的分享,接着介绍一下黑客们常用的渗透测试工具有哪些?以及用实验环境让大家...

科幻春晚丨《震动羽翼说“Hello”》两万年星间飞行,探测器对地球的最终告白

作者|藤井太洋译者|祝力新【编者按】2021年科幻春晚的最后一篇小说,来自大家喜爱的日本科幻作家藤井太洋。小说将视角放在一颗太空探测器上,延续了他一贯的浪漫风格。...

麦子陪你做作业(二):KEGG通路数据库的正确打开姿势

作者:麦子KEGG是通路数据库中最庞大的,涵盖基因组网络信息,主要注释基因的功能和调控关系。当我们选到了合适的候选分子,单变量研究也已做完,接着研究机制的时便可使用到它。你需要了解你的分子目前已有哪些...

知存科技王绍迪:突破存储墙瓶颈,详解存算一体架构优势

智东西(公众号:zhidxcom)编辑|韦世玮智东西6月5日消息,近日,在落幕不久的GTIC2021嵌入式AI创新峰会上,知存科技CEO王绍迪博士以《存算一体AI芯片:AIoT设备的算力新选择》...

每日新闻播报(September 14)_每日新闻播报英文

AnOscarstatuestandscoveredwithplasticduringpreparationsleadinguptothe87thAcademyAward...

香港新巴城巴开放实时到站数据 供科技界研发使用

中新网3月22日电据香港《明报》报道,香港特区政府致力推动智慧城市,鼓励公私营机构开放数据,以便科技界研发使用。香港运输署21日与新巴及城巴(两巴)公司签署谅解备忘录,两巴将于2019年第3季度,开...

5款不容错过的APP: Red Bull Alert,Flipagram,WifiMapper

本周有不少非常出色的app推出,鸵鸟电台做了一个小合集。亮相本周榜单的有WifiMapper's安卓版的app,其中包含了RedBull的一款新型闹钟,还有一款可爱的怪物主题益智游戏。一起来看看我...

Qt动画效果展示_qt显示图片

今天在这篇博文中,主要实践Qt动画,做一个实例来讲解Qt动画使用,其界面如下图所示(由于没有录制为gif动画图片,所以请各位下载查看效果):该程序使用应用程序单窗口,主窗口继承于QMainWindow...

如何从0到1设计实现一门自己的脚本语言

作者:dong...

三年级语文上册 仿写句子 需要的直接下载打印吧

描写秋天的好句好段1.秋天来了,山野变成了美丽的图画。苹果露出红红的脸庞,梨树挂起金黄的灯笼,高粱举起了燃烧的火把。大雁在天空一会儿写“人”字,一会儿写“一”字。2.花园里,菊花争奇斗艳,红的似火,粉...

C++|那些一看就很简洁、优雅、经典的小代码段

目录0等概率随机洗牌:1大小写转换2字符串复制...

二年级上册语文必考句子仿写,家长打印,孩子照着练

二年级上册语文必考句子仿写,家长打印,孩子照着练。具体如下:...

一年级语文上 句子专项练习(可打印)

...

亲自上阵!C++ 大佬深度“剧透”:C++26 将如何在代码生成上对抗 Rust?

...

取消回复欢迎 发表评论: