天天看点

linux 大量删除小文件,Linux 快速删除大量小文件方法

当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

1. rsync安装,有些系统默认安装有该命令

Ubuntu系统:sudo apt-get install rsync

Fedora 系统:sudo yum install rsync

其他的可以源码安装,到下面的网站下载http://rsync.samba.org

2. rsync提供了一些跟删除有关的参数

rsync --help | grep delete

--del                                an alias for --delete-during

--delete                          delete extraneous files from destination dirs

--delete-before            receiver deletes before transfer, not during

--delete-during            receiver deletes during transfer (default)

--delete-delay              find deletions during, delete after

--delete-after                receiver deletes after transfer, not during

--delete-excluded        also delete excluded files from destination dirs

--ignore-errors            delete even if there are I/O errors

--max-delete=NUM    don't delete more than NUM files

其中--delete-before接收者在传输之前进行删除操作

3. 示例

清空目录或文件,如下:

1、先建立一个空目录

mkdir /data/blank

2、用rsync删除目标目录

rsync --delete-before -d -a -H -v --progress --stats /data/blank/ /var/edatacache/

或者

rsync --delete-before -d /data/blank/ /var/edatacache/

这样/var/edatacache目录就被快速的清空了。

选项说明:

–delete-before 接收者在传输之前进行删除操作

–progress          在传输时显示传输过程

-a                      归档模式,表示以递归方式传输文件,并保持所有文件属性

-H                      保持硬连接的文件

-v                      详细输出模式

–stats                给出某些文件的传输状态

-d                      transfer directories without recursing