生命周期
适用范围
仅适用于极速型L2。
应用场景
并行文件存储PFS推出生命周期功能,支持基于文件最后一次访问时间创建生命周期规则,定期将PFS实例中指定目录下的文件转存(转存后,PFS中原有文件会被删除)至指定BOS Bucket中,或者将过期文件和过期空目录删除(删除后不可恢复)。适用于AI训练、自动驾驶等场景中自动清理长期未访问的中间训练数据、临时文件、超期的历史数据集或过期日志等,帮助您精准管理存储空间,显著降低存储成本,提升资源利用率。
注意事项
PFS生命周期功能当前为白名单功能,若需使用,请 提交工单 申请添加白名单。
操作步骤
创建规则
- 登录并行文件存储PFS控制台。
- 点击PFS实例ID。
- 在左侧导航栏,选择生命周期。
- 在生命周期页,点击创建规则按钮。
- 在创建规则对话框中,配置如下参数。
参数 | 说明 |
---|---|
规则名称 | 请输入规则名称。支持大小写字母、数字、中文、半角冒号(:)、下划线(_)或者短划线(-)。必须以大小字母或中文开头,长度为1~128个英文或中文字符。 |
规则作用目录 | 设置规则作用目录,该目录必须已存在,例如目录/pfs或/pfs/test。 |
删除规则 | 基于文件最后一次访问时间设置生命周期规则。例如: 1. 设置:最后一次访问时间7天后,系统自动执行数据删除。 该规则将删除指定目录及其子目录下的过期文件和过期空目录,且数据删除后无法恢复,请谨慎操作。2. 设置:最后一次访问时间7天后,系统自动执行数据转存至bos://test。 该规则会将指定目录及其子目录下的文件在到期后转存至指定BOS Bucket中,同时PFS中的原始数据会被删除。如需数据取回,请使用 数据流动 功能。 |
规则执行时间 | 设置规则执行时间。例如12点,规则会在每天北京时间12:00:00开始执行。 |
注意:
- 规则在创建1分钟后生效,PFS会自动加载规则并在设置的规则执行时间开始执行。
- 如果目录同时配置了生命周期规则和被创建数据流动任务,请合理设置规则的过期时间,以免数据被删除/转存后无法被导出或导入后不存在。
- 勾选我已确认并已知删除数据的相关风险,点击确认。
查看规则
在生命周期页,可以按规则名称、规则ID、规则作用目录进行模糊搜索规则,支持按状态筛选规则。查询到对应目标规则,可以查看规则的详细信息,包括规则名称、规则ID、规则作用目录、生命周期规则、规则执行时间、状态、创建时间。
规则常见状态说明:
状态 | 说明 |
---|---|
生效中 | 规则被创建后,未在规则执行时间时,规则未执行,显示生效中。 |
执行中 | 当在规则执行时间时,规则状态为执行中,删除过期的文件和过期空目录。执行中的任务无法取消只能删除。 |
删除中 | 规则正在被删除中。 |
异常 | 规则状态异常,无法生效,请提交工单。 |
编辑规则
在生命周期页,单击目录规则操作列下的编辑按钮。在编辑规则对话框中修改规则名称、生命周期规则(无法更改规则类型,如无法将数据删除调整成数据转存)、规则执行时间,完成设置后,点击确定。
注意:若调整规则执行时间,已经开始执行的规则将按原时间继续执行,下次执行时间将按照新设置生效。
删除规则
在生命周期页,单击目录规则操作列下的删除按钮,在删除规则对话框中,点击确定完成删除。
注意:规则执行过程中若删除规则,将中止当前执行,但目录中部分已过期数据可能已被删除。
查看报告
规则执行成功后,可在生命周期页,单击目录规则操作列下的查看报告按钮,查看历史执行报告情况。
报告示例:
1## 格式:path, type, size, atime, mtime, delete time, result
2/10mi**301/10mil**on301/91, directory, 262144, 2025-06-18 00:00:06, 2025-06-18 00:00:08, 2025-06-20 00:00:12, failed
3/10mil**on301/10mil**ion301/0d, file, 262144, 2025-06-15 00:00:08, 2025-06-18 00:00:08, 2025-06-20 00:00:12, succ
4......
5
6Summary
7PFSId: pfs-Ln**fM
8PolicyId: policy-CA**J4
9PolicyType: DeletionOfExpiredData
10startTime: 2025-05-28 00:00:16
11endTime: 2025-05-28 00:00:31
12totalCount: 5922
13totalSize(KB): 27540
14skippedCount: 0
15skippedSize(KB): 0
16failedCount: 3131
17failedSize(KB): 16376
18processCount/second: 174.4375
19processMB/second: 0.6814
类别 | 字段 | 说明 |
---|---|---|
执行文件/空目录信息 | path | 被执行的文件/空目录名称 |
type | 被执行的数据类型 |
|
size | 被执行的文件/空目录大小,单位为字节 | |
atime | 文件/目录的最后访问时间 | |
mtime | 文件/目录的最后修改时间 | |
del_time | 文件/目录被删除的时间 | |
status | 被执行的文件/空目录状态信息 |
|
统计信息 | PFSId | PFS实例ID |
PolicyId | 规则ID | |
PolicyType | 规则类型 |
|
startTime | 规则执行开始时间 | |
endTime | 规则执行完成时间 | |
totalCount | 规则执行的文件/空目录总数。 | |
totalSize(KB) | 规则执行的文件/空目录总大小。 | |
skippedCount | 规则无法执行跳过的文件/空目录总数,如特殊文件 | |
skippedSize(KB) | 规则无法执行跳过的文件/空目录总大小,如特殊文件 | |
failedCount | 规则执行失败的文件/空目录总数。 | |
failedSize(KB) | 规则执行失败的文件/空目录总大小。 | |
processCount/second | 规则每秒执行的文件数。 | |
processMB/second | 规则每秒执行的文件/空目录大小。 |
使用限制
- 当前1个PFS实例下仅能创建20条规则,如超过配额请手动删除或提交工单申请。
- 不支持对特殊文件(如FIFO特殊文件、特殊块文件、特殊字符文件和套接字文件等)执行过期数据数据删除/转存操作。
- 当目录同时配置了Fileset QoS和生命周期规则时,执行过期数据/转存操作不受Fileset QoS限制。
- 当目录或其子目录同时配置了生命周期和数据流动时,两个任务无法并发进行(即将支持),当前仅支持排队串行执行。
- 当单个实例下同时有超过20个生命周期和数据流动任务执行时,后续任务可能进入排队等待状态。
- 生命周期规则执行期间,不会删除/转存在本轮执行过程中新过期的文件/目录,这部分过期文件/目录将在下次执行时处理。
- 数据流动导出文件过程中会更新其最后访问时间,可能使原本已过期的文件/目录不再满足过期条件。
常见问题
1.目录重命名或删除会影响生命周期规则执行吗?
答:规则是基于目录名称生效的。
- 如果目录被重命名,该目录下文件及子目录不再受原规则约束;
- 若目录被删除后重新创建同名目录,该目录下文件及子目录继续受原目录配置规则约束;
- 规则作用目录不存在,若希望规则可以正常删除目录下数据,可重新创建同名目录或将现有目录重命名为规则作用目录名。
2.当目录及目录下的文件同时过期时,为什么生命周期规则执行后只删除/转存过期文件,却未删除/转存过期目录?
答:当目录下有文件被删除/转存时,相关操作会更新该目录的最后一次访问时间。因此,该目录的过期时间会被延后,需要等目录下的最后一个文件被删除/转存后,再重新计算一个完整的过期时间,才能执行该目录的删除/转存操作。
3.当一个目录及其子目录分别被配置了不同的生命周期规则,文件系统会执行哪一项规则?
答:当一个目录及其子目录被分别配置不同的规则时,文件系统采用“先满足先执行”的方式处理,具体规则如下:
- /dir1配置了30天未访问进行删除/转存,/dir1/dir2配置了60天未访问进行删除/转存,则/dir1和/dir1/dir2均按照30天未访问进行删除/转存的规则执行;
- /dir1配置了60天未访问进行进行删除/转存,/dir1/dir2配置了30天未访问进行删除/转存,则/dir1/dir2按照30天未访问进行删除/转存的规则执行,/dir1下的非/dir1/dir2的数据按照60天未访问进行删除/转存的规则执行。
4.为什么刚修改的文件仍然会被生命周期规则执行?
答:当生命周期规则正在执行时,如果目录及子目录中存在需要修改的过期文件,需要先调整文件的过期时间(例如,将“7天未访问后删除/转存”调整为“8天未访问删除/转存”),确保删除/转存操作已停止。完成文件修改后,再根据实际情况恢复文件的过期时间。否则,可能会导致文件修改后未及时识别而被删除/转存的情况。