对象存储BOS

    事件通知及数据处理

    概述

    BOS 事件通知功能,是基于 BOS 数据处理框架 V2.0 生成的一套智能触发平台。开发者可基于平台提供的功能,定义业务关注的 Bucket 中发生的数据行为,BOS 会监测 Bucket 中发生的 Put Object、Append Object 等行为,向用户的下游业务系统提供触发通知。

    同时,BOS 结合了百度智能云上强大的 AI 能力,支持基于监测到的用户行为,直接向百度智能云上的各项数据处理能力进行触发,并将处理后的结果直接给到用户下游业务系统。简化用户的开发逻辑,为业务提速的同时也赋予用户更强的数据AI处理能力。

    应用场景

    BOS 事件通知平台,为广大开发者提供了一个自动化的数据行为监测及通知系统。能够满足类似如下应用场景:

    • 某 Bucket 中有新的数据上传后,需要立刻告知上层应用,上层应用立刻将数据拉取使用。
    • 在 Bucket 中有新的图片上传后,需要立刻进行内容加工,生成的新图片用于前端展示。而原始图片需要立刻被删除,释放存储空间。
    • 当 Bucket 中有新的视频上传后,需要立刻进行内容黄反审核处理,违规的内容需要被立刻清除。
    • 当 Bucket 中发生若干操作如 PutObject、DeleteObject 等,需要触发后续的自定义处理流程,可以通过CFC函数计算的BOS触发器来实现。

    基于上述众多场景,BOS 的用户仅需在控制台中对该事件通知的触发条件进行简单的配置,如事件名称、是否开启加密鉴权、监测资源、覆盖资源和触发应用等。配置完毕后,当指定Bucket 或者指定前缀下文件的监测资源发生变化后,系统会自动触发相应的应用。

    前提条件

    • 已注册百度智能云账号。具体操作请参见注册百度智能云账号
    • 事件通知规则中覆盖的资源是某一个 Bucket 或者 Bucket 中某一前缀下的全部文件。因此需要先选择创建事件通知规则的 Bucket,详情请参见创建 Bucket

    创建规则

    注意:未取回的归档类型 Object 将不会触发事件通知,已取回的归档类型 Object 可以正常触发。

    1. 登录 BOS 管理控制台,进入全局概览页面。
    2. 在 BOS 控制台左侧的导航栏中选择目标 Bucket,点击打开该 Bucket 的文件列表页。
    3. 点击页面上方导航栏的事件通知页签,进入事件通知页面。
    4. 点击创建规则,进入创建页面,配置以下信息:
    参数说明
    状态选择是否开启新规则的事件通知。
    名称
    • 支持大小写字母、数字、中文以及 -_ /. 特殊字符。
    • 以字母开头,长度 1-65。
    规则 ID
    • 支持大小写字母、数字以及 -_ /. 特殊字符。
    • 以字母开头,长度 1-65。
    产品 ID
    • 支持大小写字母、数字以及 -_ /. 特殊字符。
    • 以字母开头,长度 1-65。
    加密鉴权选择是否对该事件通知规则进行加密。 若开启加密:
    • 输入长度为 32 位的自定义密码,该密码支持大小写字母和数字,长度为 32 位。
    • 或者直接输入 SK。
    • 如果只创建一个空事件,则必须设置密钥。
    请记得及时保存密码以免丢失,BOS 不保存密码。
    事件监听配置根据需要选择是否开启事件监听配置。若开启需配置:
    • 监测事件:Bucket 内发生的 API 行为。当前 BOS 支持以下几种监测事件,您可以按需单选或多选若干种事件。
      • AppendObject,即发生追加上传行为;
      • CompleteMutipartUpload,即三步上传完成;
      • CopyObject,即发生数据拷贝行为;
      • PutObject,即发生简单上传行为;
      • PostObject,即发生表单上传行为;
      • FetchObject,即发生从指定 URL 抓取资源并存储行为;
      • DeleteObject,即发生删除单个 Object 行为;
      • DeleteMultipleObjects,即发生删除同一 Bucket 下多个 Object 行为。
    • 覆盖资源:指该规则监听覆盖的数据范围。覆盖资源除了支持 Bucket 级别资源,还可以通过指定资源前后缀的方式进行配置。同一规则最多可以监听 5 项不同的覆盖资源。
    • 触发应用:指该规则需要告知的下游业务。用户可以根据自有业务的架构,灵活设置接收触发通知的应用。触发应用的类别分为百度官方应用、函数计算CFC、自定义应用三类。触发应用详情请参见触发应用分类

    image.png

    1. 点击确定,保存规则配置信息,成功创建的规则可以在“事件通知”页面的规则列表查看。也可以对已有规则进行修改、删除等管理操作。

    image.png

    触发应用分类

    触发应用的类别分为百度官方应用、函数计算 CFC、自定义应用三类。其中,百度官方应用是 BOS 基于百度智能云强大的数据 AI 处理能力,将众多高频、易用的 AI 应用进行了包装,用户仅需在控制台设置一个接收应用处理结果的 URL,即可用最低的开发成本和最高的开发效率享受百度AI能力为业务赋能。

    当前,百度官方应用包括通用文字识别、通用物体识别和音视频转码三项。

    应用类别 应用名称 应用描述
    百度官方应用 通用文字识别
    • 百度通用文字识别服务支持多场景下的文字检测识别,多项 ICDAR 指标世界第一,是百度智能云上众多 AI 能力中使用面最广、积累最丰富的能力之一。
    • 当触发通用文字识别应用时,BOS 将上传到 Bucket 中的数据自动推送到百度通用文字识别服务。文字识别完成后,BOS 会将识别结果以特定 json 文件的形式,推送到用户设定的接收 URL。
    通用物体识别
    • 百度通用物体识别服务为用户提供了图片内容分析、提取、标签化输出的能力,对于有图片聚类、图片识别等场景的上层应用,有非常重要的作用。
    • 当触发通用物体识别应用时,BOS 将上传到 Bucket 中的数据自动推送到百度通用物体识别服务。物体识别完成后,BOS 会将识别结果以特定 json 文件的形式,推送到用户设定的接收 URL。
    音视频转码
    • 音视频转码针对海量媒资提供了高效、智能、稳定的音视频处理服务,包括:普通转码、倍速转码、智感超清转码、视频编辑、视频加密、智能抽帧等,为您带来多终端流畅高清播放体验。
    • 当触发通用音视频转码应用时,BOS 将上传到 Bucket 中的音视频数据自动推送到百度音视频转码服务。转码完成后,BOS 会将结果推送到用户设定的接收 URL 中。
    函数计算 CFC 函数计算 CFC
    • 函数计算 CFC (Cloud Function Compute)是百度智能云官方推出的基于事件触发、全托管的云端计算能力。
    • 当设置完触发的函数计算公式之后,BOS 将上传到 Bucket 中的数据自动推送到百度函数计算服务。计算完成后,BOS 会将计算结果推送到用户设定的接收 URL 中。
    自定义应用 自定义应用
    • 自定义应用即用户下游自有的 APP 或其他应用系统,用户仅需填写该业务接收触发通知的 URL,BOS 就会将 Bucket 内监测到的事件推送到该 URL。
    上一篇
    智能业务分析
    下一篇
    在线数据导入