EasyDAP 包括 物理表、映射表。 物理表:物理表指数据存储于接入EasyDAP的数据湖存储系统中(主要是BOS、HDFS ,针对HIVE数仓,可以接入HIVE的HDFS存储路径作为数据湖存储 ),存储的路径由EasyDAP进行管理。EasyDAP管理物理表的读、写操作,当表被删除时,数据也会被一同删除。
目标表设置 表二 目标表说明 配置项 默认值 说明 数据湖格式 无 必选,无、Hudi、Delta Lake、Iceberg 表类型 无 必选,管理表或外部表 存储格式 Parquet 必选,当选择数据湖格式为“无”的时候存储格式为ORC、Parquet;选择数据湖格式为Hudi、Iceberg、Delta Lake时,存储格式只能选Parquet 表名设置 无 无前后缀、增加前后缀、增加前缀、增加后缀
需要注意的是: 备份数据会按备份表的原名称恢复到当前集群的当前数据库 数据恢复过程中如果存在与已经备份表名称相同的表,恢复任务会失败,如存在同名表,建议修改或删除同名表 数据恢复后,将沿用备份表的配置,包括表副本数,动态分区开启状态等 如果开启动态分区,可能导致历史分区被删除。若不沿用备份表配置,默认恢复为表1副本
返回参数 参数名称 类型 描述 id string 备份ID target string 存储源 backupAllTable boolean 是否备份所有的表 tables string 创建备份时,指定的表信息 mode string 备份模式,取值参见 API参考/备份接口/附录/BackupRecord_mode status string 备份状态,取值参见 API参考/备份接口/附录/BackupRecord_status
记忆时长 特点 长期 记录的表数据一旦被保存将会长期存储,不会随着会话关闭而被清空。 单次会话 当一次会话结束后,表数据会自动清空,仅对一次会话生效。 下滑后可以配置记忆表,点击【+】可以新增列。 记忆表配置时对应字段的含义如下 字段 含义 列名 设置一张记忆表表头有哪些字段。开发者定义好存储字段后,终端用户可在对应字段下存储相关数据。
压缩类型:选择类型为不压缩。 存储格式:选择格式为JSON格式。 投递间隔时间:输入间隔时间:5分钟。 点击“保存”即可完成日志投递任务的配置创建。
部署工具 下载压缩包到本地并解压: Linux: 本地迁移评估工具 评估账号授权 使用 root 权限登录待评估 MySQL 数据库实例,为评估账号 dts_user 授权,并设置密码为 DTSPASSWORD。
Good表示:基准模型比对比模型好;Same表示:基准模型和对比模型一样好或一样差;Bad表示:基准模型比对比模型差。 新建推理结果集 推理结果集的位置可以选择平台共享存储或对象存储BOS( 开通BOS ),如果您选择 对象存储BOS ,需要另外指定存储Bucket和文件夹。 对象存储BOS,指定结果集(已包含模型批量推理结果)后续的存储方式。
方式二:直接使用JAR包安装 在 官方网站 下载Java SDK压缩工具包。 将下载的 bce-java-sdk-version.zip 解压后,复制到工程文件夹中。 在Eclipse右键“工程 -> Properties -> Java Build Path -> Add JARs”。
压缩存储 采用高效压缩算法,可达10-20倍压缩率,大大降低存储成本。