2、进入“数据湖-元数据”菜单,创建主题、数据库、数据表。 本示例新建数据库test_db,选中已创建的数据湖存储test_datalake作为默认存储路径。 按照1.1示例数据模型,创建数据表test_score,表结构如下图所示: 数据源准备 在准备好数据湖之后,在EasyDAP数据源模块创建数据源链接,本示例选择RDS作为外部数据源,后续将把数据湖数据导出到RDS中,以便对接数据服务。
在左侧导航栏,单击 数据治理>数据质量>质量作业 ,进入质量作业界面。 从左侧各数据源类型中选择一个,并且选中一个数据库。单击 新建质量作业 进入创建质量作业页面。 选择一个表,输入作业名称,规则配置添加对应质量规则配置,单击 确认 按钮完成创建。 表一 配置项说明 名称 含义 使用限制 表名称 选择一个需要进行质量校验的表。 作业名称 数据质量作业名称。 不大于30个字符。
不同类型文档的字段如下表所示: 文本类型支持分词检索,其他类型不分词检索无强制类型,类型仅作为标记数据; 倒排索引用于关键字过滤,嵌入索引用于语义检索。 结构化格式 知识格式选择结构化格式:无需平台分段的知识,以表格、键值对或类似结构的形式存储,数据字段和结构相对清晰和规范化。选择进入“下一步”。
债券收益预测组件] :对债券的收益做预测分析 在「知识库」版块,添加需要的知识库文档 建立“债券分析知识库”,并从本地上传“债券分析文档”和“债券新闻文档” 解析策略:版面分析 切片策略:默认 在「数据库」版块,添加需要的数据源内容 上传“最近3年中国国债收益率”数据表 添加「开场白」,让其他用户了解应用使用方式。
角色、职责和权限 角色 职责描述 功能权限 系统管理员 拥有EDAP最高权限 全部功能权限 数据管理人员 负责EDAP平台数据资源管理,拥有所有数据的最高权限,进行数据权限管理 · 创建数据湖存储路径 · 查看、管理所有数据湖存储路径 · 创建元数据库、表 · 查看、管理所有元数据库、表 普通用户 在权限范围内,创建数据库、表,进行数据开发分析 · 在权限范围进行存储路径操作 · 在权限范围内进行数据库
event_type enum 是 事件类型 rag: 知识问答 function_call: function_call 工具 ChatAgent: 闲聊、总结、数字人口播文本 Workflow: 自定义工作流组件 DataSheetAgent:数据库问答(上传数据表) DatabaseAgent:数据库问答(直连数据库) MemoryTableAgent:记忆表 MemoryVariableWriter
return new DataSourceProxy(dataSource); } } 创建数据库表 在数据库中创建undo_log、btcc_global_lock表,建表所需的sql语句请参考 事务依赖包 。
db_name 数据源所在数据库的名称。如需创建关系型数据库RDS实例,请参考 创建数据库 。 table_name 数据源在所数据表的名称。如需创建数据表,请先登录到关系型数据库RDS实例中创建,请参考 连接RDS实例 。 --username和--password 数据源所在数据库的账号和密码。请至RDS实例中获取信息,请参考 创建账号 。
导入事务和原子性 导入原子性 PALO 中的所有导入操作都有原子性保证,即一个导入作业中的数据要么全部成功,要么全部失败。不会出现仅部分数据导入成功的情况。 在 BROKER LOAD 中我们也可以实现多多表的原子性导入。 对于表所附属的 [物化视图](TODO),也同时保证和基表的原子性和一致性。 Label 机制 PALO 的导入作业都可以设置一个 Label。
数据库管理:中级DBA需要了解数据库管理的基本原则,包括数据库备份和恢复、数据库安全性、数据库性能优化等。 4. 数据库优化:中级DBA需要了解数据库优化的基本原则,包括索引设计、查询优化、表分区、表压缩等。 5. 数据库安全:中级DBA需要了解数据库安全的基本原则,包括访问控制、用户管理、授权管理等。 6. 数据库开发:中级DBA需要了解数据库开发的基本原则,包括存储过程、触发器、视图等。