数据源管理
更新时间:2026-07-03
百度胜算提供统一的数据源管理能力,帮助用户高效、安全地连接和管理各类异构数据源,为数据集成、JDBC SQL 任务、数据服务等功能提供统一的数据接入能力,实现企业多源异构数据的汇聚与共享。
支持数据源类型及支持说明
| 分类 | 支持的数据源 | 当前支持能力 |
|---|---|---|
| 关系型数据库 | MySQL | 库表离线采集、库表实时采集、JDBC SQL 任务 |
| Oracle | 库表离线采集、库表实时采集、JDBC SQL 任务 | |
| SQL Server | 库表离线采集、库表实时采集、JDBC SQL 任务 | |
| PostgreSQL | 库表离线采集、JDBC SQL 任务 | |
| SAP HANA | 库表离线采集、JDBC SQL 任务 | |
| DM | 库表离线采集 | |
| GreenPlum | 暂仅支持数据源连接测试 | |
| ClickHouse | 暂仅支持数据源连接测试 | |
| GBase | 暂仅支持数据源连接测试 | |
| OceanBase | 暂仅支持数据源连接测试 | |
| 大数据存储 | HBase | 暂仅支持数据源连接测试 |
| Doris | 暂仅支持数据源连接测试 | |
| StarRocks | 暂仅支持数据源连接测试 | |
| 半结构化存储 | SFTP | 文件离线采集 |
| FTP | 文件离线采集 | |
| HDFS | 文件离线采集 | |
| S3 | 暂仅支持数据源连接测试 | |
| Rest API | Webhook调用第三方业务API | |
| 消息队列 | Kafka | 库表实时采集 |
说明: 部分数据源当前仅支持数据源连接测试,更多数据接入能力将持续迭代支持。
前提条件
- 账号已具备数据源页面及创建权限,若无权限可联系工作空间管理员进行角色配置。
- 已准备好待连接数据源的必要信息,例如实例或连接地址、端口、数据库名、用户名和密码等。
创建数据源
数据源支持两类创建路径:
- 路径一:左侧导航栏进入数据源模块,在列表页发起新建;
- 路径二:进入目标项目,通过右上角创建菜单直接新建数据源。
基础操作步骤
本文主要为您介绍路径一,在数据源模块创建数据源。具体操作步骤如下所示:
- 登录百度胜算控制台,在选中的工作空间操作列单击打开按钮,进入空间内。
- 侧边导航依次单击数据连接与集成>数据源>创建。
- 在新建数据源对话框选择数据源类型,单击下一步,优先填写数据源的基础标识:名称、所属位置以及描述。
- 接着填写对应数据源专属连接配置参数(例如连接方式、主机地址、endpoints等);
- 配置完成后,需进行连通性测试,单击测试连通性,校验网络链路、账号权限、地址参数是否正常;
- 页面提示连接成功后可单击确定,连接数据源;若连接失败,根据报错提示核对参数、网络白名单、密钥权限信息等并重新测试。
各类型的详细参数配置
表1 新建MySQL/SOLSever/PostgreSQL/SAP HANA/DM/GreenPlum/ClickHouse/Gbase数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| 主机地址 | 输入主机名,长度为1~128个字符。 |
| 端口 | 输入端口名,长度为1~32个字符。 |
| 数据库 | 输入数据库名称。 |
| 用户名 | 输入用户名,长度为1~128个字符。 |
| 密码 | 输入用户名密码,长度为1~128个字符。 |
| 版本 | MySQL当前支持mysql5、mysql8;SOLSever支持sqlserver2016;PostgreSQL、HANA无需配置版本。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表2 新建Oracle数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| 连接方式 | 目前支持SID、Service Name两种连接方式,根据所选连接类型,输入SID或Service Name,长度为1~128个字符。 |
| 主机地址 | 输入主机名,长度为1~128个字符。 |
| 端口 | 输入端口名,长度为1~32个字符。 |
| 用户名 | 输入用户名,长度为1~128个字符。 |
| 密码 | 输入用户名密码,长度为1~128个字符。 |
| 驱动版本 | 当前支持oracle11g。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表3 新建OCEANBASE数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| 主机地址 | 输入主机名,长度为1~128个字符。 |
| 兼容模式 | 目前仅支持MySQL和Oracle。 |
| 端口 | 输入端口名,长度为1~32个字符。 |
| 数据库 | 输入数据库名称。 |
| 用户名 | 输入用户名,长度为1~128个字符。 |
| 密码 | 输入用户名密码,长度为1~128个字符。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表4 新建HBASE数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| endpoints | 服务接入域名 / 访问端点,对应厂商对外存储访问地址,长度为1~128个字符。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表5 新建DORIS/STARROCKS数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| FE主机地址 | Doris/StarRocks FE 节点服务 IP 或域名,用于建立平台与数仓服务的连接。 |
| FE HTTP端口 | FE 节点对外提供 HTTP 访问服务的端口号,用于元数据查询、预览等操作。 |
| FE MYSQL端口 | FE 节点兼容 MySQL 协议的访问端口,用于执行 SQL 查询、数据抽取任务。 |
| 用户名 | 输入用户名,长度为1~128个字符。 |
| 密码 | 输入用户名密码,长度为1~128个字符。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表6 新建SFTP/FTP数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| 主机 | 输入主机名,长度为1~128个字符。 |
| 端口 | 输入端口名,长度为1~32个字符。 |
| 用户名 | 输入用户名,长度为1~128个字符。 |
| 密码 | 输入用户名密码,长度为1~128个字符。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表7 新建HDFS数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| defaultFS | 输入defaultFS,长度为1~256个字符。 |
| hdfs_site_path | 指定HDFS的hdfs-site.xml配置文件地址。 |
| 认证方式 | 无认证、Kerberos认证(即将支持) |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表8 新建S3数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| Endpoint | 对象存储服务接入域名 / 访问端点,对应厂商对外存储访问地址。 |
| bucket | 存储桶名称,存放多媒体文件、结构化数据文件的目标桶标识。 |
| AccessKey ID | 存储访问身份密钥标识,用于接口鉴权,具备桶文件读取权限。 |
| AccessKey Secret | 存储访问密钥凭证,与 AccessKey ID 配对使用,加密存储于平台,前端不展示明文。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
表9 新建RESTAPI数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| 域名组 | RestAPI 数据源专属网络访问配置集合,支持添加多个域名组。 |
| base URL | 第三方业务接口基础请求域名,作为接口调用统一根路径。 |
| 端口 | 接口服务开放访问端口,默认 443,非标准端口需手动填写。 |
| 认证方式 | 接口鉴权凭证类型,支持无认证、API Key、Basic Auth、Token模式,选择后补充对应鉴权参数。 |
表10 新建Kafka数据源配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
| 所属位置 | 当前数据源存放的地址。 |
| 描述 | 输入数据源描述,长度为1~1024个字符。 |
| Kafka集群地址 | 输入Kafka集群地址,长度为1~256个字符。填写格式为ip:port或host:port格式,存在多个时,可用逗号分隔。如localhost:2181,localhost:2182。 |
| 认证方式 | 可选范围:无、SSL、SASL_PLAINTEXT。默认是无。 |
| Truststore 证书文件 | 认证方式选择SSL时显示。 支持输入路径或单击浏览选择该用户有权限范围的工作区文件。点击浏览,展示文件列表,支持按名称搜索。 |
| Truststore 密码 | 认证方式选择SSL时显示。输入Truststore 密码,长度为1~128个字符。 |
| Keystore证书文件 | 认证方式选择SSL时显示。单击浏览选择文件,文件选择同Truststore 证书文件。 |
| Keystore 密码 | 认证方式选择SSL时显示。和Truststore 密码相同。 |
| 私钥密码 | 认证方式选择SSL时显示。和Truststore 密码相同。 |
| SASL机制 | 认证方式选择SASL_PLAINTEXT时显示。可选范围:PLAIN、SCRAM-SHA-256、SCRAM-SHA-512。默认为PLAIN。 |
| 用户名 | 认证方式选择SASL_PLAINTEXT时显示。输入用户名,长度为1~128个字符。 |
| 密码 | 认证方式选择SASL_PLAINTEXT时显示。输入用户名密码,长度为1~128个字符。 |
| 连通测试 | 展示所属位置项目绑定资源组下的源连接与集成实例,单击可测试连通性。如没有,请联系空间管理员进行配置。 |
查看数据源列表
创建成功的数据源以列表形式展示,单击数据源名称可进入详情页面,列表支持按照数据源类型进行筛选,同时可以通过创建时间对列表进行排序。
表11 数据源列表项说明
| 列表项名称 | 说明 |
|---|---|
| 名称 | 数据源名称。 |
| 数据源类型 | 展示数据源类型,列表支持按照数据源类型进行筛选。 |
| 创建人 | 创建当前数据源的用户。 |
| 创建时间 | 创建数据源的时间。 |
| 描述 | 数据源描述。 |
| 操作 | 可在操作列对您拥有操作权限的数据源执行不同操作。 |
查看数据源详情
单击数据源名称,进入数据源详情,可以查看数据源详细基本信息。页面右上角将根据您的数据源类型,展示创建文件离线采集、创建库表离线采集、创建库表实时采集按钮,单击对应按钮即可跳转至相应页面创建任务。
详情可查看数据源相关描述和数据源配置信息,基本信息包括数据源类型、主机和端口等参数。同时,详情页面右上角支持对您拥有操作权限的数据源的编辑和删除。
- 编辑:单击编辑按钮,重新编辑数据源信息,完成后单击确定按钮。
- 删除:单击删除按钮,可删除数据源。注意:数据源删除后不可恢复,请您谨慎操作。
评价此篇文章
