百度数据工厂Pingo 百度数据工厂Pingo是百度智能云上提供的集成的批量和流式数据处理系统,它在弹性计算资源管理和改进的数据访问管理层之上,运行优化的Spark计算引擎,提供SQL分析和DataFrame API,支持低延时的批量和流式数据加工和处理,对外提供REST Service任务执行接口。
不能使用分布式事务、Windows 域账号登录、邮件功能、BI 分析功能、报表功能、数据库级别的DDL触发器(触发器中含有修改表结构、创建表、增删索引等 DDL 语句)、程序集、Service Broker、SQL Server Profiler (默认不提供,可以发工单申请开启)、数据库优化顾问、复制功能、策略管理,代理启动停止功能等。
若选择了增量同步,可以指定增量同步过程中同步的SQL语句类型,当前可选的SQL语句类型包含:INSERT、UPDATE、DELETE、DDL;此外若选择了DDL语句的同步,可以额外指定是否过滤特殊的DDL同步,如DROP、和TRUNCATE语句,如下图所示。 传输对象包含两种选择类型: 整个实例 和 手动选择 。
在执行记录中,点击操作列的“查看详情”可以查看对应任务的DDL语句。 执行记录 在“数据库管理”页面,点击“执行记录”,进入页面。 在执行记录中,点击操作列的“查看详情”可以查看对应任务的DDL语句。
lower_case_table_names=1,表示不区分大小写,创建库表时MySQL会将所有的库表名转换成小写字母保存在磁盘上,且SQL语句中涉及到库表无论写成大写或者小写,都会被转化成小写进行查询和写入。
数据业务逻辑处理语法解析 kuiper 采用 SQL 实现业务逻辑,每10秒钟统计温度的平均值、最大值、最小值和次数,并根据设备 ID 进行分组,实现的 SQL 如下所示。
在HTTP GET字符串例如,超长的参数(2048字符)、SQL语句/注入(或OS注入参数)中传输恶意内容时,Web服务将会受到攻击。 重放测试 重放攻击的威胁在于攻击者可以伪装成一个合法用户的身份,然后不被察觉的情况下进行一些恶意操作。本项测试将检测Web服务是否存在重放漏洞。
SQL查询权限 SQL查询权限分为两级:写原始查询语句和没有权限。 写原始查询语句 :可以使用SQL编辑器编辑新的SQL或本地查询。因为SQL查询可以绕过表级权限,所以该级访问权限要求该群组用户对该数据库拥有不受限制的访问权限。 没有权限 :无法使用SQL编辑器编辑新的SQL或本地查询。用户仍然可以查看SQL或本地查询创建的查询。 文件夹权限 文件夹权限最大权限单位为“工作台”。
锁可视化对锁等待时长最长的 200 条进行可视化展示。 元数据锁 :元数据锁(Metadata Lock,简称 MDL),管理对数据库对象的并发访问并确保数据的一致性。在表上有活动事务时, 对数据库对象进行元数据锁(通常是 DDL 语句)修改时的会话会被阻塞。 同时元数据锁可能会对后续的 DML 语句造成阻塞,形成阻塞堆积,影响性能。
同步语句选择 增量同步阶段,支持指定需要同步的 SQL 语句类型,可多选。 迁移方案 增量同步当前支持两种可选的迁移方案:物化视图日志(mlog)方案和归档日志方案(logminer)。若选择归档日志(logminer)方案,需要满足如下要求: Oracle 数据库需开启归档模式(ARCHIVELOG),详情参见 ARCHIVELOG 。