JSON JSON类型 查询的 Json Object格式,支持 DOCUMENT 或 LINES 压缩方式 指定查询的 Object 是否压缩,可选值为无压缩或 GZIP 导出格式 当前仅支持导出 CSV 格式的扫描结果 加密格式 Select扫描支持对加密文件进行扫描,控制台自动识别扫描文件的加密状态 配置完扫描文件之后,您还需要输入 SQL 语句,点击运行即可进行文件扫描。
作业导出/入 Flink作业支持导入导出,单击 导出 ,将当前作业导出为json文件。 计算资源 点击页面上方计算资源弹出作业资源设置框,对脚本作业进行资源设置。
可视化作业开发:使用拖拽的形式,降低用户开发、使用门槛,快速实现离线任务的加工处理; 脚本作业开发:以脚本的形式进行数据的开发,目前支持的脚本类型包括:HIVESQL、JDBCSQL、Spark SQL、PySpark、Spark Scala、Shell、Python等脚本类型; 作业组开发:将可视化作业开发、脚本作业开发等开发完成的作业,或者用户线下创建好的shell、python、spark等作业进行引用
TaskInfo:以 Json 格式展示的作业信息: db:数据库名 tbl:表名 partitions:指定导出的分区。 * 表示所有分区。 exec mem limit:查询计划内存使用限制。单位字节。 column separator:导出文件的列分隔符。 line delimiter:导出文件的行分隔符。 tablet num:涉及的总 Tablet 数量。
需求场景 如何如下特征的数据库适合采用横向扩展方案—— 当前RDS实例流量较大,实例负载较高,MySQL慢日志中存在大量的只读SQL请求 SQL读写比较高:读SQL占比越高,横向扩展方案的效果越好 SQL存在OLAP类型的查询(如统计查询、BI分析查询、批量查询):基于流量隔离思路,把长耗时的SQL单独访问只读实例,避免影响正常的实时流量 预计未来数据库读SQL请求量会快速增长 方案概述 第一步:创建只读实例
作业导出/导入 导出:单击导出按钮,弹窗提示“是否确认导出该作业?后单击确认,会保存json文件至用户本地。文件名为:当前作业名.json。文件包含的内容:当前作业名、脚本内容、基本信息、参数配置。 导入:单击导入按钮,选择用户本地文件,只支持json类型文件导入,若用户选择非json类型文件,则提示“请选择json文件”。导入的脚本作业默认覆盖原有工作台的草稿。
指标导出 :单击 指标导出 ,可以导出指定主题下的所有数据指标。导出的数据指标为 Excel 格式。 指标状态管理 数据指标的生命周期包括以下状态:草稿、已发布、已废弃。通过发布、修订和废弃这三种操作,可以修改它们的状态。 各个状态的流转方式如下: 流转方式 描述 发布 新建的数据指标处于草稿状态,需要发布之后才可以被正式使用。在右侧的操作栏单击「发布」按钮,即可进行发布操作。
PySpark导出数据 使用PySpark脚本导出数据。 输入 输入一个数据集,需要编写导出数据的Python代码。 输出 导出数据集。 算子参数 参数名称 是否必选 参数描述 默认值 Python代码编辑窗口 是 在编辑窗口中编辑导出数据脚本 无 使用示例 编写数据导出Python代码,等待算子运行成功。 到相应路径查看导出的数据文件 PySpark脚本 使用PySpark脚本导出数据。
Query ID :Palo中执行对应SQL生成的查询ID,全局唯一。 FE节点 :解析SQL和制定查询计划的FE节点。 查询用户 :对应Palo中的用户。 执行数据库 :Query所在数据库。 Sql :具体执行的sql语句。 查询类型 :默认为Query。 开始时间 :Query开始执行的时间。 结束时间 :Query结束的时间。 执行时长 :Query执行耗时。
visitor', 'vpwd', False)) # 提交事务 conn.commit() print( 数据库初始化完成 ) def queryDB(sql): # 使用 with 语句创建数据库连接 with sqlite3.connect(db_name) as conn: # 创建一个 Cursor 对象 cursor = conn.cursor() # 执行查询数据的 SQL