Pig - MapReduce BMR_全托管Hadoop/Spark集群
Pig是基于Hadoop的大规模数据分析平台，把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig适用于大量的并行进程，因此可处理大规模数据集，而且Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口，便于写入和维护，可为实现不同的目的创建自己的进程。
Spark自定义JAR作业 - 百度流式计算BSC | 百度智能云文档
将操作过后的数据以csv格式写入bos /** 配置baidu bos file system参数 */ val hadoopConf = spark . sparkContext . hadoopConfiguration hadoopConf . set ( fs.bos.endpoint , s ${sinkBosEndpoint} ) hadoopConf . set ( fs.bos.access.key
作业开发 - 百度数据湖管理与分析平台EDAP | 百度智能云文档
若用户未填写，该字段出现在 body中，用{}表示 hsql connectionId String 是 用户勾选的源连接名称，当选择「在线编辑 SQL」为必选项 statement String 是 用户需要执行的 sql 语句，当选择「在线编辑 SQL」为必填项 scriptName String 是 作业节点引用的脚本作业名称，当选择「SQL脚本」为必填项 hiveConf Map<
API创建 - 百度数据湖管理与分析平台EDAP | 百度智能云文档
表五 表单项说明 名称 描述 使用限制 数据源类型 选择需要查询的数据源类型 必填，目前支持 Doris、MySQL、ClickHouse、GreenPlum 数据源 数据源 选择数据源类型下的需要查询的数据源连接 必填 查询 SQL 用于查询数据源 SQL 语句，其中 SELECT 后字段为返回参数，SQL 语句中由 ${ } 中的字段为请求参数。
离线应用场景 - MapReduce BMR_全托管Hadoop/Spark集群
离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过MR或者Spark作业或者SQL作业实现。离线分析系统架构中以HDFS分布式存储软件为数据底座，计算引擎以基于MapReduce的Hive和基于Spark的SparkSQL为主。
使用Hive分析网站日志 - MapReduce BMR_全托管Hadoop/Spark集群
在Hue菜单栏中选择“查询编辑器”>“Hive”，并输入以下SQL语句： DROP TABLE IF EXISTS access_logs ; CREATE EXTERNAL TABLE access_logs ( remote_addr STRING comment 'client IP' , time_local STRING comment 'access time' , request STRING
导出查询结果集 - Baidu Palo/Doris 使用文档
用户可以通过这个命令，借助灵活的 SQL 语法，将期望的查询结果进行导出。 执行导出命令 SELECT INTO OUTFILE 本质上是一个同步的 SQL 查询命令。因此受到会话变量 query_timeout 的超时限制。如果导出较大结果集或 SQL 本身执行时间较长时，请先设置合理的超时时间。
SFT垂直领域任务说明与示例 - ModelBuilder
NL2SQL指将自然语言转换成结构化查询语言的任务，要求模型能够理解自然语言的意图，并将其转换成能够执行的SQL查询语句。
Hive - MapReduce BMR_全托管Hadoop/Spark集群
Hive是基于Hadoop的数据仓库工具，提供海量数据的读取、写入、管理和分析，具有易扩展的存储能力和计算能力。不必开发专门的MapReduce应用便可通过类SQL语句快速实现简单的MapReduce统计，同时也允许熟悉MapReduce的开发者开发自定义的Mapper和Reducer来处理复杂的分析工作。 Hive的数据单元： Databases：数据库。 Tables：表。
SELECT-INTO-OUTFILE - Baidu Palo/Doris 使用文档
结果完整性保证 该命令是一个同步命令，因此有可能在执行过程中任务连接断开了，从而无法活着导出的数据是否正常结束，或是否完整。此时可以使用 success_file_name 参数要求任务成功后，在目录下生成一个成功文件标识。用户可以通过这个文件，来判断导出是否正常结束。
