所有文档

          对象存储 BOS

          Select扫描

          概述

          BOS Select 扫描功能,支持通过简单的 SQL 语句对 BOS 单个文件的内容进行检索和查询,从而获取您希望获取的数据。通过 BOS Select 扫描功能,您在控制台即可完成文件内容的检索和查询,不需要将文件下载到本地后进行查询,从而有效节省带宽资源,并提高数据查询的效率。Select 扫描是 BOS 的一款增值服务,会产生相应费用。详情请查看计费概览

          注意事项

          • 支持检索的文件类型:

            • CSV 文件:UTF-8 编码的 RFC 4180 标准 CSV 文件,包括 TSV 等类 CSV 文件,且文件的行列分隔符以及 Quote 字符都可自定义;
            • JSON 文件:包括 DOCUMENT 和 LINES 两种 JSON 类型。其中,DOCUMENT 是指整个文件是单一的 JSON 对象, 而 LINES 表示整个文件由多行的 JSON 对象组成,但整个文件本身并不是一个合法的 JSON 对象,行与行之间以换行分隔符隔开;
          • 支持检索的存储类型:标准存储、低频存储和冷存储类型文件;
          • 支持扫描服务端加密之后的文件;
          • 支持扫描通过 GZIP 方式压缩后的文件;
          • 支持的 SQL 语法:支持 Select From Where Limit SQL 句型,支持 string、int(64bit)、float(64bit), timestamp,bool 和 decimal(128) 的数据类型,并支持逻辑条件(AND,OR,NOT), 算术表达式(+-*/%), 比较运算符(>,=, <, >=, <=, !=),匹配运算符(LIKE,BETWEEN+AND,IN),空判断(IS NULL),聚合函数(AVG、COUNT、MAX、MIN、SUM),转换函数 CAST 及别名关键词 AS;
          • 控制台目前仅支持扫描 128 MB 以下的文件,且仅提取扫描结果的前 40 MB 数据。如果您需要处理更大的文件或返回更多的记录,请调用 Select Object API 接口
          • Select 扫描是 BOS 的增值服务,会按照您扫描的源文件大小(GB)收取一定费用,详细信息请查看计费项信息使用价格。若因 SQL 语法或系统等错误导出扫描失败,该次扫描不收取费用。

          Select扫描

          1. 登录 BOS 管理控制台,进入全局概览页面。
          2. 在 BOS 控制台左侧的导航栏中选择扫描文件所在的目标 Bucket,点击打开该 Bucket 的文件列表页。
          3. 点击目标文件右侧操作栏的更多->Select扫描。Select 扫描是针对大数据场景的一种云上操作,对文件类型有一定要求。只有 .csv 和 .json 格式的文件支持使用 Select 扫描,其他类型文件不支持。

          image.png

          1. 在右侧窗口中,您需要先选取要进行扫描的文件,然后对源文件进行配置。
          文件类型 配置名称 配置描述
          CSV 标题字段
          • 包含:表示扫描的文件中有表头(Header)信息;
          • 不包含:表示扫描的文件中有表头(Header)信息;
          • 不论文件是否包含表头信息,控制台均仅支持通过列序号取出某一列,不支持通过表头取出。若您希望用过表头取出某一列,请使用 Select API
          分隔符
          • 指定 csv 文件列分隔符,以 Base64 编码,最多为1个字符;
          • 分隔符默认为逗号,还支持\t、\n、Tab,分号和自定义
          压缩方式
          • 指定查询的 Object 是否压缩,可选值为无压缩或 GZIP
          导出格式 当前仅支持导出 CSV 格式的扫描结果
          加密格式 Select扫描支持对加密文件进行扫描,控制台自动识别扫描文件的加密状态
          JSON JSON类型
          • 查询的 Json Object格式,支持"DOCUMENT"或"LINES"
          压缩方式
          • 指定查询的 Object 是否压缩,可选值为无压缩或 GZIP
          导出格式 当前仅支持导出 CSV 格式的扫描结果
          加密格式 Select扫描支持对加密文件进行扫描,控制台自动识别扫描文件的加密状态

          image.png

          1. 配置完扫描文件之后,您还需要输入 SQL 语句,点击运行即可进行文件扫描。BOS为您提供了若干常用 SQL 语句模板,您可以根据需要选择语句。CSV 文件常用 SQL 语句可以查看 CSV 常用 SQL 语句,JSON 文件常用 SQL 语句可以查看 JSON 常用 SQL 语句
          2. 查看扫描结果。点击立即扫描后,可以查看扫描结果。若扫描失败,BOS 会在结果框中返回相应错误码,此时扫描不收取费用。

          注意

          • 当您关闭扫描窗口后,本次 Select 扫描结果会自动缓存在您的浏览器中,同时会在文件列表对应文件后方生成一个闹钟提示。当您再次打开扫描窗口,仍可以查看扫描结果。若您对同一文件再次发起扫描,或关闭浏览器,则缓存结果会被自动清除。

          image.png

          上一篇
          文件夹统计
          下一篇
          设置软链接