Sqoop应用文档 场景描述 通过BMR Sqoop可以将RDS上的数据导入BMR Hive: 在本示例中,hive数据表的location为BOS路径,hive数据表的partition为dt(string),根据dt指定日期,区分每一天的导入数据。 说明 由于hive数据表的location为BOS,无法直接通过sqoop将RDS的数据导入hive,因为hive在加载数据时,会先将数据写入本地
版本更新记录 v 0.9.4 首次发布: 支持创建、罗列、查看、终止 Cluster 支持添加、罗列、查看 Step
编译Maven项目 Maven项目包样例 百度智能云提供了以下组件的Maven项目样例代码,您可通过GitHub克隆代码至本地设计自己的程序: MapReduce Linux环境下使用命令行编译Maven项目 以Ubuntu 14.04环境为例,介绍Maven的安装和编译。 安装JDK。 1). Maven依赖Java运行环境,因此使用Maven之前需要确认正确安装JDK1.4及以上的版本。执行命
云盘对象CdsItem的属性包括云盘容量大小和云盘存储介质,每个属性均有对应的getter访问器方法,其中云存储介质支持premium_ssd(SSD云磁盘),ssd(高性能云磁盘)两种类型。
安装SDK工具包 运行环境 Java SDK工具包可在jdk6、jdk7、jdk8环境下运行。 安装步骤 在 Java SDK 下载Java SDK压缩工具包。 将下载的 bce-java-sdk-version.zip 解压后,复制到工程文件夹中。 在Eclipse右键“工程 -> Properties -> Java Build Path -> Add JARs”。 添加SDK工具包 lib/
安装SDK工具包 环境准备 运行环境 Python SDK工具包支持在Python 2.7 以上环境运行。 安装pycrypto依赖 安装SDK之前,需要先执行命令 pip install pycrypto 安装pycrypto依赖。 如果安装失败,请执行 pip install pycryptodome 下载和安装 方式一:通过pip安装 您可以通过pip安装的方式将百度智能云Python SD
定时分析日志数据 概览 通过定时任务创建BMR集群,分析日志数据,定时释放集群,为用户大大节约了使用成本。 需求场景 对于业务稳定且有规律的用户,日志的峰值和低谷的规律一般是固定的。对于有规律的日志业务场景,用户只需要在特定的时间段内用集群进行分析即可,其余时间无需使用集群。传统的大数据集群一旦构建则无法释放或者需要人工手动释放,使用成本较高。解决这一场景下的日志分析十分必要。 方案概述 通过定时
实例组操作接口 查询实例组列表 接口描述 查询指定集群的实例组信息 权限说明 请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证 。 注意事项 如果请求中没有用户验证信息(即匿名访问),返回 403 Forbidden ,错误信息: AccessDenied 。 请求结构 GET /v{version}/cluster/{clusterId
SSH连接到集群 应用场景 在集群运行期间与主节点交互。例如,登录主节点运行交互式查询,检查日志文件,使用在主节点上运行的应用程序监控性能,调试集群问题等。 使用安全外壳协议(SSH)连接到主节点可实现监控集群并与集群交互。您可在主节点上发出Linux命令,以交互的形式运行HBase、Hive和Pig等应用程序,浏览目录和读取日志文件等。 操作步骤 在集群创建成功后,集群列表页点击集群,进入集群详
Hive 操作 进入 hive 环境 hive 设置引擎为 mr MapReduce 引擎 和本集群的 Hbase 环境已经调好,如果使用其他集群的 Hbase,可以用 add file hbase-site.xml 添加其他集群的配置文件(需要服务器打通)。TEZ 引擎需要额外的 Hbase 相关的配置,需使用 add jar 的方式把 hbase 的相关 jar 包放到执行环境里。