对象存储BOS

    配置和使用

    您只需下载相应的SDK包,修改部分配置即可使用BOS HDFS工具。

    下载

    • 下载 BOS FS JAR,将解压后的jar包复制到 $hadoop_dir/share/hadoop/common中。其中MD5 = 98a1260c63013c612ca5de1b793c6ddc
    • 下载 BOS Java SDK,将解压后的jar包复制到$hadoop_dir/share/hadoop/common/lib/中,其中Java SDK的版本必须为V0.10.82或以后版本。

    使用前准备

    • 在Hadoop配置路径中修改 log4j.properties,调整BOS SDK的日志配置:log4j.logger.com.baidubce.http=WARN
    • $hadoop_dir/etc/core-site.xml文件中添加或者修改BOS HDFS相关配置。
    <property>
      <name>fs.bos.access.key</name>
      <value>{Your AK}</value>
    </property>
    
    <property>
      <name>fs.bos.secret.access.key</name>
      <value>{Your SK}</value>
    </property>
    
    <property>
      <name>fs.bos.endpoint</name>
      <value>http://bj.bcebos.com</value>
    </property>
    
    <property>
      <name>fs.bos.impl</name>
      <value>org.apache.hadoop.fs.bos.BaiduBosFileSystem</value>
    </property>
    
    <property>
      <name>fs.bos.multipart.uploads.attempts</name>
      <value>5</value>
    </property>
    
    <property>
      <name>fs.bos.multipart.uploads.block.size</name>
      <value>9437184</value>
    </property>
    
    <property>
      <name>fs.bos.multipart.uploads.cocurrent.size</name>
      <value>3</value>
    </property>
    
    <property>
      <name>fs.bos.multipart.uploads.factor</name>
      <value>10.0</value>
    </property>
    
    <property>
      <name>fs.bos.multipart.uploads.speed</name>
      <value>10485760</value>
    </property>

    开始使用

    使用BOS HDFS访问BOS服务时路径需要以bos://开始。如:

    hdfs dfs ls bos://{bucket}
    hdfs dfs -put ${local_file} bos://{bucket}/a/b/c

    使用进阶

    由于自建Hadoop集群的可拓展性有限,且需要大量人力对集群进行运维,如果您对性能及安全性有更高要求,推荐使用百度智能云提供的 百度 MapReduce(BMR)。BMR 是全托管的 Hadoop/Spark 集群,您可以按需部署并弹性扩展集群,只需专注于大数据处理、分析、报告,拥有多年大规模分布式计算技术积累的百度运维团队全权负责集群运维,能够在性能,安全性和便捷性上有大幅提升。

    上一篇
    概述
    下一篇
    BOS桌面