百度MapReduce BMR

    BmrClient

    配置BmrClient

    BmrClient是BMR服务的Python客户端,为调用者与BMR服务进行交互提供一系列的方法。

    在新建BmrClient之前,需要先创建配置文件对BmrClient进行配置,以下将此配置文件命名为bmr_client_conf.py,具体配置信息如下所示:

    #!/usr/bin/env python
    #coding=utf-8
    
    #导入Python标准日志模块
    import logging
    
    #从Python SDK导入BMR配置管理模块以及安全认证模块
    from baidubce.bce_client_configuration import BceClientConfiguration
    from baidubce.auth.bce_credentials import BceCredentials
    
    #设置BmrClient的Host,Access Key ID和Secret Access Key
    host = "bmr.bj.baidubce.com"
    access_key_id = "your-access-key-id"
    secret_access_key = "your-secret-access-key"
    
    #设置日志文件的句柄和日志级别
    logger = logging.getLogger('baidubce.services.bmr.bmrclient')
    fh = logging.FileHandler("sample.log")
    fh.setLevel(logging.DEBUG)
    
    #设置日志文件输出的顺序、结构和内容
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    fh.setFormatter(formatter)
    logger.setLevel(logging.DEBUG)
    logger.addHandler(fh)
    
    #创建BceClientConfiguration
    config = BceClientConfiguration(credentials=BceCredentials(access_key_id, secret_access_key), 
                                    endpoint=host)

    注意:

    1. 在上面的代码中,变量access_key_id与secret_access_key是系统分配给用户的,用于标识用户,为访问Media做签名验证。其中access_key_id对应控制台中的“Access Key ID”,secret_access_key对应控制台中的“Access Key Secret”,获取方式请参考《管理ACCESSKEY》。
    2. BceClientConfiguration构造函数的endpoint参数只能用指定的包含Region的域名来进行定义,目前开放了BMR SDK服务的区域是“华北-北京”和“华南-广州”,北京Region的endpoint的域名是http://bmr.bj.baidubce.com,广州Region的endpoint的域名是http://bmr.gz.baidubce.com

    新建BmrClient

    在完成上述配置后,用户可以参考如下代码新建一个BmrClient:

    import logging
    import bmr_client_conf
    from baidubce.services.bmr.bmr_client import BmrClient
    
    logging.basicConfig(level=logging.DEBUG)
    LOG = logging.getLogger(__name__)
    CONF = bmr_client_conf
    
    bmr_client = BmrClient(CONF.config)

    参数说明

    Python SDK在baidubce/bce_client_configuration.py中默认设置了一些基本参数,若用户想要对参数的值进行修改,可以参考此文件创建自身的参数配置函数,并在构造BmrClient的时候传入,传入代码参考如下:

    from baidubce.retry_policy import BackOffRetryPolicy
    from baidubce.bce_client_configuration import BceClientConfiguration
    from baidubce.auth.bce_credentials import BceCredentials
    from baidubce.protocol import HTTP
    from baidubce.region import BEIJING
    
    my_policy = BackOffRetryPolicy(max_error_retry=3,
                                   max_delay_in_millis=20 * 1000,
                                   base_interval_in_millis=300)
    
    my_config = BceClientConfiguration(
        credentials=BceCredentials('your-access-key-id', 'your-secret-access-key'),
        endpoint='bmr_service_host',
        protocol=baidubce.protocol.HTTP,
        region=baidubce.region.BEIJING,
        connection_timeout_in_mills=50 * 1000,
        send_buf_size=1024 * 1024,
        recv_buf_size=10 * 1024 * 1024,
        retry_policy=my_policy)
    
    # create BmrClient with my config
    my_client = BmrClient(my_config)

    参数说明如下:

    参数 说明 默认值
    PROTOCOL 协议 baidubce.protocol.HTTP
    REGION 区域 baidubce.region.BEIJING(目前只支持北京地区)
    CONNECTION_TIMEOUT_IN_MILLIS 请求超时时间(单位:毫秒) 50 * 1000
    SEND_BUF_SIZE 发送缓冲区大小 1024 * 1024
    RECV_BUF_SIZE 接收缓冲区大小 10 * 1024 * 1024
    retry_policy 重试逻辑 最大重试次数3次, 超时时间为20 * 1000毫秒,重试间隔300毫秒
    上一篇
    Step(作业)
    下一篇
    异常处理