百度机器学习BML

    常见问题

    技术支持

    您在使用过程中遇到的任何问题,都欢迎使用QQ扫描如下二维码加入技术交流群咨询和讨论。

    小Tips:平台在页面上提供了很多提示说明,别忘了点击右侧的小问号,查看相关的帮助。

    questionmark.png

    什么是BOS?使用BML为什么要开通BOS?

    BOS(Baidu Object Storage)是百度对象存储,提供稳定、安全、高效以及高扩展存储服务,支持单文件最大5TB的文本、多媒体、二进制等任何类型的数据存储。BML为了方便您在云端更安全、高效地处理数据和代码,和BOS实现了深度的打通,所以使用BML前您需要先开通BOS并创建Bucket。

    训练作业的运行日志在哪里查看?

    训练作业状态为运行中时,进入『运行详情』,点击『实时日志详情』可以看到实时日志。

    log-simutaneous.png

    作业成功或失败后,进入『运行详情』,点击『日志详情』进入您的Bucket管理页面,进入trainer/文件夹,trainer.log就是训练作业的日志文件。目前BOS不支持该格式文件的预览,您需要点击『文件名称:trainer.log』右侧的下载符号,下载后查看。

    log.png

    log2.png

    log3.png

    支持安装第三方包吗?如何安装?

    工作区和训练作业的CPU/GPU实例目前均支持用户安装第三方包。我们为您配置好了常用的第三方包,如numpy、sklearn、torch等。您可以使用pip list查看目前安装的第三方包和版本,使用pip install安装您需要的其他的第三方包。(安装包的时候需要区分python版本,python2用pip,python3用pip3。)

    在工作区中,一、可以在terminal中直接使用pip install xxx命令安装;二、可以在notebook中用!pip install xxx命令安装。

    训练作业不同于工作区,需要在训练脚本中调用系统命令安装,具体安装方式如下图所示。 install.jpg

    工作区安装第三方包时,报错“Could not find a version that satisfies the requirement xxx (from versions: ) No matching distribution found for xxx”,如何解决?

    工作区的pip源默认使用的清华镜像源(https://pypi.tuna.tsinghua.edu.cn/simple),如果报错“Could not find a version that satisfies the requirement xxx (from versions: ) No matching distribution found for xxx”,说明该软件包不在清华镜像源内,请使用Python的官方源镜像(https://pypi.python.org/pypi)。

    以kaggle为例,您可以使用!pip install kaggle -i https://pypi.python.org/pypi来安装该软件包。

    Notebook里的调试好的代码想要转换成.py文件,提交训练作业,如何实现?

    Notebook中的代码文件为.ipynb格式,如果想要提交训练作业,需要转换为.py文件。可以在terminal中使用jupyter nbconvert --to python xxx.ipynb将.ipynb文件转换为同名的.py文件。如下图所示,首先输入ll列出了./mnt/demo路径下的所有文件,然后通过jupyter nbconvert --to python tensorflow-mnist.ipynb将tensorflow-mnist.ipynb文件转换为tensorflow-mnist.py文件,最后输入ll验证文件转换并保存成功。

    convert2.png

    转换时会将非代码的cell注释掉,可能会出现jupyter独特的、不合python规范的语句,需要手动修正。

    另外,需要注意的是,要把代码中的输入输出路径适当修改:把训练数据路径改成「./train_data/」,把预测数据路径改成「./test_data/」,将训练输出的模型和数据改成「./output/」。原因参考常见问题深度学习作业的训练/预测数据为什么没有下载,输出数据为什么没有保存?

    深度学习作业的训练/预测数据为什么没有下载,输出数据为什么没有保存?

    下图是深度学习作业参数配置的截图,您需要填写输出路径(必选项)、训练数据路径(可选项)和预测数据路径(可选项)。

    training_path.png

    平台会自动将训练数据路径下的BOS数据下载到容器中的train_data目录,将测试数据路径下的BOS数据下载到容器中的test_data目录,运行代码的过程中会将容器中output目录下的内容上传到输出路径下。

    所以,要注意在代码中将相对路径填写正确,训练数据路径为「./train_data/」,测试数据路径为「./test_data/」,训练输出的模型和数据为「./output/」,才能使训练/测试数据下载到容器中,输出数据存到BOS上。

    如何处理“无效的region,请检查后重试”的报错?

    首先检查您的Bucket的区域是否为『华北-北京』。BML目前只支持读取或写入『华北-北京』区域的Bucket。如果Bucket区域为『华北-北京』仍报此错误,很有可能是因为您在其他产品中切换到了别的region,当切回到BML时会导致这个错误。解决方法是您在控制台进入百度云服务器BCC产品,将区域选择为『华北-北京』,然后进入到BML产品进行作业。

    支持子账号使用吗?

    BML目前还未接入到多帐号体系,暂时不支持子账号使用,请使用普通账号。子账号的需求正在计划中,敬请期待。

    如何下载非挂载bos目录下的数据到notebook?

    启动工作区时选的bos路径下的数据会直接挂载在左侧展示出的「data」目录下。下载不在该bos路径下的数据时,可以使用bos_utility的download_train_data_from_bos或者download_from_bos等方法进行下载,使用中需要填写自己的aksk(获取aksk方法)。区别是download_train_data_from_bos会下载数据到'./train_data'目录下,download_from_bos要指定下载后的target_path, 例如下载到'./mydata'目录下。主要使用方法如下图。 image.png

    上一篇
    操作指南
    下一篇
    服务等级协议SLA