BOSFTP
所有文档

          对象存储 BOS

          BOSFTP

          简介

          BOSFTP是一个基于Python实现的BOS的FTP server工具,将FTP协议的操作转化为对BOS中存储的对象、目录的操作。支持文件上传、下载、删除以及创建文件夹等操作。

          主要的功能

          BOSFTP支持的主要功能如下:

          • 文件流式上传,大文件分块并行上传
          • 文件流式下载
          • 支持大部分FTP命令,满足FTP需求
          • 服务配置化,满足性能要求

          系统环境

          • 操作系统:LINUX
          • Python版本:Python 2.7
          • 依赖:pyftpdlib>=1.5.0 bce-python-sdk>=0.8.23

          安装

          1. 使用pip安装pyftpdlib

            pip install pyftpdlib
          2. 安装python sdk

            cd bce-python-sdk-0.8.23
            python setup.py install
          3. 验证是否安装好依赖

            cd ..
            python setup.py install
          4. 下载BOSFTP, 并解压。

          启动FTP server

          执行命令启动一个FTP server, 默认监听端口为2121。

          bash start.sh
          > running ftp server at port 2121...

          关闭

          -执行命令ctrl + c关闭FTP Server服务。 -可以指定在后台运行sh start.sh&将服务启动,运行sh stop.sh 关闭服务。

          配置文件

          [BOS_ACCOUNT]
          # 设置ak, sk, bucket
          access_key_id = <your access_key_id>
          secret_access_key = <your secret_access_key>
          bucket = <BucketName>
          # FTP Server 的工作目录。
          bos_user_home_dir = /home/users/xxx
          
          [FTP_ACCOUNT]
          # FTP 账户配置。配置格式为<用户名:密码:读写权限>,多个账户用分号分割。
          login_users = usr1:psw1:RW;usr2:psw2:R
          
          [NETWORK]
          # 设置endpoint,默认为http://bj.bcebos.com
          #endpoint = http://xx.bcebos.com
          # FTP监听端口号,默认为2121
          listen_port = 8081
          # HTTP连接超时时间,默认为3600
          connection_timeout_in_mills = 10000
          # 并行上传最大并行数,即线程池线程数, 默认为cpu_count * 4
          parallel_upload_num = 9
          # FTP server最大连接数,默认为1024
          max_connection_num = 1000
          # 三步上传将文件切割成每个multi_part_size后进行并行上传, 默认为10485760(10M)
          multi_part_size = 10485760
          masquerade_address = 127.0.0.1
          
          [LOG]
          # 设置日志级别
          log_level = INFO
          # 设置日志目录, 日志名为bosftp.log
          log_dir = /home/users/lihangyu01/baidu/bos/bosftp/log

          配置文件说明

          • bos_user_home_dir: 本地文件夹路径,上传或是下载都在这个目录进行
          • login_users: 为用户账户信息,启动服务时会验证用户名和密码是否存在于login_users1当中,例如: open 127.0.0.1 2121连接到server,提示输入用户名和密码,这里输入的信息必须存在login_users当中才会通过权限认证
          • parallel_upload_num: 大文件上传会将文件分块(默认10M),然后并发的将这些文件块上传,这个参数用来控制并发度
          • masquerade_address: 使用masquerade_address选项来唯一绑定一个passive模式下用于reply的IP

          测试

          sh start.sh& "启动后台服务
          cd test
          sh run_test.sh
          sh stop.sh

          注意:配置AK/SK时,Bucket要实际存在,才会再后台启动服务。

          常见问题

          • 创建目录删除后导致父级目录被删除怎么办?

          例如,执行如下操作:

          mkdir dir1/dir2
          cd dir1
          rm dir2
          cd ..

          由于创建目录的实现方式是创建名为dir1/dir2的空Object,所以上述操作会导致dir1也被删除。建议创建目录时使用如下方式:

          mkdir dir1
          cd dir1
          mkdir dir2
          • 执行 size file_name时, 显示'550 SIZE not allowed in ASCII mode'

          执行type binary命令修改传输方式。

          • connection_timeout_in_mills配置参数比较小的时候会导致rename一个大的文件对象超时失败

          建议connection_timeout_in_mills配置参数值为10000,即10s。

          • put一个大小为0的object显示成功,但是执行list操作缺显示不出。

          pyftpdlib库本身不会去读取0大小的文件,所以无法上传0大小的文件。

          • 启动ftp服务后,用其他机器连接,显示Connection refused怎么办?

          显示如下

          227 Entering passive mode (127,0,0,1,97,183).
          ftp: connect: Connection refused

          执行passive命令即可。

          版本记录

          • BOSFTP工具包 [2018-03-08] 版本号1.0.1

            • 支持APPE接口实现断点续传功能
          • BOSFTP工具包 [2018-11-09] 版本号1.0.0

            • 支持文件上传,下载,删除, 支持文件夹创建
            • 支持put、get、delete、mkdir、ls、cd、quite、size、rename命令
            • 自定义ftp配置
            • 大文件分块上传
          上一篇
          BOS Alluxio Extension
          下一篇
          月光宝盒