BOSFTP

简介

BOSFTP是一个基于Python实现的BOS的FTP server工具,将FTP协议的操作转化为对BOS中存储的对象、目录的操作。支持文件上传、下载、删除以及创建文件夹等操作。

主要的功能

BOSFTP支持的主要功能如下:

  • 文件流式上传,大文件分块并行上传
  • 文件流式下载
  • 支持大部分FTP命令,满足FTP需求
  • 服务配置化,满足性能要求

系统环境

  • 操作系统:LINUX
  • Python版本:Python 2.7
  • 依赖:pyftpdlib>=1.5.0 bce-python-sdk>=0.8.23

安装

  1. 使用pip安装pyftpdlib

    pip install pyftpdlib
    
  2. 安装python sdk

    cd bce-python-sdk-0.8.23
    python setup.py install
    
  3. 验证是否安装好依赖

    cd ..
    python setup.py install
    
  4. 下载BOSFTP

启动FTP server

执行命令启动一个FTP server, 默认监听端口为2121。

bash start.sh
> running ftp server at port 2121...

关闭

-执行命令ctrl + c关闭FTP Server服务。
-可以指定在后台运行sh start.sh&将服务启动,运行sh stop.sh 关闭服务。

配置文件

[BOS_ACCOUNT]
# 设置ak, sk, bucket
access_key_id = <your access_key_id>
secret_access_key = <your secret_access_key>
bucket = <BucketName>
# FTP Server 的工作目录。
bos_user_home_dir = /home/users/xxx

[FTP_ACCOUNT]
# FTP 账户配置。配置格式为<用户名:密码:读写权限>,多个账户用分号分割。
login_users = usr1:psw1:RW;usr2:psw2:R

[NETWORK]
# 设置endpoint,默认为http://bj.bcebos.com
#endpoint = http://xx.bcebos.com
# FTP监听端口号,默认为2121
listen_port = 8081
# HTTP连接超时时间,默认为3600
connection_timeout_in_mills = 10000
# 并行上传最大并行数,即线程池线程数, 默认为cpu_count * 4
parallel_upload_num = 9
# FTP server最大连接数,默认为1024
max_connection_num = 1000
# 三步上传将文件切割成每个multi_part_size后进行并行上传, 默认为10485760(10M)
multi_part_size = 10485760
masquerade_address = 127.0.0.1

[LOG]
# 设置日志级别
log_level = INFO
# 设置日志目录, 日志名为bosftp.log
log_dir = /home/users/lihangyu01/baidu/bos/bosftp/log

配置文件说明

  • bos_user_home_dir: 本地文件夹路径,上传或是下载都在这个目录进行
  • login_users: 为用户账户信息,启动服务时会验证用户名和密码是否存在于login_users1当中,例如: open 127.0.0.1 2121连接到server,提示输入用户名和密码,这里输入的信息必须存在login_users当中才会通过权限认证
  • parallel_upload_num: 大文件上传会将文件分块(默认10M),然后并发的将这些文件块上传,这个参数用来控制并发度
  • masquerade_address: 使用masquerade_address选项来唯一绑定一个passive模式下用于reply的IP

测试

sh start.sh& "启动后台服务
cd test
sh run_test.sh
sh stop.sh

注意:配置AK/SK时,Bucket要实际存在,才会再后台启动服务。

常见问题

创建目录删除后导致父级目录被删除怎么办?

例如,执行如下操作:

mkdir dir1/dir2
cd dir1
rm dir2
cd ..

由于创建目录的实现方式是创建名为dir1/dir2的空Object,所以上述操作会导致dir1也被删除。建议创建目录时使用如下方式:

mkdir dir1
cd dir1
mkdir dir2

执行 size file_name时, 显示'550 SIZE not allowed in ASCII mode'

执行type binary命令修改传输方式。

connection_timeout_in_mills配置参数比较小的时候会导致rename一个大的文件对象超时失败

建议connection_timeout_in_mills配置参数值为10000,即10s。

put一个大小为0的object显示成功,但是执行list操作缺显示不出。

pyftpdlib库本身不会去读取0大小的文件,所以无法上传0大小的文件。

启动ftp服务后,用其他机器连接,显示Connection refused怎么办?

显示如下

227 Entering passive mode (127,0,0,1,97,183).
ftp: connect: Connection refused

执行passive命令即可。

版本记录

  • BOSFTP工具包 [2018-03-08] 版本号1.0.1

    • 支持APPE接口实现断点续传功能
  • BOSFTP工具包 [2018-11-09] 版本号1.0.0

    • 支持文件上传,下载,删除, 支持文件夹创建
    • 支持put、get、delete、mkdir、ls、cd、quite、size、rename命令
    • 自定义ftp配置
    • 大文件分块上传