百度数据可视化Sugar

    私有部署的安装

    更新时间：2020-08-05

    使用安装程序

    对于 Windows、Mac 系统，Sugar 提供了安装客户端来方便安装。

    手动安装

    Sugar的部署，对机器环境要求：

    软件环境

    • Docker

    需要您的机器安装Docker，推荐版本为v17及以上，Sugar可以直接运行在单机 Docker 环境上，如果需要集群化、高可用，可以使用 Docker 自带的 swarm 或者 k8s；Sugar的安装部署过程中需要您对 Docker 的基础知识有所了解，详见Docker 官网。

    Docker 的安装建议参考官方文档，可以安装在Centos、Ubuntu、Windows、Mac等系统上。

    如果 Docker 官网访问比较慢，可以试试百度网盘（提取码: 8ym5）。

    • MySQL

    推荐使用MySQL 5.7版本（如果用 MySQL 8 需要 --default-auth=mysql_native_password），该 MySQL 数据库用来存储Sugar的系统数据，MySQL 需要您自己安装和运维，并且需要给Sugar创建一个空的数据库如sugarbi（排序规则使用utf8_general_ci）；当然，您可以使用 Docker 来快速安装 MySQL，详见Docker MySQL，现提供单机 Docker 情况下安装启动 MySQL 并创建sugarbi数据库流程：

    图片

    上图中主要的命令行（其中lovesugar123即数据库 root 账户的密码，您可以改成自己想要的密码）：

    mkdir ~/mysqlData
docker run --ulimit nofile=65100:65100 --restart unless-stopped --name sugar-mysql -p 3306:3306 -v ~/mysqlData:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=lovesugar123 -d mysql:5.7
docker run -it --link sugar-mysql:mysql --rm mysql:5.7 sh -c 'exec mysql -h"$MYSQL_PORT_3306_TCP_ADDR" -P"$MYSQL_PORT_3306_TCP_PORT" -uroot -p"$MYSQL_ENV_MYSQL_ROOT_PASSWORD"'
CREATE DATABASE IF NOT EXISTS `sugarbi` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

    对于 MySQL，我们建议您进行每天定时备份，防止机器故障导致数据丢失，使用上图的方式，我们已经将 MySQL 的数据挂载到了~/mysqlData文件夹下。

    硬件环境

    如果用户数不多（如不超过 100 人）且不严格要求高可用，单机运行即可，否则视具体情况推荐使用 Docker swarm 集群方式扩展机器；每台机器的配置建议：内存 8G 或以上、CPU（4 核或以上，如 Intel 至强 E5、酷睿 i7 或以上）、硬盘（256GB SSD 或以上）

    下载

    我们提供了两种获取Sugar安装包镜像的方式：

    1、百度云的 docker 镜像服务

    Sugar的镜像已经上传到百度云 docker 镜像服务，您可以使用以下命令获取Sugar镜像：

    docker pull hub.baidubce.com/sugarbi/sugar:2.3.2
docker tag hub.baidubce.com/sugarbi/sugar:2.3.2 sugarbi/sugar:2.3.2
// 查看刚刚拉取的镜像
docker images

    2.3.2是目前Sugar的最新版本，其他的版本可参考更新日志。此种方式要求您的部署机器能够连接互联网；如果您的部署机器不能直接连接到互联网，可以使用下面的方式。

    2、直接在线下载

    如果您的部署机器不能连接互联网，您可以在联网的机器上点击这里下载，然后将下载的安装包拷贝到部署机器上，注意：如果您使用 swarm 来同时部署到多台机器上，需要将下载的安装包文件拷贝到所有部署机器上，并且以下的操作也需要在所有部署机器上执行。

    在部署的机器上，进入到您拷贝的安装包的同目录下，

    docker load -i ./sugarbi-2.3.2.tar.gz
// 上面的命令会执行数十秒，然后执行以下命令查看刚刚load的镜像
docker images

    使用上面的两种方式下载Sugar的安装镜像，在最后执行docker images都能看到如下展示即证明下载成功：

    图片

    运行 Sugar

    Sugar是基于 Docker 容器化的运行模式，所以安装也会比较简单，主要是提供相应的配置文件（MySQL 连接配置、License 配置等），其他基本就是一键启动。Sugar的启动有两种方式，分别对应 Docker 单机模式和多机集群模式：

    一、Docker 单机运行

    在 Docker 单机环境下运行Sugar很简单，分两步：

    • 1、新建一个名为env的文件（文件名没有后缀，就是 env），并用文本编辑器打开，复制以下的内容并填写相应部分：
    love_sugar=true
sugar_can_connect_local_ip=true

# MySQL数据库相关
sugar_db_username=root
sugar_db_password=lovesugar123
sugar_db_database=sugarbi
sugar_db_host=填写您安装MySQL机器的IP，即使是本机也不能使用localhost和127.0.0.1
sugar_db_port=3306

# redis配置
# 如果您需要「定时邮件」功能，需要配置这块，否侧不需要配置
# 如果您私有部署只是单机运行（即只运行一个sugar的实例），sugar已经内置，这块不需要配置
# 否则需要您自己搭建redis（2.6版本以上，最好是5的版本，可以使用类似上面mysql的docker方式来启动一个redis）
sugar_redis_host=
sugar_redis_port=
sugar_redis_password=

# license相关
sugar_company=license的组织代码
sugar_license=具体license

# 登陆形式，支持 demo、email、password、oauth
# 如果是最初步的测试，可以使用demo方式，后面的其他登陆方式的配置都可以不用填写
sugar_login_type=demo

# email登陆模式的配置，以及「定时邮件」功能也需要这块的配置，host 是 smtp 服务器
sugar_email_host=
# port 一般是 25 或 465
sugar_email_port=
sugar_email_username=
sugar_email_password=
sugar_email_from=
# 如果 smtp 端口是 465 则需要去掉下面的注释
# sugar_email_tls=true

# oauth登陆模式的配置
sugar_oauth_authorize_url=
sugar_oauth_token_url=
sugar_oauth_client_id=
sugar_oauth_client_secret=
sugar_oauth_scope=
sugar_oauth_info_url=
sugar_oauth_data_username=
sugar_oauth_data_useremail=
sugar_oauth_email_suffix=
sugar_oauth_logout_url=

# 是否HTTPS，只有您部署的sugar并且设置了HTTPS证书时才需要配置
sugar_is_https=
# 是否忽略SQL语句的安全检查（准许SQL中出现drop、delete等关键词），默认是都检查，填写true时将不检查，1.9.1版本之后才支持
sugar_ignore_sql_security_check=false
# 私有部署下是否不显示home首页，直接跳到login登录页面
sugar_home_redirect_login=false

    上面每项配置的具体含义详见下一章节运行配置说明

    • 2、在env文件的目录下执行以下命令来启动Sugar

    为了能让您方便的看到Sugar的日志，所以我们使用 Docker 的 Volume 将日志挂载到宿主机，新建文件夹~/sugar-log（Sugar的运行日志将存贮在这个目录下，当然目录名称您可以随意修改，同步替换下面命令中的即可）：

    docker run --ulimit nofile=65100:65100 --restart unless-stopped -d -p 8000:8580 --name sugar -v ~/sugar-log:/sugar-app/log --env-file env sugarbi/sugar:2.3.2

    有时您的 docker 网络环境可能配置有问题，会导致 MySQL 数据库连接不上，Sugar 还有另外一种方式 link 的方式启动。如果您的 MySQL 和 Sugar 运行在同一台机器上，并且 MySQL 是使用上面的 docker 方式启动的，您可以在env文件中将sugar_db_host填写为sugar-mysql，然后使用下面的命令来启动：

    docker run --link sugar-mysql --ulimit nofile=65100:65100 --restart unless-stopped -d -p 8000:8580 --name sugar -v ~/sugar-log:/sugar-app/log --env-file env sugarbi/sugar:2.3.2

    其中 8000 是本地端口，可以修改成自己想要的端口，比如 80，最后在浏览器上访问 http://部署的机器ip:8000 如果是本机部署，即访问 http://127.0.0.1:8000 ，浏览器成功访问Sugar的首页之后，您还必须进行下面的「同步数据库结构」步骤。

    同步数据库结构

    前面已经描述了Sugar需要您提供一个 MySQL 数据库，这个数据库用来存储Sugar的系统数据。在您第一次安装Sugar、或者每次升级Sugar时，都需要进行数据库结构的升级和同步。升级数据库结构非常简单，只需要您使用浏览器访问 http://部署的机器ip:8000/migration 如果是本机部署，即访问 http://127.0.0.1:8000/migration , 首次访问该页面大约需要数十秒，请不要刷新浏览器耐心等待一会，如果同步成功将会看到类似下面的结果：

    图片

    之后如果您多次访问该页面，将会看到这样的成功提示：

    图片

    如果运行失败，您会看到类似下面的错误提示：

    图片

    二、swarm 集群运行

    Sugar本身是无状态的，支持多机部署来提升产品可用性，只要域名相同，Sugar 可以部署到任意多台服务器上。

    需要注意，多机模式除了需要自行搭建数据库，还需要再搭建一个 redis 服务，或者使用下面的方法直接内置进去。

    Docker 多机集群模式，我们推荐使用 Docker 自带的 swarm，关于如何使用 swarm 请参考 Docker 官方文档。使用 swarm 部署Sugar分两步：

    • 1、新建一个sugar-compose.yml文件，并用文本编辑器打开，复制以下的内容并填写相应部分：

    下面已经将Sugar运行日志挂载到了宿主机的/sugar-log目录下，需要您手动在所有机器上新建该目录，当然您可以使用其他的目录来存储日志。

    version: "3.3"

services:
  web:
    image: sugarbi/sugar:2.3.2
    deploy:
      mode: replicated
      # 部署的份数，可多份来提高系统的高可用性
      replicas: 3
      restart_policy:
        condition: on-failure
    ports:
      - "8000:8580"
    volumes:
      - "/sugar-log:/sugar-app/log"
    networks:
      - overlay
    environment:
      sugar_can_connect_local_ip: 'true'

      # MySQL数据库相关
      sugar_db_username: root
      sugar_db_password: lovesugar123
      sugar_db_database: sugarbi
      sugar_db_host: 填写您安装MySQL机器的IP，即使是本机也不能使用localhost和127.0.0.1
      sugar_db_port: 3306

      # redis 配置
      sugar_redis_host: internal_redis
      # sugar_redis_port: 如果自己搭建可能需要
      # sugar_redis_password: 如果自己搭建可能需要

      # license相关
      sugar_company:
      sugar_license:

      # 登陆形式，支持 demo、email、password、oauth
      # 如果是最初步的测试，可以使用demo方式，后面的其他登陆方式的配置都可以不用填写
      sugar_login_type: demo

      # email登陆模式的配置，以及「定时邮件」功能也需要这块的配置
      sugar_email_host:
      sugar_email_port:
      sugar_email_username:
      sugar_email_password:
      sugar_email_from:
      # 如果邮箱端口是 tls 则需要去掉下面的注释
      # sugar_email_tls: true

      # oauth登陆模式的配置
      sugar_oauth_authorize_url:
      sugar_oauth_token_url:
      sugar_oauth_client_id:
      sugar_oauth_client_secret:
      sugar_oauth_scope:
      sugar_oauth_info_url:
      sugar_oauth_data_username:
      sugar_oauth_data_useremail:
      sugar_oauth_email_suffix:
      sugar_oauth_logout_url:

      # 是否HTTPS，只有您部署的sugar并且设置了HTTPS证书时才需要配置
      sugar_is_https:
      # 是否忽略SQL语句的安全检查（准许SQL中出现drop、delete等关键词），默认是都检查，填写true时将不检查，1.9.1版本之后才支持
      sugar_ignore_sql_security_check: false
      # 私有部署下是否不显示home首页，直接跳到login登录页面
      sugar_home_redirect_login: false

  internal_redis:
    image: redis:5
    deploy:
      replicas: 1
    networks:
      - overlay
networks:
  overlay:

    上面每项配置的具体含义详见下一章节运行配置说明

    • 2、在sugar-compose.yml文件的目录下执行以下命令来启动Sugar
    docker stack deploy --compose-file sugar-compose.yml sugar

    最后在浏览器上访问 http://部署的机器ip:8000 即可看到Sugar的运行页面。并且也需要执行上面的同步数据库结构

    使用 swarm 时，我们建议使用管理工具：portainer.io。当然，您也可以选择使用 k8s 来代替 swarm，根据上面的配置文件，您可以很容易迁移到 k8s 上。

    运行配置说明

    无论是 Docker 单机还是 Docker 集群模式运行Sugar，基本都是配置一些 env 环境变量，下面对这些环境变量配置进行说明：

    • sugar_can_connect_local_ip：用来控制Sugar的数据源中是否能够连接局域网的 ip，一般私有部署情况下，配置为true即可，配置false可以让Sugar只能连接公网域名和 ip

    • MySQL 数据库相关，这块是用来配置Sugar所依赖的 MySQL 数据库，详见Sugar 所需的软件环境

      • sugar_db_username: 用户名
      • sugar_db_password: 密码
      • sugar_db_database: 数据库名称
      • sugar_db_host: 填写您安装 MySQL 机器的 IP，即使是本机也不能使用 localhost 和 127.0.0.1
      • sugar_db_port: 端口号

    • License 配置，详见申请试用 License

      • sugar_company: 组织代码
      • sugar_license: 详细的 License 内容（长串字符）

    • 登陆账号相关

      • sugar_login_type: 登陆账号的类型，支持 demo、password、email、oauth，下面对这四种登陆形式分别说明
    • 1、demo

    sugar_login_type配置为demo表示测试环境，登陆时必须使用企业邮箱，但是验证码不会通过邮件发送，而是直接展示在页面上，用户直接复制页面上展示的验证码即可登陆，如下图：

    图片

    • 2、password

    sugar_login_type配置为password表示使用Sugar平台自带的账号体系，用户通过用户名、密码来登陆Sugar，账号可由组织的管理员统一录入。

    如果您之前已经使用其他的登陆方式进行了部署并登陆过了Sugar私有版（例如：之前使用demo方式部署并且登陆使用了，即您私有部署的Sugar中已经有账户了），那么直接使用之前登陆的企业邮箱以及默认密码sugar12345即可直接登陆。如果是初次部署，之前还没有任何用户登陆过Sugar私有版，在登陆之前我们需要创建一个默认账户（此账户将会成为组织的管理员），使用浏览器访问 http://部署的机器ip:8000/openapi/createUser?name=*** 即可创建一个默认的组织管理员账户，其中的***需要按照实际情况替换成您的企业邮箱如zhangsan@baidu.com。

    创建完默认账户后，在登陆时直接使用默认密码sugar12345即可登陆：

    图片

    默认的组织管理员账户登陆之后，可以在「组织管理」的「用户管理」中来添加其他的用户（添加的其他用户，登陆密码同样是默认的sugar12345）：

    图片

    所有的用户在登陆之后，可点击页面顶部的「个人中心」，然后进入「个人信息管理」来修改登陆密码：

    图片

    如果有用户忘记了密码，组织的管理员也可以将用户的密码重置为sugar12345，可以在「组织管理」的「用户管理」中进行密码重置操作：

    图片

    • 3、email，sugar_login_type配置为email表示使用邮箱发送验证码的方式来登陆。这种方式要求您的组织有企业邮箱服务，需要您给Sugar平台配置一个企业邮箱账号，该邮箱账号用来给您的组织员工发送登陆验证码邮件，所以需要您填写配置文件中的这些配置：

      • sugar_email_host: 您的企业邮箱服务器的域名或 ip
      • sugar_email_port: 企业邮箱服务器的端口号
      • sugar_email_username: 给Sugar使用的邮箱账户用户名，如 zhangsan
      • sugar_email_password: 给Sugar使用的邮箱账户密码
      • sugar_email_from: Sugar发送邮件时的发件人邮箱，一般和邮箱用户名强相关，如 zhangsan@baidu.com
      • sugar_email_tls: 如果这个端口是 tls 的（比如 465 端口很可能是）则需要加这个配置，值是 true，如果不是就不需要加

    • 4、oauth，sugar_login_type配置为oauth，Sugar支持使用 OAuth 2.0 的方式对接企业内部账号的单点登陆系统，需要您对配置文件中的以下配置进行填写：

      • sugar_oauth_authorize_url: Sugar向您的 Oauth 服务端申请认证的 URI，如 https://your-authorization-server-host/auth
      • sugar_oauth_token_url: Sugar向您的 Oauth 服务端获取 Access Token 的 URI，如 https://your-authorization-server-host/token
      • sugar_oauth_client_id: 您的 Oauth 服务端给Sugar分配的 client_id
      • sugar_oauth_client_secret: 您的 Oauth 服务端给Sugar分配的 client_secret
      • sugar_oauth_scope: 授权的范围 scope，依赖您的 Oauth 服务端，目前必填
      • sugar_oauth_info_url: 通过认证后，Sugar向您的 Oauth 服务端获取当前登陆用户详细信息的 API，如https://your-authorization-server-host/userinfo
      • sugar_oauth_data_username: 用户详细信息的 API 返回数据中用来表示用户名的字段名，如 name
      • sugar_oauth_data_useremail: 用户详细信息的 API 返回数据中用来表示用户邮箱的字段名，如 email
      • sugar_oauth_email_suffix: 如果用户详细信息的 API 返回数据中没有邮箱字段，那么我们将默认使用 用户名@${sugar_oauth_email_suffix} 方式来拼凑成邮箱，所以需要您配置您组织的企业邮箱后缀，如 baidu.com
      • sugar_oauth_logout_url: 当用户在Sugar上 logout 登出之后，跳转到 OAuth 服务端的登出 url，如果不配置将会默认跳转到Sugar的首页

    Sugar使用的是 OAuth 2.0 的授权码模式，可参考这里了解 Oauth 2.0 的授权码模式。

    上面的 OAuth 2.0 的配置，前五项都是标准的 Oauth 配置，有些 OAuth 的 server 端需要明确配置应用的redirect_uri（即登陆回调 url），Sugar的redirect_uri是 http://部署Sugar的机器ip:8000/login/oauthCallback

    上面sugar_oauth_info_url以及后面的三行是用来配置Sugar通过您的 Oauth 服务端认证后，获取当前登陆用户的详细信息的 API 以及该 API 返回的数据字段信息。访问该 API 时，我们在请求的 header 头文件中加上了Authorization: Bearer ${access_token}这样的 access_token 信息，并且在 API 的参数中也加上了，如：https://your-authorization-server-host/userinfo?access_token=${access_token} 该 API 的返回必须是 JSON 格式数据，对于最后三项配置我们根据返回 JSON 的不同格式来做简单的示例：

    • 返回 JSON 如：{usermail: 'zhangsan@baidu.com', username: 'zhangsan'} 那么最后三项配置为：

      • sugar_oauth_data_username: username
      • sugar_oauth_data_useremail: usermail
      • sugar_oauth_email_suffix:

    此时返回的 JSON 数据中用户的邮箱，所以不需要配置sugar_oauth_email_suffix

    • 返回 JSON 如：{name: 'zhangsan'} 那么最后三项配置为：

      • sugar_oauth_data_username: name
      • sugar_oauth_data_useremail:
      • sugar_oauth_email_suffix: baidu.com

    此时返回的 JSON 数据中没有用户的邮箱，所以不需要配置sugar_oauth_data_useremail，但是必须要配置sugar_oauth_email_suffix（注意并不是固定的 baidu.com，需要根据实际情况替换成您的企业邮箱后缀）

    • 返回 JSON 如：{email: 'zhangsan@baidu.com'} 那么最后三项配置为：

      • sugar_oauth_data_username:
      • sugar_oauth_data_useremail: email
      • sugar_oauth_email_suffix:

    此时返回的 JSON 数据中只有用户的邮箱，只需要配置邮箱字段名sugar_oauth_data_useremail即可

    Nginx 代理和 HTTPS 设置

    如果您需要对私有部署的Sugar使用域名访问并且使用Nginx 来做转发代理，需要在 Nginx 代理配置中加上proxy_set_header Host $http_host;，这样能把域名信息透传到Sugar中以保证登陆回调等各种功能运行正常。

    如果您需要使用HTTPS来访问Sugar，你必须要使用上面描述的 Nginx 代理方式，需要您自己在 Nginx 层来配置 HTTPS 的证书（可以自行百度搜索配置方式），并且需要对Sugar运行配置env文件中sugar_is_https进行填写，填写为：sugar_is_https=1。（swarm 运行方式下即对sugar-compose.yml文件中填写sugar_is_https: 1）

    开启定时邮件功能

    如果私有部署中您需要使用定时邮件功能，需要配置上面 env 中的 sugar_email_host 、sugar_redis_host 等，下面详细说明：

    1、redis 相关配置，如果您私有部署只是单机运行（即只运行一个 sugar 的实例），sugar 已经内置，就不需要配置 redis 相关内容；如果是集群方式，需要您自己搭建 redis（2.6 版本以上，可以使用类似上面 mysql 的 docker 方式来启动一个 redis），然后需要您在 env 配置中填写 sugar_redis_host(redis 的 host)、sugar_redis_port(redis 的端口，默认是 6379)、sugar_redis_password(redis 的密码，只有 redis 中设置了才需要填写，否则可以不填)

    2、发送的邮箱： Sugar中已经内置了邮件发送器，但是，如果您需要固定发件人邮箱（如：sugar@yourCompany.com)，那就需要您在 env 配置中填写 sugar_email_host、sugar_email_port、 sugar_email_username、sugar_email_password、sugar_email_from 邮箱相关的设置

    开启 Excel/CSV 文件上传功能

    如果要开启 Excel/CSV 文件上传功能（部署的 Sugar 版本需要是 1.9.5 及以上），需要在上面的配置中增加以下配置：

    sugar_enable_mpp=1
sugar_mpp_use_cluster=m1
sugar_mpp_hashids=sugar
sugar_mpp_cluster_m1_type=mysql
sugar_mpp_cluster_m1_host=数据库地址
sugar_mpp_cluster_m1_port=数据库端口
sugar_mpp_cluster_m1_user=数据库用户名，最好是root账户，需要有创建账户、创建数据库、创建数据表的权限
sugar_mpp_cluster_m1_password=数据库密码

    Excel 上传的实现原理是将文件导入数据库中，后续就能类似普通的数据源一样进行处理，您需要修改上面尖括号中的内容为您自己启动的服务器，目前数据库类型只支持 mysql，可以使用 MySQL 或 TiDB。

    这个功能依赖 MySQL 的 LOAD DATA LOCAL INFILE，所以如果有类似 Error Code 1148: The used command is not allowed with this MYSQL version 的报错，请在 MySQL 配置里开启 local_infile

    你可以自定义 Sugar 的产品 Logo，在env中增加配置即可（2.2.3 版本及以上才支持），如：

    sugar_logo=填写Logo的网络图片地址，如：https://www.baidu.com/favicon.ico

    自定义 JDBC 驱动

    如果您使用的数据库不在我们支持的列表中，但有对应的 JDBC 驱动，可以通过如下方式来添加这个：

    1. 首先创建某个目录，比如 /home/work/jdbc/libs，将 jar 文件放到这个目录里
    2. 在 docker 镜像启动时用 -v 将这个目录映射为 /sugar-app/javakit/libs，参考如下写法
    docker run --link sugar-mysql --ulimit nofile=65100:65100 --restart unless-stopped -d -p 8000:8580 --name sugar -v /home/work/jdbc/libs:/sugar-app/javakit/libs -v ~/sugar-log:/sugar-app/log --env-file env hub.baidubce.com/sugarbi/sugar:2.3.2

    然后在创建数据源时选择「JDBC 通用数据库」。

    需要注意自定义 JDBC 驱动的数据库在「测试连接」时有可能报错（但不影响正常使用），而且很可能无法使用「数据预览」功能，如果发现有问题请联系我们。

    自定义内置第三方 JS、CSS 库

    如果内置的第三方库不能满足需求，又无法使用外联的方式，可以用如下方式来添加：

    1. 创建一个目录，比如 /home/work/library，然后将第三方库放置到这里，比如 echarts.js
    2. 在 docker 镜像启动时用 -v 将这个目录映射为 /sugar-app/static/library，参考如下写法
    docker run --link sugar-mysql --ulimit nofile=65100:65100 --restart unless-stopped -d -p 8000:8580 --name sugar -v /home/work/library:/sugar-app/static/library -v ~/sugar-log:/sugar-app/log --env-file env hub.baidubce.com/sugarbi/sugar:2.3.2

    前端引用的路径就将是 <script src="/static/library/echarts.js"></script>

    上一篇
    私有部署的购买
    下一篇
    License升级