一直以来,业务的需求是我们前行的最大动力,根据业务线上遇到的实际问题,不断提升产品能力,为大家提供更好的 Redis 存储服务,在社区最近发布的 Redis 7.0 RC1 版本中,我们团队与开源社区合作开发了多个重量级功能,如多从库共享复制缓冲区、bypass 内存分配器优化 CoW 开销以及 AOF 注释格式和按时间点回档等功能,这些优化和提升都离不开业务同学给我们的反馈和支持。
本文通过定时启动集群运行MapReduce作业分析网站日志以统计每天的访问量,介绍定时任务的实现过程: 示例日志 示例日志是Nginx日志,存储在对象存储服务BOS的公共可读的路径中: 存储在“华北-北京”区域的样例数据仅华北区域的BMR集群可用,路径如下: bos://datamart-bj/access-log/201701102000/access.log bos://datamart-bj/
这种模式适合有多个计算集群访问同一组 BOS 数据。这种访问模式下,如果用 RapidFS Block 模式,会有一致性更新的问题,并且没有办法去做共享访问,所以要用 RapidFS Cache 模式。而 BOS 的层级 Namespace 能够轻松地利用上 BOS 提供的丰富的产品特性,如生命周期、SDK、控制台等。
基于多酷游戏的基础架构,存在平台服务和各个游戏单独的不同架构体系,百度智能云提供不同游戏隔离,平台服务共享的网络架构级数据共享机制,并且确保了从内部IDC到云端迁移的平滑及业务无损的迁移方案,为多酷游戏提供了高性能、高可用、安全可靠的各项云服务能力。 解决方案 百度智能云为多酷员工快速稳定访问云上资源与业务,提供了一个整体混合云方案架构。
通过标准的文件访问协议,为云上的虚机、容器等计算资源提供无限扩展、高可靠、全球共享的文件存储能力。可用于内容管理及Web应用、大数据分析、泛娱乐和媒体应用等业务场景。 用户在使用资源池时,平台会将训练过程中的中间文件存储在CFS文件存储中,故而用户需要事先创建自己的 CFS文件存储 ,才可以在平台上提交相关的训练任务。
设置资源配额 命名空间的资源配额(ResourceQuota),用于多团队或多用户的共享集群资源场景下,限制团队、用户可以使用的资源总量,包括限制命名空间下创建某一类型对象(容器、服务)的数量以及消耗计算资源(CPU、内存)的总量,更多信息请见 ResourceQuota 。 前提条件 已创建CCE集群,具体操作请参见 创建CCE集群 。 已创建命名空间,具体操作请参见 命名空间基本操作 。
如何从外网访问BCI实例 如果您的BCI实例需要访问外网,或者被外网访问,您需要为BCI实例绑定EIP,或者为实例所属的VPC绑定NAT网关;请参见 连接公网 BCI实例是否支持端口映射 不支持;在同一个VPC网络中,您可以直接通过BCI实例的IP+Port进行访问(默认会将容器的端口开放) 存储 BCI实例是否可以和BCC共享CFS文件存储 支持;为BCI实例和BCC实例挂载同一CFS文件系统,即可实现共享数据
CCE CSI CDS Plugin 说明 组件介绍 CCE CSI CDS Plugin为百度智能云CCE集群中可用的CDS磁盘插件,支持定义 storageClass ,根据负载自动创建和销毁CDS磁盘。 组件功能 容器的特性决定了容器本身是非持久化的,容器被删除,其上的数据也一并删除。 CDS可以解决容器的数据共享和持久化存储问题,适用于大数据分析、媒体、游戏等很多场景。
NodeLocal DNSCache 网络 通过在集群节点上作为 DaemonSet 运行 DNS 缓存代理来提高 DNS 解析性能。 CCE CSI BOS Plugin 存储 支持在Pod中以PV/PVC方式挂载百度云BOS存储。 CCE CSI CDS Plugin 存储 支持在Pod中以PV/PVC方式挂载百度云CDS存储,并支持动态创建PV。
当集群资源紧张时,将自动 Kill 组内占用内存最大的若干个查询任务以减缓集群压力。当集群资源空闲时,一旦 Workload Group 使用资源超过预设值时,多个 Workload 将共享集群可用空闲资源并自动突破阈值,继续使用系统内存以保证查询任务的稳定执行。