日志分析解决方案

依托百度云的大数据分析产品,我们为您提供日志分析托管服务,为您省去开发、部署以及运维的成本,使您可以聚焦于如何利用日志分析结果做出更好的决策,实现您的商业目标。

方案背景

在大数据时代,企业的生产、销售、经营、管理逐渐由技术驱动转型为数据驱动,在这一过程中数据的重要性不言而喻。借助于云计算、大数据等技术的发展,我们通过收集、处理、分析、展示数据,重新认识了周围的世界,重新定义了规则与价值,数据驱动的企业能够更全面地认知现状、更精准地把握趋势。而在企业日常运行积累的海量数据中,日志是其中最易获得、覆盖面最广同时也是最有价值的数据之一。

日志指用户、服务器、网络设备、操作系统、数据库、应用软件等产生的各类数据,它的核心概念是时序递增的事件序列。基于时间与事件这两个基本要素,我们可以在日志中追溯过去的记录、记录现在的状态、探寻未来的趋势,这就是日志所蕴含的价值。根据日志的不同来源与类型,典型的日志应用场景可以划分为以下三类:
· 运维日志:记录设备、系统的运行情况,用于监控服务器状态、定位排查故障、分析性能瓶颈等;
· 用户日志:记录业务信息,例如页面的PV、UV、停留时间等,用于了解业务运营状况、分析用户行为特征等;
· 安全日志:记录服务器、防火墙等设备的日志,供安全审计系统使用,用于监控系统安全、进行可信取证等。

传统日志分析工具往往局限于单一的应用场景,功能较为简单,难以满足运维、产品、运营、管理者等不同角色的不同需求。且随着业务量的增长,日志文件在容量、类型、产生速度等方面都成倍地增长,对于系统在处理速度、并发量、分析维度等方面的要求也越来越高,传统的日志分析工具越来越难以适应实际应用的需求。

随着大数据技术的日渐发展成熟,新的日志分析工具应运而生。将大数据技术与云计算技术相结合,托管式日志分析服务综合了大数据的大体量、多样性、时效性等特性与云计算强可靠性、高可用性、即取即用与经济性等优势,克服了传统工具在功能与性能上的限制,解决了自行搭建系统门槛高且运维困难的问题,是一种经济高效的解决方案。

方案架构

概述图 bls kafka steaming bos steaming palo bml

基于Lambda架构同时实现热数据处理与冷数据处理,包括日志收集、处理与分析、应用与展示三个模块。

在日志收集模块,日志收集服务BLS从日志源(如云服务器BCC)收集日志。BLS是托管式日志收集服务,用户只需配置源地址、目的地址、收集规则等简单信息即可实现日志的高可靠、高可用收集。

收集到的日志即可接入日志处理模块。一方面对于热数据处理场景,可以将日志接入消息服务Kafka作为消息队列,投递到百度MapReduce BMR提供的流式处理服务如Spark Streaming中进行实时计算。另一方面对于冷数据处理场景,可以将日志先写入对象存储BOS进行存储,或者直接写入HBase集群,之后接入Hive/Spark SQL集群进行分析处理。百度BMR是全托管的Hadoop/Spark集群,可以按需部署并弹性扩展集群,用户只需专注于大数据处理、分析、报告,由拥有多年大规模分布式计算技术积累的百度运维团队全权负责集群运维。经过BMR处理好的数据可以写入数据仓库,如Palo。同时也可直接由BOS中的数据结合百度机器学习BML进行用户行为预测等分析操作。

在应用与展示模块,热数据经过处理可以提供警报给运维人员;冷数据可通过BI工具连接Palo进行展示。

方案优势

托管服务

托管服务

提供托管式服务模式,用户无需关注技术细节即可搭建完整的服务系统,专业的运维团队提供全程的运维服务,使用户能够专注于业务本身。

灵活开放

灵活开放

可灵活搭配大数据分析服务,根据需要搭建系统;且对各主流架构及应用开放兼容,扩展性强、接入成本低。

经济高效

经济高效

提供按需部署的使用方式,按需计费并可弹性扩展,在高效完成任务的同时可有效较低人力、资源成本。

相比自行搭建开源产品实现日志分析,百度云提供了一站式服务平台,无需学习门槛或学习成本,也不用担心软件升级或系统扩容时的运维成本,让您专注于分析业务以获取洞察力,在大数据时代引领业务升级。

客户案例