业务场景

作为国内首家专为广告代理商提供全方位技术解决方案的科技公司，复歌的程序化交易平台Rimix对接了程序化市场中众多数据提供方，广告投放方及监测方，有效促进了程序化市场中的数据整合和流通。

利用Rimix平台，用户可以在多个场景下实现特色功能，例如：

• 搜索再营销（Search Retargeting）：精准定位搜索过目标关键词的用户群体，通过DSP程序化购买渠道针对目标用户进行再营销。
• 反作弊流量（Anti-fraud）：实时判断广告流量来源质量，自动屏蔽虚假流量，节省广告主成本，提高广告投放效果。
• 人群画像分析（Audience Analysis）：对广告曝光人群的人口属性和兴趣爱好等进行分析，帮助代理商和广告主更好地了解目标受众。

截止2016年5月复歌科技已对接20余家数据提供商，每日处理海量数据，随着对接数据源的持续增加，数据处理需求也在不断加大。如何在有效控制成本的基础上，快速应对业务增长对数据处理需求的变化是复歌需要解决的问题。

解决方案

随着程序化交易平台的上线和急速扩张，复歌需要储存和处理的数据量与日俱增，传统的自建大数据服务器集群方式在很多方面无法满足业务需求：

• 搭建周期长：传统方式搭建周期过长，很多功能无法及时上线；
• 集群无法快速弹性伸缩：当前数据增长量不确定，大数据量阶梯性增长，但增长幅度却难以预知。配置过量会带来不必要的成本花费，而如果配置不足，则会影响业务处理能力。
• 需要足够的配套技术人才：相应技术人才的招聘和培训同样需要较长时间，无法快速应对业务的增长。

为了解决这些问题，在百度技术团队的支持和帮助下，复歌科技快速地确定了相应的技术解决方案：

①通过百度日志服务BLS从服务器收集原始数据。百度日志服务是托管式日志收集与投递服务，可以安全稳定的收集数据。

②收集到的数据存储于由百度MapReduce BMR搭建的HBase集群中。百度MapReduce BMR是全托管的Hadoop/Spark集群，HBase是大规模分布式NoSQL数据库，提供随机存取大量的非结构化和半结构化的海量数据，适用于多种业务场景。

③使用Spark处理原始数据并将结果返回HBase集群中。Spark提供基于分布式内存的大规模并行处理框架，从而大大提高大数据分析性能，并且提供了SQL查询接口、流数据处理以及机器学习。该Spark集群是由百度MapReduce BMR搭建的按需使用集群，只用来计算明确的业务，即起即用，用完即可释放，既有效避免了作业排队执行的尴尬也节约了计算资源。

④通过关系型数据库存储用于处理与计算的配置信息，供计算过程调用。

⑤&⑥通过WEB交互控制全部流程与参数，灵活便捷。

同时，在方案实施过程中，百度提供的全天候的运维及技术支持也为复歌节省了不少人力成本。