上海复歌信息科技有限公司

复歌科技是国内领先的专为广告代理商及品牌广告主提供营销技术解决方案的科技公司。

客户收益

• 托管式、一站式服务提供快速搭建业务模型的能力,极大地缩短了开发周期。

• 集群支持弹性伸缩,能够根据业务的变化动态调整集群规模,既缓解了存储与运算性能的压力,也避免了资源与成本的浪费。

• 由百度提供专业的工程师进行技术支持与全程的运维保障。

使用产品

业务场景

作为国内首家专为广告代理商提供全方位技术解决方案的科技公司,复歌的程序化交易平台Rimix对接了程序化市场中众多数据提供方,广告投放方及监测方,有效促进了程序化市场中的数据整合和流通。

利用Rimix平台,用户可以在多个场景下实现特色功能,例如:

  • 搜索再营销(Search Retargeting):精准定位搜索过目标关键词的用户群体,通过DSP程序化购买渠道针对目标用户进行再营销。
  • 反作弊流量(Anti-fraud):实时判断广告流量来源质量,自动屏蔽虚假流量,节省广告主成本,提高广告投放效果。
  • 人群画像分析(Audience Analysis):对广告曝光人群的人口属性和兴趣爱好等进行分析,帮助代理商和广告主更好地了解目标受众。

截止2016年5月复歌科技已对接20余家数据提供商,每日处理海量数据,随着对接数据源的持续增加,数据处理需求也在不断加大。如何在有效控制成本的基础上,快速应对业务增长对数据处理需求的变化是复歌需要解决的问题。

解决方案

随着程序化交易平台的上线和急速扩张,复歌需要储存和处理的数据量与日俱增,传统的自建大数据服务器集群方式在很多方面无法满足业务需求:

  • 搭建周期长:传统方式搭建周期过长,很多功能无法及时上线;
  • 集群无法快速弹性伸缩:当前数据增长量不确定,大数据量阶梯性增长,但增长幅度却难以预知。配置过量会带来不必要的成本花费,而如果配置不足,则会影响业务处理能力。
  • 需要足够的配套技术人才:相应技术人才的招聘和培训同样需要较长时间,无法快速应对业务的增长。

为了解决这些问题,在百度技术团队的支持和帮助下,复歌科技快速地确定了相应的技术解决方案:

解决方案示意图

①通过百度日志服务BLS从服务器收集原始数据。百度日志服务是托管式日志收集与投递服务,可以安全稳定的收集数据。

②收集到的数据存储于由百度MapReduce BMR搭建的HBase集群中。百度MapReduce BMR是全托管的Hadoop/Spark集群,HBase是大规模分布式NoSQL数据库,提供随机存取大量的非结构化和半结构化的海量数据,适用于多种业务场景。

③使用Spark处理原始数据并将结果返回HBase集群中。Spark提供基于分布式内存的大规模并行处理框架,从而大大提高大数据分析性能,并且提供了SQL查询接口、流数据处理以及机器学习。该Spark集群是由百度MapReduce BMR搭建的按需使用集群,只用来计算明确的业务,即起即用,用完即可释放,既有效避免了作业排队执行的尴尬也节约了计算资源。

④通过关系型数据库存储用于处理与计算的配置信息,供计算过程调用。

⑤&⑥通过WEB交互控制全部流程与参数,灵活便捷。

同时,在方案实施过程中,百度提供的全天候的运维及技术支持也为复歌节省了不少人力成本。