业务场景

实时量化分析：需要对上交所Level2行情信息，包括十档行情，买卖队列，逐笔成交，委托总量和加权价格等多种数据进行实时计算，量化分析，为股民提供短线大数据量化分析结果。

个股大数据分析：实现对每日涨停板个股进行的离线量化分析，大数据回测，分别从封板力度、涨停时刻、打开次数、最大分钟零换手、累计分钟零换手、流通市值，这几个维度进行的综合评价，需要对分析结果进行可视化，并根据用户订阅进行推送。

解决方案

换手率手机短线炒股神器App是国内首款以地图模式实时量化主力资金进攻方向炒股App，零时差云同步分析沪深交易所深度行情报价，以交易时间内个股实时资金量化大数据为基础，可视化呈现当日、3日、5日大盘、概念、行业、地区等多个复合维度主力（机构、私募、游资）进攻方向的股票地图关系链。

对股市行情进行实时量化分析，需要储存和实时处理海量数据，随着时间积累的历史交易、行情数据与日俱增，传统的自建大数据服务器集群方式在很多方面无法满足业务需求：

搭建周期长，过程复杂：传统方式搭建周期过长，新的功能无法快速上线，搭建过程复杂，需要专业技术人员；

无法动态伸缩：证券类服务，在股票交易日的交易时段内，需要大量的计算资源对实时行情数据进行分析解读，而非交易时间内，大量的计算资源处于闲置状态，造成资源浪费和成本的增加。

为了解决这些问题，在百度技术团队的支持和帮助下，利莫科技快速地确定了相应的技术解决方案：

1.将上交所提供的Level-1和Level-1数据接收SDK部署在百度智能云服务器BCC上，通过稳定高速的带宽接收行情和交易数据，确保数据接收低时延、无丢包。

2.通过百度日志服务BLS将BCC上收集交易和行情数据，需要实时计算的盘口订单数据、逐笔成交数据、成交与订单关联数据及增值数据等通过百度Kafka对接百度Spark Streaming流式计算服务以进行实时流数据分析,并将分析结果实时发布到换手率APP端。

3.对于非实时计算分析的行情和交易数据，会通过百度日志服务BLS收集存储到百度智能云对象存储BOS中，再通过MapReduce 定时Hive作业对离线数据进行清洗和处理，输出的目标数据仍保存在BOS。最后，把目标数据从BOS导入到OLAP引擎Palo中，即可进行多维分析。

4.百度消息服务Kafka是分布式、高可扩展、高通量的托管消息队列服务，以托管服务形式提供，可以直接使用百度消息服务来集成大规模分布式应用，而无需考虑集群运维，仅按照使用量付费。

5.Spark Streaming是百度MapReduce（BMR）中的流式计算服务组件，BMR是全托管的Hadoop/Spark集群，可以按需部署并弹性扩展集群，只需专注于大数据处理、分析、报告，拥有多年大规模分布式计算技术积累的百度运维团队全权负责集群运维。

6.Hive是MapReduce（BMR）中的基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

7.使用百度MapReduce服务，几分钟内便可创建任意大小的集群并动态调整集群规模，高峰期加大集群规模以提高计算能力，低峰期可对应缩减集群规模降低花费，无需为节点分配、部署、优化投入时间。

8.百度智能云Palo是全托管的PB级别的MPP架构数据仓库服务，以较低的成本提供在大数据集上的多维分析和报表查询功能，同时还支持对接兼容JDBC接口的可视化分析应用，更加直观、便捷地展示数据分析结果。