项目名称

基于运营商大数据资源的跨平台快速响应混合云系统研发及规模化应用

主要完成单位

中国移动通信集团广东有限公司

华为技术有限公司

主要完成人

（职称、完成单位、工作单位）

1.谭丽丽（副高、中国移动通信集团广东有限公司、中国移动通信集团广东有限公司、总体设计和项目指导）

2.张晓川（副高、中国移动通信集团广东有限公司、中国移动通信集团广东有限公司、是本系统的主要设计者，负责主持该系统开发，推广该系统在全国的使用）

3.张湛梅（副高、中国移动通信集团广东有限公司、中国移动通信集团广东有限公司、是本系统的主要设计者，负责主持该系统开发，推广该系统在全国的使用）

4.肖文彬（中级、中国移动通信集团广东有限公司、中国移动通信集团广东有限公司、是本系统的主要设计者，负责主持该系统开发，推广该系统在全国的使用）

5.许田立（中级、华为技术有限公司、华为技术有限公司、是本系统的主要设计者）

6.李利伟（中级、华为技术有限公司、华为技术有限公司、是本系统的主要设计者）

7.喻朝新（副高、中国移动通信集团广东有限公司、中国移动通信集团广东有限公司、负责系统需求分析）

8.任捷（中级、华为技术有限公司、华为技术有限公司、是本系统的主要设计者）

9.谢梦（中级、中国移动通信集团广东有限公司、中国移动通信集团广东有限公司、负责系统需求分析）

10.邓逸斌（副高、中国移动通信集团广东有限公司、中国移动通信集团广东有限公司、负责推广该系统在全国的使用）

11.柯晓棣（中级、华为技术有限公司、华为技术有限公司、负责超级调度器研发）

12.王澜（其他、华为技术有限公司、华为技术有限公司、负责实时流处理系统研发）

13.王云鹏（其他、华为技术有限公司、华为技术有限公司、负责跨DC数据高效查询研发）

14.张妮（其他、华为技术有限公司、华为技术有限公司、负责实时流处理系统研发）

项目简介

一、课题来源与背景

伴随着5G和物联网的高速发展，用户数据呈指数级增长,各类数据量呈指数级增长，分地设立大数据集群中心势在必行。为了解决异地跨集群协同效率低下、大数据实时流计算能力弱等问题，广东移动、华为技术有限公司联合启动了“大数据实时跨集群协同云计算及行业化快速支撑应用”项目研究。

二、主要技术内容及性能指标

项目成果实现了大数据技术的多项关键创新和能力提升，解决我司在大数据运算、大数据存储、大数据应用等多个领域的技术难点和痛点项目有如下创新点：

创新点一：自主研发一种高性能异构融合分布式资源管理调度方法和装置，提升系统资源调度效率4倍以上，数据本地化调度的作业命中率保持在90%以上。

在广东移动超过1000节点的大规模集群资源调度能力上，拥有丰富的调度策略，在功能、性能、资源利用率和扩展性方面优势。

架构优势一：高性能

超级资源调度引擎性能测试结果如下，相比开源Capacity调度器组件，性能提升4-5倍。

架构优势二：多个资源池多租户调度

同开源的调度器相比，超级资源调度引擎同时提供了租户级百分比和绝对值的混配策略，可以很好的适应各种灵活的企业级租户资源调度诉求。

架构优势三：支持多种调度能力

超级资源调度引擎支持CPU和内存资源的调度外，还支持扩展支持以下功能：1）异构资源调度，支持GPU调度；2）数据位置感知调度，提升数据本地化概率；3）动态资源预留，实现实时调度。

创新点二：自主研发跨集群协同的云计算技术，提升关联查询基数准确度50%以上，降低90%数据传输量，为5G和物联网高速发展提供技术储备

该大数据平台创新了如下几点：

1）通过数据虚拟化的统一SQL查询接口，屏蔽不同数据源之间的SQL语法差异，提升了系统之间的可交互性；

2）创新分布式计算下推技术，让计算任务在数据源中完成，大幅降低了异地数据传输量和带宽占用，普通业务的数据传输量平均降低90%，优化带宽资源占用，提升查询效率；

3）创新跨DC CBO的执行计划优化方案，提升了任务端到端查询性能；

4）在CBO的SQL优化基础上，创新一种高速传输通道技术，提升了网络传输性能，计算执行效率提升20倍以上；

5）基于历史分析优化方案，提升了SQL任务个性化性能调优的能力；

6）利用细粒度访问控制技术，提升了安全访问控制能力。

本项目创新的大数据平台相比开源平台整体提升关联查询基数准确度50%以上，降低90%数据传输量。

创新点三：改进的实时流计算和分布式缓存技术，可节省存储空间60%；Flink流批处理性能读写吞吐量提升5倍；Redis处理性能提升2倍，热数据命中率保持在99%以上。

创新点四：基于本系统，提供“蜂巢精销”“蜂巢政信”“蜂巢热图”“岭南优品”等应用服务，带来亿元级收入，经济效益和社会效益显著。

创新点五：改进后深度优先搜索算法找出互打终端群体，创新一种欺诈客户识别技术，彰显社会责任;创新采用基于运营商的改进熵值法和自适应最优支持向量机回归算法技术进行推荐，推荐成功率提升30%。

三、知识产权

项目已申请发明专利17件(已授权13件，其中中国专利4件，美国专利6件，欧洲专利2件，澳洲专利1件)，获得软件著作权2项，发表论文7篇。项目软件系统已通过工业信息化部电子第五研究所中国赛宝实验室测试。

四、成果评价

经广东省通信学会组织专家评价，项目在分布式资源调度、跨集群云计算协同处理与实时计算等方面具有创新性和推广实用价值，总体达到国际领先水平，同意项目通过科技成果评价。

五、历年获奖情况

获2019年中国移动通信集团科技创新奖一等奖

获2019年中国信息通信研究院大数据星河奖优秀数据资产管理实践奖

获2018年中国信息通信研究院大数据星河奖最佳数据资产管理实践奖

获2017年大数据发展促进委员会大数据司马奖最佳实践奖

获2016年中国信息通信与“互联网+”应用优秀成果奖金奖

获2016年QC全国优秀质量管理小组国优奖

代表性论文

专著目录

论文1：<电信运营商大数据变现关键技术环节探讨>

论文2：<基于手机位置大数据的公交线路规划的研究>

论文3：<基于基线分析的云计算资源自动分配技术>

论文4：<基于社交网络分析的高影响力客户识别模型算法>

论文5：<基于物联网的运营商大数据变现模式>

论文6：<桌面云的智能自适应性调度研究>

论文7：<基于关联网络的移动互联网内容偏好分析方法及系统研究>

知识产权名称

软件著作权1：<大数据统一运营管理软件[简称：PAAS]V2.0>（2019SR0434385）证书号：软著登字第3855142号

软件著作权2：<大数据热图短信运营软件V1.0>（2019SR0433533）证书号：软著登字第3854290号

专利1：<METHOD AND SYSTEM FOR MULTI-TENANT RESOURCE DISTRIBUTION（用于多租户资源分配的方法和系统）>（EP3254196）

专利2：<SYSTEM, DEVICE AND PROCESS FOR DYNAMIC TENANT STRUCTURE ADJUSTMENT IN A DISTRIBUTED RESOURCE MANAGEMENT SYSTEM（分布式资源管理系统中动态结构调整的系统，设备和过程）>（US10193977）

专利3：<SYSTEM AND METHOD FOR RESOURCE MANAGEMENT（用于资源管理的系统和方法）>（US10191771）

专利4：<SYSTEM AND METHOD FOR SCHEDULING JOBS IN DISTRIBUTED DATACENTERS（用于在分布式数据中调度作业的系统和方法）>（US10108458）

专利5：<SYSTEM AND METHOD FOR VISUALIZATION OF A COMPUTE WORKFLOW（用于可视化工作流的可视化的系统和方法）>（US10235783）

专利6：<SYSTEM AND METHOD FOR ENSURING QUALITY OF SERVICE IN A COMPUTE WORKFLOW（用于在计算工作流中确保服务质量的系统和方法）>（EP3348029）

专利7：<SYSTEM AND METHOD FOR DISTRIBUTED RESOURCE MANAGEMENT（分布式资源管理的系统和方法）>（US20170317945A1）

专利8：<DISTRIBUTED RESOURCE MANAGEMENT METHOD AND SYSTEM（分布式资源管理方法和系统）>（US20170295220A1）

专利9：<MANAGEMENT OF MULTIPLE CLUSTERS OF DISTRIBUTED FILE SYSTEMS（分布式文件系统的多个集群管理）>（AU2017254926）

专利10：<处理数据流的方法及装置>（ZL201180004017.9）

专利11：<一种数据分发策略的调整方法、装置及系统>（ZL201410062625.0）

专利12：<处理业务的方法和系统>（ZL201180003695.3）

专利13：<一种低值终端的识别方法和装置>（ZL201410542189.7）

专利14：<一种查询处理方法、数据源注册方法及查询引擎>（ZL201710274227.9）

专利15：<数据处理方法和设备>（ZL201710527452.9）

专利16：<一种流量策略推荐方法及装置>（ZL201610654128.9）

专利17：<一种应用推荐方法和装置>（ZL201610250789.5）

推广应用情况

“基于运营商大数据资源的跨平台快速响应混合云系统研发及规模化应用” 项目实现了超过2000个接口的实时接入，6000个指标的共享开放，为大数据规模化应用提供良好的技术支撑。

项目成果自2016年规模化商用后，迅速推广至中国移动集团全国各省市公司运营业务，广泛应用于公安、交通、政务等政府管理部门和文化、旅游、金融、教育、林业等行业，截至目前，已与数十个政府部门和重点行业合作，签署500多个大数据合同，发布超过60个大数据行业解决方案。项目成果还适应于5G时代更高速率、更低延时等数据技术需求，面向5G时代积极拓展物联网产业链上下游，已形成“车联网”、“智慧城市”“智慧能源”等多条物联网产品线，为建设智慧城市和维护社会和谐稳定起到很好的标杆示范作用。

一、经济效益

项目成果近三年，为项目完成单位带来直接经济效益超过27亿元，为应用单位带来直接经济收益超过4.8亿元。项目成果还适应于5G时代更高速率、更低延时等数据技术需求，目前已在车联网、智慧城市、智慧能源等方面产生效益，近三年物联网业务连接数超过7.8亿，增加经济收入约41.3亿元。此外，项目成果还通过服务开放的方式，我司与亚信公司、爱立信公司、天睿公司等开展合作，帮助合作伙伴实现业务的快速开发和部署，提升效率，降低成本。项目的开展有利于促进大数据产业发展，有利于推动国家数字经济发展，有效提升国家治理现代化水平和社会治理创新，全面提升公共服务水平。

二、社会效益

1）响应“国家大数据战略”，积极自主创新，突破大数据技术瓶颈，深化大数据研发应用。项目接应国家政策要求，积极开拓创新，立足大数据产业快速协同发展，集中优势资源攻关大数据实时跨集群协同计算等核心技术，本项目共申报17项国内外发明专利，其中13项已授权，国外专利9项，4项已公开，在业界广泛推广，为我国大数据战略实施，大数据产业健康快速发展做出重要贡献。

2）保障国计民生，提升社会服务水平，助力公共服务普惠化、高效化。积极响应国家需求，勇于承担社会责任、积极参与政务和民生工程：提供台风预警等公益信息服务，获得央媒充分肯定；大力精准扶贫，获得媒体和社会高度认可；联合公安打击诈骗行为，保障群众生命财产安全；大数据保障春运，获得省级领导批示赞许；与省厅级单位设立联合实验室，推进政府管理模式创新，实现公共服务普惠化和高效化。自2020年1月24日以来，每日向发改委、省政府提交疫情和交通数据报告，以及向出入境口岸和省界高速检查站的返程旅客发送疫情防控短信，有力保障了国家、广东省政府及地方政府的疫情防控工作，彰显了运营商的社会责任感。

3）助力政务服务，推进政府管理模式创新，提升社会服务水平

基于本项目的技术支撑，助理政府相关部门从大数据中获得预测性、决策性信息，直击政府治理场景中的难点痛点，大力开展政务信息化建设，推进信息资源整合和深度开发，促进政务信息共享共用和业务流程协同，推进政府管理模式创新、治理体系现代化，提高政府效能。

4）物联网服务助力智慧城市建设，构建大数据产业生态链，推动国家数字经济发展。