突破代码编译及组件兼容性瓶颈，自研WDP技术能力分享

WDP是浩鲸科技旗下鲸智大数据平台的简称，提供基于HADOOP技术栈一体化的集成、管理、部署监控能力的平台系统，实现了从底层开源组件代码的编译到软件包的制作，以及通过组件之间的兼容性测试，提供快速部署安装，集群主机管控的能力，最终形成统一、闭环的大数据整体解决方案。

本文通过对WDP相关技术和原理进行介绍，并基于相关案例的讲解，向业界朋友分享团队内部在研发过程中的一些思路，以及关于底座未来技术演进的展望，欢迎大家一起探讨。

技术简介

产品产生背景

随着移动互联网技术的高速发展，运营商的数据量呈指数级增长。如何利用海量数据资源进行价值和商业变现，成为运营商提高核心竞争力、抢占市场先机的关键。目前市场上的主流版本CDH/HDP都面临停止更新、原厂技术支持成本较高、组件不齐备和较为老旧的问题。WDP适用企业级的大数据处理环境，是一个分布式数据处理系统，对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力，是浩鲸在大数据产品技术方面沉淀多年的技术体现和产品实现，能够为企业提供稳定、功能齐备的大数据平台。

产品定位

结合多年的大数据技术研发和运营服务支撑经验，浩鲸科技提供了自主可控的大数据发行版本，具备商用能力的企业级大数据平台产品。产品覆盖浩鲸科技在大数据实施方面所使用的技术栈和相关组件，并且提供一体化的部署运维能力。在解决过往CDH大数据平台实施过程中，由于组件的缺少需要手工部署某些组件的问题，比如KAFKA,FLINK,SPARK等运维成本过高，兼容适配问题多等。

通过WDP的监控和运维管理端，实现大数据组件的可视化、快速部署和实施，并且最大程度上避免了兼容性问题，为上层应用提供统一稳定可靠的自主大数据底座。

产品价值

通过统一的运维监控平台集成开源的HADOOP组件，进行定制化开发和兼容性适配，实现大数据组件的一体化部署和运维平台。平台自主可控，依赖于多年的研发经验，涉及的HADOOP开源组件已具备技术兜底能力，能够提供给客户和应用可靠稳定的自主大数据平台底座。

WDP具备高度的可扩展和定制化产品能力，与浩鲸科技的相关产品能够高度集成，例如通过浩鲸科技的SIMS平台，能够实现一键轻松部署；浩鲸科技数据工厂完全对接WDP组件，兼容性得到最大限度的保证。

WDP具备大数据组件的高度可扩展能力，能够引入新的技术组件或者进行版本迭代升级，满足不同的应用对底座的功能或者性能的需求，解决了无需应用由于其他大数据平台缺乏某些组件或者版本无法升级，带来许多兼容和运维的难题。

WDP是浩鲸科技企业数据中台的可靠底座，具备管理大规模HADOOP大数据集群的能力，对开源组件进行封装和增强，对外提供稳定的大容量的数据存储、查询和分析能力。

产品方案的独特技术实现

集群统一管控

通过对集群的统一管控，WDP能够对接集群的物理