容器与大数据能力如何完美集合？

容器最大的好处是灵活，轻量。大数据是计算型侧重资源弹性及大数据存储。两者在处理任务的时候，可以将两者优点结合起来。而且，两者的调度框架还不大一样，容器一般使用K8S，大数据一般使用hadoop, strom, spark等计算引擎基于yarn的调度。但好在这些也可以容器化改造的，即可以跑在容器化平台K8S中，并可刚好利用K8S的资源弹性、灵活编排等功能来扩充或补充大数据平台的调度能力。还可以通过混布策略，将底层基础设施平台进行统一，即都跑在K8S上。这些是我们在生产环境已经落地了并稳定运行着的。

大数据平台容器化后底层容器使用的还是k8s这一套，这个并没有改变。 技术方案方案一般有2大类： 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式，我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混合部署结合才有价值，可以大幅度提升资源使用效率，降低算力成本。单独搞大数据容器化没有啥意义，所以建议在进行大数据容器化改造，可以优先尝试混合部署结合方式。