大数据应用从小做起？谈微服务和大数据架构

这几年微服务成为研发设计热点，本文从应用角度谈下微服务化的大数据系统架构。Netflix公司的Adrian Cockcroft将微服务称为“细化SOA”，并认为这是一套具备开创意义的新型架构，诸如谷歌, 亚马逊, Facebook，百度，京东，携程等互联网公司都在采用微服务理念进行产品的设计、研发和部署。首先我们看看什么叫微服务，敏捷之父Martin Fowler在他的《Micro services》一文中给出了如下定义：The micro service architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, fully automated deployment. minimum of centralized management of these services , which may be written in different programming languages and use different data storage technologies。概括来说， 微服务设计思想是一种使用若干小服务来开发单个应用的方法，每个服务运行在自己的进程中，通过轻量级的通讯机制进行信息交互，经常是基于HTTP资源API，每个小服务粒度基于业务能力大小构建，最终服务能够通过自动化部署方式独立部署，可以是由不同的编程语言实现。从上述定义我们可以看到，去中心化、原子化、独立自治、组合重构、快速原型、持续交付部署等特性是微服务的核心要素。那么大数据为什么要扯上微服务呢？我在前面文章有讲到敏捷大数据的关键目标：一是快、二是小、三是证，快速出原型，小的分析目标切入，证明有效之后再扩张形成正反馈效应。借用下很多大牛的理念，不管做研究还是做企业，要顶天立地！大数据应用如何顶天立地，很简单：（1）大数据项目规划的目标要高远。特别是企业的大数据系统，一定不能是传统MIS系统的做法，大数据一定是个动态增量系统，数据规模在变，模型在变，参数在变，迭代、优化、持续升级交付将是常态，长期目标应该是智能化的综合管控，从生产、产品、销售、服务各个环节的一体化管控，最终形成企业决策中心，好比Google Brain, Baidu Brain，未来企业也需要决策神经中枢决策大脑。（2）大数据具体应用要从“小”做起。小的大数据分析目标切入，搜索引擎公司刚开始的大数据分析目标可能就是提高下搜索关键词提示的准确度，售后服务智能应答、销售预测、客户细分、精准营销、智能推荐、产品故障诊断，大数据应用可以无所不在。大数据应用要从小做起，立地解决企业的实际问题。扯远了，回到大数据快、小、证的应用目标，结合微服务快速原型、快速迭代、持续交付，原子化、去中心化，组合重构高度容错性等关键特征，可以说微服务就是一种最天然的适合大数据应用的设计思想和应用架构。

      大数据系统要成功应用，一个好的架构设计至关重要，由于大数据技术生态体系庞杂，大数据基础技术覆盖数据采集、数据预处理、分布式存储、分布式计算、NOSQL数据库、多模式（离线、在线、实时、流、内存等）计算、多模态（图像、文本、视频、音频、网页等）计算、数据仓库、数据挖掘、机器学习、可视化等各个层级。如何根据不同的业务需求设计不同的架构，或者说大数据架构能否从采集、存储、计算、展示多个层面，满足不同业务分析需求的扩张。一般来讲，大数据应用系统架构面临几个主要的挑战：高度可扩展性，横向数据大规模扩张，纵向业务大规模扩展，大规模并行处理等；高性能，快速相应不同的分析计算和查询展示；高容错性，处理失败时的修复重做；多源异构环境支持，多种来源数据，多种类型结构数据的处理；开放接口和兼容性，对原有系统的兼容和集成，提供标准的开发接口；成本效益比，要考虑时间、人力、财力等各方面的应用性价比，还有其他未列出的问题等。针对上述问题，我们初步提出一种基于微服务的敏捷大数据应用架构（如下图），从数据采集融合、数据大规模存储、数据多模式多模态计算、数据应用可视化展示四个层面进行了设计。通过基于微服务的三个抽象和汇聚层处理，来实现大数据“小”应用和系统的敏捷化服务化，由于设计的技术成熟度和本系列文章风格原因，这里不对统一数据单元融合层和微服务网络连接层技术细节进行展开，有兴趣的朋友可以联系交流。总之，大数据应用要落地，从“小”做起是关键，这个“小”其实包含多个层面，以小的业务分析切入，当然你还不能忽略小数据，更重要的是，要探索如何应用小的微服务架构，才能更好地承载未来的大数据应用架构！

      来源：点金大数据