政务数据共享交换中的创新应用：微服务总线+分布式数据区

来源：数据观 时间：2018-11-07 15:54:08 作者：

微服作为一种新兴的软件架构，把一个大型的单个应用程序和服务拆分为数十个的支持微服务，系统中的各个微服务可被独立部署，各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并能很好地完成该任务。

与传统ESB架构相比，微服务架构主要用于实现业务系统之间的松散耦合框架，ESB仅仅帮助实现系统间的紧耦合；微服务架构属于有状态框架，而ESB属于无状态的业务框架。因此，采用微服务架构、云平台、Docker技术的组合可以摒弃原有ESB的缺点。比如：基于SOA的ESB实现服务是一种粗粒度的服务，而微服务属于细粒度的服务。针对微服务的技术特点，我们可以在电子政务共享交换实际应用过程中，对每一个数据项建立标准接口，对数据接口进行二次封装，提供规范化、标准化、统一化的发布、访问管理，以及推送用户数据、消息队列等服务。微服务架构基于云平台和Docker之类虚拟容器，允许不同语言开发，方便轻量集成，这也减少集成或接入第三方软件数据时候的开发成本，提高响应速度。

在现有的电子政务数据共享交换应用场景中，建设以微服务技术为支撑的数据服务体系，通过微服务总线技术模式，实现数据共享交换服务。对于数据迁移中不能或不愿进行数据搬家的数据生产者源数据，可以建设分步式数据区。这种“微服务总线+数据区”创新应用模式，也为现有政务数据共享交换模式提出了全新的实践路线。

图：微服务总线+数据区逻辑架构示意图

微服务总线作为基于微服务架构所呈现的一种形态，微服务总线的建立，可以满足块调度中心数据调度过程的可控、可溯，对经由微服务总线的所有数据接口、数据流进行全程监控，并能够对整体流程进行审计。

微服务总线建设目的是通过接管标准接口，形成服务目录、数据目录和安全目录，通过服务目录、数据目录及安全目录的协同使用，有效避免了服务交换过程中不可监督、不可视、不可追溯、不可控所导致的数据滥用、冒用和复用。在政务数据共享交换中，微服务总线应具备以下能力：

1、服务交换能力

基于微服务架构的数据调度，实际是对数据资源的细粒度管理。因此，服务交换需要建设微服务总线实现服务交换功能。微服务总线在提供服务交换功能的同时，还需提供安全作用。微服务总线还需要将权限控制这些较重的非业务逻辑内容迁移到服务路由层面，使得服务集群主体能够具备更高的可复用性和可测试性。

从实际应用中来看，微服务总线具有服务目录、服务交互、服务路由的管理能力，在对外提供服务的时候，只需要通过开放微服务总线的地址就可以让调用方统一的来访问我们的服务，而不需要了解具体提供服务的主机信息。

2、接口管控能力

政务数据调度平台核心能力除了包括服务交换外，还具备相应的管控手段。因此，需要充分的考虑管理员需要具备的对当前数据资源接口的管理和控制手段，使其可以对所有接口进行管控，进而提升数据资源的安全性。管控接口需要涉及统计信息与状态、消息跟踪，消息重新传递等功能。同时，为了保证系统的安全性以及可靠性，系统还提供警报机制以及故障切换功能。

3、操作日志管控能力

微服务总线需提供服务管理日志、系统监控日志功能，用来分析和审计系统及事件日志的管理，能够对全网范围内的服务器、数据库以及各种应用服务等产生的日志，进行全面收集和细致分析，通过统一的控制台进行实时可视化的呈现。通过定义日志筛选规则和策略，帮助用户从海量日志数据中精确查找关键有用的事件数据，准确定位故障并提前识别安全威胁，从而降低系统宕机时间、提升服务性能、保障服务的运行安全。

4、安全管理能力

微服务总线需要确保将正确的数据发送给正确的用户。微服务总线需要保障数据的访问安全，所以微服务总线须具备访问控制、安全认证以及高可用服务功能。

5、级联管理能力

微服务总线可实行多级部署，在多级部署的形式下，依然要保证数据调度功能的统一性。所以为了实现数据资源的统一调度指挥，需要上级微服务总线具备通过级联功能与下级微服务总线连接的功能，并且最终在上级微服务总线实现统一管控。

微服务总线的建设目的是接管标准接口，而数据区建设目的是建立标准接口。尤其是针对无法物理集中的系统和数据资源的原始数据，建立专门的数据区进行数据的分库分表存储。然后对数据接口进行二次封装，实现交付规范化、标准化的访问接口。分布式数据区的组件整合所有数据通道，并且针对数据库服务、文件服务、消息服务、结构化数据服务进行底层数据目录的原数据收集。因此数据区建设需具备以下能力：

1、数据接入方式多样能力

政务系统的建设周期很长，因此政务系统中包含了各种各样的数据形式，为了整合数据，完成对各类数据的收集工作。分布式数据区系统功能需要支持同步消息通道、异步消息通道、数据库通道和文件通道，以满足数据收集的需求。

2、整合相关联数据能力

政务数据管理或调度平台一个非常重要的功能就是整合分散在各个单位的数据进行统一的对比分析，为政府工作提供更加精确的数据支撑。所以分布式数据区系统需要支持关系型数据库的合库合表，在创建分布式数据库后，分布式数据区系统需要按照指定的键生成合库合表规则，实现结构化数据整合。

3、优化数据库读写性能能力

随着数据访问量的不断提高。为了满足进一步的查询需求，需要进行分布式数据库的读写分离，通过使用关系型数据库，只读实例或者备机实现读写分离，帮助应用解决事务、只读实例、指定主备访问等细节问题，对应用无侵入，在分布式数据区系统控制台完成读写分离相关操作。

4、性能和容量的平滑扩展能力

当分布式数据区的数量出现访问量以及容量瓶颈时，分布式数据区系统作为底层性能支持工具，需要具备支持存储容量和查询性能的平滑扩展，并且扩容无需进行应用改造，扩容进度支持可视化跟踪。

5、指令集运维功能能力

提供运维人员对分布式数据区系统进行运维指令的发布，包括SHOW SLOW、TRACE、SHOW NODE 等指令，快速发现和定位问题，提高运维效率。

6、统一身份认证体系能力

分布式数据区系统为了确保不同角色的账号操作安全，需要支持统一的数据账号和权限体系，提高数据接入的安全性。

7、保证数据库一致性能力

分布式数据区系统作为一个可以实现分布式数据库功能的中间件系统，需要支持分布式事务，同时结合分布式事务套件GTS，保证分布式数据库数据一致性。

8、数据库监控和报警机制能力

分布式数据区系统作为数据采集端需支持对核心资源指标和数据库实例指标的实时监控和报警。

【关于国路安科技】

国路安科技公司成立于 2009 年，是一家专注于大数据领域，为政府、行业、企业提供数据整合共享平台、配套产品研发、一体化解决方案的高新技术企业。总部设于西藏，在北京、上海、贵州等11个地区设有分支机构，目前已形成“两个中心，七大区域平台，多行业纵深发展”的全国性战略布局。

国路安作为工信部“全国信标委大数据工作组”工作组成员之一，创新性的提出以“微服务架构+分布式数据区”为核心技术的数据整合共享解决方案，并将该方案以及相关产品、技术先后在某人力资源社会保障厅基础支撑平台建设、某省级数据交换平台建设、某部委数据资产梳理等项目中获得成功应用。

责任编辑：陈近梅