首页 大数据百科正文

国防大数据分析以及应用解读

  随着时代的进步,大数据渗透到各个领域,发挥了很大的作用,这其中就包括国防领域。本文内容主要整合了网上的国防大数据资料,希望对大家有所帮助。

  让大数据为国防动员服务

  核心提示 随着移动互联网、云计算、物联网等技术的快速发展,人类正迈入大数据时代。大数据既是商机,更是变革国防和军队建设模式的引擎。国防动员作为军民融合的纽带,应主动把握大数据带来的大机遇,积极应对大数据带来的大变革,着力抢占大数据运用的战略制高点。

  认清动员数据战略价值

  第二次世界大战时,日军通过计算美国的转扩产能力后得出结论,如果摧毁珍珠港,美国至少要两年才能恢复太平洋舰队,这将为日军赢得有利的“机遇”。结果,美国不到半年就恢复了太平洋舰队,并通过中途岛海战重创日军,粉碎了日军的黄粱美梦。从某种意义上讲,日军败就败在“数据运用”。虽然目前大数据应用尚处于初始阶段,且主要集中于商业、情报领域,但大数据蕴含的战略价值已初现端倪。据报道,美国中央情报局通过分析电话、电子邮件的海量数据寻找恐怖分子的踪迹,成功挫败了50余起恐怖袭击。同样,运用大数据技术,国防动员系统可以全面系统分析企业转扩产能力和动员潜力,评估重大科技信息成果的国防价值,为强化动员潜力培育管理提供决策参考;可以精准预测作战需求,自动匹配动员潜力,实现精确调控、智慧动员。因此,应深刻认识大数据对国家安全和发展的支撑和决定性作用,强化动员数据是战略资源的观念,把国防动员大数据运用提高到国家战略层面,形成政府主导、国动委推动、全社会参与的工作格局。深入分析大数据时代动员能力生成机理,按照大数据作用机理改造动员流程,优化动员准备,使大数据成为变革动员模式的“倍增器”。树立与大数据时代相适应的数据思维,运用数据思维想问题、作决策,运用数据语言搞交流,努力实现国防动员工作模式从定性思维向定量思维转型。

  摆在国家战略层面谋划

  国防动员大数据研究和运用涉及军地多方,是政府主导的国家战略行动。应把国防动员大数据研究与运用作为长期的战略任务,摆在国家战略层面来谋划,实施优先发展战略。将国防动员大数据纳入经济社会和军队大数据发展战略规划,制定出台《国防动员大数据研究和发展战略规划》,明确国防动员大数据研究和发展的指导思想、任务目标、方法途径,突出国防动员大数据项目建设重点,盘活国防动员大数据运用全局。应加紧研究组建国家“国防动员大数据研究和发展机构”,负责大数据运用的战略筹划,加强国防动员大数据项目研发、实践应用和监管指导。把国防动员大数据技术纳入重大科研课题,加大对大数据技术研发的投资力度,提升国防动员大数据研究和运用的后发优势。

  厚实国防动员数据储备

  数据资源是大数据运用的基础,数据资源越丰富,大数据运用的效益就越高。国防动员数据中心作为数据采集、组织、存储、管理和传输的“仓库”和“枢纽”,是大数据运用的“决策参谋部”,应按照建、管、用一致的原则,厚实国防动员数据储备。

  建立国防动员大数据中心。坚持以质量建设为核心,按照“系统完备、规范统一、安全可靠”的要求,充分利用军地现有网络资源,建立各级各类国防动员数据中心。各级数据中心既是独立的网络中心节点,又构成国家国防动员数据中心体系。同时,搭好“架子”、预留接口,一旦需要,即可与作战指挥网相连接,实现动员数据与作战数据交互对接。

  规范国防动员数据标准。制定国防动员数据中心建设标准,统一数据指标、数据格式、功能架构、编码规则和运行标准,做到国标与军标有机对接,确保军地信息平台功能即配即用、潜力数据实时记录、潜力资源实时掌握。

  构建国防动员地理数据系统。应适应精确动员和云计算需要,把国防动员的全部要素信息,按照地理坐标加以组织整理,建立国防动员数字地理信息库,使国防动员系统在同一个平台下谋划和决策。

  筑牢大数据应用基础

  首先,应加强国防动员大数据应用人才培养。大数据时代对数据分析提出了很高要求,深度挖掘大数据蕴含的特殊价值,必须具备大数据方面的专业知识。美国麦肯锡公司预测,目前美国需要150万精通数据的经理人员,14万-19万深度数据分析方面的专家。我国国防动员系统从事数据分析方面的人员较少,应着眼大数据研究和运用需要,采取专门培养、素质拓展等方式,着力培养国防动员“数据分析师”。应着力优化国防动员队伍知识结构,把云计算、物联网技术等信息化知识作为国防动员领导干部集训的重要内容,突出信息化知识和技能学习应用,不断提升国防动员队伍的信息素养。各级国防动员教学和科研机构,应把大数据技术列入科研和教学体系,增设国防动员大数据技术课程,引进地方大数据研究人才,培养国防动员大数据科学家、分析师。

  其次,应加强国防动员大数据应用配套法规建设。国防动员大数据来源于各级各部门和各行业系统,国动委办事机构作为大数据的受益者、保护者,应加强大数据运用规范的研究,制定出台相关法规规章。一是明确各级各部门提供动员数据的权利和义务,防止以商业秘密为由,瞒报或漏报数据,确保数据按需提供;二是明确动员数据运用的主体、范围和权限,规范数据使用程序,防止滥用动员数据,造成数据失泄密;三是明确数据采集、汇总、分析、评估和运用全过程的监管责任、标准,确保数据统一规范,防止数据失真或滞后。

  再次,应加强国防动员大数据应用规则研究。大数据是建立在数学模型和算法基础之上的科学预测活动,其核心是按照动员能力生成机理和规则,研究探索海量数据间的内在逻辑和关联方式。大数据应用规则越具体,动员预测活动就越精确。应着眼实现动员需求与动员供给的最佳匹配,运用基于体系动员的系统思维、基于内在联系的关键思维、基于数据模型的精确思维、基于动员态势的前瞻思维,深入研究动员主体、作战需求、动员潜力数据之间的作用机理,研究制定应用规则,建立数据分析模型,不断提升动员数据处理能力。

    

    

  美国国防部非常重视国防大数据分析和研发

  美国国防部非常重视国防大数据分析和研发大数据已经不仅仅是一个时髦词语,大数据是国防部内部机构优先考虑的内容,向承包商创造机会进行情报收集、分析和网络安全分析。今年一些组织,如美国国防部高级研究计划局(Defense Advanced Research Projects Agency,DARPA)在大数据的研究和开发工作投入大资金。结果呢?先进的分析和技术,如分布式计算正在迅速成为现代化、网络化武器系统的有机组成部分。这种转变不仅影响日益复杂的武器,而且影响军队的指挥与控制能力。面对日益减少人员数量,美国国防部的所有分支机构都将目光转向通过远处的网络化和无人指挥控制系统保证美国的作战能力。所有的军种正在资助研大数据研发。许多与此趋势相关的新的机遇出现了。

  构建国家网络任务部队美国网络司令部(Cyber Command)和总务管理局(the General Services Administration)近日发布信息寻求国家网络任务部队的支持。国家网络任务部队将具备从所有来源情报分析到网络运营、规划和培训的能力。要求具备“多个情报来源的情报分析能力,以及对新出现的威胁的预警能力。

  利用数据联合信息环境美国国防信息系统局很快将发布建议,新的联合管理系统(JMS)的软件将包括先进的分析能力的要求。该JMS对美国国防部的联合区域安全堆栈的安全运行至关重要。美国国防部首席信息官称JMS作为新的商业软件,具备从貌似不直接相关的数据进行分析的能力。

  先进的云分析 DISA也在寻求大数据分析,以增强其网络安全高级分析云(CSAAC),其维护国防部网络。承包商可以提供软件与先进的分析功能,分别是:开源的,商用现货,并提供当前CSAAC解决方案并没有提供的功能。厂商应该与网络安全事业部进行沟通,或者建立与诺斯罗普·格鲁曼公司合作关系,诺格公司在2015年3月获得了值约7400万美元的合同才研发CSAAC的雅典卫城的大数据存储。

  分析内部威胁国防部官员近日宣布成立国防部内部威胁管理和分析中心(DITMAC),以确定并减轻由内部威胁带来的安全挑战。2013年华盛顿海军工厂遭受袭击之后,DITMAC开始运作,2015年秋将达到初始作战能力,利用预测性分析,促进内部威胁的识别避免其成为重大危险源。

  展望未来这些机会仅仅是冰山一角。 Deltek预测称,国防大数据开支十年内将以8.7%的增长率稳步上升。政府的所有部门,民用,国防和情报部门,预计大数据技术服务每年将以9.6%增长率,软件将以8.6%进行增长。大数据相关的硬件也将增长,但速度较慢,4.6%的增长率。最后,增长的大数据应用将满足网络安全和情报分析的要求,与威胁美国国家安全的行为做斗争。

    

    

    

  美国国防部大数据的运用

  据防务系统网9月23日报道:这个迫在眉睫的预算紧缩的时代正在加大美国国防规划者的压力——战场内外利用大数据能力。对于军方来说,无定型术语“大数据”是指从信号情报、手机和电子战截获到卫星图像到视频图像的一切数据。这意味着军方正淹没在数据中,而且这个趋势短时间内不太可能被改善。例如,根据最近的一项外交关系委员会报告,军火库无人飞机的数量,在过去的十年里,从2001年9月的仅仅50架激增到2012年4月的7500架。

  美国国防高级研究计划局代理局长凯格汉姆•加布里埃尔,在宣布XDATA项目时说:“大量的信息生成了一个杂乱背景。”作为奥巴马政府大数据研究和发展倡议中推出的 XDATA项目将在四年里耗费2500万美元来开发计算技术和防护数据软件。据白宫透露,面临的核心挑战是为不完善的数据处理开发可扩展算法并且创建有效的人机交互工具。

  加布里埃尔说:“大西洋约3.5亿立方公里的体积,或者近1000亿,数十亿加仑的水。如果每加仑的水代表一个字节或字符,在2010年大西洋几乎可以存储世界生成的所有的数据。”

  加布里埃尔补充道:“在文件中寻找一个特定信息或者页面相当于在大西洋里搜索一个仅55加仑的桶。”然而,大数据的应用在增长的军事需要和减少的预算之间越来越需要找到一个平衡。

  国防部面临大幅度削减,进入了国防部长查克•哈格尔所形容的“前所未有的预算不确定性”阶段。全面的削减将体现在人员和项目账户上,包括减少情报分析以及作战司令部情报和作战中心的生产。7月下旬,哈格尔说,美国国防部的战略选择管理审查旨在“建立更紧密的集成,减少国防企业内的重复”。

  寻找“为什么”

  传感器的扩散帮助推动大数据过剩。Exelis公司地理空间情报解决方案的副总裁理查德•库克承认道:“我们已经为我们的许多客户处理的一些数据过剩做出巨大的努力。”

  库克说,“这是所有相关的重要数据。这样的问题,我们已经碰到过太多了。”

  他补充说,问题是数据的种类和数量。“他们(美国国防部)只是没有足够的人利用现有的所有信息。”作为回应,注意力从数据管理转移到尽可能多的有效提取有用信息。

  库克说:“我们有系统可以处理和管理这些数据。”下一个挑战是创建软件工具来分析和开发数据,这样军事用户可以利用来为任务规划和情报收集提取相关信息。他解释说:“我们已经很擅长制作可以分析数据以及告诉你事件、地点、时间的工具。现在,行业正关注‘为什么’以及前瞻性方面问题。”

  国家安全局效应

  未来,有一些军方官员想从美国情报局的电脑里拿出一页,包括国家安全机构最近暴露的电子监视数据采集项目——棱镜。该机构中心项目是海量收集看似无关的和经常性非结构化的数据。

  库克说:“如果你把隐私问题从制度中拿出来,然后至少你看起来是人们所说的国家安全局实际上在做什么,这绝对是模范,是情报系统全体以及军方用户全体真的需要努力的方向。它能提出看各种数据源种类以及寻找不是很明显的隐藏关联的技术。”

  然而,情报分析人员面临的挑战不同于无人机视频流或者手机信号模式,开源数据并不遵循可预测的模式。库克说:“模式就在那里,但是它们分层深度大大超过我们传统数据源。它的技术包括可以挖掘额外层以及找出这些通信模式。”

  Exelis的方法着重于啮合传统情报收集技术,像信号情报通过新兴大数据源得到更清晰的图片来了解战场上以及远方发生了什么。

  库克辩论道,至少在媒体报道中披露,国家安全局技术也可以应用于帮助情报收集过程自动化同时减少人力以获得最相关信息。

  库克说:“如果我们能够帮助指挥官将几个小时的视频会降至最关键的30秒的视频,这就是一个巨大的胜利。”

    观察员强调,各军种急于应用这些新的大数据技术但是缺乏资源来这样做。库克说:“他们承认他们漏掉了数据中微妙的关联,这些数据能暗示他们需要知道并且现在还不知道。”

  容易实现的目标

  数据更深层次的挖掘不仅仅在战争中发挥作用。易安信公司的首席联邦技术专家,里奇•坎贝尔说,如后勤这样更平常的军事任务也可以受益于应用大数据技术。坎贝尔说,战争是图片中的迷人部分,但是“接下来是带来大多数变化和积蓄的业务部分”。后勤部分是“最容易摘到的水果”。

  例如,战场中的无线射频识别标记开始工作,其存货时需要扫描以及验证。在此过程中,有个小(10%到12%)概率会使无线射频识别标记将需要重新核对。坎贝尔解释道,当一些几位数中缺少一个序列号时,预测能力能帮助利用大数据分析。新功能帮助避免重新扫描整个设备装载,找出并纠正错误的需要。

  坎贝尔说:“这样的事情,分析可以起到帮助作用。

  商业企业也带来了灵感,通过和像联邦快递和沃尔玛这样的公司分享大数据战略旨在提高效率。坎贝尔说:“军事实际上是利用商业企业空间来真正地了解他们是怎样做的以及他们为什么这么做。”

  他补充说:“今天,我们国防部很多用户着眼于大数据和作为这个大规模复杂问题的分析挑战。老实说,很多时候他们已经有数据。它只是如何真正完善它以及从中得到些什么。”

  从坎贝尔到其他服务提供者的信息是应用大数据技术需要不复杂。“有很多方法在更简单的方式中利用它。”坎贝尔辩解道,“这不是可怕的东西。” 知远/严美

    

    

  国防部中的大数据策略

  伴随着移动宽带、物联网、云计算的迅猛发展以及越来越多的移动终端、传感设备接入网络,现代社会正在以不可想象的速度产生海量数据,并对包括军事在内的诸领域产生广泛而深刻的影响Ely Kahn已经在国家安全领域拥有十年以上工作经验——具体来说,他曾就职于运输安全管理局、国土安全部以及总统行政办公室(他在这里担任网络安全负责人职务)。2012年,他加入一个由多位前任国家安全局工程师所组成的团队,共同建立起Sqrrl——这是一家以开源Accumulo技术(由他们在情报机构任职期间所开发)为基础的数据库企业。Kahn于本周参与到Structure Show播客当中,与大家共同探讨哪些技术值得关注、哪些群体在使用这些技术、国家安全与技术领域又为此储备有哪些应对策略等。

  下面我们将对整个采访过程加以概述,其具体内容涵盖了多个重要议题,从为Hadoop类技术(例如Accumulo)提供安全支持到即将出现的、针对关键性基础设施的攻击活动可谓包罗万项。当然,对Accumulo工作机制以及高级分析技术如何改进网络安全效果感兴趣的朋友可能希望亲自聆听整个交流过程。如果有机会的话,请大家于本月十九到二十号两天参加我们的Structure Data大会,届时博思艾伦咨询公司的Peter Guerra将结合亲身经历谈谈如何利用大数据技术对抗网络威胁。

  “棱镜门”?没错,那就是我们这套数据库

  “Accumulo正是国安局业务架构的核心机制。大部分国安局的主要分析应用都运行在Accumulo之上,”Kahn表示。“我不会深入列举每一种应用方案,因为这个话题太大、一时半会讲不清楚;但可以肯定的是,人们听说过的大部分应用都确实拥有Accumulo后端。”

  除了在业务架构中扮演核心角色之外,Accumulo可能也是批评者们对于国安局非议最大的对象。尽管它能够很容易地通过技术手段识别异常行为与可疑目标,或者检测已知犯罪嫌疑人的网络活动,但国安局显然还抱有更大的野心——也就是Kahn所谓“生命分析模式”:

  “事实上,这项技术的主要目标在于进行异常行为检测,这也正是我们的关注重点。我们要如何建立一套正常行为模式,再根据正常基准指标检测偏离值?具体作法可能需要涉及数量庞大的用例……”

  “我们目前正在进行的大量工作都围绕着图形分析机制展开,同时建立起巨大、稳定而且分散的数据集图形——首先根据某个特定用例构建出正常行为数据的曲线图,然后检测既定目标的时间行为模式与正常情况存在何种偏差。”

  整个国防部都在加入到行动中来

  政府方面希望用于支持国安局的处理方案也能渗透到国防部的整个体系当中。作为国安局业务流程中的重要组成部分,Accumulo的任务在于建立一套通用云计算与数据基础设施,从而将整个机构内的资源整合起来;现在国防部也希望对全部现有数据加以汇总——上到无人机飞行距离、下至医疗数据——并整理成一套单独的可分析系统。

  “目前正在进行的主要推进项目名为‘联合信息环境’,其目的是在整个国防部当中开发出通用型云与数据云架构,包含庞大的用例集合——将网络安全、战地情报甚至是医疗用例全部囊括其中,”Kahn解释道。

  企业用户可能与国安局情况不同,但他们同样尊重技术

  “不管人们如何从政治角度看待国安局,我认为人们应该已经意识到、国安局正扮演着大数据技术与安全方案的领导者。所以在这个意义上,我得说国安局一直以来的处理方式都是有章可循的,”Kahn在面对Sqrrl公司作为国安局技术基础作何感想的问题时回应称。“当然,我也参加了一系列会议,并与来自Pandora、Facebook公司乃至Web应用厂商的员工们进行了沟通,他们可能会从自身角度出发对我们的发展经历提出质疑;不过以决策制定者的眼光来看,这倒不是什么坏事。”

  那么政策制定者们到底如何看待Sqrrl在安全方面作出的努力?“我们的产品已经入驻全球财富二十强企业中的三家,全球五十强企业中的五家,客户数量也达到数十家,”Kahn指出。他随后补充称,鉴于Cloudera与Hortonworks等Hadoop厂商正越来越多地对Accumulo提供支持,“我认为部分大型Hadoop厂商们已经发现,如果他们想在政府机构当中有所建树,就必须要支持Accumulo。”

  网络安全现状:危机无处不在,但形势渐渐转好

  首先公布几条好消息,这也是过去几周以来刚刚取得的最新成果:

  “国土安全部与国家标准及技术协会都已经通过行政命令作出一系列重大努力,旨在建立一套能够被用于至少能在实施初期有效提高安全指标的网络安全框架,且供人们自愿使用。因此我们第一次拿出了一套详尽的说明文档,大家可以通过查阅了解到关键性基础设施所应该遵循的最低执行标准 。这听起来简单,但对于网络安全这样复杂度极高的领域而言,此番努力已经堪称重大进步。”

  不过Kahn也补充道,所谓“重大进步”距离完美成果还有很长的路要走:“仅仅坚持最低基准还远远不够。”

  他同时指出,《纽约时报》曾经报道过多起其它国家对我们的电网体系进行渗透的消息,是的,只不过暂时还没有发生实质性灾难。就个人而言,我认为这很可能只是时间问题,但愿别出什么大乱子。”

  相关阅读

  军事大数据理论分析以及案例解读

  国防大学教授李大光:国防大数据的安全意识

  本文为数据观精编文章,数据观网址:www.cbdio.com

数据观微信二维码

责任编辑:陈卓阳

分享:
延伸阅读
    大数据概念_大数据分析_大数据应用_大数据百科专题
    贵州

    贵州大数据产业政策

    贵州大数据产业动态

    贵州大数据企业

    更多
    “智慧中国杯”全国大数据创新应用大赛
    企业
    更多