大数据
华为网络放出大招,全面云化是什么概念?
电气控制类 幸福的小宝 2017-04-06 10:45 发表了文章
在3000平米的展区,能看到单独的网络展区,分别是是CloudFabric、CloudCampus、CloudEPN、EC-IoT、CloudDCI和Security等,正好对应了企业网络全面云化的六大解决方案。
了解华为的读者可能知道,这两年华为全面转向云化。在这个集团战略之下,网络如何响应这个战略,是务虚还是实实在在的“云化”?这个“全面云化”和之前的“敏捷网络”又有什么关系?
这个问题解答之前,先看看现在的行业发展和技术趋势。
看行业发展。所有行业转向“数字化”,这是未来企业的必由之路。关于数字化是什么,如何转型,各个厂商和研究机构会从不同角度给出不同的建议。但不能否认的是,数字化的核心是,所有业务几乎都用数字驱动,用数据说话,也就是全面云化的开端。
再看技术趋势。从当前发展看,云和大数据、物联网正从概念期落地,切实成为企业的生产力。但在实践应用中,如何落地还有不少困惑。以网络的SDN和NFV来说,概念提了快有10年,而真正普及的却很少。原因在于技术壁垒,应用场景。
无论是SDN还是NFV,本质是让网络服务化,让网络“随需应变”,更简单、更智能,更节约成本,更容易维护。视角从网络技术转向应用,让用户忘记复杂的配置、难以维护的运营。尤其是SDN,让你忘记“汇聚层、转发层、应用层”,更让你忘记IP化,用数据的角度控制和转发流量。
有了现在这个背景,就不难理解华为企业网络“全面云化”的意图。
华为这几年的战略是“敏捷网络”,让网络更敏捷地为业务服务,越来越智能化。
并且,华为网络细分场景化,每年在年度大会中,都会针对不同场景发布解决方案,以园区、分支、广域网、数据中心等场景为例,引入最新的技术和成熟的解决方案。
到了如今,不管是响应集团号召还是华为网络的自身发展,或者两者皆有的原因,华为网络走到了“全面云化”的阶段。可以认为,这是在过去“敏捷网络”基础上的升级,理念一脉相承,技术上则是更多引入云和物联网等新技术的概念。
举例来说,华为的“梯联网”是在电梯中安装设备,帮助电梯厂商监控网络运行的情况。这样的好处是,随时在手机终端查看状态,节省人力巡检的时间和精力,还能促进电梯厂商展开其他的商业活动。
“梯联网”解决的几个问题是,物联网时代如何做到上千个、上万个设备联网;如何确保有用数据随时上传到数据中心处理,涉及到数据筛选和过滤机制,以及边缘计算的理念。最后才是在技术之上,如何开放一个平台,让电梯厂商、用户和其他开发商利益共享,形成生态圈。
华为网络产品线副总裁曾兴云从理念角度说,华为网络的核心还在于“管”,是“云端管”中的“管道”。华为网络不会碰数据和应用,要从数据的角度让网络更加智能,让“端”的数据通过网络的“管道”更加智能的进入“云”中。
全面云化有三层含义。
在分支和物联等各个场景下,将人、物、数据和应用全面连接起来;
有一个开放的云平台,要借助云端管理实现资源的集中调度来获得效率的提升和商业模式的创新,而开放的云可以更便捷的进行行业化扩展;
社交化的行业应用。
我觉得如果从技术和功能来说,全面云化是将网络“云化”和“服务化”实现的手段。正如IaaS让企业不再建设基础设施如数据中心那样,网络全面云化之后,企业不用关心谁来建设网络,网络在哪里,功能如何实现。只要关心是,需要提供什么样的功能,在这个网络功能上,如何实现商业创新?甚至是以后可以按需付费。
网络云化有些费解,它不像IaaS或者SaaS容易理解,因为它在企业业务中,不是一个平台,只是计算和存储等数据连接的方式。但在企业业务中,网络非常重要,决定了用户的体验。
顺便说一下,从另一个角度看各个场景的互联互通,可以认为是数据在终端到数据中心、数据中心和数据中心、广域网和数据中心、广域网之间的连接。如果从数据的角度理解网络的作用,就会明白全面云化是建设一个无所不在,智能可控,随需应变的网络。
让网络成为服务,而不是成为技术,这就是华为网络全面云化给客户带来的商业价值:极致体验、敏捷创新以及无处不在的安全。
具体关于这个战略之下的解决方案以及实施,我们将持续关注。 查看全部
在3000平米的展区,能看到单独的网络展区,分别是是CloudFabric、CloudCampus、CloudEPN、EC-IoT、CloudDCI和Security等,正好对应了企业网络全面云化的六大解决方案。
了解华为的读者可能知道,这两年华为全面转向云化。在这个集团战略之下,网络如何响应这个战略,是务虚还是实实在在的“云化”?这个“全面云化”和之前的“敏捷网络”又有什么关系?
这个问题解答之前,先看看现在的行业发展和技术趋势。
看行业发展。所有行业转向“数字化”,这是未来企业的必由之路。关于数字化是什么,如何转型,各个厂商和研究机构会从不同角度给出不同的建议。但不能否认的是,数字化的核心是,所有业务几乎都用数字驱动,用数据说话,也就是全面云化的开端。
再看技术趋势。从当前发展看,云和大数据、物联网正从概念期落地,切实成为企业的生产力。但在实践应用中,如何落地还有不少困惑。以网络的SDN和NFV来说,概念提了快有10年,而真正普及的却很少。原因在于技术壁垒,应用场景。
无论是SDN还是NFV,本质是让网络服务化,让网络“随需应变”,更简单、更智能,更节约成本,更容易维护。视角从网络技术转向应用,让用户忘记复杂的配置、难以维护的运营。尤其是SDN,让你忘记“汇聚层、转发层、应用层”,更让你忘记IP化,用数据的角度控制和转发流量。
有了现在这个背景,就不难理解华为企业网络“全面云化”的意图。
华为这几年的战略是“敏捷网络”,让网络更敏捷地为业务服务,越来越智能化。
并且,华为网络细分场景化,每年在年度大会中,都会针对不同场景发布解决方案,以园区、分支、广域网、数据中心等场景为例,引入最新的技术和成熟的解决方案。
到了如今,不管是响应集团号召还是华为网络的自身发展,或者两者皆有的原因,华为网络走到了“全面云化”的阶段。可以认为,这是在过去“敏捷网络”基础上的升级,理念一脉相承,技术上则是更多引入云和物联网等新技术的概念。
举例来说,华为的“梯联网”是在电梯中安装设备,帮助电梯厂商监控网络运行的情况。这样的好处是,随时在手机终端查看状态,节省人力巡检的时间和精力,还能促进电梯厂商展开其他的商业活动。
“梯联网”解决的几个问题是,物联网时代如何做到上千个、上万个设备联网;如何确保有用数据随时上传到数据中心处理,涉及到数据筛选和过滤机制,以及边缘计算的理念。最后才是在技术之上,如何开放一个平台,让电梯厂商、用户和其他开发商利益共享,形成生态圈。
华为网络产品线副总裁曾兴云从理念角度说,华为网络的核心还在于“管”,是“云端管”中的“管道”。华为网络不会碰数据和应用,要从数据的角度让网络更加智能,让“端”的数据通过网络的“管道”更加智能的进入“云”中。
全面云化有三层含义。
在分支和物联等各个场景下,将人、物、数据和应用全面连接起来;
有一个开放的云平台,要借助云端管理实现资源的集中调度来获得效率的提升和商业模式的创新,而开放的云可以更便捷的进行行业化扩展;
社交化的行业应用。
我觉得如果从技术和功能来说,全面云化是将网络“云化”和“服务化”实现的手段。正如IaaS让企业不再建设基础设施如数据中心那样,网络全面云化之后,企业不用关心谁来建设网络,网络在哪里,功能如何实现。只要关心是,需要提供什么样的功能,在这个网络功能上,如何实现商业创新?甚至是以后可以按需付费。
网络云化有些费解,它不像IaaS或者SaaS容易理解,因为它在企业业务中,不是一个平台,只是计算和存储等数据连接的方式。但在企业业务中,网络非常重要,决定了用户的体验。
顺便说一下,从另一个角度看各个场景的互联互通,可以认为是数据在终端到数据中心、数据中心和数据中心、广域网和数据中心、广域网之间的连接。如果从数据的角度理解网络的作用,就会明白全面云化是建设一个无所不在,智能可控,随需应变的网络。
让网络成为服务,而不是成为技术,这就是华为网络全面云化给客户带来的商业价值:极致体验、敏捷创新以及无处不在的安全。
具体关于这个战略之下的解决方案以及实施,我们将持续关注。
云电视和智能电视的几个区别
物联网类 小子#122 2017-03-31 11:50 发表了文章
智能电视,指像智能手机一样,具有全开放式平台,搭载了操作系统,可以由用户自行安装和卸载软件、游戏等第三方服务商提供的程序,通过此类程序来不断对彩电的功能进行扩充,并可以通过网线、无线网络来实现上网的这样一类电视的总称。
资源享用,真正的云电视是无需注册的账户,各种云端资源可以随时分享,真正的给用户带来娱乐享受,而智能电视则不能达到。云电视能统筹所有云应用,打开新的云应用,而智能电视是进入每个应用前均需要分别注册帐户、分别登录。云电视使用更方便、更快捷,资源更丰富。云电视通过云端协同计算,拓展电视本身性能,对硬件更新换代依赖低,智能电视完全依赖本地硬件,受硬件更新速度影响大、淘汰速度快。 查看全部
云电视是应用云计算、云存储技术的电视产品,是云设备的一种。是用户不需要单独再为自家的电视配备所有互联网功能或内容,将电视连上网络,就可以随时从外界调取自己需要的资源或信息,可以在云电视里安装使用各种即时通讯软件,在看电视的同时,进行社交、办公。
智能电视,指像智能手机一样,具有全开放式平台,搭载了操作系统,可以由用户自行安装和卸载软件、游戏等第三方服务商提供的程序,通过此类程序来不断对彩电的功能进行扩充,并可以通过网线、无线网络来实现上网的这样一类电视的总称。
资源享用,真正的云电视是无需注册的账户,各种云端资源可以随时分享,真正的给用户带来娱乐享受,而智能电视则不能达到。云电视能统筹所有云应用,打开新的云应用,而智能电视是进入每个应用前均需要分别注册帐户、分别登录。云电视使用更方便、更快捷,资源更丰富。云电视通过云端协同计算,拓展电视本身性能,对硬件更新换代依赖低,智能电视完全依赖本地硬件,受硬件更新速度影响大、淘汰速度快。
物流人,该如何拥抱互联网思维?
其它类 上海明日之星科技有限公司 2017-03-31 11:07 发表了文章
互联网思维无疑是时下最热门的词汇之一了。众多官博、自媒达人、大神无不在天天鼓吹,仿佛广告里那加长护翼的**巾,用了就能出入平安上天下地无所不惧。话糙理直,外贸业和物流业作为外向型的传统行业,在强调创新和转型的今天,互联网思维对之而言,就好比女神—股。无之,依然能活;有之,却能带来飞—股的幸福感。那么作为从业者的我们,又该如何去拥抱这位女神呢?
我们不去定义什么是互联网思维,首先要问我们为什么需要互联网思维。行业和企业没有她,用传统的思维和方法照样能下来。就像前段时间,万科组团上小米刷经验,难道没有小米的互联网经验,万科就卖不动房子了吗?那倒未必。但是成功地引入互联网思维,或许会让万科卖得更好卖得更风骚。作为个人,我们拥抱互联网思维,就是为了跳出传统方式方法的圈子,增值自我,更有利于工作或事业。
拥抱的方式有很多种:中式、法式、俄式但最重要的是下面两种:
一、大数据你的信息
信息,是一个外贸人或物流人最有价值的素质之一,其中包括了知识、经验、商机技巧等等。你对专业知识的掌握、对行业经验的熟悉,对市场商机的把握,乃至对职业技巧的熟练,很大程度决定了你工作或职业的发展。这些信息,在传统的方法上,不外乎多读书、多问人、多经历,用时间和教训来换取和积累。这样的话,个人就短时间内形成信息的“大数据”就很难,师傅领进门,修行在个人,并非人人都是张无忌。
但是,利用互联网的方式,我们能够在信息接收的广度、深度已经筛选的精度方面得到长足的提高,从而更容易地建立个人的信息大数据。具体而言,最简单的莫过于多上阿里巴巴、航运界、Everychina、福步等行业网站或者论坛,但这种WEB1.0的方式新带来的信息量虽然大,但缺乏精确度和指向性,所以我们还可以有的放矢地多去关注下@soo56物理搜索网、@米课MRHUA等专业性、指向性强的信息发布源,更好地筛选有价值的信息。其实在现今WEB2.0的时代,互联网的运用已经肯不少新的亮点。
一是碎片化,多运用POCKET或者订阅自媒体或者信息聚合应用的方式建立和分类自己的信息库;
二是社交化,信息社交化的核心就是分享。子曰,你有一个苹果,我有一个苹果,相互交换还是每人一个苹果:你有一种思想,我有一种思想,相互交换就每人就有两种思想。在社交化分享的条件下,这种分享所带来的结果远不止是思想的培增,还会带来人脉的延伸。
二、O2O你的人脉
“你懂什么不重要,重要的是你认识谁”,这句话不仅在好菜坞有效,在外贸和物流的圈子同样如此。人脉,是一个外贸人或物流人的重要价值指标之一。在传统方式下,黄页、名片、介绍、电话、登门就是拓展人脉的主要方式。然而今天,我们可以利用更多互联网的方式去拓展人脉。从最“原始”的群、论坛,到最“先进”的社交网站、社交应用。这些对比起传统的方式,在拓展人脉上能延续得更广更主动,而且通过匹配和筛选机制能更有效地识别和建立更有价值的人脉关系链。
所谓O2O,就是从线上到线下(online tooffline)。这是WEB2.0的一个重要特征,也是用互联网思维拓展人脉的一个特点。古时兵家云:三矢不如一刀,三刀不如—枪。在人脉的处理上亦同理:三封邮件不如一个电话,三个电话不如—次见面。
如何把线上的人脉关系链复制到线下,网上很多利用微信群的文章就很值得学习。微信群相对于QQ群和论坛组群而言,更具私密性。私密性是强关系链的重要特征,越是关系链核心私密性就越强。譬如你和女友之间的枕头风是私密的,你在女神微博上的留言是公开的,相比而言,前者就是强关系链的核心,前者之间传播的信息就越是有价值。同样,我们利用互联网或移动互联网工具的目的就是要筛选和建立这种强关系人脉,并把这种人脉从线上带到线下,真实地反哺于工作中。
无论是外贸业还是物流业,都如同其他传统行业—样,在新科技浪潮中都面临着转型和突破的压力和机遇。大数据、云计算、互联网思维等等新概念无不刷新着人们对行业发展的认识。作为其中从业者之一,我们应应时而为,无需为这些新概念所谜惑和害怕,只要我们用心去学习,去尝试,女神,也是可以抱—抱的。 查看全部
互联网思维无疑是时下最热门的词汇之一了。众多官博、自媒达人、大神无不在天天鼓吹,仿佛广告里那加长护翼的**巾,用了就能出入平安上天下地无所不惧。话糙理直,外贸业和物流业作为外向型的传统行业,在强调创新和转型的今天,互联网思维对之而言,就好比女神—股。无之,依然能活;有之,却能带来飞—股的幸福感。那么作为从业者的我们,又该如何去拥抱这位女神呢?
我们不去定义什么是互联网思维,首先要问我们为什么需要互联网思维。行业和企业没有她,用传统的思维和方法照样能下来。就像前段时间,万科组团上小米刷经验,难道没有小米的互联网经验,万科就卖不动房子了吗?那倒未必。但是成功地引入互联网思维,或许会让万科卖得更好卖得更风骚。作为个人,我们拥抱互联网思维,就是为了跳出传统方式方法的圈子,增值自我,更有利于工作或事业。
拥抱的方式有很多种:中式、法式、俄式但最重要的是下面两种:
一、大数据你的信息
信息,是一个外贸人或物流人最有价值的素质之一,其中包括了知识、经验、商机技巧等等。你对专业知识的掌握、对行业经验的熟悉,对市场商机的把握,乃至对职业技巧的熟练,很大程度决定了你工作或职业的发展。这些信息,在传统的方法上,不外乎多读书、多问人、多经历,用时间和教训来换取和积累。这样的话,个人就短时间内形成信息的“大数据”就很难,师傅领进门,修行在个人,并非人人都是张无忌。
但是,利用互联网的方式,我们能够在信息接收的广度、深度已经筛选的精度方面得到长足的提高,从而更容易地建立个人的信息大数据。具体而言,最简单的莫过于多上阿里巴巴、航运界、Everychina、福步等行业网站或者论坛,但这种WEB1.0的方式新带来的信息量虽然大,但缺乏精确度和指向性,所以我们还可以有的放矢地多去关注下@soo56物理搜索网、@米课MRHUA等专业性、指向性强的信息发布源,更好地筛选有价值的信息。其实在现今WEB2.0的时代,互联网的运用已经肯不少新的亮点。
一是碎片化,多运用POCKET或者订阅自媒体或者信息聚合应用的方式建立和分类自己的信息库;
二是社交化,信息社交化的核心就是分享。子曰,你有一个苹果,我有一个苹果,相互交换还是每人一个苹果:你有一种思想,我有一种思想,相互交换就每人就有两种思想。在社交化分享的条件下,这种分享所带来的结果远不止是思想的培增,还会带来人脉的延伸。
二、O2O你的人脉
“你懂什么不重要,重要的是你认识谁”,这句话不仅在好菜坞有效,在外贸和物流的圈子同样如此。人脉,是一个外贸人或物流人的重要价值指标之一。在传统方式下,黄页、名片、介绍、电话、登门就是拓展人脉的主要方式。然而今天,我们可以利用更多互联网的方式去拓展人脉。从最“原始”的群、论坛,到最“先进”的社交网站、社交应用。这些对比起传统的方式,在拓展人脉上能延续得更广更主动,而且通过匹配和筛选机制能更有效地识别和建立更有价值的人脉关系链。
所谓O2O,就是从线上到线下(online tooffline)。这是WEB2.0的一个重要特征,也是用互联网思维拓展人脉的一个特点。古时兵家云:三矢不如一刀,三刀不如—枪。在人脉的处理上亦同理:三封邮件不如一个电话,三个电话不如—次见面。
如何把线上的人脉关系链复制到线下,网上很多利用微信群的文章就很值得学习。微信群相对于QQ群和论坛组群而言,更具私密性。私密性是强关系链的重要特征,越是关系链核心私密性就越强。譬如你和女友之间的枕头风是私密的,你在女神微博上的留言是公开的,相比而言,前者就是强关系链的核心,前者之间传播的信息就越是有价值。同样,我们利用互联网或移动互联网工具的目的就是要筛选和建立这种强关系人脉,并把这种人脉从线上带到线下,真实地反哺于工作中。
无论是外贸业还是物流业,都如同其他传统行业—样,在新科技浪潮中都面临着转型和突破的压力和机遇。大数据、云计算、互联网思维等等新概念无不刷新着人们对行业发展的认识。作为其中从业者之一,我们应应时而为,无需为这些新概念所谜惑和害怕,只要我们用心去学习,去尝试,女神,也是可以抱—抱的。
36张PPT |中国智能硬件产业综述2017,用关键数据说话
智能制造类 jingjing 2017-03-30 16:41 发表了文章
这些问题成为市场关注的重点,本次专题分析将从智能车载设备、智能医疗健康设备、智能服务机器人、智能家居、智能可穿戴设备和智能工业六个领域入手,涵盖规模预测、现状分析、发展趋势等维度,全方位立体化的解析智能硬件市场,用数据说话,给你一篇不一样的智能硬件产业综述。
查看全部
面向大数据的情报系统初探:以数据为中心的情报系统将成为信息化战争的制胜关键
工业大数据 哦然后呢 2017-03-29 15:38 发表了文章
随着传感器技术、物联网技术和移动终端技术的发展,数据与信息在各个方面都呈爆发式增长,数据类别(Variety)多样化、数据容积(Volume)海量化、数据价值(Value)增值化驱使各种社会服务开始对海量数据进行分析和挖掘。同时,云计算技术、并行处理技术和分布式架构技术为数据处理速度(Velocity)迅捷化提供了技术基础和支撑。基于以上特征,大数据概念正在推动生活、工作和思维的大变革。《大数据时代》一书指出,在大数据时代,信息技术变革的重点应该从技术转向信息本身,放眼于全体数据,接受不精确的非结构化数据,关注数据的关联性。
现代战争已经发展成为陆、海、空、天、电磁、网络等多空间、全方位的立体化战争,以使用信息化武器为标志,形成了数字化部队和以网络为中心的作战体系。在这种作战体系下,制信息权成为决定战争胜负的关键,情报系统作为争夺制信息权的核心,已成为现代战争的灵魂。情报是对利用侦察与监视手段或其他方法收集来的数据和信息,进行处理、综合、分析、评价和解释而得到的信息产品。由情报的定义可以看出,数据和信息是情报的主体。大数据时代数据和信息环境的变化,要求情报服务的构建以数据为中心,结合新的大数据相关技术,为军事行动和作战指挥提供更加科学、精确、及时、到位的决策依据。
1. 情报系统功能
情报系统是为实现情报搜集、加工、存储、检索和传递的系统。在大数据时代,庞大而复杂的数据考验着情报系统的技术体系结构和数据处理能力;另一方面,信息化作战的突发性和速决性对情报系统的实时、分布式分发能力提出了新的要求。为适应大数据和信息化作战的要求,我们将情报系统的功能分为核心层、业务层和支撑层三层(见图1)。核心层进行情报计划和准备,对业务层进行指导;业务层将情报活动分为情报搜集、情报处理、情报分发等三大部分;支撑层是对情报活动三个阶段的具体化。
1.1 核心层
情报系统的核心层功能就是从战略、战役、战术层面为军事行动的指挥决策提供详细的情报数据以及综合性的和快速反应的情报能力。无论是战时还是平时,只有依赖准确、及时的情报,才能做出正确、迅速的指挥和决策。在战略层面,情报系统需要查明有关国家、地区、集团的战略方针、企图、方向、部署、武装力量数量、作战指导思想、战略措施、战争潜力等情况;在战术和战役层面,情报系统需要提供敌方企图、行动方向、战斗编成、兵力部署、主要装备、工事、障碍、作战能力、作战特点、指挥官、指挥机构、通信枢纽以及作战地区的地理、水文、气象、社会等情况。
1.2 业务层
收集、处理、发布是各种信息处理系统的基本流程,情报系统作为典型的以信息和数据为中心的系统,对应的需要支持情报搜集、情报分析与生产和情报分发等三项基本功能。情报搜集是基础,通过各种情报源获得最初的情报数据,这些数据有的可以作为直接的情报产品,有的则需要经过进一步处理;情报分析是灵魂,负责对情报搜集得到的信息和数据进行处理,结构化情报数据,从其中挖掘出潜在的有用信息;情报分发是表现,分发过程的及时性和针对性直接影响情报对指挥决策的辅助效果。
图1 情报系统功能
1.3 支撑层
情报系统的支撑层功能主要包括:
a)侦察监视。这是获取情报的手段,通过有时限的侦察和连续性的监视可以获得7种主要的情报类型:图形情报、信号情报、测量和特征情报、人工情报、公开来源情报、技术情报和反情报。
b)信息挖掘。这是链接情报搜集和情报处理的重要功能,信息处理技术历经了人工分析阶段、自动化管理阶段、智能化综合处理阶段等三个阶段,已经形成了各种手段综合利用的现代化信息挖掘技术。
c)态势生成。态势生成时随着可视化技术发展起来的情报的图形化表达,可以分为平时和战时两种类型,平时态势主要包括战略部署、武器装备情况、军事重点分布等,战时态势则进一步包括战场态势涉及的兵力部署、敌方动向、地理数据和气象电磁信息等。
d)威胁预警。通过实力估计、预测敌方意图、威胁识别、进攻和防御分析等多方面的评估,情报系统需要实现及时、准确的威胁预警功能。
e)战场支援。通过情报系统的综合运转,在目标引导、部队部署、毁伤评估等方面为战场提供支援。
f)效果评估。为推动情报系统的发展和优化的推动,需要在情报活动的各个阶段对其进行评估,检验情报工作的效果,确保用户的情报需求得到充分满足。
2. 基于大数据的情报系统架构
图2 面向大数据的情报系统架构
美国情报基础理论历经了从情报周期(Intelligence Cycle)到情报流程(Intelligence Process)的转变,从最初的情报环路到强调情报活动之间的有机联系,最终在2000年版的《联合作战情报支援条令》将情报流程定义为计划与指导、搜集、处理与加工、分析与生产、分发与整合、评估与反馈。实际构建情报系统的过程中,计划与评估需要相互关联;同时,大数据时代带来的海量信息对数据采集和存储提出了新的要求;此外,由于情报的各个阶段活动趋向于分布式和网状化,需要情报系统提供安全保障服务。综合以上考虑,情报系统的体系架构设计如图2所示。
2.1 情报计划与评估
情报计划的过程主要是根据战略和作战态势的实时变化情况,在分析情报需求的基础上,综合考虑可用的侦察资源、情报系统能力、情报技术现状等各个方面,指定情报系统在何时、何地针对何种对象进行情报活动,确定情报服务指标和要求,并根据各种军事、社会环境的变化修订相应的情报计划。情报计划子系统需要提供需求汇集、情况收集、分析判断、计划制定、计划推演、计划分发以及计划调整等服务。
情报评估是根据所收集的情况信息,评估和评价情报活动是否完成了情报计划指定的情报指标和要求,以确保情报需求获得满足。情报计划与情报评估相互印证,以情报需求为中心,是情报系统的关键,贯穿并影响情报活动的各个方面,连续不间断的进行。
大数据时代对情报计划和评估系统的影响首先是思维上的转变,情报计划的确定要考虑海量数据的相互关联和情报数据的实时变化,从而更注重预测性和时效性;其次,计划和评估过程要争取实现信息化、智能化、服务化,以应对人力与大数据之间的巨大差距。
2.2 情报搜集
各种情报搜集设施是情报系统的根本,没有情报搜集,情报活动就无从谈起。大数据对情报搜集的影响体现在情报来源越来越多样,情报数据越来越复杂。当前的军事情报系统从陆海空天电网一体化作战出发,建立了陆基侦察、海基侦察、空基侦察、天基侦察、电磁侦察、网络侦查、人力侦察和公开来源等军事情报源,其中,公开来源的情报信息往往被低估甚至忽视。大数据兴起的新时期,公开信息情报的政治和军事优势得天独厚并且成本低廉,能够在在全球范围内,针对所有秘密情报视野之外的海量数据开展情报搜集工作。2012年,奥巴马政府提出,对数据的占有和控制权将成为继陆权、海权、空权等传统权利之外的另一项国家核心资产。丰富情报系统的情报搜集手段,是争夺和扩大数据占有和控制权的重要表现。
2.3 数据预处理
数据预处理子系统将来自各种战场传感器、人力侦察和公开来源的情报信息安全、可靠、快速地传送至情报处理系统,主要进行接入汇集、数据预处理等工作。数据预处理过程包括数据清理、数据集成、数据转换等。
数据清理主要包括数据格式标准化、异常数据识别、错误纠正、重复数据清除等。由于各情报源所处环境不同,尤其是战时,受敌方干扰或者恶劣环境影响,很容易出现错误或者不规范的情报信息,数据清理过程需要对多源传感器数据进行净化与筛选处理,减少噪声影响,识别异常信息,并利用情报还原技术及时从其中获得有用信息。在情报数据清理的过程中,应根据情报计划进行必要的对照检查,防止对重要情报的遗漏,对未达到要求的情报内容要及时进行补充收集。
数据集成是将多个情报源中获得的数据结合起来并统一存储,是构建关联型数据库的重要手段。通过构建目标情报信息模型、态势预测模型,分别采用数据级、特征级、决策级的数据集中关联实现多源情报信息的综合集成,可以获得面向情报对象的全方面、一体化的情报资源。
数据转换是通过规范化和平滑聚集,将数据信息和数据结构转换为适合情报处理的数据。由于各情报源输出的数据形式、对环境的描述和说明等都不一样,为了综合处理这些不同来源的信息,需要将其转换成相同的形式和描述。例如,将监视目标的位置信息的连续变化转变为动向情报的节点式间断变化,将各个绝对坐标转变为参考同一参照物的相对坐标等都属于情报转换的重要手段,可以为后续的情报分析提供便利。
大数据时代的数据预处理与传统的预处理区别在于,大数据时代的预处理考虑数据的可扩展性,可以接受传统数据时代所忽略的非结构化数据,并能从所谓的“数据废气”中挖掘潜在价值。传统的数据预处理还包括数据归约,主要用来得到数据集的归约表示,大大精简数据量以缩短挖掘分析的时间。但是随着大数据计算和大数据分析技术的发展,对全量数据的处理时间大大缩短,盲目的数据归约反而会导致信息的丢失,得不偿失。
2.4 情报数据存储
面向大数据的情报系统需要对多源异构的海量数据提供高容错、可扩展、主动交互的数据存储服务,对情报信息数据的存储管理包括巨量数据存储结构、全媒体多格式数据的快速容差处理、高增量数据的快速分类处理、信息可靠性初级评估、组合与迁移、数据备份、容灾与安全等。
情报数据可以分为结构化数据、非结构化数据和半结构化数据。结构化的数据是情报源和情报预处理系统根据事先明确的要求,以规范好的格式和顺序给出的数据。例如以经、纬度确定目标的位置信息,用年、月、日、秒确定情报事件的时间点等。非结构化的情报则指那些被动接收、无法事先规定格式的数据,文本数据、视频数据、音频数据都属于这个范畴。半结构化数据则是两者的结合,以公开情报最重要的来源网络日志为例,它既具有符合WeB传输规范的结构化文本格式,它的内容文本却是非结构化的。情报存储子系统应该构建关联型的数据库集群,既支持结构化数据存储,又支持非结构化和半结构化的数据存储。此外,虽然非关系型(NoSQL)数据库是目前大数据系统的大势所趋,具有存储速度快、可扩展性高等特点,但是传统的关系型数据库由于严格格式化并且设计成熟,是有针对性的情报系统必不可少的存储方式。新一代的情报数据存储应该综合关系型数据库和非关系型(NoSQL)数据库,为情报融合和情报关联预测提供支撑。
情报系统中数据的存储方式与处理速度密切相关,面向大数据的情报系统不仅对存储的性能和容量提出了新的要求,还需具备快速的数据检索与分析能力来随时提取有价值的信息和数据。因此,各数据库集群应采用分布式存储,以提高系统可靠性和可扩展性,为分布式的情报分析模式提供基础。分布式存储系统利用网络中物理上独立的存储设备来分担存储负荷,通过映射关系实现逻辑上统一的存储空间。与此同时,由多台计算机并行管理与使用形成强大处理能力的分布式文件系统也必不可少。当前,开源分布式处理平台Hadoop[6]是广泛使用的一种云计算支撑架构,它的HDFS分布式文件系统将计算节点和存储节点合二为一,提供了低成本、高效率的大型计算机集群模型;同时,Hadoop的HBase分布式数据库和MapReduce处理框架分别提供了非结构化数据存储能力和大数据快速分析能力,可作为新一代情报系统的平台参考。
需要指出的是,由于分布式存储的基本特征使用户失去了对数据的绝对控制权,使得分布式存储产生了特有的安全隐患。因此,情报系统需要综合考虑安全性与海量数据存储性能的得与失,从访问安全性、存储安全性和数据备份安全性等方面出发,添加适合情报系统的特定解决方案,设计并采用同时满足性能要求和安全要求的专用分布式存储系统。例如,分别针对公开来源情报和军事侦察情报,分别采用公有云、私有云以及混合云等不同形式的存储方式,满足不同的安全级别要求。
2.5 情报分析
大数据的核心意义并不在于数据量之大,而在于通过对海量数据进行整合和分析,发现新知识,创造新价值。美国国防部对情报分析的定义为“通过对全源数据进行综合、评估、分析和解读,将处理过的信息转换为情报以满足已知或预期的用户需求的过程”。强调“全源数据”,与大数据的发展趋势不谋而合。因此,对搜集的数据进行信息挖掘、数据分析和信息融合,是情报系统的重中之重。
信息挖掘是对已预处理的数据进行关联、分类、聚类、偏差分析等,从中发现有价值的知识和模式。情报系统中,主要通过信息分类、信息整编、信息索引、信息标注、信息关联、模式识别以及推理判断等技术,以聚类统计分析和规则假设推理的方法来揭示隐藏的、未知的或验证已知的模式与规律,挖掘出有价值的情报。海量处理对象的需求和情报系统的实时性要求使面向大数据的信息挖掘要依托云计算技术和大数据分析技术进行分布式并行处理,配合情报搜集和存储阶段的云存储模式,提供符合要求的情报挖掘服务。
通过信息挖掘得到的知识和模式还不能直接作为决策的知识,需要进一步分析才能真正转化为有用的情报。新阶段的情报分析应该实现可视化分析、智能化分析和预测性分析。可视化分析是面向大数据分析专家和情报用户的,能够直观地呈现大数据特点,让数据自己说明结果。智能化分析使情报系统能够自动从数据中发现有用信息,大幅提高了将情报优势转化为决策优势的过程的时效性和准确性,是大数据时代必备的要求。预测性分析是大数据技术的核心应用,是根据已知情报信息对将来和未知的情报信息的大数据分析过程。此外,随着网络空间攻防战的日益激烈,分析监视数据并提供实时警告也是情报分析的重要任务。
信息融合是对来自多源的数据和多维度信息进行检测、互联、相关、估计和综合等多层次多方面的处理,以获得准确的状态和身份认证,完整而及时的战场态势和威胁评估。信息融合利用了不同信息间的互补性和多元信息的冗余性,既可以产生较低层次上的状态和身份评估,也可以获得较高层次上的战术态势评估与威胁评估。以美国陆军的全源信息分析系统(ASAS)为例,现代情报分析系统采用计算机、视频显示终端盒保密无线电通信设备组成混合系统,把数据搜集和存储阶段生成的信息进行互相补充、验证、比较和分析,从中得到综合性的情报和近实时的战场态势图。此外,针对情报分析的结果,应形成对情报产品的分类管理,按照情报的类别确定保障范围和条件,为后续的情报分发过程提供支撑。
基于大数据的情报分析系统基于分布式海量数据存储与计算环境和丰富的数据分析和挖掘方法,提供智能化、可视化及预测性的分析服务,融合多源情报,通过网络提供情报分析服务。情报分析服务的网络服务特性,实现了情报生产者和情报用户的交流和互动,让处于不同位置、隶属于不同部门的情报用户和专家参与分析,通过“个性化”定制的情报分析,使情报产品更加具有针对性和灵活性。
2.6 情报分发
情报系统在形成各类情报产品之后,还需建立高效、快捷以及安全的情报分发机制。面向大数据的情报分发应实现按需分发,主要功能和阶段包括用户需求订阅、情报分发处理、分发路径优选与通信保障、情报分发监控、情报共享等。
用户需求订阅功能需要按照用户的情报保障级别,限定其订阅范围和类型,经审核后按照用户需求生成情报订阅指令,然后提交给分发控制系统。
情报分发处理阶段根据情报订阅指令,对情报产品库中的产品进行信息过滤、裁剪以及模糊处理,确定对应的分发策略。
分发路径优选与通信保障则是为了保障情报分发的时效性和可靠性,自动选取传输链路和最优路由,并通过接收确认、断链重传等可靠性传输机制传播情报。
情报分发监控则是对情报分发过程的实时监控能力,一方面要避免情报被窃取或者错误分发,另一方面要避免在通信中断或情报系统失效的情况下出现用户死等现象。在以上情况发生时,示警并激活应急机制,实现准确和不间断的情报保障。
情报共享是实现情报协调的基础,既包括垂直性的上级向多个下级机关的情报通告,也包括平行性的情报传阅。通过分布式系统实现的情报共享机制,有利于提高一体化联合战争大环境下的协同作战能力。
2.7 情报服务
情报服务是情报系统呈现在用户面前的直观形态,直接关系到情报系统的保障能力和应用能力,它的核心目标是能够实现“网络中心、即插即用、按需共享、动态重组”的情报信息共享能力,主要包括情报信息管理、情报服务应用、信息服务传输和情报服务交互等功能。
情报信息管理是通过建设情报信息平台的方式,对情报信息资源进行整编和索引,实现情报产品的统一入库和管理;情报服务应用是以情报信息为中心,针对不同的情报业务需求,设计自动化的情报应用和部署,增强情报信息面向战役战术应用的支撑能力;信息服务传输是在情报分发层通信链路的基础上,从逻辑层面进一步优化情报信息传输的流程,减少传输过程的信息冗余,提升情报信息传输能力;情报服务交互是在用户终端方面,通过Web服务接入、可视化、人机交互等技术实现对各类情报资源的访问和共享。
2.8 安全服务
军事情报网络的安全性至关重要,安全服务应贯穿情报系统的始终。情报系统的各个阶段应提供身份认证、访问授权、分级管理、密码管理、容灾备份、数据校验等安全功能,来保障数据传输和访问安全以及数据存储安全。数据传输和访问方面,当用户在登陆情报系统的云服务器时,需要验证用户的信任等级,不同的用户级别拥有不同的用户使用权限,这些靠身份认证、访问授权、分级管理和密码管理等机制实现。数据存储安全方面,为防止重大事故和复杂的战争环境导致数据无法恢复,分布式存储的各个数据中心应定期进行情报数据的备份,并提供短时间的数据恢复能力。此外,由于情报数据在云中集中存储,任何用户获取或者上传的情报必须经过云的安全框架认证,这样可以有效确保数据的完整可靠安全。
3. 大数据时代情报系统的展望
面向大数据的情报系统以区域性情报中心及高速互联网为基础设施,以互联网服务体系为架构,以大数据存储、云计算、信息挖掘、交互式可视化分析、并行处理等关键技术为支撑,通过情报服务平台和多样化移动智能终端及移动互联网为用户提供情报搜集、情报处理和情报分发服务。
3.1 大数据存储推动情报搜集深入化
随着大数据技术的兴起,本来无用的数据也可能成为新的情报触发点,情报搜集的重点已经开始向追求数据的全面性和海量化转变。侦察监视传感器的种类和数量将越来越多,传感器网络进一步互联、互通、互操作,导致情报监视范围更广,情报数据更多样。情报搜集工作将深入社会的各个方面,公开来源情报的价值、地位和影响将彻底转变。
3.2 大数据分析支撑情报处理智能化
海量的大数据存储要求情报分析从人工分析转向以自动关联为中心的智能化分析,可视化分析和预测性分析都依赖于对情报信息的智能化处理。在海湾战争和伊拉克战争中,先进的智能化情报处理技术已经发挥了关键性作用。在大数据技术蓬勃发展的将来,人力与数据量的鸿沟将使智能化情报处理的优越性进一步彰显,在信息处理能力、准确性、可靠性、稳定性以及处理时间等方面发挥巨大信息优势。未来的信息化战争,很可能是在智能化情报处理系统方面的对决。
3.3 大数据服务开启情报分发网状化
大数据时代,基于情报产品的分布式存储和情报分析的并行处理,情报分发网络有望从以一个或多个国家情报中心和区域情报中心的星形结构转向网状化结构。各情报分发节点既可以和上下级节点通信,又可以和平级节点通信,分发路径增多,情报协作更加灵活,但需加强情报安全保障。
更多内容请关注:www.imefuture.com
来源: 战略前沿技术 查看全部
引 言
随着传感器技术、物联网技术和移动终端技术的发展,数据与信息在各个方面都呈爆发式增长,数据类别(Variety)多样化、数据容积(Volume)海量化、数据价值(Value)增值化驱使各种社会服务开始对海量数据进行分析和挖掘。同时,云计算技术、并行处理技术和分布式架构技术为数据处理速度(Velocity)迅捷化提供了技术基础和支撑。基于以上特征,大数据概念正在推动生活、工作和思维的大变革。《大数据时代》一书指出,在大数据时代,信息技术变革的重点应该从技术转向信息本身,放眼于全体数据,接受不精确的非结构化数据,关注数据的关联性。
现代战争已经发展成为陆、海、空、天、电磁、网络等多空间、全方位的立体化战争,以使用信息化武器为标志,形成了数字化部队和以网络为中心的作战体系。在这种作战体系下,制信息权成为决定战争胜负的关键,情报系统作为争夺制信息权的核心,已成为现代战争的灵魂。情报是对利用侦察与监视手段或其他方法收集来的数据和信息,进行处理、综合、分析、评价和解释而得到的信息产品。由情报的定义可以看出,数据和信息是情报的主体。大数据时代数据和信息环境的变化,要求情报服务的构建以数据为中心,结合新的大数据相关技术,为军事行动和作战指挥提供更加科学、精确、及时、到位的决策依据。
1. 情报系统功能
情报系统是为实现情报搜集、加工、存储、检索和传递的系统。在大数据时代,庞大而复杂的数据考验着情报系统的技术体系结构和数据处理能力;另一方面,信息化作战的突发性和速决性对情报系统的实时、分布式分发能力提出了新的要求。为适应大数据和信息化作战的要求,我们将情报系统的功能分为核心层、业务层和支撑层三层(见图1)。核心层进行情报计划和准备,对业务层进行指导;业务层将情报活动分为情报搜集、情报处理、情报分发等三大部分;支撑层是对情报活动三个阶段的具体化。
1.1 核心层
情报系统的核心层功能就是从战略、战役、战术层面为军事行动的指挥决策提供详细的情报数据以及综合性的和快速反应的情报能力。无论是战时还是平时,只有依赖准确、及时的情报,才能做出正确、迅速的指挥和决策。在战略层面,情报系统需要查明有关国家、地区、集团的战略方针、企图、方向、部署、武装力量数量、作战指导思想、战略措施、战争潜力等情况;在战术和战役层面,情报系统需要提供敌方企图、行动方向、战斗编成、兵力部署、主要装备、工事、障碍、作战能力、作战特点、指挥官、指挥机构、通信枢纽以及作战地区的地理、水文、气象、社会等情况。
1.2 业务层
收集、处理、发布是各种信息处理系统的基本流程,情报系统作为典型的以信息和数据为中心的系统,对应的需要支持情报搜集、情报分析与生产和情报分发等三项基本功能。情报搜集是基础,通过各种情报源获得最初的情报数据,这些数据有的可以作为直接的情报产品,有的则需要经过进一步处理;情报分析是灵魂,负责对情报搜集得到的信息和数据进行处理,结构化情报数据,从其中挖掘出潜在的有用信息;情报分发是表现,分发过程的及时性和针对性直接影响情报对指挥决策的辅助效果。
图1 情报系统功能
1.3 支撑层
情报系统的支撑层功能主要包括:
a)侦察监视。这是获取情报的手段,通过有时限的侦察和连续性的监视可以获得7种主要的情报类型:图形情报、信号情报、测量和特征情报、人工情报、公开来源情报、技术情报和反情报。
b)信息挖掘。这是链接情报搜集和情报处理的重要功能,信息处理技术历经了人工分析阶段、自动化管理阶段、智能化综合处理阶段等三个阶段,已经形成了各种手段综合利用的现代化信息挖掘技术。
c)态势生成。态势生成时随着可视化技术发展起来的情报的图形化表达,可以分为平时和战时两种类型,平时态势主要包括战略部署、武器装备情况、军事重点分布等,战时态势则进一步包括战场态势涉及的兵力部署、敌方动向、地理数据和气象电磁信息等。
d)威胁预警。通过实力估计、预测敌方意图、威胁识别、进攻和防御分析等多方面的评估,情报系统需要实现及时、准确的威胁预警功能。
e)战场支援。通过情报系统的综合运转,在目标引导、部队部署、毁伤评估等方面为战场提供支援。
f)效果评估。为推动情报系统的发展和优化的推动,需要在情报活动的各个阶段对其进行评估,检验情报工作的效果,确保用户的情报需求得到充分满足。
2. 基于大数据的情报系统架构
图2 面向大数据的情报系统架构
美国情报基础理论历经了从情报周期(Intelligence Cycle)到情报流程(Intelligence Process)的转变,从最初的情报环路到强调情报活动之间的有机联系,最终在2000年版的《联合作战情报支援条令》将情报流程定义为计划与指导、搜集、处理与加工、分析与生产、分发与整合、评估与反馈。实际构建情报系统的过程中,计划与评估需要相互关联;同时,大数据时代带来的海量信息对数据采集和存储提出了新的要求;此外,由于情报的各个阶段活动趋向于分布式和网状化,需要情报系统提供安全保障服务。综合以上考虑,情报系统的体系架构设计如图2所示。
2.1 情报计划与评估
情报计划的过程主要是根据战略和作战态势的实时变化情况,在分析情报需求的基础上,综合考虑可用的侦察资源、情报系统能力、情报技术现状等各个方面,指定情报系统在何时、何地针对何种对象进行情报活动,确定情报服务指标和要求,并根据各种军事、社会环境的变化修订相应的情报计划。情报计划子系统需要提供需求汇集、情况收集、分析判断、计划制定、计划推演、计划分发以及计划调整等服务。
情报评估是根据所收集的情况信息,评估和评价情报活动是否完成了情报计划指定的情报指标和要求,以确保情报需求获得满足。情报计划与情报评估相互印证,以情报需求为中心,是情报系统的关键,贯穿并影响情报活动的各个方面,连续不间断的进行。
大数据时代对情报计划和评估系统的影响首先是思维上的转变,情报计划的确定要考虑海量数据的相互关联和情报数据的实时变化,从而更注重预测性和时效性;其次,计划和评估过程要争取实现信息化、智能化、服务化,以应对人力与大数据之间的巨大差距。
2.2 情报搜集
各种情报搜集设施是情报系统的根本,没有情报搜集,情报活动就无从谈起。大数据对情报搜集的影响体现在情报来源越来越多样,情报数据越来越复杂。当前的军事情报系统从陆海空天电网一体化作战出发,建立了陆基侦察、海基侦察、空基侦察、天基侦察、电磁侦察、网络侦查、人力侦察和公开来源等军事情报源,其中,公开来源的情报信息往往被低估甚至忽视。大数据兴起的新时期,公开信息情报的政治和军事优势得天独厚并且成本低廉,能够在在全球范围内,针对所有秘密情报视野之外的海量数据开展情报搜集工作。2012年,奥巴马政府提出,对数据的占有和控制权将成为继陆权、海权、空权等传统权利之外的另一项国家核心资产。丰富情报系统的情报搜集手段,是争夺和扩大数据占有和控制权的重要表现。
2.3 数据预处理
数据预处理子系统将来自各种战场传感器、人力侦察和公开来源的情报信息安全、可靠、快速地传送至情报处理系统,主要进行接入汇集、数据预处理等工作。数据预处理过程包括数据清理、数据集成、数据转换等。
数据清理主要包括数据格式标准化、异常数据识别、错误纠正、重复数据清除等。由于各情报源所处环境不同,尤其是战时,受敌方干扰或者恶劣环境影响,很容易出现错误或者不规范的情报信息,数据清理过程需要对多源传感器数据进行净化与筛选处理,减少噪声影响,识别异常信息,并利用情报还原技术及时从其中获得有用信息。在情报数据清理的过程中,应根据情报计划进行必要的对照检查,防止对重要情报的遗漏,对未达到要求的情报内容要及时进行补充收集。
数据集成是将多个情报源中获得的数据结合起来并统一存储,是构建关联型数据库的重要手段。通过构建目标情报信息模型、态势预测模型,分别采用数据级、特征级、决策级的数据集中关联实现多源情报信息的综合集成,可以获得面向情报对象的全方面、一体化的情报资源。
数据转换是通过规范化和平滑聚集,将数据信息和数据结构转换为适合情报处理的数据。由于各情报源输出的数据形式、对环境的描述和说明等都不一样,为了综合处理这些不同来源的信息,需要将其转换成相同的形式和描述。例如,将监视目标的位置信息的连续变化转变为动向情报的节点式间断变化,将各个绝对坐标转变为参考同一参照物的相对坐标等都属于情报转换的重要手段,可以为后续的情报分析提供便利。
大数据时代的数据预处理与传统的预处理区别在于,大数据时代的预处理考虑数据的可扩展性,可以接受传统数据时代所忽略的非结构化数据,并能从所谓的“数据废气”中挖掘潜在价值。传统的数据预处理还包括数据归约,主要用来得到数据集的归约表示,大大精简数据量以缩短挖掘分析的时间。但是随着大数据计算和大数据分析技术的发展,对全量数据的处理时间大大缩短,盲目的数据归约反而会导致信息的丢失,得不偿失。
2.4 情报数据存储
面向大数据的情报系统需要对多源异构的海量数据提供高容错、可扩展、主动交互的数据存储服务,对情报信息数据的存储管理包括巨量数据存储结构、全媒体多格式数据的快速容差处理、高增量数据的快速分类处理、信息可靠性初级评估、组合与迁移、数据备份、容灾与安全等。
情报数据可以分为结构化数据、非结构化数据和半结构化数据。结构化的数据是情报源和情报预处理系统根据事先明确的要求,以规范好的格式和顺序给出的数据。例如以经、纬度确定目标的位置信息,用年、月、日、秒确定情报事件的时间点等。非结构化的情报则指那些被动接收、无法事先规定格式的数据,文本数据、视频数据、音频数据都属于这个范畴。半结构化数据则是两者的结合,以公开情报最重要的来源网络日志为例,它既具有符合WeB传输规范的结构化文本格式,它的内容文本却是非结构化的。情报存储子系统应该构建关联型的数据库集群,既支持结构化数据存储,又支持非结构化和半结构化的数据存储。此外,虽然非关系型(NoSQL)数据库是目前大数据系统的大势所趋,具有存储速度快、可扩展性高等特点,但是传统的关系型数据库由于严格格式化并且设计成熟,是有针对性的情报系统必不可少的存储方式。新一代的情报数据存储应该综合关系型数据库和非关系型(NoSQL)数据库,为情报融合和情报关联预测提供支撑。
情报系统中数据的存储方式与处理速度密切相关,面向大数据的情报系统不仅对存储的性能和容量提出了新的要求,还需具备快速的数据检索与分析能力来随时提取有价值的信息和数据。因此,各数据库集群应采用分布式存储,以提高系统可靠性和可扩展性,为分布式的情报分析模式提供基础。分布式存储系统利用网络中物理上独立的存储设备来分担存储负荷,通过映射关系实现逻辑上统一的存储空间。与此同时,由多台计算机并行管理与使用形成强大处理能力的分布式文件系统也必不可少。当前,开源分布式处理平台Hadoop[6]是广泛使用的一种云计算支撑架构,它的HDFS分布式文件系统将计算节点和存储节点合二为一,提供了低成本、高效率的大型计算机集群模型;同时,Hadoop的HBase分布式数据库和MapReduce处理框架分别提供了非结构化数据存储能力和大数据快速分析能力,可作为新一代情报系统的平台参考。
需要指出的是,由于分布式存储的基本特征使用户失去了对数据的绝对控制权,使得分布式存储产生了特有的安全隐患。因此,情报系统需要综合考虑安全性与海量数据存储性能的得与失,从访问安全性、存储安全性和数据备份安全性等方面出发,添加适合情报系统的特定解决方案,设计并采用同时满足性能要求和安全要求的专用分布式存储系统。例如,分别针对公开来源情报和军事侦察情报,分别采用公有云、私有云以及混合云等不同形式的存储方式,满足不同的安全级别要求。
2.5 情报分析
大数据的核心意义并不在于数据量之大,而在于通过对海量数据进行整合和分析,发现新知识,创造新价值。美国国防部对情报分析的定义为“通过对全源数据进行综合、评估、分析和解读,将处理过的信息转换为情报以满足已知或预期的用户需求的过程”。强调“全源数据”,与大数据的发展趋势不谋而合。因此,对搜集的数据进行信息挖掘、数据分析和信息融合,是情报系统的重中之重。
信息挖掘是对已预处理的数据进行关联、分类、聚类、偏差分析等,从中发现有价值的知识和模式。情报系统中,主要通过信息分类、信息整编、信息索引、信息标注、信息关联、模式识别以及推理判断等技术,以聚类统计分析和规则假设推理的方法来揭示隐藏的、未知的或验证已知的模式与规律,挖掘出有价值的情报。海量处理对象的需求和情报系统的实时性要求使面向大数据的信息挖掘要依托云计算技术和大数据分析技术进行分布式并行处理,配合情报搜集和存储阶段的云存储模式,提供符合要求的情报挖掘服务。
通过信息挖掘得到的知识和模式还不能直接作为决策的知识,需要进一步分析才能真正转化为有用的情报。新阶段的情报分析应该实现可视化分析、智能化分析和预测性分析。可视化分析是面向大数据分析专家和情报用户的,能够直观地呈现大数据特点,让数据自己说明结果。智能化分析使情报系统能够自动从数据中发现有用信息,大幅提高了将情报优势转化为决策优势的过程的时效性和准确性,是大数据时代必备的要求。预测性分析是大数据技术的核心应用,是根据已知情报信息对将来和未知的情报信息的大数据分析过程。此外,随着网络空间攻防战的日益激烈,分析监视数据并提供实时警告也是情报分析的重要任务。
信息融合是对来自多源的数据和多维度信息进行检测、互联、相关、估计和综合等多层次多方面的处理,以获得准确的状态和身份认证,完整而及时的战场态势和威胁评估。信息融合利用了不同信息间的互补性和多元信息的冗余性,既可以产生较低层次上的状态和身份评估,也可以获得较高层次上的战术态势评估与威胁评估。以美国陆军的全源信息分析系统(ASAS)为例,现代情报分析系统采用计算机、视频显示终端盒保密无线电通信设备组成混合系统,把数据搜集和存储阶段生成的信息进行互相补充、验证、比较和分析,从中得到综合性的情报和近实时的战场态势图。此外,针对情报分析的结果,应形成对情报产品的分类管理,按照情报的类别确定保障范围和条件,为后续的情报分发过程提供支撑。
基于大数据的情报分析系统基于分布式海量数据存储与计算环境和丰富的数据分析和挖掘方法,提供智能化、可视化及预测性的分析服务,融合多源情报,通过网络提供情报分析服务。情报分析服务的网络服务特性,实现了情报生产者和情报用户的交流和互动,让处于不同位置、隶属于不同部门的情报用户和专家参与分析,通过“个性化”定制的情报分析,使情报产品更加具有针对性和灵活性。
2.6 情报分发
情报系统在形成各类情报产品之后,还需建立高效、快捷以及安全的情报分发机制。面向大数据的情报分发应实现按需分发,主要功能和阶段包括用户需求订阅、情报分发处理、分发路径优选与通信保障、情报分发监控、情报共享等。
用户需求订阅功能需要按照用户的情报保障级别,限定其订阅范围和类型,经审核后按照用户需求生成情报订阅指令,然后提交给分发控制系统。
情报分发处理阶段根据情报订阅指令,对情报产品库中的产品进行信息过滤、裁剪以及模糊处理,确定对应的分发策略。
分发路径优选与通信保障则是为了保障情报分发的时效性和可靠性,自动选取传输链路和最优路由,并通过接收确认、断链重传等可靠性传输机制传播情报。
情报分发监控则是对情报分发过程的实时监控能力,一方面要避免情报被窃取或者错误分发,另一方面要避免在通信中断或情报系统失效的情况下出现用户死等现象。在以上情况发生时,示警并激活应急机制,实现准确和不间断的情报保障。
情报共享是实现情报协调的基础,既包括垂直性的上级向多个下级机关的情报通告,也包括平行性的情报传阅。通过分布式系统实现的情报共享机制,有利于提高一体化联合战争大环境下的协同作战能力。
2.7 情报服务
情报服务是情报系统呈现在用户面前的直观形态,直接关系到情报系统的保障能力和应用能力,它的核心目标是能够实现“网络中心、即插即用、按需共享、动态重组”的情报信息共享能力,主要包括情报信息管理、情报服务应用、信息服务传输和情报服务交互等功能。
情报信息管理是通过建设情报信息平台的方式,对情报信息资源进行整编和索引,实现情报产品的统一入库和管理;情报服务应用是以情报信息为中心,针对不同的情报业务需求,设计自动化的情报应用和部署,增强情报信息面向战役战术应用的支撑能力;信息服务传输是在情报分发层通信链路的基础上,从逻辑层面进一步优化情报信息传输的流程,减少传输过程的信息冗余,提升情报信息传输能力;情报服务交互是在用户终端方面,通过Web服务接入、可视化、人机交互等技术实现对各类情报资源的访问和共享。
2.8 安全服务
军事情报网络的安全性至关重要,安全服务应贯穿情报系统的始终。情报系统的各个阶段应提供身份认证、访问授权、分级管理、密码管理、容灾备份、数据校验等安全功能,来保障数据传输和访问安全以及数据存储安全。数据传输和访问方面,当用户在登陆情报系统的云服务器时,需要验证用户的信任等级,不同的用户级别拥有不同的用户使用权限,这些靠身份认证、访问授权、分级管理和密码管理等机制实现。数据存储安全方面,为防止重大事故和复杂的战争环境导致数据无法恢复,分布式存储的各个数据中心应定期进行情报数据的备份,并提供短时间的数据恢复能力。此外,由于情报数据在云中集中存储,任何用户获取或者上传的情报必须经过云的安全框架认证,这样可以有效确保数据的完整可靠安全。
3. 大数据时代情报系统的展望
面向大数据的情报系统以区域性情报中心及高速互联网为基础设施,以互联网服务体系为架构,以大数据存储、云计算、信息挖掘、交互式可视化分析、并行处理等关键技术为支撑,通过情报服务平台和多样化移动智能终端及移动互联网为用户提供情报搜集、情报处理和情报分发服务。
3.1 大数据存储推动情报搜集深入化
随着大数据技术的兴起,本来无用的数据也可能成为新的情报触发点,情报搜集的重点已经开始向追求数据的全面性和海量化转变。侦察监视传感器的种类和数量将越来越多,传感器网络进一步互联、互通、互操作,导致情报监视范围更广,情报数据更多样。情报搜集工作将深入社会的各个方面,公开来源情报的价值、地位和影响将彻底转变。
3.2 大数据分析支撑情报处理智能化
海量的大数据存储要求情报分析从人工分析转向以自动关联为中心的智能化分析,可视化分析和预测性分析都依赖于对情报信息的智能化处理。在海湾战争和伊拉克战争中,先进的智能化情报处理技术已经发挥了关键性作用。在大数据技术蓬勃发展的将来,人力与数据量的鸿沟将使智能化情报处理的优越性进一步彰显,在信息处理能力、准确性、可靠性、稳定性以及处理时间等方面发挥巨大信息优势。未来的信息化战争,很可能是在智能化情报处理系统方面的对决。
3.3 大数据服务开启情报分发网状化
大数据时代,基于情报产品的分布式存储和情报分析的并行处理,情报分发网络有望从以一个或多个国家情报中心和区域情报中心的星形结构转向网状化结构。各情报分发节点既可以和上下级节点通信,又可以和平级节点通信,分发路径增多,情报协作更加灵活,但需加强情报安全保障。
更多内容请关注:www.imefuture.com
来源: 战略前沿技术
超1/3企业已应用大数据(附报告下载)
工业大数据 南巷孤人 2017-03-29 15:15 发表了文章
会上发布了《中国大数据发展调查报告(2017)》。报告亮点如下:
2016年中国大数据市场规模168亿元,预计2017-2020年仍将保持30%以上的增长。
近六成企业已成立数据分析相关部门,超过1/3的企业已应用大数据。
大数据应用为企业带来的最明显效果是实现了智能决策和提升了运营效率。
摘要:随着大数据政策环境和技术手段的不断完善,大数据行业应用持续升温,中国企业级大数据市场进入快速发展时期。互联网、电信、金融等开始实际部署大数据平台 并付诸实践,带动软件、硬件和服务市场快速发展。为进一步掌握中国大数据发展和应用情况 ,中国信息通信研究院开展了2016—2017年度中国大数据发展状况的调查。本报告以调查数据为基础,结合行业专家的访谈,力争详实客 观的反映中国大数据发展现状,为政府和企业了解中国大数据发展状况和制定相关决 策提供参考,也为广大关注大数据的从业人员、专家学者和研究机构提供真实可信的 大数据发展报告。
更多内容请关注:www.imefuture.com
来源:微信公众号 走向智能论坛 查看全部
会上发布了《中国大数据发展调查报告(2017)》。报告亮点如下:
2016年中国大数据市场规模168亿元,预计2017-2020年仍将保持30%以上的增长。
近六成企业已成立数据分析相关部门,超过1/3的企业已应用大数据。
大数据应用为企业带来的最明显效果是实现了智能决策和提升了运营效率。
摘要:随着大数据政策环境和技术手段的不断完善,大数据行业应用持续升温,中国企业级大数据市场进入快速发展时期。互联网、电信、金融等开始实际部署大数据平台 并付诸实践,带动软件、硬件和服务市场快速发展。为进一步掌握中国大数据发展和应用情况 ,中国信息通信研究院开展了2016—2017年度中国大数据发展状况的调查。本报告以调查数据为基础,结合行业专家的访谈,力争详实客 观的反映中国大数据发展现状,为政府和企业了解中国大数据发展状况和制定相关决 策提供参考,也为广大关注大数据的从业人员、专家学者和研究机构提供真实可信的 大数据发展报告。
更多内容请关注:www.imefuture.com
来源:微信公众号 走向智能论坛
过分依赖大数据让乐高面临破产,让其转危为安的竟是一双旧鞋中的小数据
工业大数据 烈酒暖心 2017-03-17 17:45 发表了文章
面对销售额的持续下滑,乐高找来了世界知名的营销大师马丁·林斯特龙,期待林斯特龙能够将乐高从低迷的业绩中拯救出来。林斯特龙从挖掘一双就运动鞋中的小数据出发,寻找用户需求,最终让乐高转危为安。
过分依赖大数据让乐高面临破产
这家丹麦玩具商怎么突然落到这步田地?乐高的问题大概要追溯到1981 年。当时,世界上第一款掌上游戏《大金刚》上市。于是,在乐高内部掀起了一场辩论——对组装玩具的未来而言,任天堂这样的游戏平台是不是他们最大的竞争对手?
林斯特龙发现,从20 世纪90 年代中叶起,乐高开始从聚焦核心产品积木,转而分散精力发展主题公园、儿童服饰、视频游戏、图书杂志、电视节目和零售商场。乐高之所以这样做,是因为大数据告诉他们:未来的几代人会对乐高失去兴趣。
没错,电脑游戏的诞生似乎宣告了一个事实:成长于信息时代的群体没时间,也没耐心玩乐高。
2004 年,乐高公司向林斯特龙咨询,其开始负责公司的整体品牌战略。林斯特龙不想乐高放弃一直以来的强项。为了帮乐高寻找新的生机,林斯特龙同乐高的高层于2004年年初到了一个德国中型城市。在那里,他们见到了一位11 岁的男孩。这位11 岁的德国男孩不仅是乐高迷,还是狂热的滑板爱好者。当被问到最钟爱的东西时,他指了指一双破旧的阿迪达斯运动鞋,鞋子一侧还有皱纹和凹陷。他说,这双鞋是他的战利品,是他的金牌,是他的杰作。不仅这样,这双鞋还是一种证明。他把鞋举起来,让屋里的人都能看清。他解释说,鞋子的一面穿破了,右鞋帮磨坏了,鞋跟也明显磨平了。这双鞋的整体外观和给外界的印象都很完美。这双鞋向男孩、男孩的朋友和整个世界表明,他是这个城市里最棒的滑板运动员。
挖掘一双运动鞋中蕴含的小数据
11 岁德国男孩的阿迪达斯旧鞋,给团队带来了灵感。他们意识到,孩子们要想在同龄人中获得社会存在感,就要具备一种高超的技能。无论这种技能是什么,只要值得花心思、花精力去做——对孩子来说,就是付出努力,最后有所呈现——在这个德国男孩的例子里,就是一双大多数成年人不愿看第二眼的旧鞋。
在这之前,乐高的决策还完全依赖于大数据。然而,最终是对一位滑板爱好者和乐高迷的运动鞋的不经意的一瞥,扭转了这家公司的局面。他们找到了重新定义品牌的方法。从那时起,乐高重新将精力回归核心产品,:首先,它出售了主题公园;接下来,它签下了《哈利·波特》《星球大战》和《巴布工程师》的品牌特许权;最后,它削减了产品数量,不仅把积木重新设定为标准尺寸,积木更注重细节,安装手册更精确,游戏挑战更有难度。
对用户来说,乐高似乎在召唤人们克服困难,刺激人们掌握技巧。尤其重要的是,它是一种来之不易的体验——只有掌握复杂的预测分析方法,才能达到平均分,只是方法不好掌握。
10 年后,在2014 年上半年,随着《乐高大电影》和相关商品的全球大卖,乐高销售额上升了11% ,超过20 亿美元。乐高第一次超越美泰,成为全球最大的玩具生产商。
俗话说,想了解动物的生存方式,不是去动物园,而是去丛林。我就是这么做的。通过观察和分析,我发现,总有消费者的欲望未被满足,或未被发现。而这种欲望,正是新品牌开发、产品创新和企业发展的基础。
痛点:挖掘小数据满足用户需求
这种能反应消费者特性的东西被称之为“小数据”——我们每天偶然表现出的礼节、习惯、手势和偏爱,合在一起暴露了我们真实的内在。我们吃什么快餐,我们在Facebook和推特上发什么,吃什么口味的口香糖——乍看起来,这些小细节似乎杂乱无章,毫无导向,微不足道,展现不出多少特性。但是,当我们开始通过陌生的小数据看待生活时,我们也发现了认识周围人的线索,包括我们自己。
小数据可能存在于微波炉、药盒或脸书相册里。它可能在以色列特拉维夫市浴室的牙刷架上,或者是巴西北部浴室墙上的一卷厕纸;它可能出现在走廊的鞋柜里,或者是组成个人电脑密码的无序字母和数字。
为什么大多数人打电话时都喜欢绕圈走,好像要建起一道隐私墙?为什么我们饿了或渴了时,打开冰箱门后会上下瞄一眼,然后关上冰箱门,过一会儿又重复同样的动作?我们约会迟到,为什么不怪自己,却借口说闹钟不准?我们在机场、火车站或摇滚乐会时,为什么会觉得周围都是普通人,却没意识到,我们跟他们做着一样的事?为什么许多做创意的人在冲澡或看见水时,才能灵光一现?
一些公司请我当顾问,就是为了弄清人们的真实需求,反过来再想办法满足需求。我的头衔可能是“品牌顾问”,不过,大多数机构请我去是当巡回侦探。我的任务就是查清最模糊、最抽象的一个词:欲望。伴随欲望而来的总是故事,总是等待被填补的空白:侵扰、扰乱和激励人类行为的有意识或无意识向往。
每天,欲望会发生几百次变化,呈现无数副面孔和伪装。它可能表现为性欲,或对食物、酒精、药物的嗜好。它也可能展现为对金钱地位的渴望,对组织归属感的需求,时而融入群体、时而展现自我的需要。它还可能是与另一个人共度今生,与自然、音乐和谐相处的渴望。我们渴望留住过去,这是欲望。我们渴望未来的美好,这也是欲望。为了“变得”让别人更满意,我们刷牙、擦脸霜、刮胡子、买新衣服、订购新眼镜。
不用说,欲望是难以捉摸的。你以为捕捉到它了,它却慢慢消逝了。过了几秒钟,它又出现了。全世界范围内,每一种文化都能通向欲望和消遣。巴西人去海滩,跟悉尼人和洛杉矶人去海滩一样。美国人、中东人和印度人成群结队去电影院,或去商场。英国人聚集在足球赛场或酒吧里。要是你住在沙特阿拉伯,消遣可能就是去阿曼旅行。要是你住在阿曼,消遣就是去迪拜旅行。对于迪拜人来说,消遣可能就是去伦敦。对伦敦人而言,消遣大概就是去西班牙的安达卢西亚海岸、法国南部、美国加利福尼亚或佛罗里达。我们渴望的,就是我们以为缺乏的——某个人、某个地方、某件东西、生命中的某段时间。
在信息时代,我们大多数人整天盯着屏幕看。我希望,大家能更加关注周围的线索,意识到我们所有人的相同点。品牌创建者和品牌所有人的使命没有任何区别,就是避免疏忽之罪。也就是说,对于周围的世界,我们根本没有警醒——神话学家及作家约瑟夫·坎贝尔称之为最严重的人类犯罪。
更多内容请关注:www.imefuture.com
来源:微信公众号 大数据文摘 查看全部
2003 年年初,乐高公司陷入困境,销售额同比下降了30% 。2004 年,销售额又下降了10% 。乐高CEO约恩·维格·克努德斯托普说:“我们一直亏本,都火烧眉毛了。公司还将面临债务违约的危险,很可能破产。”
面对销售额的持续下滑,乐高找来了世界知名的营销大师马丁·林斯特龙,期待林斯特龙能够将乐高从低迷的业绩中拯救出来。林斯特龙从挖掘一双就运动鞋中的小数据出发,寻找用户需求,最终让乐高转危为安。
过分依赖大数据让乐高面临破产
这家丹麦玩具商怎么突然落到这步田地?乐高的问题大概要追溯到1981 年。当时,世界上第一款掌上游戏《大金刚》上市。于是,在乐高内部掀起了一场辩论——对组装玩具的未来而言,任天堂这样的游戏平台是不是他们最大的竞争对手?
林斯特龙发现,从20 世纪90 年代中叶起,乐高开始从聚焦核心产品积木,转而分散精力发展主题公园、儿童服饰、视频游戏、图书杂志、电视节目和零售商场。乐高之所以这样做,是因为大数据告诉他们:未来的几代人会对乐高失去兴趣。
没错,电脑游戏的诞生似乎宣告了一个事实:成长于信息时代的群体没时间,也没耐心玩乐高。
2004 年,乐高公司向林斯特龙咨询,其开始负责公司的整体品牌战略。林斯特龙不想乐高放弃一直以来的强项。为了帮乐高寻找新的生机,林斯特龙同乐高的高层于2004年年初到了一个德国中型城市。在那里,他们见到了一位11 岁的男孩。这位11 岁的德国男孩不仅是乐高迷,还是狂热的滑板爱好者。当被问到最钟爱的东西时,他指了指一双破旧的阿迪达斯运动鞋,鞋子一侧还有皱纹和凹陷。他说,这双鞋是他的战利品,是他的金牌,是他的杰作。不仅这样,这双鞋还是一种证明。他把鞋举起来,让屋里的人都能看清。他解释说,鞋子的一面穿破了,右鞋帮磨坏了,鞋跟也明显磨平了。这双鞋的整体外观和给外界的印象都很完美。这双鞋向男孩、男孩的朋友和整个世界表明,他是这个城市里最棒的滑板运动员。
挖掘一双运动鞋中蕴含的小数据
11 岁德国男孩的阿迪达斯旧鞋,给团队带来了灵感。他们意识到,孩子们要想在同龄人中获得社会存在感,就要具备一种高超的技能。无论这种技能是什么,只要值得花心思、花精力去做——对孩子来说,就是付出努力,最后有所呈现——在这个德国男孩的例子里,就是一双大多数成年人不愿看第二眼的旧鞋。
在这之前,乐高的决策还完全依赖于大数据。然而,最终是对一位滑板爱好者和乐高迷的运动鞋的不经意的一瞥,扭转了这家公司的局面。他们找到了重新定义品牌的方法。从那时起,乐高重新将精力回归核心产品,:首先,它出售了主题公园;接下来,它签下了《哈利·波特》《星球大战》和《巴布工程师》的品牌特许权;最后,它削减了产品数量,不仅把积木重新设定为标准尺寸,积木更注重细节,安装手册更精确,游戏挑战更有难度。
对用户来说,乐高似乎在召唤人们克服困难,刺激人们掌握技巧。尤其重要的是,它是一种来之不易的体验——只有掌握复杂的预测分析方法,才能达到平均分,只是方法不好掌握。
10 年后,在2014 年上半年,随着《乐高大电影》和相关商品的全球大卖,乐高销售额上升了11% ,超过20 亿美元。乐高第一次超越美泰,成为全球最大的玩具生产商。
俗话说,想了解动物的生存方式,不是去动物园,而是去丛林。我就是这么做的。通过观察和分析,我发现,总有消费者的欲望未被满足,或未被发现。而这种欲望,正是新品牌开发、产品创新和企业发展的基础。
痛点:挖掘小数据满足用户需求
这种能反应消费者特性的东西被称之为“小数据”——我们每天偶然表现出的礼节、习惯、手势和偏爱,合在一起暴露了我们真实的内在。我们吃什么快餐,我们在Facebook和推特上发什么,吃什么口味的口香糖——乍看起来,这些小细节似乎杂乱无章,毫无导向,微不足道,展现不出多少特性。但是,当我们开始通过陌生的小数据看待生活时,我们也发现了认识周围人的线索,包括我们自己。
小数据可能存在于微波炉、药盒或脸书相册里。它可能在以色列特拉维夫市浴室的牙刷架上,或者是巴西北部浴室墙上的一卷厕纸;它可能出现在走廊的鞋柜里,或者是组成个人电脑密码的无序字母和数字。
为什么大多数人打电话时都喜欢绕圈走,好像要建起一道隐私墙?为什么我们饿了或渴了时,打开冰箱门后会上下瞄一眼,然后关上冰箱门,过一会儿又重复同样的动作?我们约会迟到,为什么不怪自己,却借口说闹钟不准?我们在机场、火车站或摇滚乐会时,为什么会觉得周围都是普通人,却没意识到,我们跟他们做着一样的事?为什么许多做创意的人在冲澡或看见水时,才能灵光一现?
一些公司请我当顾问,就是为了弄清人们的真实需求,反过来再想办法满足需求。我的头衔可能是“品牌顾问”,不过,大多数机构请我去是当巡回侦探。我的任务就是查清最模糊、最抽象的一个词:欲望。伴随欲望而来的总是故事,总是等待被填补的空白:侵扰、扰乱和激励人类行为的有意识或无意识向往。
每天,欲望会发生几百次变化,呈现无数副面孔和伪装。它可能表现为性欲,或对食物、酒精、药物的嗜好。它也可能展现为对金钱地位的渴望,对组织归属感的需求,时而融入群体、时而展现自我的需要。它还可能是与另一个人共度今生,与自然、音乐和谐相处的渴望。我们渴望留住过去,这是欲望。我们渴望未来的美好,这也是欲望。为了“变得”让别人更满意,我们刷牙、擦脸霜、刮胡子、买新衣服、订购新眼镜。
不用说,欲望是难以捉摸的。你以为捕捉到它了,它却慢慢消逝了。过了几秒钟,它又出现了。全世界范围内,每一种文化都能通向欲望和消遣。巴西人去海滩,跟悉尼人和洛杉矶人去海滩一样。美国人、中东人和印度人成群结队去电影院,或去商场。英国人聚集在足球赛场或酒吧里。要是你住在沙特阿拉伯,消遣可能就是去阿曼旅行。要是你住在阿曼,消遣就是去迪拜旅行。对于迪拜人来说,消遣可能就是去伦敦。对伦敦人而言,消遣大概就是去西班牙的安达卢西亚海岸、法国南部、美国加利福尼亚或佛罗里达。我们渴望的,就是我们以为缺乏的——某个人、某个地方、某件东西、生命中的某段时间。
在信息时代,我们大多数人整天盯着屏幕看。我希望,大家能更加关注周围的线索,意识到我们所有人的相同点。品牌创建者和品牌所有人的使命没有任何区别,就是避免疏忽之罪。也就是说,对于周围的世界,我们根本没有警醒——神话学家及作家约瑟夫·坎贝尔称之为最严重的人类犯罪。
更多内容请关注:www.imefuture.com
来源:微信公众号 大数据文摘
工业大数据,你懂了吗?
工业大数据 冷眼看世界 2017-03-16 17:38 发表了文章
工业大数据是指在工业领域中,围绕典型智能制造模式,从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。
工业大数据的主要来源有三类:
◆ 生产经营相关业务数据:来自传统企业信息化范围,被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产,正在逐步扩大范围
◆ 设备物联数据:工业生产设备和目标产品在物联网运行模式下,实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据,这是工业大数据新的、增长最快的来源
◆ 外部数据:与工业企业生产活动和产品相关的企业外部互联网来源数据
一、工业大数据的地位
1.在智能制造标准体系中的定位
工业大数据位于智能制造标准体系结构图的关键技术标准的左侧,属于智能制造标准体系五大关键技术之一。
2.与大数据技术的关系
工业领域的数据累积到一定量级,超出了传统技术的处理能力,就需要借助大数据技术、方法来提升处理能力和效率,大数据技术为工业大数据提供了技术和管理的支撑。
工业大数据可以借鉴大数据的分析流程及技术,实现工业数据采集、处理、存储、分析、可视化。工业制造过程中需要高质量的工业大数据,可以借鉴大数据的治理机制对工业数据资产进行有效治理。
3.与工业软件和工业云的关系
工业软件承载着工业大数据采集和处理的任务,是工业数据的重要产生来源,工业软件支撑实现工业大数据的系统集成和信息贯通。
工业大数据技术与工业软件结合,加强了工业软件分析与计算能力,提升场景可视化程度,实现对用户行为和市场需求的预测和判断。
二、主要国家战略部署
1.美国先进制造业战略
2012年2月,美国发布了《先进制造业国家战略计划》报告,将促进先进制造业发展提高到了国家战略层面。从投资、劳动力和创新等方面提出了促进美国先进制造业发展的三大原则、五大目标及相应的对策措施。
2014年,美国白宫发布《2014年全球大数据白皮书》,指出美国大型企业在投资大数据科技方面的关键驱动因素:分析运营和交易数据的能力、洞察客户线上消费的行为、以向市场提供新的高度复杂的产品、对组织中的机器和设备进行更加深入的感知。
2.德国工业4.0战略
2015年4月,德国提出来“工业4.0”战略。强调通过信息网络与工业生产系统的充分融合,使产品与生产设备之间、工厂内部纵向之间、工厂与工厂之间,都能通过CPS(物理信息系统)联结为一个整体,从而实现生产的智能化,提升制造业的灵活性和工程效率。
3.法国新工业战略
2015年,法国推出“新工业法国战略”,总体布局为“一个核心,九大支点”。一个核心即“未来工业”,主要内容是实现工业生产向数字化、智能化转型。九大支点,包括新资源开发、可持续发展城市、环保汽车、网络技术、大数据技术、新型医药等。
2015年5月,法国经济、工业与就业部又公布了未来工业计划,该计划将在“新工业战略”的第二阶段中扮演核心角色,主要目标是建立更为互联互通、更具有竞争力的法国工业,旨在使工业工具更加现代化,实现经济增长模式转变。
4.中国制造2025战略
2015年5月,国务院正式印发《中国制造2025》规划。规划中提出将重点推动信息化与工业深度融合,把智能制造作为两化深度融合的主攻方向,着力发展智能装备和智能产品,推进生产过程智能化,培育新型生产方式。
同年12月,工信部、国标委联合发布《国家智能制造标准体系建设指南(2015年版)》。为推动智能工厂的建设,国务院又发布了《促进大数据发展行动纲要》,建立面向不同行业、不同环节的工业大数据资源聚合和分析应用平台。
三、工业大数据应用热点
工业大数据挖掘和分析的结果可广泛应用于企业研发设计、复杂生产过程、产品需求预测、工业供应链优化和工业绿色发展等各个环节。
1.在设计领域的应用
工业设计大数据主要用于提高研发人员的研发创新能力、研发效率和质量,支持协同设计,具体体现为以下几个方面:
(1)基于模型和仿真的研发设计
基于模型的研发设计。在数字化技术环境下的产品设计开发,从概念设计就以数字化模型为载体,不受到时间和空间等因素的限制对产品模型修改和完善,然后将最终方案的数据通过生产设备进行产品制作。
基于仿真的设计。通过数字化模型的显示、仿真、快速成型、虚拟现实交互,可及早发现设计缺陷,优化产品,克服以往多种缺点。虚拟仿真技术还在不断提高系统的智能型,逐步解决产品创新设计中的不确定性与模糊性。
(2)基于产品生命周期的设计
运用大数据相关技术,实现高度有序化的方式展示产品生命周期设计大数据的关系,方便地集成员工在设计中产方便地集成员工在设计中产生的新知识,使产品设计大数据得进一步丰富。
(3)融合消费者反馈的设计
利用工业数据平台获取消费者、市场等各维度的数据信息,达到生产者和消费者之间“信息粘性”的效果,利用这些关联数据信息,通过大数据挖掘分析技术,实现客户全面洞察,改进、创新设计产品的功能和款式。
2.在复杂生产过程优化的应用
(1)工业物联网生产线
在生产工艺改进方面,在生产过程中使用这些大数据,就能分析整个生产流程,有助于制造商改进其生产流程。在能耗分析方面,在设备生产过程中利用传感器集中监控所有的生产流程,优化能源的消耗。
通过诸如AGV小车、智能分拣配对系统、智能吊挂系统与智能分拣送料系统的导入等,加快整个制造流程的物料循环,通过智能摘挂系统、信号识别系统、智能取料系统、智能装配、智能定制等系统的导入实现整个制造流程的自动化。
(2)生产质量控制
利用工业大数据技术,挖掘产品质量特性与关键工艺参数之间的关联规则,抽取过程质量控制知识,为在线工序质量控制、工艺参数优化提供指导性意见。
(3)生产计划与排程
大数据给予企业更详细的数据信息,发现历史预测与实际的偏差概率,通过数据的关联分析及监控,企业能更准确地制定计划。
3.在产品需求预测中的应用
在产品开发方面,分析当前需求变化和组合形式,通过消费人群的关注点进行产品功能、性能的调整,设计制造更加符合核心需要的新产品,针对每一个群体策划并推送针对性的营销。
4.在工业供应链优化中的应用
供应链环节工业大数据的应用主要体现在供应链优化,即通过全产业链的信息整合,使整个生产系统达到协同优化,让生产系统更加动态灵活,进一步提高生产效率和降低生产成本。主要应用有供应链配送体系优化和用户需求快速响应。
5.在工业绿色发展中的应用
新一代信息技术通过对产品的配方、工艺及原材料采购、生产制造、仓储、运输、使用、大修和报废的全过程进行监控和管理,以数据采集为前端,数据分析和挖掘为服务,为制造企业实现绿色制造提供有力保障。
四、工业大数据参考框架
工业大数据参考架构以工业过程的业务需求为导向,基于工业系统的业务架构,规划工业大数据的数据、技术和应用(平台)架构,以搭建面向多业务领域、贯通多组织和应用层次的工业大数据IT架构。
1.数据参考架构
工业大数据应用的目标是构建覆盖工业全流程、全环节和产品全生命周期的数据链,工业大数据在实际应用当中涉及到的主要环节:数据源、数据收集与集成、数据处理与数据管理、典型应用场景等四个层次。
2.技术参考架构
工业大数据技术架构共有五个部分,分别为数据采集层、数据存储与集成层、数据建模层、数据处理层、数据交互应用层。
3.平台参考架构
工业大数据平台涵盖了IT网络架构和云计算基础架构等基础设施,专家库、知识库、业务需求库等资源,及安全、隐私等管理功能。此外,还包含关联工业大数据实际应用的三方面角色,即数据提供方、数据服务消费方、数据服务合作方。
五、应用案例
更多内容请请关注:www.imefuture.com
来源:智能制造 Arbei 查看全部
工业大数据参考框架,包括应用范围、典型运营模式、数据架构、技术架和平台参考等。
工业大数据是指在工业领域中,围绕典型智能制造模式,从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。
工业大数据的主要来源有三类:
◆ 生产经营相关业务数据:来自传统企业信息化范围,被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产,正在逐步扩大范围
◆ 设备物联数据:工业生产设备和目标产品在物联网运行模式下,实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据,这是工业大数据新的、增长最快的来源
◆ 外部数据:与工业企业生产活动和产品相关的企业外部互联网来源数据
一、工业大数据的地位
1.在智能制造标准体系中的定位
工业大数据位于智能制造标准体系结构图的关键技术标准的左侧,属于智能制造标准体系五大关键技术之一。
2.与大数据技术的关系
工业领域的数据累积到一定量级,超出了传统技术的处理能力,就需要借助大数据技术、方法来提升处理能力和效率,大数据技术为工业大数据提供了技术和管理的支撑。
工业大数据可以借鉴大数据的分析流程及技术,实现工业数据采集、处理、存储、分析、可视化。工业制造过程中需要高质量的工业大数据,可以借鉴大数据的治理机制对工业数据资产进行有效治理。
3.与工业软件和工业云的关系
工业软件承载着工业大数据采集和处理的任务,是工业数据的重要产生来源,工业软件支撑实现工业大数据的系统集成和信息贯通。
工业大数据技术与工业软件结合,加强了工业软件分析与计算能力,提升场景可视化程度,实现对用户行为和市场需求的预测和判断。
二、主要国家战略部署
1.美国先进制造业战略
2012年2月,美国发布了《先进制造业国家战略计划》报告,将促进先进制造业发展提高到了国家战略层面。从投资、劳动力和创新等方面提出了促进美国先进制造业发展的三大原则、五大目标及相应的对策措施。
2014年,美国白宫发布《2014年全球大数据白皮书》,指出美国大型企业在投资大数据科技方面的关键驱动因素:分析运营和交易数据的能力、洞察客户线上消费的行为、以向市场提供新的高度复杂的产品、对组织中的机器和设备进行更加深入的感知。
2.德国工业4.0战略
2015年4月,德国提出来“工业4.0”战略。强调通过信息网络与工业生产系统的充分融合,使产品与生产设备之间、工厂内部纵向之间、工厂与工厂之间,都能通过CPS(物理信息系统)联结为一个整体,从而实现生产的智能化,提升制造业的灵活性和工程效率。
3.法国新工业战略
2015年,法国推出“新工业法国战略”,总体布局为“一个核心,九大支点”。一个核心即“未来工业”,主要内容是实现工业生产向数字化、智能化转型。九大支点,包括新资源开发、可持续发展城市、环保汽车、网络技术、大数据技术、新型医药等。
2015年5月,法国经济、工业与就业部又公布了未来工业计划,该计划将在“新工业战略”的第二阶段中扮演核心角色,主要目标是建立更为互联互通、更具有竞争力的法国工业,旨在使工业工具更加现代化,实现经济增长模式转变。
4.中国制造2025战略
2015年5月,国务院正式印发《中国制造2025》规划。规划中提出将重点推动信息化与工业深度融合,把智能制造作为两化深度融合的主攻方向,着力发展智能装备和智能产品,推进生产过程智能化,培育新型生产方式。
同年12月,工信部、国标委联合发布《国家智能制造标准体系建设指南(2015年版)》。为推动智能工厂的建设,国务院又发布了《促进大数据发展行动纲要》,建立面向不同行业、不同环节的工业大数据资源聚合和分析应用平台。
三、工业大数据应用热点
工业大数据挖掘和分析的结果可广泛应用于企业研发设计、复杂生产过程、产品需求预测、工业供应链优化和工业绿色发展等各个环节。
1.在设计领域的应用
工业设计大数据主要用于提高研发人员的研发创新能力、研发效率和质量,支持协同设计,具体体现为以下几个方面:
(1)基于模型和仿真的研发设计
基于模型的研发设计。在数字化技术环境下的产品设计开发,从概念设计就以数字化模型为载体,不受到时间和空间等因素的限制对产品模型修改和完善,然后将最终方案的数据通过生产设备进行产品制作。
基于仿真的设计。通过数字化模型的显示、仿真、快速成型、虚拟现实交互,可及早发现设计缺陷,优化产品,克服以往多种缺点。虚拟仿真技术还在不断提高系统的智能型,逐步解决产品创新设计中的不确定性与模糊性。
(2)基于产品生命周期的设计
运用大数据相关技术,实现高度有序化的方式展示产品生命周期设计大数据的关系,方便地集成员工在设计中产方便地集成员工在设计中产生的新知识,使产品设计大数据得进一步丰富。
(3)融合消费者反馈的设计
利用工业数据平台获取消费者、市场等各维度的数据信息,达到生产者和消费者之间“信息粘性”的效果,利用这些关联数据信息,通过大数据挖掘分析技术,实现客户全面洞察,改进、创新设计产品的功能和款式。
2.在复杂生产过程优化的应用
(1)工业物联网生产线
在生产工艺改进方面,在生产过程中使用这些大数据,就能分析整个生产流程,有助于制造商改进其生产流程。在能耗分析方面,在设备生产过程中利用传感器集中监控所有的生产流程,优化能源的消耗。
通过诸如AGV小车、智能分拣配对系统、智能吊挂系统与智能分拣送料系统的导入等,加快整个制造流程的物料循环,通过智能摘挂系统、信号识别系统、智能取料系统、智能装配、智能定制等系统的导入实现整个制造流程的自动化。
(2)生产质量控制
利用工业大数据技术,挖掘产品质量特性与关键工艺参数之间的关联规则,抽取过程质量控制知识,为在线工序质量控制、工艺参数优化提供指导性意见。
(3)生产计划与排程
大数据给予企业更详细的数据信息,发现历史预测与实际的偏差概率,通过数据的关联分析及监控,企业能更准确地制定计划。
3.在产品需求预测中的应用
在产品开发方面,分析当前需求变化和组合形式,通过消费人群的关注点进行产品功能、性能的调整,设计制造更加符合核心需要的新产品,针对每一个群体策划并推送针对性的营销。
4.在工业供应链优化中的应用
供应链环节工业大数据的应用主要体现在供应链优化,即通过全产业链的信息整合,使整个生产系统达到协同优化,让生产系统更加动态灵活,进一步提高生产效率和降低生产成本。主要应用有供应链配送体系优化和用户需求快速响应。
5.在工业绿色发展中的应用
新一代信息技术通过对产品的配方、工艺及原材料采购、生产制造、仓储、运输、使用、大修和报废的全过程进行监控和管理,以数据采集为前端,数据分析和挖掘为服务,为制造企业实现绿色制造提供有力保障。
四、工业大数据参考框架
工业大数据参考架构以工业过程的业务需求为导向,基于工业系统的业务架构,规划工业大数据的数据、技术和应用(平台)架构,以搭建面向多业务领域、贯通多组织和应用层次的工业大数据IT架构。
1.数据参考架构
工业大数据应用的目标是构建覆盖工业全流程、全环节和产品全生命周期的数据链,工业大数据在实际应用当中涉及到的主要环节:数据源、数据收集与集成、数据处理与数据管理、典型应用场景等四个层次。
2.技术参考架构
工业大数据技术架构共有五个部分,分别为数据采集层、数据存储与集成层、数据建模层、数据处理层、数据交互应用层。
3.平台参考架构
工业大数据平台涵盖了IT网络架构和云计算基础架构等基础设施,专家库、知识库、业务需求库等资源,及安全、隐私等管理功能。此外,还包含关联工业大数据实际应用的三方面角色,即数据提供方、数据服务消费方、数据服务合作方。
五、应用案例
更多内容请请关注:www.imefuture.com
来源:智能制造 Arbei
3.15来了,你的个人数据安全情况如何?
其它类 盛世流光 2017-03-15 13:46 发表了文章
没有完美的密码,没有完美的防护
二月末,百度移动搜索和亚马逊服务器先后出现故障,造成短时间内访问瘫痪。岁末年初,京东被曝出12G数据外泄,其中包括用户的用户名、密码、邮箱、电话号码等多维度信息。再往前追溯,2016年已发生多起物联网安全案例,无论是历史最大规模的DDos攻击,还是25000台监控被用来组成僵尸网络事件。
在我们的生活全方位“触网”,个人信息安全难以保障时,围绕个人信息数据形成的黑色产业链却“悄无声息”地运营着。
2015年央视3.15晚会就曾曝光手机实名制形同虚设,运营商成为诈骗电话的幕后推手。此种情况在2016年仍层出不穷。仅仅依靠手机号码,凭借“拖库”、“洗库”、“撞库”等手段,不法分子即可获取数据中个人的身份、住址、家庭关系、经济状况等所有数据,再编两套话术,就可“绝对控制”普通人的生活,并据此进行交易。
《中国网民权益保护调查报告(2016)》显示,一年的时间,国内网民因垃圾短信、诈骗信息、个人信息泄露等造成的经济损失估算达915亿元。其中,9%的网民由于各类权益侵害造成的经济损失在1000元以上。
36氪日前的3.15用户体验调查数据也侧面反映了目前网络信息安全现状。59.2%的受访用户信息泄露后遇到过广告推销等骚扰类电话、邮件、短信;36.6%的人遇到过中奖等诈骗类电话;4.2%的受访用户人身安全曾因信息泄露而受到威胁。
“个人信息安全的保护意识人人都有,但却架不住诈骗者的‘使诈’。”上海市信息安全行业协会会长,众人科技创始人谈剑峰举例,一个人打电话说“你犯事儿了”,普通人都会觉得对方是骗子,但如果对方继而爆出你的家庭信息,并且开始“娓娓道来”时,我们都会思考“我是不是真犯事儿了”,此时,已经落入骗子的圈套。
无论是“拖库”、“洗库”、“撞库”等黑客攻击手段,还是随机诈骗的伎俩,从技术角度看,皆是信息安全的第一道“门”——身份认证被攻破,即核心密码失灵。用户个人信息一旦泄露,在支付的关键环节,身份认证方法是否可靠,将直接关系到用户资金安全。
“我们正在因为支付的便捷性丧失交易的安全性。”谈剑峰表示,不少用户为了方便记忆,在许多账户中都是用一个密码。“邮箱、支付、游戏等各种场景的密码都一样。一旦其中一个泄露,黑客通过‘撞库’,其它的密码则‘不解自破’。”
“足够便捷”与“足够安全”如何兼得?
在我们的调查中,“网购、支付”和“外卖、快递”被受访用户同时票选为最易泄露个人信息的场景,各占22.5%;“买房、买车”这一场景被票选的比例为20.5%;15.2%的受访用户认为社交、游戏场景泄露个人信息可能性较大;其它还有“移动出行”场景(11.3%)和“看新闻,浏览网页”等场景(7.9%)有泄露个人信息的可能。
谈剑峰表示,在我国互联网业态的各种场景中,金融支付场景信息泄露的情况较为突出。“信用卡普遍使用的今天,一些国外海淘网站为方便用户,会帮助记录信用卡的信息,不法分子仅凭信用卡号和有效期就可以支付,相当于自己写字的纸笔掌握在了别人手里。”谈剑峰强调,我们在交易过程中享受了便捷性,却因此丧失了安全。
众人科技CEO谈剑峰
即使诸如最新被广泛使用的生物识别,动态验证码等安全技术也存在潜在漏洞。
“生物特征看似方便,在互联网上应用却最不安全。”谈剑峰告诉记者,不安全的原因最核心的一点是其“不可再生性”。“我们想象着每个人的长相不一样,不可复制。但在网络世界里,生物特征背后就是0和1的数字。只要转化为0和1的数字,它就可能被截获、被重放、被重构。”
“根据我们近十年的网络信息安全技术研发经验来说,只有经常修改密码才是有效应对账户被盗风险的方式。”他指出,生物识别技术不适合在互联网上传输使用,而是适用于本地化使用,比如家庭门禁系统、金库的门禁安保系统。
然而在调查中,只有40.5%的受访用户在遭遇信息泄露之后,有过修改密码之类的行为。当便捷性与安全性相矛盾时,很少有人意识到问题的严重性而采取有效措施。
随着互联网技术的不断发展,移动支付安全更成为了“悬梁之剑”。在满足便捷需求的同时,保障移动支付安全是谈剑峰和众人科技一直以来的不懈追求。众人科技在网络安全领域深耕长达十年,除参与推动、制定国产信息安全标准外,不断更新升级自主研发、自主可控的核心技术。近年来,面对移动支付出现的问题,众人科技发明了自主专利的创新密码技术—SOTP(Super One-Time-Password),即可重构多因素动态认证技术。
说白了,就是用户在网上的信息是虚拟的。比如绑定的银行卡号是随着时间、网络环境等因素实时变化。真实的卡号只在银行系统中才被还原,这样避免个人银行卡信息泄露后出现网络盗刷的可能。
在谈剑峰看来,普通用户寻找的是一种安全“感”。当商家或交易平台给用户营造出一种安全感觉,用户就会觉得这样的支付手段或密码防护是安全的,继而一直使用。比如手机短信验证码,现在事实证明并不安全,可是用户感觉上既便捷又安全。
信息泄露风险与安全性相交织在一起时,86.1%受访用户会一边担心着信息泄露,一边不得不进行网上交易;2.3%受访用户曾因担心信息泄露而放弃网上交易;只有11.6%[j1] 受访用户不在乎或者不了解网上交易的潜在风险。
对此,谈剑峰强调SOTP是移动互联时代可以有效兼顾便捷性和安全性的密码技术。“目前的常规密码保护技术存在系统性风险。一个密码破了,与其相关的整个系统都有被破的风险。”相比之下,SOTP技术几乎没有系统性风险。谈剑峰强调,即使单点破了,也只是针对一个人的密码破了,对系统中其他用户不会造成任何影响。 “这是SOTP最大的特点之一”。
目前,SOTP技术已广泛应用于政府、金融等安全场景。去年,公安部与众人科技携手,在eID作为网络身份的一级信任源的基础上,使用SOTP作为二级身份认证防护技术,满足用户不同应用场景和不同安全等级的认证服务需求。
而西安银行与众人科技合作推出的创新型移动安全产品“@盾”,使金融交易场景既便捷时也更安全。谈剑峰介绍,用户安装“@盾”相当于在手机银行中置入隐形的硬件认证机制,交易过程中自动开启保护屏障,无需接收短信验证码,输入用户自己设定的密码便可轻松完成交易。“即使不法分子破解了手机银行密码,在交易时‘@盾’检测到不是绑定设备,将直接中断交易。”
对于信息安全防护,除了技术防范手段之外,更需要一套应对的组合拳。
对此,谈剑峰对普通用户的建议是在修改账户密码的同时,控制银行卡金额,不乱点各种渠道转发的链接。而对于互联网企业来说,应规范其采集数据的标准,并需有效的保障所采集数据存储的安全性。“现在一些互联网企业采集数据更多的是为了融资。因为投资人要看数据,看你的用户量有多少,数据有多少。一些防范意识差、无力研发或采购安全技术和产品的互联网企业对这些数据完全没有保护措施,就相当于你的个人信息在网上‘裸奔’,而且还在拼命奔。”
即将于今年6月1日起施行的《网络安全法》已聚焦个人信息保护。从收集、使用、管理等角度明确了网络产品服务提供者、运营者的责任,严厉打击出售、贩卖个人信息的行为。谈剑峰认为,国家已在法律层面明确了互联网企业的社会责任:应有基本安全防范意识,同时不能恶意收集用户信息,滥用用户数据。
“沉下心来进行核心技术的研发、在技术上不断创新,才是我们应该追求的未来创业的方向。”谈剑峰说道。
更多内容请关注:www.imefuture.com
来源:微信公众号 36氪 查看全部
没有完美的密码,没有完美的防护
二月末,百度移动搜索和亚马逊服务器先后出现故障,造成短时间内访问瘫痪。岁末年初,京东被曝出12G数据外泄,其中包括用户的用户名、密码、邮箱、电话号码等多维度信息。再往前追溯,2016年已发生多起物联网安全案例,无论是历史最大规模的DDos攻击,还是25000台监控被用来组成僵尸网络事件。
在我们的生活全方位“触网”,个人信息安全难以保障时,围绕个人信息数据形成的黑色产业链却“悄无声息”地运营着。
2015年央视3.15晚会就曾曝光手机实名制形同虚设,运营商成为诈骗电话的幕后推手。此种情况在2016年仍层出不穷。仅仅依靠手机号码,凭借“拖库”、“洗库”、“撞库”等手段,不法分子即可获取数据中个人的身份、住址、家庭关系、经济状况等所有数据,再编两套话术,就可“绝对控制”普通人的生活,并据此进行交易。
《中国网民权益保护调查报告(2016)》显示,一年的时间,国内网民因垃圾短信、诈骗信息、个人信息泄露等造成的经济损失估算达915亿元。其中,9%的网民由于各类权益侵害造成的经济损失在1000元以上。
36氪日前的3.15用户体验调查数据也侧面反映了目前网络信息安全现状。59.2%的受访用户信息泄露后遇到过广告推销等骚扰类电话、邮件、短信;36.6%的人遇到过中奖等诈骗类电话;4.2%的受访用户人身安全曾因信息泄露而受到威胁。
“个人信息安全的保护意识人人都有,但却架不住诈骗者的‘使诈’。”上海市信息安全行业协会会长,众人科技创始人谈剑峰举例,一个人打电话说“你犯事儿了”,普通人都会觉得对方是骗子,但如果对方继而爆出你的家庭信息,并且开始“娓娓道来”时,我们都会思考“我是不是真犯事儿了”,此时,已经落入骗子的圈套。
无论是“拖库”、“洗库”、“撞库”等黑客攻击手段,还是随机诈骗的伎俩,从技术角度看,皆是信息安全的第一道“门”——身份认证被攻破,即核心密码失灵。用户个人信息一旦泄露,在支付的关键环节,身份认证方法是否可靠,将直接关系到用户资金安全。
“我们正在因为支付的便捷性丧失交易的安全性。”谈剑峰表示,不少用户为了方便记忆,在许多账户中都是用一个密码。“邮箱、支付、游戏等各种场景的密码都一样。一旦其中一个泄露,黑客通过‘撞库’,其它的密码则‘不解自破’。”
“足够便捷”与“足够安全”如何兼得?
在我们的调查中,“网购、支付”和“外卖、快递”被受访用户同时票选为最易泄露个人信息的场景,各占22.5%;“买房、买车”这一场景被票选的比例为20.5%;15.2%的受访用户认为社交、游戏场景泄露个人信息可能性较大;其它还有“移动出行”场景(11.3%)和“看新闻,浏览网页”等场景(7.9%)有泄露个人信息的可能。
谈剑峰表示,在我国互联网业态的各种场景中,金融支付场景信息泄露的情况较为突出。“信用卡普遍使用的今天,一些国外海淘网站为方便用户,会帮助记录信用卡的信息,不法分子仅凭信用卡号和有效期就可以支付,相当于自己写字的纸笔掌握在了别人手里。”谈剑峰强调,我们在交易过程中享受了便捷性,却因此丧失了安全。
众人科技CEO谈剑峰
即使诸如最新被广泛使用的生物识别,动态验证码等安全技术也存在潜在漏洞。
“生物特征看似方便,在互联网上应用却最不安全。”谈剑峰告诉记者,不安全的原因最核心的一点是其“不可再生性”。“我们想象着每个人的长相不一样,不可复制。但在网络世界里,生物特征背后就是0和1的数字。只要转化为0和1的数字,它就可能被截获、被重放、被重构。”
“根据我们近十年的网络信息安全技术研发经验来说,只有经常修改密码才是有效应对账户被盗风险的方式。”他指出,生物识别技术不适合在互联网上传输使用,而是适用于本地化使用,比如家庭门禁系统、金库的门禁安保系统。
然而在调查中,只有40.5%的受访用户在遭遇信息泄露之后,有过修改密码之类的行为。当便捷性与安全性相矛盾时,很少有人意识到问题的严重性而采取有效措施。
随着互联网技术的不断发展,移动支付安全更成为了“悬梁之剑”。在满足便捷需求的同时,保障移动支付安全是谈剑峰和众人科技一直以来的不懈追求。众人科技在网络安全领域深耕长达十年,除参与推动、制定国产信息安全标准外,不断更新升级自主研发、自主可控的核心技术。近年来,面对移动支付出现的问题,众人科技发明了自主专利的创新密码技术—SOTP(Super One-Time-Password),即可重构多因素动态认证技术。
说白了,就是用户在网上的信息是虚拟的。比如绑定的银行卡号是随着时间、网络环境等因素实时变化。真实的卡号只在银行系统中才被还原,这样避免个人银行卡信息泄露后出现网络盗刷的可能。
在谈剑峰看来,普通用户寻找的是一种安全“感”。当商家或交易平台给用户营造出一种安全感觉,用户就会觉得这样的支付手段或密码防护是安全的,继而一直使用。比如手机短信验证码,现在事实证明并不安全,可是用户感觉上既便捷又安全。
信息泄露风险与安全性相交织在一起时,86.1%受访用户会一边担心着信息泄露,一边不得不进行网上交易;2.3%受访用户曾因担心信息泄露而放弃网上交易;只有11.6%[j1] 受访用户不在乎或者不了解网上交易的潜在风险。
对此,谈剑峰强调SOTP是移动互联时代可以有效兼顾便捷性和安全性的密码技术。“目前的常规密码保护技术存在系统性风险。一个密码破了,与其相关的整个系统都有被破的风险。”相比之下,SOTP技术几乎没有系统性风险。谈剑峰强调,即使单点破了,也只是针对一个人的密码破了,对系统中其他用户不会造成任何影响。 “这是SOTP最大的特点之一”。
目前,SOTP技术已广泛应用于政府、金融等安全场景。去年,公安部与众人科技携手,在eID作为网络身份的一级信任源的基础上,使用SOTP作为二级身份认证防护技术,满足用户不同应用场景和不同安全等级的认证服务需求。
而西安银行与众人科技合作推出的创新型移动安全产品“@盾”,使金融交易场景既便捷时也更安全。谈剑峰介绍,用户安装“@盾”相当于在手机银行中置入隐形的硬件认证机制,交易过程中自动开启保护屏障,无需接收短信验证码,输入用户自己设定的密码便可轻松完成交易。“即使不法分子破解了手机银行密码,在交易时‘@盾’检测到不是绑定设备,将直接中断交易。”
对于信息安全防护,除了技术防范手段之外,更需要一套应对的组合拳。
对此,谈剑峰对普通用户的建议是在修改账户密码的同时,控制银行卡金额,不乱点各种渠道转发的链接。而对于互联网企业来说,应规范其采集数据的标准,并需有效的保障所采集数据存储的安全性。“现在一些互联网企业采集数据更多的是为了融资。因为投资人要看数据,看你的用户量有多少,数据有多少。一些防范意识差、无力研发或采购安全技术和产品的互联网企业对这些数据完全没有保护措施,就相当于你的个人信息在网上‘裸奔’,而且还在拼命奔。”
即将于今年6月1日起施行的《网络安全法》已聚焦个人信息保护。从收集、使用、管理等角度明确了网络产品服务提供者、运营者的责任,严厉打击出售、贩卖个人信息的行为。谈剑峰认为,国家已在法律层面明确了互联网企业的社会责任:应有基本安全防范意识,同时不能恶意收集用户信息,滥用用户数据。
“沉下心来进行核心技术的研发、在技术上不断创新,才是我们应该追求的未来创业的方向。”谈剑峰说道。
更多内容请关注:www.imefuture.com
来源:微信公众号 36氪
大数据窥探:关于大数据的15条干货思考
智能科技类 哦然后呢 2017-03-14 11:24 发表了文章
大数据究竟是什么?又有什么用处?这里有 15 条大数据干货思考,一一为你解答。
1. 马云创造了“DT”(大数据时代)这个词,说未来社会不是 IT 时代,而是 DT 时代,而阿里巴巴战略定位为做 DT 时代的基础设施。类似于 IT 时代的微软,移动互联网时代的苹果之类的意思。
马云去年在云栖大会上提出未来 30 年的“五个新”,分别是“新零售,新制造,新金融,新技术,新能源”,其中“新能源”就是大数据,其讨论的相对比较少,似乎公众只关心的是公民数据安全问题,对于产业方面的大数据觉得比较抽象,实际上真正的“大数据”与阿里战略更为密切。
2. 最早把大数据应用在商业上的是亚马逊,直接根据用户的阅读兴趣推荐与之相关书籍,人家在 PC 时代就这么干了,是《大数据时代:生活、工作与思维大变革》一书中的经典案例;而在无线互联网时代的,今日头条根据用户阅读点击行动来形成个性化标签的“千人千面”,成为应用用户大数据的新样板;二者之间是不是有一些相似呢?
3. 手机正把一切都数据化,自从苹果做机身一体化以外,现在国产手机的电池都不可拆卸了,即使手机关机,也可以定位到,这个功能给军事、刑侦带来便利,比如以前儿童走失寻回机率很小,如今有了跟踪功能,大家看支付宝、滴滴出行、今日头条会推动这一方面消息成功率明显提升了很多,对犯罪分子具有很强的威慑力。很多岗位因为数据的力量实际上更加“实证化”了,在这种局面下,做一个好人会更多回报,而做一个坏人会得到更大的惩罚,这是社会昌明的前兆。
4. 手机里的数据可以实时上传到“云”上,如果数据没有“在线”,就不是所谓的大数据,而大数据与“云服务”是孪生兄弟,数据在线化需要存储、访问、下载,以前做数据存储是追求存储的空间大,就像手机的内存、电脑的硬盘、机房的服务器一样,当一切都数据化之后,盲目追求物理存储量显然行不通了,所以要转上“云”,也就是在线化了(听说这个与“马云”爸爸的名字相关)。
要用“在线”的思维去理解大数据,而不是停留在海量的直观上。
5. 云服务也是亚马逊的 AWS 最早做公有云,IT 企业不必向以前自建机房了,使用亚马逊的云服务,等于亚马逊为大家建了一个云服务的平台,这也就从 IaaS(基础即服务)转向了 PaaS(应用即服务)。在亚马逊做了云服务之后,阿里也做了阿里云,比如我所了解的智能锁品牌果加+、曼申、小嘀等,都是使用阿里云的服务,很多的 SaaS 软件也是购买的阿里云,阿里云目前稳坐企业服务市场的头把交椅,形成了网络效益。
6. SaaS(企业即服务软件)之所以火也与云服务相关,是在移动端可以直接下载 App 软件,有的连 PC 端系统都没有了,SaaS 与 ERP 的区别是,SaaS 是云端化下载、再安装,产品也更加标准化;而此前的 ERP 是固定的装机。现在 SaaS 比较多,似乎每个职能部门都有对立的 SaaS,以便于提升创业者的人效。缺点是 SaaS 实在太多,有些碎片化,应该会出现一个类似微信一样的“统一型的企业软件”,成为企业管理中的“瑞士军刀”,看在阿里是有 to B 的基因上,我大胆预测是阿里钉钉。
7. 一切都在数据化,并不是意味着所有的数据都有用,比如百度积累了很多年的搜索数据,需要“结构化”之后才能定向地分发信息;百度糯米的 O2O 数据目前的商业价值,还没有完全释放出来,还需要“云计算”能力跟上来。几乎所有的应用 Push 信息都比较烦人,说明大数据的场景化还很不成熟。
8. 除了积累数据之外,互联网巨头都在疯狂购买或兼并数据,目前,现在数据的流通和交换还处于相对初期的阶段。数据使用之后可以不像实物会折旧损耗,还可以继续用,其数据结构化更强,反而增加了价值。目前市场上的数据很多还是在咨询公司或互联网公司手中,并没有很好发挥数据共享的作用,总体来看,数据的壁垒和鸿沟还很大。
9. 要想首先解决数据开放问题,指望互联网公司开放似乎不大现实,人家的数据积累的好辛苦,都是资本的血汗钱。可行的是政府把自己的大数据开放出来,比如启信宝就是把工商税务数据进行结构化分类,产品体验做好形成了一个很实用的 App。
当然政府的数据有些涉密,所以推动起来还得看这次两会之后能否有指导文件出台。一旦医疗卫生、交通安全、能源化工之类的大数据公布其含金量将会比互联网数据更大,不过处在“原矿”阶段,还需要专业化团队开发,比如浪潮集团与很多地方政府进行政务云合作就是为了开发政府大数据的巨大潜能。
10. 数据要想发挥作用,数据资源只是前提,核心还是“云计算”能力,最关键的是看应用的场景;也许这些数据放在这儿没有用,但是在另外的地方却是宝贝,因而应该会出现一个类似淘宝一样的 C2C 数据交易平台,我有需要的数据找有的人买;而你有的数据我正好需要;而数据之间的流通都是可以在移动端直接进行支付的,反正货币本质上也是数字。这样的大数据平台也许是一种全新的电商(线上交易)平台,今年两会孙丕恕代表有提到发展“数商”的重要理念。
11. 大数据越来越成为 TMT 行业发力的起点,如果创业者掌握没有数据就没有办法照亮消费者,也没有办法去回溯生产端进行 C2B(定制生产);在这点上,数据开始回顾到了市场营销(Marketing)的本质,满足用户的需求,所以大数据最早爆发的领域是在精准营销或者数字营销上;直接服务于互联网公司的广告销售;尤其是目前创业流量成本越来越高,广告投放精准化需要有程序化平台做专业投放;目前百度做人工智能就是主要以数字营销为发力点。
12. 人工智能(AI)是一个与“移动互联网”、“互联网+”相媲美的大风口,但是人工智能必须要有大数据作为训练素材,机器学习、深度学习需要有大数据提升其机器人的学习能力。比如如果没有消费场景的大数据,就没有办法做出商业智能;如果没有医疗方面的大数据,就做不出智慧医生。
鉴于目前的大数据产业本身还没有火起来,阿星认为 AI 近几年不可能迅速引爆,处于早期阶段。但是人工智能概念的热炒、资本大量涌入,为大数据交易平台的出现以及数据购买带来钱景相当可观的增量,反而促进了大数据产业开始受重视。
13. 大数据把人都“标签化”了,以前互联网公司数据对立的都是 ID (账户)数据,但是很难接近真人的数据,如今最能真实反映人的数据还是阿里和腾讯,让以前无数多、散、匿、杂的数据越来越集中,越来越接近真人;而用户也可以跳出物理范畴去延伸线上的世界,人与人之间的信任成本降低,陌生人之间的线上交易形成一个相对良好的契约基础,这就是大数据所给予我们的第一波红利。
14. 可以预料,国内的大数据产业将与欧美完全不同,国外讲究个人隐私,有严格的反隐私法的规定;并且东亚文化圈对上网“隐私”容忍度很高,相关法律机制也不健全,也给了一些大数据公司和互联网用数据牟利带来了“空间”,这有点像互联网行业早期发展与国内知识产权相对宽松氛围相关,整个行业抄去抄来,网民无版权意识用免费内容用惯了。但如果在互联网行业已经成熟的今天,还在吃法律不健全的红利显然比较 low 了。
15. 大数据是把双刃剑,公民的数据信息必须得依法监管,如果一旦出现行业性数据安全泄密事件,将会相关新的新行业将陷入危机之中;如智能家居数据泄密将会造成人身财产安全隐患;比如在 3 月 10 日曝出一起某互联网公司员工人盗取 50 亿条公民数据的信息;这是 DT 崛起前最大的绊脚石;也从侧面证明了大数据产业所处的原始混乱状态。
更多内容请关注:www.imefuture.com
来源:微信公众号 人人都是产品经理 查看全部
大数据究竟是什么?又有什么用处?这里有 15 条大数据干货思考,一一为你解答。
1. 马云创造了“DT”(大数据时代)这个词,说未来社会不是 IT 时代,而是 DT 时代,而阿里巴巴战略定位为做 DT 时代的基础设施。类似于 IT 时代的微软,移动互联网时代的苹果之类的意思。
马云去年在云栖大会上提出未来 30 年的“五个新”,分别是“新零售,新制造,新金融,新技术,新能源”,其中“新能源”就是大数据,其讨论的相对比较少,似乎公众只关心的是公民数据安全问题,对于产业方面的大数据觉得比较抽象,实际上真正的“大数据”与阿里战略更为密切。
2. 最早把大数据应用在商业上的是亚马逊,直接根据用户的阅读兴趣推荐与之相关书籍,人家在 PC 时代就这么干了,是《大数据时代:生活、工作与思维大变革》一书中的经典案例;而在无线互联网时代的,今日头条根据用户阅读点击行动来形成个性化标签的“千人千面”,成为应用用户大数据的新样板;二者之间是不是有一些相似呢?
3. 手机正把一切都数据化,自从苹果做机身一体化以外,现在国产手机的电池都不可拆卸了,即使手机关机,也可以定位到,这个功能给军事、刑侦带来便利,比如以前儿童走失寻回机率很小,如今有了跟踪功能,大家看支付宝、滴滴出行、今日头条会推动这一方面消息成功率明显提升了很多,对犯罪分子具有很强的威慑力。很多岗位因为数据的力量实际上更加“实证化”了,在这种局面下,做一个好人会更多回报,而做一个坏人会得到更大的惩罚,这是社会昌明的前兆。
4. 手机里的数据可以实时上传到“云”上,如果数据没有“在线”,就不是所谓的大数据,而大数据与“云服务”是孪生兄弟,数据在线化需要存储、访问、下载,以前做数据存储是追求存储的空间大,就像手机的内存、电脑的硬盘、机房的服务器一样,当一切都数据化之后,盲目追求物理存储量显然行不通了,所以要转上“云”,也就是在线化了(听说这个与“马云”爸爸的名字相关)。
要用“在线”的思维去理解大数据,而不是停留在海量的直观上。
5. 云服务也是亚马逊的 AWS 最早做公有云,IT 企业不必向以前自建机房了,使用亚马逊的云服务,等于亚马逊为大家建了一个云服务的平台,这也就从 IaaS(基础即服务)转向了 PaaS(应用即服务)。在亚马逊做了云服务之后,阿里也做了阿里云,比如我所了解的智能锁品牌果加+、曼申、小嘀等,都是使用阿里云的服务,很多的 SaaS 软件也是购买的阿里云,阿里云目前稳坐企业服务市场的头把交椅,形成了网络效益。
6. SaaS(企业即服务软件)之所以火也与云服务相关,是在移动端可以直接下载 App 软件,有的连 PC 端系统都没有了,SaaS 与 ERP 的区别是,SaaS 是云端化下载、再安装,产品也更加标准化;而此前的 ERP 是固定的装机。现在 SaaS 比较多,似乎每个职能部门都有对立的 SaaS,以便于提升创业者的人效。缺点是 SaaS 实在太多,有些碎片化,应该会出现一个类似微信一样的“统一型的企业软件”,成为企业管理中的“瑞士军刀”,看在阿里是有 to B 的基因上,我大胆预测是阿里钉钉。
7. 一切都在数据化,并不是意味着所有的数据都有用,比如百度积累了很多年的搜索数据,需要“结构化”之后才能定向地分发信息;百度糯米的 O2O 数据目前的商业价值,还没有完全释放出来,还需要“云计算”能力跟上来。几乎所有的应用 Push 信息都比较烦人,说明大数据的场景化还很不成熟。
8. 除了积累数据之外,互联网巨头都在疯狂购买或兼并数据,目前,现在数据的流通和交换还处于相对初期的阶段。数据使用之后可以不像实物会折旧损耗,还可以继续用,其数据结构化更强,反而增加了价值。目前市场上的数据很多还是在咨询公司或互联网公司手中,并没有很好发挥数据共享的作用,总体来看,数据的壁垒和鸿沟还很大。
9. 要想首先解决数据开放问题,指望互联网公司开放似乎不大现实,人家的数据积累的好辛苦,都是资本的血汗钱。可行的是政府把自己的大数据开放出来,比如启信宝就是把工商税务数据进行结构化分类,产品体验做好形成了一个很实用的 App。
当然政府的数据有些涉密,所以推动起来还得看这次两会之后能否有指导文件出台。一旦医疗卫生、交通安全、能源化工之类的大数据公布其含金量将会比互联网数据更大,不过处在“原矿”阶段,还需要专业化团队开发,比如浪潮集团与很多地方政府进行政务云合作就是为了开发政府大数据的巨大潜能。
10. 数据要想发挥作用,数据资源只是前提,核心还是“云计算”能力,最关键的是看应用的场景;也许这些数据放在这儿没有用,但是在另外的地方却是宝贝,因而应该会出现一个类似淘宝一样的 C2C 数据交易平台,我有需要的数据找有的人买;而你有的数据我正好需要;而数据之间的流通都是可以在移动端直接进行支付的,反正货币本质上也是数字。这样的大数据平台也许是一种全新的电商(线上交易)平台,今年两会孙丕恕代表有提到发展“数商”的重要理念。
11. 大数据越来越成为 TMT 行业发力的起点,如果创业者掌握没有数据就没有办法照亮消费者,也没有办法去回溯生产端进行 C2B(定制生产);在这点上,数据开始回顾到了市场营销(Marketing)的本质,满足用户的需求,所以大数据最早爆发的领域是在精准营销或者数字营销上;直接服务于互联网公司的广告销售;尤其是目前创业流量成本越来越高,广告投放精准化需要有程序化平台做专业投放;目前百度做人工智能就是主要以数字营销为发力点。
12. 人工智能(AI)是一个与“移动互联网”、“互联网+”相媲美的大风口,但是人工智能必须要有大数据作为训练素材,机器学习、深度学习需要有大数据提升其机器人的学习能力。比如如果没有消费场景的大数据,就没有办法做出商业智能;如果没有医疗方面的大数据,就做不出智慧医生。
鉴于目前的大数据产业本身还没有火起来,阿星认为 AI 近几年不可能迅速引爆,处于早期阶段。但是人工智能概念的热炒、资本大量涌入,为大数据交易平台的出现以及数据购买带来钱景相当可观的增量,反而促进了大数据产业开始受重视。
13. 大数据把人都“标签化”了,以前互联网公司数据对立的都是 ID (账户)数据,但是很难接近真人的数据,如今最能真实反映人的数据还是阿里和腾讯,让以前无数多、散、匿、杂的数据越来越集中,越来越接近真人;而用户也可以跳出物理范畴去延伸线上的世界,人与人之间的信任成本降低,陌生人之间的线上交易形成一个相对良好的契约基础,这就是大数据所给予我们的第一波红利。
14. 可以预料,国内的大数据产业将与欧美完全不同,国外讲究个人隐私,有严格的反隐私法的规定;并且东亚文化圈对上网“隐私”容忍度很高,相关法律机制也不健全,也给了一些大数据公司和互联网用数据牟利带来了“空间”,这有点像互联网行业早期发展与国内知识产权相对宽松氛围相关,整个行业抄去抄来,网民无版权意识用免费内容用惯了。但如果在互联网行业已经成熟的今天,还在吃法律不健全的红利显然比较 low 了。
15. 大数据是把双刃剑,公民的数据信息必须得依法监管,如果一旦出现行业性数据安全泄密事件,将会相关新的新行业将陷入危机之中;如智能家居数据泄密将会造成人身财产安全隐患;比如在 3 月 10 日曝出一起某互联网公司员工人盗取 50 亿条公民数据的信息;这是 DT 崛起前最大的绊脚石;也从侧面证明了大数据产业所处的原始混乱状态。
更多内容请关注:www.imefuture.com
来源:微信公众号 人人都是产品经理
大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
从技术上看,大数据与云计算的关系就像一枚硬币... 显示全部 »
大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
事实上,“公有云、私有云和混合云”不同形态的云计算在不断地发展和成熟,越来越多企业级的云计算服务被推出市场。尽管这样,大部分的声音认为这只是云计算提供商和企业的初期。“就目前来看,云计算还只是处在青春期,要想成熟进入成年期至少还需要五年的时间以上。” 我们还将会看到云计算生态系统的崛起,公有云不仅可以作为技术交互的平台,还是云服务提供商和消费者之间的生态纽扣将二者很好的连接在一起。在瞬息万变的社交网络和移动互联网的时代,云计算为整个互联网生态系统的发展提供了新加速途径。很多行业受益于“数据中心作为一个枢纽”,越来越多的以云计算为中心的生态系统合作伙伴集中在一个关键的数据中心,如金融交易、网页和在线服务或是媒体内容的企业。众所周知,这些企业有大量的数据需要进行处理和管理。随着移动智能设备的普及,云计算服务和云应用在云平台的支撑下,让这庞大的数据得以保存和处理,数据的价值不在于多,而是如何挖掘到有价值的数据,这需要借助云服务和云应用的能力了。这也是业界将云计算和大数据相提并论的原因所在,到底云计算与大数据是怎么样的关系?云计算已然走下神坛开始步入应用阶段,而大数据的催生反过来了体现了云计算的价值所在。关注IT的朋友想必已经注意到业界对于新趋势的关注已由原来的云计算转移到大数据上,越来越多的企业开始推广大数据相关的服务和产品,越来越多的企业将企业数据作为企业资产进行管理和变现,已经开始从数据抽象、数据共享和数据估值开始启动大数据战略。对于大数据趋势并不像云计算那样主要集中在概念层面的讨论,主要是在技术层面的研究。企业视大数据为企业的生命、企业的新竞争力,要想在同类行业中脱颖而出赢得市场,大数据的支持是必不可少的,所以企业纷纷制定大数据战略,无论是互联网企业还是传统企业,都在大数据时代不甘示弱,而大数据时代的特性注定了它与云计算的不解之缘。大数据推动云计算的落地,云计算促进大数据的应用。云计算大数据
EPC第二代RFID标准开发中最主要的部分是设计了第二代的UHF(超高频率)空中接口协议,该协议用于管理从标签到读卡器的... 显示全部 »
EPC第二代RFID标准开发中最主要的部分是设计了第二代的UHF(超高频率)空中接口协议,该协议用于管理从标签到读卡器的数据的移动,为芯片中存储的数据提供了一些保护措施。新标准采用"一个安全的链路",保护被动标签免于受诸如RFDump和其他一些在供应链应用中被发现的大多数攻击行为。
根据第二代RFID标准规范,当数据被写入标签时,数据在经过空中接口时被伪装。从标签到读卡器的所有数据都被伪装,所以当读卡器在从标签读或者写数据时数据不会被截取。一旦数据被写入标签,数据就会被锁定,这样只可以读取数据,而不能被改写,就是具有我们常说的只读功能。
EPC被动标签一般只包括产品的识别信息,比如产品代码、产品部件数,或者SKU数目,也就是仅仅包括物品本身的信息。另外EPC被动标签不包括依据秘密保护规则涉及的物品个性化的识别信息。
产品的识别信息通常是指相对于个性化识别信息而言不太敏感的内容,通常伪装也只针对其中涉及的数据。数据并不被加密,但是读卡器需要一个破解伪装的"密钥"。
根据美国国防部副部长助理、负责供应链整合的Alan Estevez先生透露,美国国防部在今年8月公布了其最终的针对供应链应用的RFID规范,其中并没有包括数据加密要求。Estevez先生列举了两条理由,说明DOD规范的合理性:第一,产品信息比如序列号等在它没有被整合到带有附加信息的数据库之前,并没有太多值得利用的信息;第二,潜在的"敌人"不可能非常近距离地接近它,比如在10英尺之内,以读取标签上的信息。
然而,DNS 服务商遭到了大量垃圾请求,不断有“人”来找 DNS 服务商“搭话”,请求访问一些网址,甚至访问并不存在的域名,甚至可能仅仅是无意义的闲聊:“你妈是谁?你家里人都好吗?”
这让“接客”的 DNS 解析商应接不暇,完全无法应对,处于“懵逼”状态,无法接“正经的客人”(正常用户发起的域名解析请求),这就是著名的 DoS 攻击,学名“拒绝服务攻击”。
用脚趾头都可以想明白,美国的域名解析服务商可不是吃素的,正常情况下他们有充足的带宽和算力来应对来自世界各地的请求,不会轻易被打摊。
那么,究竟是谁能够有这么大的力量,同时发起天文数字般的请求呢?
答案是:分布在各家各户的摄像头、智能传感器、智能门磁、智能冰箱洗衣机们。
简单来说,全美国(甚至可能是全球)的智能硬件要“造反”。
这些算法使用比较少的重复步骤和较为简单的规则处理(crunch)复杂问题。我们给这些算法提供数据,它们就能得出一个答案。如果我们不喜欢这个答案,可以给算法提供更多的数据,让算法调整答案。Cruncher类算法擅长客户分类、预估项目持续时间... 显示全部 »
这些算法使用比较少的重复步骤和较为简单的规则处理(crunch)复杂问题。我们给这些算法提供数据,它们就能得出一个答案。如果我们不喜欢这个答案,可以给算法提供更多的数据,让算法调整答案。Cruncher类算法擅长客户分类、预估项目持续时间、分析调查数据等任务。
... 显示全部 »
看似简单的应用,背后包含了复杂的技术。对于户外环境中建筑、店面的识别,一直是计算机视觉的难点。如何让计算机看清楚,看得准?即使户外的光线千变万化,即使环境中存在众多干扰因素?
我国的“十三五”规划纲要提出实施国家大数据战略,把大数据作为基础性战略资源,全面实施促进大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级和社会治理创新。
大数据的高效采集、有效整合、融合利用可以提高国家宏观调控、市场监管、社会治理和公共服务的精准性和有效性;依托政府数据建立统一的大数据共享交换平台,对加快推进跨部门数据资源共享共用具有较强的实践意义。因此,急需加快深化政府数据和社会数据关联分析,建设国家政府数据统一开放平台,推动政府信息系统和公共数据互联开放共享;研究制定数据开放、保护等法律法规,制定政府信息资源管理办法;深化大数据在各行业的创新应用,探索与传统产业协同发展新业态新模式,加快完善大数据产业链;加快海量数据采集、存储、清洗、分析发掘、可视化、安全与隐私保护等领域关键技术攻关;促进大数据软硬件产品发展。完善大数据产业公共服务支撑体系和生态体系,加强标准体系和质量技术基础建设。
在当前的国内经济、政策背景下,中国科学院大数据挖掘与知识管理重点实验室采用先进的数据挖掘技术解决当前社会众多现实问题,使其真正做到普惠民众。目前,在大数据支持下,我国已经成功建立全国个人信用评分系统,正在建设新一代居民身份证等一系列重要的个人信息、信用系统。未来的大数据还将继续深入涉足医疗、生物、航天、金融等社会的各行各业。
华为网络放出大招,全面云化是什么概念?
电气控制类 幸福的小宝 2017-04-06 10:45 发表了文章
在3000平米的展区,能看到单独的网络展区,分别是是CloudFabric、CloudCampus、CloudEPN、EC-IoT、CloudDCI和Security等,正好对应了企业网络全面云化的六大解决方案。
了解华为的读者可能知道,这两年华为全面转向云化。在这个集团战略之下,网络如何响应这个战略,是务虚还是实实在在的“云化”?这个“全面云化”和之前的“敏捷网络”又有什么关系?
这个问题解答之前,先看看现在的行业发展和技术趋势。
看行业发展。所有行业转向“数字化”,这是未来企业的必由之路。关于数字化是什么,如何转型,各个厂商和研究机构会从不同角度给出不同的建议。但不能否认的是,数字化的核心是,所有业务几乎都用数字驱动,用数据说话,也就是全面云化的开端。
再看技术趋势。从当前发展看,云和大数据、物联网正从概念期落地,切实成为企业的生产力。但在实践应用中,如何落地还有不少困惑。以网络的SDN和NFV来说,概念提了快有10年,而真正普及的却很少。原因在于技术壁垒,应用场景。
无论是SDN还是NFV,本质是让网络服务化,让网络“随需应变”,更简单、更智能,更节约成本,更容易维护。视角从网络技术转向应用,让用户忘记复杂的配置、难以维护的运营。尤其是SDN,让你忘记“汇聚层、转发层、应用层”,更让你忘记IP化,用数据的角度控制和转发流量。
有了现在这个背景,就不难理解华为企业网络“全面云化”的意图。
华为这几年的战略是“敏捷网络”,让网络更敏捷地为业务服务,越来越智能化。
并且,华为网络细分场景化,每年在年度大会中,都会针对不同场景发布解决方案,以园区、分支、广域网、数据中心等场景为例,引入最新的技术和成熟的解决方案。
到了如今,不管是响应集团号召还是华为网络的自身发展,或者两者皆有的原因,华为网络走到了“全面云化”的阶段。可以认为,这是在过去“敏捷网络”基础上的升级,理念一脉相承,技术上则是更多引入云和物联网等新技术的概念。
举例来说,华为的“梯联网”是在电梯中安装设备,帮助电梯厂商监控网络运行的情况。这样的好处是,随时在手机终端查看状态,节省人力巡检的时间和精力,还能促进电梯厂商展开其他的商业活动。
“梯联网”解决的几个问题是,物联网时代如何做到上千个、上万个设备联网;如何确保有用数据随时上传到数据中心处理,涉及到数据筛选和过滤机制,以及边缘计算的理念。最后才是在技术之上,如何开放一个平台,让电梯厂商、用户和其他开发商利益共享,形成生态圈。
华为网络产品线副总裁曾兴云从理念角度说,华为网络的核心还在于“管”,是“云端管”中的“管道”。华为网络不会碰数据和应用,要从数据的角度让网络更加智能,让“端”的数据通过网络的“管道”更加智能的进入“云”中。
全面云化有三层含义。
在分支和物联等各个场景下,将人、物、数据和应用全面连接起来;
有一个开放的云平台,要借助云端管理实现资源的集中调度来获得效率的提升和商业模式的创新,而开放的云可以更便捷的进行行业化扩展;
社交化的行业应用。
我觉得如果从技术和功能来说,全面云化是将网络“云化”和“服务化”实现的手段。正如IaaS让企业不再建设基础设施如数据中心那样,网络全面云化之后,企业不用关心谁来建设网络,网络在哪里,功能如何实现。只要关心是,需要提供什么样的功能,在这个网络功能上,如何实现商业创新?甚至是以后可以按需付费。
网络云化有些费解,它不像IaaS或者SaaS容易理解,因为它在企业业务中,不是一个平台,只是计算和存储等数据连接的方式。但在企业业务中,网络非常重要,决定了用户的体验。
顺便说一下,从另一个角度看各个场景的互联互通,可以认为是数据在终端到数据中心、数据中心和数据中心、广域网和数据中心、广域网之间的连接。如果从数据的角度理解网络的作用,就会明白全面云化是建设一个无所不在,智能可控,随需应变的网络。
让网络成为服务,而不是成为技术,这就是华为网络全面云化给客户带来的商业价值:极致体验、敏捷创新以及无处不在的安全。
具体关于这个战略之下的解决方案以及实施,我们将持续关注。 查看全部
在3000平米的展区,能看到单独的网络展区,分别是是CloudFabric、CloudCampus、CloudEPN、EC-IoT、CloudDCI和Security等,正好对应了企业网络全面云化的六大解决方案。
了解华为的读者可能知道,这两年华为全面转向云化。在这个集团战略之下,网络如何响应这个战略,是务虚还是实实在在的“云化”?这个“全面云化”和之前的“敏捷网络”又有什么关系?
这个问题解答之前,先看看现在的行业发展和技术趋势。
看行业发展。所有行业转向“数字化”,这是未来企业的必由之路。关于数字化是什么,如何转型,各个厂商和研究机构会从不同角度给出不同的建议。但不能否认的是,数字化的核心是,所有业务几乎都用数字驱动,用数据说话,也就是全面云化的开端。
再看技术趋势。从当前发展看,云和大数据、物联网正从概念期落地,切实成为企业的生产力。但在实践应用中,如何落地还有不少困惑。以网络的SDN和NFV来说,概念提了快有10年,而真正普及的却很少。原因在于技术壁垒,应用场景。
无论是SDN还是NFV,本质是让网络服务化,让网络“随需应变”,更简单、更智能,更节约成本,更容易维护。视角从网络技术转向应用,让用户忘记复杂的配置、难以维护的运营。尤其是SDN,让你忘记“汇聚层、转发层、应用层”,更让你忘记IP化,用数据的角度控制和转发流量。
有了现在这个背景,就不难理解华为企业网络“全面云化”的意图。
华为这几年的战略是“敏捷网络”,让网络更敏捷地为业务服务,越来越智能化。
并且,华为网络细分场景化,每年在年度大会中,都会针对不同场景发布解决方案,以园区、分支、广域网、数据中心等场景为例,引入最新的技术和成熟的解决方案。
到了如今,不管是响应集团号召还是华为网络的自身发展,或者两者皆有的原因,华为网络走到了“全面云化”的阶段。可以认为,这是在过去“敏捷网络”基础上的升级,理念一脉相承,技术上则是更多引入云和物联网等新技术的概念。
举例来说,华为的“梯联网”是在电梯中安装设备,帮助电梯厂商监控网络运行的情况。这样的好处是,随时在手机终端查看状态,节省人力巡检的时间和精力,还能促进电梯厂商展开其他的商业活动。
“梯联网”解决的几个问题是,物联网时代如何做到上千个、上万个设备联网;如何确保有用数据随时上传到数据中心处理,涉及到数据筛选和过滤机制,以及边缘计算的理念。最后才是在技术之上,如何开放一个平台,让电梯厂商、用户和其他开发商利益共享,形成生态圈。
华为网络产品线副总裁曾兴云从理念角度说,华为网络的核心还在于“管”,是“云端管”中的“管道”。华为网络不会碰数据和应用,要从数据的角度让网络更加智能,让“端”的数据通过网络的“管道”更加智能的进入“云”中。
全面云化有三层含义。
在分支和物联等各个场景下,将人、物、数据和应用全面连接起来;
有一个开放的云平台,要借助云端管理实现资源的集中调度来获得效率的提升和商业模式的创新,而开放的云可以更便捷的进行行业化扩展;
社交化的行业应用。
我觉得如果从技术和功能来说,全面云化是将网络“云化”和“服务化”实现的手段。正如IaaS让企业不再建设基础设施如数据中心那样,网络全面云化之后,企业不用关心谁来建设网络,网络在哪里,功能如何实现。只要关心是,需要提供什么样的功能,在这个网络功能上,如何实现商业创新?甚至是以后可以按需付费。
网络云化有些费解,它不像IaaS或者SaaS容易理解,因为它在企业业务中,不是一个平台,只是计算和存储等数据连接的方式。但在企业业务中,网络非常重要,决定了用户的体验。
顺便说一下,从另一个角度看各个场景的互联互通,可以认为是数据在终端到数据中心、数据中心和数据中心、广域网和数据中心、广域网之间的连接。如果从数据的角度理解网络的作用,就会明白全面云化是建设一个无所不在,智能可控,随需应变的网络。
让网络成为服务,而不是成为技术,这就是华为网络全面云化给客户带来的商业价值:极致体验、敏捷创新以及无处不在的安全。
具体关于这个战略之下的解决方案以及实施,我们将持续关注。
云电视和智能电视的几个区别
物联网类 小子#122 2017-03-31 11:50 发表了文章
智能电视,指像智能手机一样,具有全开放式平台,搭载了操作系统,可以由用户自行安装和卸载软件、游戏等第三方服务商提供的程序,通过此类程序来不断对彩电的功能进行扩充,并可以通过网线、无线网络来实现上网的这样一类电视的总称。
资源享用,真正的云电视是无需注册的账户,各种云端资源可以随时分享,真正的给用户带来娱乐享受,而智能电视则不能达到。云电视能统筹所有云应用,打开新的云应用,而智能电视是进入每个应用前均需要分别注册帐户、分别登录。云电视使用更方便、更快捷,资源更丰富。云电视通过云端协同计算,拓展电视本身性能,对硬件更新换代依赖低,智能电视完全依赖本地硬件,受硬件更新速度影响大、淘汰速度快。 查看全部
云电视是应用云计算、云存储技术的电视产品,是云设备的一种。是用户不需要单独再为自家的电视配备所有互联网功能或内容,将电视连上网络,就可以随时从外界调取自己需要的资源或信息,可以在云电视里安装使用各种即时通讯软件,在看电视的同时,进行社交、办公。
智能电视,指像智能手机一样,具有全开放式平台,搭载了操作系统,可以由用户自行安装和卸载软件、游戏等第三方服务商提供的程序,通过此类程序来不断对彩电的功能进行扩充,并可以通过网线、无线网络来实现上网的这样一类电视的总称。
资源享用,真正的云电视是无需注册的账户,各种云端资源可以随时分享,真正的给用户带来娱乐享受,而智能电视则不能达到。云电视能统筹所有云应用,打开新的云应用,而智能电视是进入每个应用前均需要分别注册帐户、分别登录。云电视使用更方便、更快捷,资源更丰富。云电视通过云端协同计算,拓展电视本身性能,对硬件更新换代依赖低,智能电视完全依赖本地硬件,受硬件更新速度影响大、淘汰速度快。
物流人,该如何拥抱互联网思维?
其它类 上海明日之星科技有限公司 2017-03-31 11:07 发表了文章
互联网思维无疑是时下最热门的词汇之一了。众多官博、自媒达人、大神无不在天天鼓吹,仿佛广告里那加长护翼的**巾,用了就能出入平安上天下地无所不惧。话糙理直,外贸业和物流业作为外向型的传统行业,在强调创新和转型的今天,互联网思维对之而言,就好比女神—股。无之,依然能活;有之,却能带来飞—股的幸福感。那么作为从业者的我们,又该如何去拥抱这位女神呢?
我们不去定义什么是互联网思维,首先要问我们为什么需要互联网思维。行业和企业没有她,用传统的思维和方法照样能下来。就像前段时间,万科组团上小米刷经验,难道没有小米的互联网经验,万科就卖不动房子了吗?那倒未必。但是成功地引入互联网思维,或许会让万科卖得更好卖得更风骚。作为个人,我们拥抱互联网思维,就是为了跳出传统方式方法的圈子,增值自我,更有利于工作或事业。
拥抱的方式有很多种:中式、法式、俄式但最重要的是下面两种:
一、大数据你的信息
信息,是一个外贸人或物流人最有价值的素质之一,其中包括了知识、经验、商机技巧等等。你对专业知识的掌握、对行业经验的熟悉,对市场商机的把握,乃至对职业技巧的熟练,很大程度决定了你工作或职业的发展。这些信息,在传统的方法上,不外乎多读书、多问人、多经历,用时间和教训来换取和积累。这样的话,个人就短时间内形成信息的“大数据”就很难,师傅领进门,修行在个人,并非人人都是张无忌。
但是,利用互联网的方式,我们能够在信息接收的广度、深度已经筛选的精度方面得到长足的提高,从而更容易地建立个人的信息大数据。具体而言,最简单的莫过于多上阿里巴巴、航运界、Everychina、福步等行业网站或者论坛,但这种WEB1.0的方式新带来的信息量虽然大,但缺乏精确度和指向性,所以我们还可以有的放矢地多去关注下@soo56物理搜索网、@米课MRHUA等专业性、指向性强的信息发布源,更好地筛选有价值的信息。其实在现今WEB2.0的时代,互联网的运用已经肯不少新的亮点。
一是碎片化,多运用POCKET或者订阅自媒体或者信息聚合应用的方式建立和分类自己的信息库;
二是社交化,信息社交化的核心就是分享。子曰,你有一个苹果,我有一个苹果,相互交换还是每人一个苹果:你有一种思想,我有一种思想,相互交换就每人就有两种思想。在社交化分享的条件下,这种分享所带来的结果远不止是思想的培增,还会带来人脉的延伸。
二、O2O你的人脉
“你懂什么不重要,重要的是你认识谁”,这句话不仅在好菜坞有效,在外贸和物流的圈子同样如此。人脉,是一个外贸人或物流人的重要价值指标之一。在传统方式下,黄页、名片、介绍、电话、登门就是拓展人脉的主要方式。然而今天,我们可以利用更多互联网的方式去拓展人脉。从最“原始”的群、论坛,到最“先进”的社交网站、社交应用。这些对比起传统的方式,在拓展人脉上能延续得更广更主动,而且通过匹配和筛选机制能更有效地识别和建立更有价值的人脉关系链。
所谓O2O,就是从线上到线下(online tooffline)。这是WEB2.0的一个重要特征,也是用互联网思维拓展人脉的一个特点。古时兵家云:三矢不如一刀,三刀不如—枪。在人脉的处理上亦同理:三封邮件不如一个电话,三个电话不如—次见面。
如何把线上的人脉关系链复制到线下,网上很多利用微信群的文章就很值得学习。微信群相对于QQ群和论坛组群而言,更具私密性。私密性是强关系链的重要特征,越是关系链核心私密性就越强。譬如你和女友之间的枕头风是私密的,你在女神微博上的留言是公开的,相比而言,前者就是强关系链的核心,前者之间传播的信息就越是有价值。同样,我们利用互联网或移动互联网工具的目的就是要筛选和建立这种强关系人脉,并把这种人脉从线上带到线下,真实地反哺于工作中。
无论是外贸业还是物流业,都如同其他传统行业—样,在新科技浪潮中都面临着转型和突破的压力和机遇。大数据、云计算、互联网思维等等新概念无不刷新着人们对行业发展的认识。作为其中从业者之一,我们应应时而为,无需为这些新概念所谜惑和害怕,只要我们用心去学习,去尝试,女神,也是可以抱—抱的。 查看全部
互联网思维无疑是时下最热门的词汇之一了。众多官博、自媒达人、大神无不在天天鼓吹,仿佛广告里那加长护翼的**巾,用了就能出入平安上天下地无所不惧。话糙理直,外贸业和物流业作为外向型的传统行业,在强调创新和转型的今天,互联网思维对之而言,就好比女神—股。无之,依然能活;有之,却能带来飞—股的幸福感。那么作为从业者的我们,又该如何去拥抱这位女神呢?
我们不去定义什么是互联网思维,首先要问我们为什么需要互联网思维。行业和企业没有她,用传统的思维和方法照样能下来。就像前段时间,万科组团上小米刷经验,难道没有小米的互联网经验,万科就卖不动房子了吗?那倒未必。但是成功地引入互联网思维,或许会让万科卖得更好卖得更风骚。作为个人,我们拥抱互联网思维,就是为了跳出传统方式方法的圈子,增值自我,更有利于工作或事业。
拥抱的方式有很多种:中式、法式、俄式但最重要的是下面两种:
一、大数据你的信息
信息,是一个外贸人或物流人最有价值的素质之一,其中包括了知识、经验、商机技巧等等。你对专业知识的掌握、对行业经验的熟悉,对市场商机的把握,乃至对职业技巧的熟练,很大程度决定了你工作或职业的发展。这些信息,在传统的方法上,不外乎多读书、多问人、多经历,用时间和教训来换取和积累。这样的话,个人就短时间内形成信息的“大数据”就很难,师傅领进门,修行在个人,并非人人都是张无忌。
但是,利用互联网的方式,我们能够在信息接收的广度、深度已经筛选的精度方面得到长足的提高,从而更容易地建立个人的信息大数据。具体而言,最简单的莫过于多上阿里巴巴、航运界、Everychina、福步等行业网站或者论坛,但这种WEB1.0的方式新带来的信息量虽然大,但缺乏精确度和指向性,所以我们还可以有的放矢地多去关注下@soo56物理搜索网、@米课MRHUA等专业性、指向性强的信息发布源,更好地筛选有价值的信息。其实在现今WEB2.0的时代,互联网的运用已经肯不少新的亮点。
一是碎片化,多运用POCKET或者订阅自媒体或者信息聚合应用的方式建立和分类自己的信息库;
二是社交化,信息社交化的核心就是分享。子曰,你有一个苹果,我有一个苹果,相互交换还是每人一个苹果:你有一种思想,我有一种思想,相互交换就每人就有两种思想。在社交化分享的条件下,这种分享所带来的结果远不止是思想的培增,还会带来人脉的延伸。
二、O2O你的人脉
“你懂什么不重要,重要的是你认识谁”,这句话不仅在好菜坞有效,在外贸和物流的圈子同样如此。人脉,是一个外贸人或物流人的重要价值指标之一。在传统方式下,黄页、名片、介绍、电话、登门就是拓展人脉的主要方式。然而今天,我们可以利用更多互联网的方式去拓展人脉。从最“原始”的群、论坛,到最“先进”的社交网站、社交应用。这些对比起传统的方式,在拓展人脉上能延续得更广更主动,而且通过匹配和筛选机制能更有效地识别和建立更有价值的人脉关系链。
所谓O2O,就是从线上到线下(online tooffline)。这是WEB2.0的一个重要特征,也是用互联网思维拓展人脉的一个特点。古时兵家云:三矢不如一刀,三刀不如—枪。在人脉的处理上亦同理:三封邮件不如一个电话,三个电话不如—次见面。
如何把线上的人脉关系链复制到线下,网上很多利用微信群的文章就很值得学习。微信群相对于QQ群和论坛组群而言,更具私密性。私密性是强关系链的重要特征,越是关系链核心私密性就越强。譬如你和女友之间的枕头风是私密的,你在女神微博上的留言是公开的,相比而言,前者就是强关系链的核心,前者之间传播的信息就越是有价值。同样,我们利用互联网或移动互联网工具的目的就是要筛选和建立这种强关系人脉,并把这种人脉从线上带到线下,真实地反哺于工作中。
无论是外贸业还是物流业,都如同其他传统行业—样,在新科技浪潮中都面临着转型和突破的压力和机遇。大数据、云计算、互联网思维等等新概念无不刷新着人们对行业发展的认识。作为其中从业者之一,我们应应时而为,无需为这些新概念所谜惑和害怕,只要我们用心去学习,去尝试,女神,也是可以抱—抱的。
36张PPT |中国智能硬件产业综述2017,用关键数据说话
智能制造类 jingjing 2017-03-30 16:41 发表了文章
这些问题成为市场关注的重点,本次专题分析将从智能车载设备、智能医疗健康设备、智能服务机器人、智能家居、智能可穿戴设备和智能工业六个领域入手,涵盖规模预测、现状分析、发展趋势等维度,全方位立体化的解析智能硬件市场,用数据说话,给你一篇不一样的智能硬件产业综述。
查看全部
面向大数据的情报系统初探:以数据为中心的情报系统将成为信息化战争的制胜关键
工业大数据 哦然后呢 2017-03-29 15:38 发表了文章
随着传感器技术、物联网技术和移动终端技术的发展,数据与信息在各个方面都呈爆发式增长,数据类别(Variety)多样化、数据容积(Volume)海量化、数据价值(Value)增值化驱使各种社会服务开始对海量数据进行分析和挖掘。同时,云计算技术、并行处理技术和分布式架构技术为数据处理速度(Velocity)迅捷化提供了技术基础和支撑。基于以上特征,大数据概念正在推动生活、工作和思维的大变革。《大数据时代》一书指出,在大数据时代,信息技术变革的重点应该从技术转向信息本身,放眼于全体数据,接受不精确的非结构化数据,关注数据的关联性。
现代战争已经发展成为陆、海、空、天、电磁、网络等多空间、全方位的立体化战争,以使用信息化武器为标志,形成了数字化部队和以网络为中心的作战体系。在这种作战体系下,制信息权成为决定战争胜负的关键,情报系统作为争夺制信息权的核心,已成为现代战争的灵魂。情报是对利用侦察与监视手段或其他方法收集来的数据和信息,进行处理、综合、分析、评价和解释而得到的信息产品。由情报的定义可以看出,数据和信息是情报的主体。大数据时代数据和信息环境的变化,要求情报服务的构建以数据为中心,结合新的大数据相关技术,为军事行动和作战指挥提供更加科学、精确、及时、到位的决策依据。
1. 情报系统功能
情报系统是为实现情报搜集、加工、存储、检索和传递的系统。在大数据时代,庞大而复杂的数据考验着情报系统的技术体系结构和数据处理能力;另一方面,信息化作战的突发性和速决性对情报系统的实时、分布式分发能力提出了新的要求。为适应大数据和信息化作战的要求,我们将情报系统的功能分为核心层、业务层和支撑层三层(见图1)。核心层进行情报计划和准备,对业务层进行指导;业务层将情报活动分为情报搜集、情报处理、情报分发等三大部分;支撑层是对情报活动三个阶段的具体化。
1.1 核心层
情报系统的核心层功能就是从战略、战役、战术层面为军事行动的指挥决策提供详细的情报数据以及综合性的和快速反应的情报能力。无论是战时还是平时,只有依赖准确、及时的情报,才能做出正确、迅速的指挥和决策。在战略层面,情报系统需要查明有关国家、地区、集团的战略方针、企图、方向、部署、武装力量数量、作战指导思想、战略措施、战争潜力等情况;在战术和战役层面,情报系统需要提供敌方企图、行动方向、战斗编成、兵力部署、主要装备、工事、障碍、作战能力、作战特点、指挥官、指挥机构、通信枢纽以及作战地区的地理、水文、气象、社会等情况。
1.2 业务层
收集、处理、发布是各种信息处理系统的基本流程,情报系统作为典型的以信息和数据为中心的系统,对应的需要支持情报搜集、情报分析与生产和情报分发等三项基本功能。情报搜集是基础,通过各种情报源获得最初的情报数据,这些数据有的可以作为直接的情报产品,有的则需要经过进一步处理;情报分析是灵魂,负责对情报搜集得到的信息和数据进行处理,结构化情报数据,从其中挖掘出潜在的有用信息;情报分发是表现,分发过程的及时性和针对性直接影响情报对指挥决策的辅助效果。
图1 情报系统功能
1.3 支撑层
情报系统的支撑层功能主要包括:
a)侦察监视。这是获取情报的手段,通过有时限的侦察和连续性的监视可以获得7种主要的情报类型:图形情报、信号情报、测量和特征情报、人工情报、公开来源情报、技术情报和反情报。
b)信息挖掘。这是链接情报搜集和情报处理的重要功能,信息处理技术历经了人工分析阶段、自动化管理阶段、智能化综合处理阶段等三个阶段,已经形成了各种手段综合利用的现代化信息挖掘技术。
c)态势生成。态势生成时随着可视化技术发展起来的情报的图形化表达,可以分为平时和战时两种类型,平时态势主要包括战略部署、武器装备情况、军事重点分布等,战时态势则进一步包括战场态势涉及的兵力部署、敌方动向、地理数据和气象电磁信息等。
d)威胁预警。通过实力估计、预测敌方意图、威胁识别、进攻和防御分析等多方面的评估,情报系统需要实现及时、准确的威胁预警功能。
e)战场支援。通过情报系统的综合运转,在目标引导、部队部署、毁伤评估等方面为战场提供支援。
f)效果评估。为推动情报系统的发展和优化的推动,需要在情报活动的各个阶段对其进行评估,检验情报工作的效果,确保用户的情报需求得到充分满足。
2. 基于大数据的情报系统架构
图2 面向大数据的情报系统架构
美国情报基础理论历经了从情报周期(Intelligence Cycle)到情报流程(Intelligence Process)的转变,从最初的情报环路到强调情报活动之间的有机联系,最终在2000年版的《联合作战情报支援条令》将情报流程定义为计划与指导、搜集、处理与加工、分析与生产、分发与整合、评估与反馈。实际构建情报系统的过程中,计划与评估需要相互关联;同时,大数据时代带来的海量信息对数据采集和存储提出了新的要求;此外,由于情报的各个阶段活动趋向于分布式和网状化,需要情报系统提供安全保障服务。综合以上考虑,情报系统的体系架构设计如图2所示。
2.1 情报计划与评估
情报计划的过程主要是根据战略和作战态势的实时变化情况,在分析情报需求的基础上,综合考虑可用的侦察资源、情报系统能力、情报技术现状等各个方面,指定情报系统在何时、何地针对何种对象进行情报活动,确定情报服务指标和要求,并根据各种军事、社会环境的变化修订相应的情报计划。情报计划子系统需要提供需求汇集、情况收集、分析判断、计划制定、计划推演、计划分发以及计划调整等服务。
情报评估是根据所收集的情况信息,评估和评价情报活动是否完成了情报计划指定的情报指标和要求,以确保情报需求获得满足。情报计划与情报评估相互印证,以情报需求为中心,是情报系统的关键,贯穿并影响情报活动的各个方面,连续不间断的进行。
大数据时代对情报计划和评估系统的影响首先是思维上的转变,情报计划的确定要考虑海量数据的相互关联和情报数据的实时变化,从而更注重预测性和时效性;其次,计划和评估过程要争取实现信息化、智能化、服务化,以应对人力与大数据之间的巨大差距。
2.2 情报搜集
各种情报搜集设施是情报系统的根本,没有情报搜集,情报活动就无从谈起。大数据对情报搜集的影响体现在情报来源越来越多样,情报数据越来越复杂。当前的军事情报系统从陆海空天电网一体化作战出发,建立了陆基侦察、海基侦察、空基侦察、天基侦察、电磁侦察、网络侦查、人力侦察和公开来源等军事情报源,其中,公开来源的情报信息往往被低估甚至忽视。大数据兴起的新时期,公开信息情报的政治和军事优势得天独厚并且成本低廉,能够在在全球范围内,针对所有秘密情报视野之外的海量数据开展情报搜集工作。2012年,奥巴马政府提出,对数据的占有和控制权将成为继陆权、海权、空权等传统权利之外的另一项国家核心资产。丰富情报系统的情报搜集手段,是争夺和扩大数据占有和控制权的重要表现。
2.3 数据预处理
数据预处理子系统将来自各种战场传感器、人力侦察和公开来源的情报信息安全、可靠、快速地传送至情报处理系统,主要进行接入汇集、数据预处理等工作。数据预处理过程包括数据清理、数据集成、数据转换等。
数据清理主要包括数据格式标准化、异常数据识别、错误纠正、重复数据清除等。由于各情报源所处环境不同,尤其是战时,受敌方干扰或者恶劣环境影响,很容易出现错误或者不规范的情报信息,数据清理过程需要对多源传感器数据进行净化与筛选处理,减少噪声影响,识别异常信息,并利用情报还原技术及时从其中获得有用信息。在情报数据清理的过程中,应根据情报计划进行必要的对照检查,防止对重要情报的遗漏,对未达到要求的情报内容要及时进行补充收集。
数据集成是将多个情报源中获得的数据结合起来并统一存储,是构建关联型数据库的重要手段。通过构建目标情报信息模型、态势预测模型,分别采用数据级、特征级、决策级的数据集中关联实现多源情报信息的综合集成,可以获得面向情报对象的全方面、一体化的情报资源。
数据转换是通过规范化和平滑聚集,将数据信息和数据结构转换为适合情报处理的数据。由于各情报源输出的数据形式、对环境的描述和说明等都不一样,为了综合处理这些不同来源的信息,需要将其转换成相同的形式和描述。例如,将监视目标的位置信息的连续变化转变为动向情报的节点式间断变化,将各个绝对坐标转变为参考同一参照物的相对坐标等都属于情报转换的重要手段,可以为后续的情报分析提供便利。
大数据时代的数据预处理与传统的预处理区别在于,大数据时代的预处理考虑数据的可扩展性,可以接受传统数据时代所忽略的非结构化数据,并能从所谓的“数据废气”中挖掘潜在价值。传统的数据预处理还包括数据归约,主要用来得到数据集的归约表示,大大精简数据量以缩短挖掘分析的时间。但是随着大数据计算和大数据分析技术的发展,对全量数据的处理时间大大缩短,盲目的数据归约反而会导致信息的丢失,得不偿失。
2.4 情报数据存储
面向大数据的情报系统需要对多源异构的海量数据提供高容错、可扩展、主动交互的数据存储服务,对情报信息数据的存储管理包括巨量数据存储结构、全媒体多格式数据的快速容差处理、高增量数据的快速分类处理、信息可靠性初级评估、组合与迁移、数据备份、容灾与安全等。
情报数据可以分为结构化数据、非结构化数据和半结构化数据。结构化的数据是情报源和情报预处理系统根据事先明确的要求,以规范好的格式和顺序给出的数据。例如以经、纬度确定目标的位置信息,用年、月、日、秒确定情报事件的时间点等。非结构化的情报则指那些被动接收、无法事先规定格式的数据,文本数据、视频数据、音频数据都属于这个范畴。半结构化数据则是两者的结合,以公开情报最重要的来源网络日志为例,它既具有符合WeB传输规范的结构化文本格式,它的内容文本却是非结构化的。情报存储子系统应该构建关联型的数据库集群,既支持结构化数据存储,又支持非结构化和半结构化的数据存储。此外,虽然非关系型(NoSQL)数据库是目前大数据系统的大势所趋,具有存储速度快、可扩展性高等特点,但是传统的关系型数据库由于严格格式化并且设计成熟,是有针对性的情报系统必不可少的存储方式。新一代的情报数据存储应该综合关系型数据库和非关系型(NoSQL)数据库,为情报融合和情报关联预测提供支撑。
情报系统中数据的存储方式与处理速度密切相关,面向大数据的情报系统不仅对存储的性能和容量提出了新的要求,还需具备快速的数据检索与分析能力来随时提取有价值的信息和数据。因此,各数据库集群应采用分布式存储,以提高系统可靠性和可扩展性,为分布式的情报分析模式提供基础。分布式存储系统利用网络中物理上独立的存储设备来分担存储负荷,通过映射关系实现逻辑上统一的存储空间。与此同时,由多台计算机并行管理与使用形成强大处理能力的分布式文件系统也必不可少。当前,开源分布式处理平台Hadoop[6]是广泛使用的一种云计算支撑架构,它的HDFS分布式文件系统将计算节点和存储节点合二为一,提供了低成本、高效率的大型计算机集群模型;同时,Hadoop的HBase分布式数据库和MapReduce处理框架分别提供了非结构化数据存储能力和大数据快速分析能力,可作为新一代情报系统的平台参考。
需要指出的是,由于分布式存储的基本特征使用户失去了对数据的绝对控制权,使得分布式存储产生了特有的安全隐患。因此,情报系统需要综合考虑安全性与海量数据存储性能的得与失,从访问安全性、存储安全性和数据备份安全性等方面出发,添加适合情报系统的特定解决方案,设计并采用同时满足性能要求和安全要求的专用分布式存储系统。例如,分别针对公开来源情报和军事侦察情报,分别采用公有云、私有云以及混合云等不同形式的存储方式,满足不同的安全级别要求。
2.5 情报分析
大数据的核心意义并不在于数据量之大,而在于通过对海量数据进行整合和分析,发现新知识,创造新价值。美国国防部对情报分析的定义为“通过对全源数据进行综合、评估、分析和解读,将处理过的信息转换为情报以满足已知或预期的用户需求的过程”。强调“全源数据”,与大数据的发展趋势不谋而合。因此,对搜集的数据进行信息挖掘、数据分析和信息融合,是情报系统的重中之重。
信息挖掘是对已预处理的数据进行关联、分类、聚类、偏差分析等,从中发现有价值的知识和模式。情报系统中,主要通过信息分类、信息整编、信息索引、信息标注、信息关联、模式识别以及推理判断等技术,以聚类统计分析和规则假设推理的方法来揭示隐藏的、未知的或验证已知的模式与规律,挖掘出有价值的情报。海量处理对象的需求和情报系统的实时性要求使面向大数据的信息挖掘要依托云计算技术和大数据分析技术进行分布式并行处理,配合情报搜集和存储阶段的云存储模式,提供符合要求的情报挖掘服务。
通过信息挖掘得到的知识和模式还不能直接作为决策的知识,需要进一步分析才能真正转化为有用的情报。新阶段的情报分析应该实现可视化分析、智能化分析和预测性分析。可视化分析是面向大数据分析专家和情报用户的,能够直观地呈现大数据特点,让数据自己说明结果。智能化分析使情报系统能够自动从数据中发现有用信息,大幅提高了将情报优势转化为决策优势的过程的时效性和准确性,是大数据时代必备的要求。预测性分析是大数据技术的核心应用,是根据已知情报信息对将来和未知的情报信息的大数据分析过程。此外,随着网络空间攻防战的日益激烈,分析监视数据并提供实时警告也是情报分析的重要任务。
信息融合是对来自多源的数据和多维度信息进行检测、互联、相关、估计和综合等多层次多方面的处理,以获得准确的状态和身份认证,完整而及时的战场态势和威胁评估。信息融合利用了不同信息间的互补性和多元信息的冗余性,既可以产生较低层次上的状态和身份评估,也可以获得较高层次上的战术态势评估与威胁评估。以美国陆军的全源信息分析系统(ASAS)为例,现代情报分析系统采用计算机、视频显示终端盒保密无线电通信设备组成混合系统,把数据搜集和存储阶段生成的信息进行互相补充、验证、比较和分析,从中得到综合性的情报和近实时的战场态势图。此外,针对情报分析的结果,应形成对情报产品的分类管理,按照情报的类别确定保障范围和条件,为后续的情报分发过程提供支撑。
基于大数据的情报分析系统基于分布式海量数据存储与计算环境和丰富的数据分析和挖掘方法,提供智能化、可视化及预测性的分析服务,融合多源情报,通过网络提供情报分析服务。情报分析服务的网络服务特性,实现了情报生产者和情报用户的交流和互动,让处于不同位置、隶属于不同部门的情报用户和专家参与分析,通过“个性化”定制的情报分析,使情报产品更加具有针对性和灵活性。
2.6 情报分发
情报系统在形成各类情报产品之后,还需建立高效、快捷以及安全的情报分发机制。面向大数据的情报分发应实现按需分发,主要功能和阶段包括用户需求订阅、情报分发处理、分发路径优选与通信保障、情报分发监控、情报共享等。
用户需求订阅功能需要按照用户的情报保障级别,限定其订阅范围和类型,经审核后按照用户需求生成情报订阅指令,然后提交给分发控制系统。
情报分发处理阶段根据情报订阅指令,对情报产品库中的产品进行信息过滤、裁剪以及模糊处理,确定对应的分发策略。
分发路径优选与通信保障则是为了保障情报分发的时效性和可靠性,自动选取传输链路和最优路由,并通过接收确认、断链重传等可靠性传输机制传播情报。
情报分发监控则是对情报分发过程的实时监控能力,一方面要避免情报被窃取或者错误分发,另一方面要避免在通信中断或情报系统失效的情况下出现用户死等现象。在以上情况发生时,示警并激活应急机制,实现准确和不间断的情报保障。
情报共享是实现情报协调的基础,既包括垂直性的上级向多个下级机关的情报通告,也包括平行性的情报传阅。通过分布式系统实现的情报共享机制,有利于提高一体化联合战争大环境下的协同作战能力。
2.7 情报服务
情报服务是情报系统呈现在用户面前的直观形态,直接关系到情报系统的保障能力和应用能力,它的核心目标是能够实现“网络中心、即插即用、按需共享、动态重组”的情报信息共享能力,主要包括情报信息管理、情报服务应用、信息服务传输和情报服务交互等功能。
情报信息管理是通过建设情报信息平台的方式,对情报信息资源进行整编和索引,实现情报产品的统一入库和管理;情报服务应用是以情报信息为中心,针对不同的情报业务需求,设计自动化的情报应用和部署,增强情报信息面向战役战术应用的支撑能力;信息服务传输是在情报分发层通信链路的基础上,从逻辑层面进一步优化情报信息传输的流程,减少传输过程的信息冗余,提升情报信息传输能力;情报服务交互是在用户终端方面,通过Web服务接入、可视化、人机交互等技术实现对各类情报资源的访问和共享。
2.8 安全服务
军事情报网络的安全性至关重要,安全服务应贯穿情报系统的始终。情报系统的各个阶段应提供身份认证、访问授权、分级管理、密码管理、容灾备份、数据校验等安全功能,来保障数据传输和访问安全以及数据存储安全。数据传输和访问方面,当用户在登陆情报系统的云服务器时,需要验证用户的信任等级,不同的用户级别拥有不同的用户使用权限,这些靠身份认证、访问授权、分级管理和密码管理等机制实现。数据存储安全方面,为防止重大事故和复杂的战争环境导致数据无法恢复,分布式存储的各个数据中心应定期进行情报数据的备份,并提供短时间的数据恢复能力。此外,由于情报数据在云中集中存储,任何用户获取或者上传的情报必须经过云的安全框架认证,这样可以有效确保数据的完整可靠安全。
3. 大数据时代情报系统的展望
面向大数据的情报系统以区域性情报中心及高速互联网为基础设施,以互联网服务体系为架构,以大数据存储、云计算、信息挖掘、交互式可视化分析、并行处理等关键技术为支撑,通过情报服务平台和多样化移动智能终端及移动互联网为用户提供情报搜集、情报处理和情报分发服务。
3.1 大数据存储推动情报搜集深入化
随着大数据技术的兴起,本来无用的数据也可能成为新的情报触发点,情报搜集的重点已经开始向追求数据的全面性和海量化转变。侦察监视传感器的种类和数量将越来越多,传感器网络进一步互联、互通、互操作,导致情报监视范围更广,情报数据更多样。情报搜集工作将深入社会的各个方面,公开来源情报的价值、地位和影响将彻底转变。
3.2 大数据分析支撑情报处理智能化
海量的大数据存储要求情报分析从人工分析转向以自动关联为中心的智能化分析,可视化分析和预测性分析都依赖于对情报信息的智能化处理。在海湾战争和伊拉克战争中,先进的智能化情报处理技术已经发挥了关键性作用。在大数据技术蓬勃发展的将来,人力与数据量的鸿沟将使智能化情报处理的优越性进一步彰显,在信息处理能力、准确性、可靠性、稳定性以及处理时间等方面发挥巨大信息优势。未来的信息化战争,很可能是在智能化情报处理系统方面的对决。
3.3 大数据服务开启情报分发网状化
大数据时代,基于情报产品的分布式存储和情报分析的并行处理,情报分发网络有望从以一个或多个国家情报中心和区域情报中心的星形结构转向网状化结构。各情报分发节点既可以和上下级节点通信,又可以和平级节点通信,分发路径增多,情报协作更加灵活,但需加强情报安全保障。
更多内容请关注:www.imefuture.com
来源: 战略前沿技术 查看全部
引 言
随着传感器技术、物联网技术和移动终端技术的发展,数据与信息在各个方面都呈爆发式增长,数据类别(Variety)多样化、数据容积(Volume)海量化、数据价值(Value)增值化驱使各种社会服务开始对海量数据进行分析和挖掘。同时,云计算技术、并行处理技术和分布式架构技术为数据处理速度(Velocity)迅捷化提供了技术基础和支撑。基于以上特征,大数据概念正在推动生活、工作和思维的大变革。《大数据时代》一书指出,在大数据时代,信息技术变革的重点应该从技术转向信息本身,放眼于全体数据,接受不精确的非结构化数据,关注数据的关联性。
现代战争已经发展成为陆、海、空、天、电磁、网络等多空间、全方位的立体化战争,以使用信息化武器为标志,形成了数字化部队和以网络为中心的作战体系。在这种作战体系下,制信息权成为决定战争胜负的关键,情报系统作为争夺制信息权的核心,已成为现代战争的灵魂。情报是对利用侦察与监视手段或其他方法收集来的数据和信息,进行处理、综合、分析、评价和解释而得到的信息产品。由情报的定义可以看出,数据和信息是情报的主体。大数据时代数据和信息环境的变化,要求情报服务的构建以数据为中心,结合新的大数据相关技术,为军事行动和作战指挥提供更加科学、精确、及时、到位的决策依据。
1. 情报系统功能
情报系统是为实现情报搜集、加工、存储、检索和传递的系统。在大数据时代,庞大而复杂的数据考验着情报系统的技术体系结构和数据处理能力;另一方面,信息化作战的突发性和速决性对情报系统的实时、分布式分发能力提出了新的要求。为适应大数据和信息化作战的要求,我们将情报系统的功能分为核心层、业务层和支撑层三层(见图1)。核心层进行情报计划和准备,对业务层进行指导;业务层将情报活动分为情报搜集、情报处理、情报分发等三大部分;支撑层是对情报活动三个阶段的具体化。
1.1 核心层
情报系统的核心层功能就是从战略、战役、战术层面为军事行动的指挥决策提供详细的情报数据以及综合性的和快速反应的情报能力。无论是战时还是平时,只有依赖准确、及时的情报,才能做出正确、迅速的指挥和决策。在战略层面,情报系统需要查明有关国家、地区、集团的战略方针、企图、方向、部署、武装力量数量、作战指导思想、战略措施、战争潜力等情况;在战术和战役层面,情报系统需要提供敌方企图、行动方向、战斗编成、兵力部署、主要装备、工事、障碍、作战能力、作战特点、指挥官、指挥机构、通信枢纽以及作战地区的地理、水文、气象、社会等情况。
1.2 业务层
收集、处理、发布是各种信息处理系统的基本流程,情报系统作为典型的以信息和数据为中心的系统,对应的需要支持情报搜集、情报分析与生产和情报分发等三项基本功能。情报搜集是基础,通过各种情报源获得最初的情报数据,这些数据有的可以作为直接的情报产品,有的则需要经过进一步处理;情报分析是灵魂,负责对情报搜集得到的信息和数据进行处理,结构化情报数据,从其中挖掘出潜在的有用信息;情报分发是表现,分发过程的及时性和针对性直接影响情报对指挥决策的辅助效果。
图1 情报系统功能
1.3 支撑层
情报系统的支撑层功能主要包括:
a)侦察监视。这是获取情报的手段,通过有时限的侦察和连续性的监视可以获得7种主要的情报类型:图形情报、信号情报、测量和特征情报、人工情报、公开来源情报、技术情报和反情报。
b)信息挖掘。这是链接情报搜集和情报处理的重要功能,信息处理技术历经了人工分析阶段、自动化管理阶段、智能化综合处理阶段等三个阶段,已经形成了各种手段综合利用的现代化信息挖掘技术。
c)态势生成。态势生成时随着可视化技术发展起来的情报的图形化表达,可以分为平时和战时两种类型,平时态势主要包括战略部署、武器装备情况、军事重点分布等,战时态势则进一步包括战场态势涉及的兵力部署、敌方动向、地理数据和气象电磁信息等。
d)威胁预警。通过实力估计、预测敌方意图、威胁识别、进攻和防御分析等多方面的评估,情报系统需要实现及时、准确的威胁预警功能。
e)战场支援。通过情报系统的综合运转,在目标引导、部队部署、毁伤评估等方面为战场提供支援。
f)效果评估。为推动情报系统的发展和优化的推动,需要在情报活动的各个阶段对其进行评估,检验情报工作的效果,确保用户的情报需求得到充分满足。
2. 基于大数据的情报系统架构
图2 面向大数据的情报系统架构
美国情报基础理论历经了从情报周期(Intelligence Cycle)到情报流程(Intelligence Process)的转变,从最初的情报环路到强调情报活动之间的有机联系,最终在2000年版的《联合作战情报支援条令》将情报流程定义为计划与指导、搜集、处理与加工、分析与生产、分发与整合、评估与反馈。实际构建情报系统的过程中,计划与评估需要相互关联;同时,大数据时代带来的海量信息对数据采集和存储提出了新的要求;此外,由于情报的各个阶段活动趋向于分布式和网状化,需要情报系统提供安全保障服务。综合以上考虑,情报系统的体系架构设计如图2所示。
2.1 情报计划与评估
情报计划的过程主要是根据战略和作战态势的实时变化情况,在分析情报需求的基础上,综合考虑可用的侦察资源、情报系统能力、情报技术现状等各个方面,指定情报系统在何时、何地针对何种对象进行情报活动,确定情报服务指标和要求,并根据各种军事、社会环境的变化修订相应的情报计划。情报计划子系统需要提供需求汇集、情况收集、分析判断、计划制定、计划推演、计划分发以及计划调整等服务。
情报评估是根据所收集的情况信息,评估和评价情报活动是否完成了情报计划指定的情报指标和要求,以确保情报需求获得满足。情报计划与情报评估相互印证,以情报需求为中心,是情报系统的关键,贯穿并影响情报活动的各个方面,连续不间断的进行。
大数据时代对情报计划和评估系统的影响首先是思维上的转变,情报计划的确定要考虑海量数据的相互关联和情报数据的实时变化,从而更注重预测性和时效性;其次,计划和评估过程要争取实现信息化、智能化、服务化,以应对人力与大数据之间的巨大差距。
2.2 情报搜集
各种情报搜集设施是情报系统的根本,没有情报搜集,情报活动就无从谈起。大数据对情报搜集的影响体现在情报来源越来越多样,情报数据越来越复杂。当前的军事情报系统从陆海空天电网一体化作战出发,建立了陆基侦察、海基侦察、空基侦察、天基侦察、电磁侦察、网络侦查、人力侦察和公开来源等军事情报源,其中,公开来源的情报信息往往被低估甚至忽视。大数据兴起的新时期,公开信息情报的政治和军事优势得天独厚并且成本低廉,能够在在全球范围内,针对所有秘密情报视野之外的海量数据开展情报搜集工作。2012年,奥巴马政府提出,对数据的占有和控制权将成为继陆权、海权、空权等传统权利之外的另一项国家核心资产。丰富情报系统的情报搜集手段,是争夺和扩大数据占有和控制权的重要表现。
2.3 数据预处理
数据预处理子系统将来自各种战场传感器、人力侦察和公开来源的情报信息安全、可靠、快速地传送至情报处理系统,主要进行接入汇集、数据预处理等工作。数据预处理过程包括数据清理、数据集成、数据转换等。
数据清理主要包括数据格式标准化、异常数据识别、错误纠正、重复数据清除等。由于各情报源所处环境不同,尤其是战时,受敌方干扰或者恶劣环境影响,很容易出现错误或者不规范的情报信息,数据清理过程需要对多源传感器数据进行净化与筛选处理,减少噪声影响,识别异常信息,并利用情报还原技术及时从其中获得有用信息。在情报数据清理的过程中,应根据情报计划进行必要的对照检查,防止对重要情报的遗漏,对未达到要求的情报内容要及时进行补充收集。
数据集成是将多个情报源中获得的数据结合起来并统一存储,是构建关联型数据库的重要手段。通过构建目标情报信息模型、态势预测模型,分别采用数据级、特征级、决策级的数据集中关联实现多源情报信息的综合集成,可以获得面向情报对象的全方面、一体化的情报资源。
数据转换是通过规范化和平滑聚集,将数据信息和数据结构转换为适合情报处理的数据。由于各情报源输出的数据形式、对环境的描述和说明等都不一样,为了综合处理这些不同来源的信息,需要将其转换成相同的形式和描述。例如,将监视目标的位置信息的连续变化转变为动向情报的节点式间断变化,将各个绝对坐标转变为参考同一参照物的相对坐标等都属于情报转换的重要手段,可以为后续的情报分析提供便利。
大数据时代的数据预处理与传统的预处理区别在于,大数据时代的预处理考虑数据的可扩展性,可以接受传统数据时代所忽略的非结构化数据,并能从所谓的“数据废气”中挖掘潜在价值。传统的数据预处理还包括数据归约,主要用来得到数据集的归约表示,大大精简数据量以缩短挖掘分析的时间。但是随着大数据计算和大数据分析技术的发展,对全量数据的处理时间大大缩短,盲目的数据归约反而会导致信息的丢失,得不偿失。
2.4 情报数据存储
面向大数据的情报系统需要对多源异构的海量数据提供高容错、可扩展、主动交互的数据存储服务,对情报信息数据的存储管理包括巨量数据存储结构、全媒体多格式数据的快速容差处理、高增量数据的快速分类处理、信息可靠性初级评估、组合与迁移、数据备份、容灾与安全等。
情报数据可以分为结构化数据、非结构化数据和半结构化数据。结构化的数据是情报源和情报预处理系统根据事先明确的要求,以规范好的格式和顺序给出的数据。例如以经、纬度确定目标的位置信息,用年、月、日、秒确定情报事件的时间点等。非结构化的情报则指那些被动接收、无法事先规定格式的数据,文本数据、视频数据、音频数据都属于这个范畴。半结构化数据则是两者的结合,以公开情报最重要的来源网络日志为例,它既具有符合WeB传输规范的结构化文本格式,它的内容文本却是非结构化的。情报存储子系统应该构建关联型的数据库集群,既支持结构化数据存储,又支持非结构化和半结构化的数据存储。此外,虽然非关系型(NoSQL)数据库是目前大数据系统的大势所趋,具有存储速度快、可扩展性高等特点,但是传统的关系型数据库由于严格格式化并且设计成熟,是有针对性的情报系统必不可少的存储方式。新一代的情报数据存储应该综合关系型数据库和非关系型(NoSQL)数据库,为情报融合和情报关联预测提供支撑。
情报系统中数据的存储方式与处理速度密切相关,面向大数据的情报系统不仅对存储的性能和容量提出了新的要求,还需具备快速的数据检索与分析能力来随时提取有价值的信息和数据。因此,各数据库集群应采用分布式存储,以提高系统可靠性和可扩展性,为分布式的情报分析模式提供基础。分布式存储系统利用网络中物理上独立的存储设备来分担存储负荷,通过映射关系实现逻辑上统一的存储空间。与此同时,由多台计算机并行管理与使用形成强大处理能力的分布式文件系统也必不可少。当前,开源分布式处理平台Hadoop[6]是广泛使用的一种云计算支撑架构,它的HDFS分布式文件系统将计算节点和存储节点合二为一,提供了低成本、高效率的大型计算机集群模型;同时,Hadoop的HBase分布式数据库和MapReduce处理框架分别提供了非结构化数据存储能力和大数据快速分析能力,可作为新一代情报系统的平台参考。
需要指出的是,由于分布式存储的基本特征使用户失去了对数据的绝对控制权,使得分布式存储产生了特有的安全隐患。因此,情报系统需要综合考虑安全性与海量数据存储性能的得与失,从访问安全性、存储安全性和数据备份安全性等方面出发,添加适合情报系统的特定解决方案,设计并采用同时满足性能要求和安全要求的专用分布式存储系统。例如,分别针对公开来源情报和军事侦察情报,分别采用公有云、私有云以及混合云等不同形式的存储方式,满足不同的安全级别要求。
2.5 情报分析
大数据的核心意义并不在于数据量之大,而在于通过对海量数据进行整合和分析,发现新知识,创造新价值。美国国防部对情报分析的定义为“通过对全源数据进行综合、评估、分析和解读,将处理过的信息转换为情报以满足已知或预期的用户需求的过程”。强调“全源数据”,与大数据的发展趋势不谋而合。因此,对搜集的数据进行信息挖掘、数据分析和信息融合,是情报系统的重中之重。
信息挖掘是对已预处理的数据进行关联、分类、聚类、偏差分析等,从中发现有价值的知识和模式。情报系统中,主要通过信息分类、信息整编、信息索引、信息标注、信息关联、模式识别以及推理判断等技术,以聚类统计分析和规则假设推理的方法来揭示隐藏的、未知的或验证已知的模式与规律,挖掘出有价值的情报。海量处理对象的需求和情报系统的实时性要求使面向大数据的信息挖掘要依托云计算技术和大数据分析技术进行分布式并行处理,配合情报搜集和存储阶段的云存储模式,提供符合要求的情报挖掘服务。
通过信息挖掘得到的知识和模式还不能直接作为决策的知识,需要进一步分析才能真正转化为有用的情报。新阶段的情报分析应该实现可视化分析、智能化分析和预测性分析。可视化分析是面向大数据分析专家和情报用户的,能够直观地呈现大数据特点,让数据自己说明结果。智能化分析使情报系统能够自动从数据中发现有用信息,大幅提高了将情报优势转化为决策优势的过程的时效性和准确性,是大数据时代必备的要求。预测性分析是大数据技术的核心应用,是根据已知情报信息对将来和未知的情报信息的大数据分析过程。此外,随着网络空间攻防战的日益激烈,分析监视数据并提供实时警告也是情报分析的重要任务。
信息融合是对来自多源的数据和多维度信息进行检测、互联、相关、估计和综合等多层次多方面的处理,以获得准确的状态和身份认证,完整而及时的战场态势和威胁评估。信息融合利用了不同信息间的互补性和多元信息的冗余性,既可以产生较低层次上的状态和身份评估,也可以获得较高层次上的战术态势评估与威胁评估。以美国陆军的全源信息分析系统(ASAS)为例,现代情报分析系统采用计算机、视频显示终端盒保密无线电通信设备组成混合系统,把数据搜集和存储阶段生成的信息进行互相补充、验证、比较和分析,从中得到综合性的情报和近实时的战场态势图。此外,针对情报分析的结果,应形成对情报产品的分类管理,按照情报的类别确定保障范围和条件,为后续的情报分发过程提供支撑。
基于大数据的情报分析系统基于分布式海量数据存储与计算环境和丰富的数据分析和挖掘方法,提供智能化、可视化及预测性的分析服务,融合多源情报,通过网络提供情报分析服务。情报分析服务的网络服务特性,实现了情报生产者和情报用户的交流和互动,让处于不同位置、隶属于不同部门的情报用户和专家参与分析,通过“个性化”定制的情报分析,使情报产品更加具有针对性和灵活性。
2.6 情报分发
情报系统在形成各类情报产品之后,还需建立高效、快捷以及安全的情报分发机制。面向大数据的情报分发应实现按需分发,主要功能和阶段包括用户需求订阅、情报分发处理、分发路径优选与通信保障、情报分发监控、情报共享等。
用户需求订阅功能需要按照用户的情报保障级别,限定其订阅范围和类型,经审核后按照用户需求生成情报订阅指令,然后提交给分发控制系统。
情报分发处理阶段根据情报订阅指令,对情报产品库中的产品进行信息过滤、裁剪以及模糊处理,确定对应的分发策略。
分发路径优选与通信保障则是为了保障情报分发的时效性和可靠性,自动选取传输链路和最优路由,并通过接收确认、断链重传等可靠性传输机制传播情报。
情报分发监控则是对情报分发过程的实时监控能力,一方面要避免情报被窃取或者错误分发,另一方面要避免在通信中断或情报系统失效的情况下出现用户死等现象。在以上情况发生时,示警并激活应急机制,实现准确和不间断的情报保障。
情报共享是实现情报协调的基础,既包括垂直性的上级向多个下级机关的情报通告,也包括平行性的情报传阅。通过分布式系统实现的情报共享机制,有利于提高一体化联合战争大环境下的协同作战能力。
2.7 情报服务
情报服务是情报系统呈现在用户面前的直观形态,直接关系到情报系统的保障能力和应用能力,它的核心目标是能够实现“网络中心、即插即用、按需共享、动态重组”的情报信息共享能力,主要包括情报信息管理、情报服务应用、信息服务传输和情报服务交互等功能。
情报信息管理是通过建设情报信息平台的方式,对情报信息资源进行整编和索引,实现情报产品的统一入库和管理;情报服务应用是以情报信息为中心,针对不同的情报业务需求,设计自动化的情报应用和部署,增强情报信息面向战役战术应用的支撑能力;信息服务传输是在情报分发层通信链路的基础上,从逻辑层面进一步优化情报信息传输的流程,减少传输过程的信息冗余,提升情报信息传输能力;情报服务交互是在用户终端方面,通过Web服务接入、可视化、人机交互等技术实现对各类情报资源的访问和共享。
2.8 安全服务
军事情报网络的安全性至关重要,安全服务应贯穿情报系统的始终。情报系统的各个阶段应提供身份认证、访问授权、分级管理、密码管理、容灾备份、数据校验等安全功能,来保障数据传输和访问安全以及数据存储安全。数据传输和访问方面,当用户在登陆情报系统的云服务器时,需要验证用户的信任等级,不同的用户级别拥有不同的用户使用权限,这些靠身份认证、访问授权、分级管理和密码管理等机制实现。数据存储安全方面,为防止重大事故和复杂的战争环境导致数据无法恢复,分布式存储的各个数据中心应定期进行情报数据的备份,并提供短时间的数据恢复能力。此外,由于情报数据在云中集中存储,任何用户获取或者上传的情报必须经过云的安全框架认证,这样可以有效确保数据的完整可靠安全。
3. 大数据时代情报系统的展望
面向大数据的情报系统以区域性情报中心及高速互联网为基础设施,以互联网服务体系为架构,以大数据存储、云计算、信息挖掘、交互式可视化分析、并行处理等关键技术为支撑,通过情报服务平台和多样化移动智能终端及移动互联网为用户提供情报搜集、情报处理和情报分发服务。
3.1 大数据存储推动情报搜集深入化
随着大数据技术的兴起,本来无用的数据也可能成为新的情报触发点,情报搜集的重点已经开始向追求数据的全面性和海量化转变。侦察监视传感器的种类和数量将越来越多,传感器网络进一步互联、互通、互操作,导致情报监视范围更广,情报数据更多样。情报搜集工作将深入社会的各个方面,公开来源情报的价值、地位和影响将彻底转变。
3.2 大数据分析支撑情报处理智能化
海量的大数据存储要求情报分析从人工分析转向以自动关联为中心的智能化分析,可视化分析和预测性分析都依赖于对情报信息的智能化处理。在海湾战争和伊拉克战争中,先进的智能化情报处理技术已经发挥了关键性作用。在大数据技术蓬勃发展的将来,人力与数据量的鸿沟将使智能化情报处理的优越性进一步彰显,在信息处理能力、准确性、可靠性、稳定性以及处理时间等方面发挥巨大信息优势。未来的信息化战争,很可能是在智能化情报处理系统方面的对决。
3.3 大数据服务开启情报分发网状化
大数据时代,基于情报产品的分布式存储和情报分析的并行处理,情报分发网络有望从以一个或多个国家情报中心和区域情报中心的星形结构转向网状化结构。各情报分发节点既可以和上下级节点通信,又可以和平级节点通信,分发路径增多,情报协作更加灵活,但需加强情报安全保障。
更多内容请关注:www.imefuture.com
来源: 战略前沿技术
超1/3企业已应用大数据(附报告下载)
工业大数据 南巷孤人 2017-03-29 15:15 发表了文章
会上发布了《中国大数据发展调查报告(2017)》。报告亮点如下:
2016年中国大数据市场规模168亿元,预计2017-2020年仍将保持30%以上的增长。
近六成企业已成立数据分析相关部门,超过1/3的企业已应用大数据。
大数据应用为企业带来的最明显效果是实现了智能决策和提升了运营效率。
摘要:随着大数据政策环境和技术手段的不断完善,大数据行业应用持续升温,中国企业级大数据市场进入快速发展时期。互联网、电信、金融等开始实际部署大数据平台 并付诸实践,带动软件、硬件和服务市场快速发展。为进一步掌握中国大数据发展和应用情况 ,中国信息通信研究院开展了2016—2017年度中国大数据发展状况的调查。本报告以调查数据为基础,结合行业专家的访谈,力争详实客 观的反映中国大数据发展现状,为政府和企业了解中国大数据发展状况和制定相关决 策提供参考,也为广大关注大数据的从业人员、专家学者和研究机构提供真实可信的 大数据发展报告。
更多内容请关注:www.imefuture.com
来源:微信公众号 走向智能论坛 查看全部
会上发布了《中国大数据发展调查报告(2017)》。报告亮点如下:
2016年中国大数据市场规模168亿元,预计2017-2020年仍将保持30%以上的增长。
近六成企业已成立数据分析相关部门,超过1/3的企业已应用大数据。
大数据应用为企业带来的最明显效果是实现了智能决策和提升了运营效率。
摘要:随着大数据政策环境和技术手段的不断完善,大数据行业应用持续升温,中国企业级大数据市场进入快速发展时期。互联网、电信、金融等开始实际部署大数据平台 并付诸实践,带动软件、硬件和服务市场快速发展。为进一步掌握中国大数据发展和应用情况 ,中国信息通信研究院开展了2016—2017年度中国大数据发展状况的调查。本报告以调查数据为基础,结合行业专家的访谈,力争详实客 观的反映中国大数据发展现状,为政府和企业了解中国大数据发展状况和制定相关决 策提供参考,也为广大关注大数据的从业人员、专家学者和研究机构提供真实可信的 大数据发展报告。
更多内容请关注:www.imefuture.com
来源:微信公众号 走向智能论坛
过分依赖大数据让乐高面临破产,让其转危为安的竟是一双旧鞋中的小数据
工业大数据 烈酒暖心 2017-03-17 17:45 发表了文章
面对销售额的持续下滑,乐高找来了世界知名的营销大师马丁·林斯特龙,期待林斯特龙能够将乐高从低迷的业绩中拯救出来。林斯特龙从挖掘一双就运动鞋中的小数据出发,寻找用户需求,最终让乐高转危为安。
过分依赖大数据让乐高面临破产
这家丹麦玩具商怎么突然落到这步田地?乐高的问题大概要追溯到1981 年。当时,世界上第一款掌上游戏《大金刚》上市。于是,在乐高内部掀起了一场辩论——对组装玩具的未来而言,任天堂这样的游戏平台是不是他们最大的竞争对手?
林斯特龙发现,从20 世纪90 年代中叶起,乐高开始从聚焦核心产品积木,转而分散精力发展主题公园、儿童服饰、视频游戏、图书杂志、电视节目和零售商场。乐高之所以这样做,是因为大数据告诉他们:未来的几代人会对乐高失去兴趣。
没错,电脑游戏的诞生似乎宣告了一个事实:成长于信息时代的群体没时间,也没耐心玩乐高。
2004 年,乐高公司向林斯特龙咨询,其开始负责公司的整体品牌战略。林斯特龙不想乐高放弃一直以来的强项。为了帮乐高寻找新的生机,林斯特龙同乐高的高层于2004年年初到了一个德国中型城市。在那里,他们见到了一位11 岁的男孩。这位11 岁的德国男孩不仅是乐高迷,还是狂热的滑板爱好者。当被问到最钟爱的东西时,他指了指一双破旧的阿迪达斯运动鞋,鞋子一侧还有皱纹和凹陷。他说,这双鞋是他的战利品,是他的金牌,是他的杰作。不仅这样,这双鞋还是一种证明。他把鞋举起来,让屋里的人都能看清。他解释说,鞋子的一面穿破了,右鞋帮磨坏了,鞋跟也明显磨平了。这双鞋的整体外观和给外界的印象都很完美。这双鞋向男孩、男孩的朋友和整个世界表明,他是这个城市里最棒的滑板运动员。
挖掘一双运动鞋中蕴含的小数据
11 岁德国男孩的阿迪达斯旧鞋,给团队带来了灵感。他们意识到,孩子们要想在同龄人中获得社会存在感,就要具备一种高超的技能。无论这种技能是什么,只要值得花心思、花精力去做——对孩子来说,就是付出努力,最后有所呈现——在这个德国男孩的例子里,就是一双大多数成年人不愿看第二眼的旧鞋。
在这之前,乐高的决策还完全依赖于大数据。然而,最终是对一位滑板爱好者和乐高迷的运动鞋的不经意的一瞥,扭转了这家公司的局面。他们找到了重新定义品牌的方法。从那时起,乐高重新将精力回归核心产品,:首先,它出售了主题公园;接下来,它签下了《哈利·波特》《星球大战》和《巴布工程师》的品牌特许权;最后,它削减了产品数量,不仅把积木重新设定为标准尺寸,积木更注重细节,安装手册更精确,游戏挑战更有难度。
对用户来说,乐高似乎在召唤人们克服困难,刺激人们掌握技巧。尤其重要的是,它是一种来之不易的体验——只有掌握复杂的预测分析方法,才能达到平均分,只是方法不好掌握。
10 年后,在2014 年上半年,随着《乐高大电影》和相关商品的全球大卖,乐高销售额上升了11% ,超过20 亿美元。乐高第一次超越美泰,成为全球最大的玩具生产商。
俗话说,想了解动物的生存方式,不是去动物园,而是去丛林。我就是这么做的。通过观察和分析,我发现,总有消费者的欲望未被满足,或未被发现。而这种欲望,正是新品牌开发、产品创新和企业发展的基础。
痛点:挖掘小数据满足用户需求
这种能反应消费者特性的东西被称之为“小数据”——我们每天偶然表现出的礼节、习惯、手势和偏爱,合在一起暴露了我们真实的内在。我们吃什么快餐,我们在Facebook和推特上发什么,吃什么口味的口香糖——乍看起来,这些小细节似乎杂乱无章,毫无导向,微不足道,展现不出多少特性。但是,当我们开始通过陌生的小数据看待生活时,我们也发现了认识周围人的线索,包括我们自己。
小数据可能存在于微波炉、药盒或脸书相册里。它可能在以色列特拉维夫市浴室的牙刷架上,或者是巴西北部浴室墙上的一卷厕纸;它可能出现在走廊的鞋柜里,或者是组成个人电脑密码的无序字母和数字。
为什么大多数人打电话时都喜欢绕圈走,好像要建起一道隐私墙?为什么我们饿了或渴了时,打开冰箱门后会上下瞄一眼,然后关上冰箱门,过一会儿又重复同样的动作?我们约会迟到,为什么不怪自己,却借口说闹钟不准?我们在机场、火车站或摇滚乐会时,为什么会觉得周围都是普通人,却没意识到,我们跟他们做着一样的事?为什么许多做创意的人在冲澡或看见水时,才能灵光一现?
一些公司请我当顾问,就是为了弄清人们的真实需求,反过来再想办法满足需求。我的头衔可能是“品牌顾问”,不过,大多数机构请我去是当巡回侦探。我的任务就是查清最模糊、最抽象的一个词:欲望。伴随欲望而来的总是故事,总是等待被填补的空白:侵扰、扰乱和激励人类行为的有意识或无意识向往。
每天,欲望会发生几百次变化,呈现无数副面孔和伪装。它可能表现为性欲,或对食物、酒精、药物的嗜好。它也可能展现为对金钱地位的渴望,对组织归属感的需求,时而融入群体、时而展现自我的需要。它还可能是与另一个人共度今生,与自然、音乐和谐相处的渴望。我们渴望留住过去,这是欲望。我们渴望未来的美好,这也是欲望。为了“变得”让别人更满意,我们刷牙、擦脸霜、刮胡子、买新衣服、订购新眼镜。
不用说,欲望是难以捉摸的。你以为捕捉到它了,它却慢慢消逝了。过了几秒钟,它又出现了。全世界范围内,每一种文化都能通向欲望和消遣。巴西人去海滩,跟悉尼人和洛杉矶人去海滩一样。美国人、中东人和印度人成群结队去电影院,或去商场。英国人聚集在足球赛场或酒吧里。要是你住在沙特阿拉伯,消遣可能就是去阿曼旅行。要是你住在阿曼,消遣就是去迪拜旅行。对于迪拜人来说,消遣可能就是去伦敦。对伦敦人而言,消遣大概就是去西班牙的安达卢西亚海岸、法国南部、美国加利福尼亚或佛罗里达。我们渴望的,就是我们以为缺乏的——某个人、某个地方、某件东西、生命中的某段时间。
在信息时代,我们大多数人整天盯着屏幕看。我希望,大家能更加关注周围的线索,意识到我们所有人的相同点。品牌创建者和品牌所有人的使命没有任何区别,就是避免疏忽之罪。也就是说,对于周围的世界,我们根本没有警醒——神话学家及作家约瑟夫·坎贝尔称之为最严重的人类犯罪。
更多内容请关注:www.imefuture.com
来源:微信公众号 大数据文摘 查看全部
2003 年年初,乐高公司陷入困境,销售额同比下降了30% 。2004 年,销售额又下降了10% 。乐高CEO约恩·维格·克努德斯托普说:“我们一直亏本,都火烧眉毛了。公司还将面临债务违约的危险,很可能破产。”
面对销售额的持续下滑,乐高找来了世界知名的营销大师马丁·林斯特龙,期待林斯特龙能够将乐高从低迷的业绩中拯救出来。林斯特龙从挖掘一双就运动鞋中的小数据出发,寻找用户需求,最终让乐高转危为安。
过分依赖大数据让乐高面临破产
这家丹麦玩具商怎么突然落到这步田地?乐高的问题大概要追溯到1981 年。当时,世界上第一款掌上游戏《大金刚》上市。于是,在乐高内部掀起了一场辩论——对组装玩具的未来而言,任天堂这样的游戏平台是不是他们最大的竞争对手?
林斯特龙发现,从20 世纪90 年代中叶起,乐高开始从聚焦核心产品积木,转而分散精力发展主题公园、儿童服饰、视频游戏、图书杂志、电视节目和零售商场。乐高之所以这样做,是因为大数据告诉他们:未来的几代人会对乐高失去兴趣。
没错,电脑游戏的诞生似乎宣告了一个事实:成长于信息时代的群体没时间,也没耐心玩乐高。
2004 年,乐高公司向林斯特龙咨询,其开始负责公司的整体品牌战略。林斯特龙不想乐高放弃一直以来的强项。为了帮乐高寻找新的生机,林斯特龙同乐高的高层于2004年年初到了一个德国中型城市。在那里,他们见到了一位11 岁的男孩。这位11 岁的德国男孩不仅是乐高迷,还是狂热的滑板爱好者。当被问到最钟爱的东西时,他指了指一双破旧的阿迪达斯运动鞋,鞋子一侧还有皱纹和凹陷。他说,这双鞋是他的战利品,是他的金牌,是他的杰作。不仅这样,这双鞋还是一种证明。他把鞋举起来,让屋里的人都能看清。他解释说,鞋子的一面穿破了,右鞋帮磨坏了,鞋跟也明显磨平了。这双鞋的整体外观和给外界的印象都很完美。这双鞋向男孩、男孩的朋友和整个世界表明,他是这个城市里最棒的滑板运动员。
挖掘一双运动鞋中蕴含的小数据
11 岁德国男孩的阿迪达斯旧鞋,给团队带来了灵感。他们意识到,孩子们要想在同龄人中获得社会存在感,就要具备一种高超的技能。无论这种技能是什么,只要值得花心思、花精力去做——对孩子来说,就是付出努力,最后有所呈现——在这个德国男孩的例子里,就是一双大多数成年人不愿看第二眼的旧鞋。
在这之前,乐高的决策还完全依赖于大数据。然而,最终是对一位滑板爱好者和乐高迷的运动鞋的不经意的一瞥,扭转了这家公司的局面。他们找到了重新定义品牌的方法。从那时起,乐高重新将精力回归核心产品,:首先,它出售了主题公园;接下来,它签下了《哈利·波特》《星球大战》和《巴布工程师》的品牌特许权;最后,它削减了产品数量,不仅把积木重新设定为标准尺寸,积木更注重细节,安装手册更精确,游戏挑战更有难度。
对用户来说,乐高似乎在召唤人们克服困难,刺激人们掌握技巧。尤其重要的是,它是一种来之不易的体验——只有掌握复杂的预测分析方法,才能达到平均分,只是方法不好掌握。
10 年后,在2014 年上半年,随着《乐高大电影》和相关商品的全球大卖,乐高销售额上升了11% ,超过20 亿美元。乐高第一次超越美泰,成为全球最大的玩具生产商。
俗话说,想了解动物的生存方式,不是去动物园,而是去丛林。我就是这么做的。通过观察和分析,我发现,总有消费者的欲望未被满足,或未被发现。而这种欲望,正是新品牌开发、产品创新和企业发展的基础。
痛点:挖掘小数据满足用户需求
这种能反应消费者特性的东西被称之为“小数据”——我们每天偶然表现出的礼节、习惯、手势和偏爱,合在一起暴露了我们真实的内在。我们吃什么快餐,我们在Facebook和推特上发什么,吃什么口味的口香糖——乍看起来,这些小细节似乎杂乱无章,毫无导向,微不足道,展现不出多少特性。但是,当我们开始通过陌生的小数据看待生活时,我们也发现了认识周围人的线索,包括我们自己。
小数据可能存在于微波炉、药盒或脸书相册里。它可能在以色列特拉维夫市浴室的牙刷架上,或者是巴西北部浴室墙上的一卷厕纸;它可能出现在走廊的鞋柜里,或者是组成个人电脑密码的无序字母和数字。
为什么大多数人打电话时都喜欢绕圈走,好像要建起一道隐私墙?为什么我们饿了或渴了时,打开冰箱门后会上下瞄一眼,然后关上冰箱门,过一会儿又重复同样的动作?我们约会迟到,为什么不怪自己,却借口说闹钟不准?我们在机场、火车站或摇滚乐会时,为什么会觉得周围都是普通人,却没意识到,我们跟他们做着一样的事?为什么许多做创意的人在冲澡或看见水时,才能灵光一现?
一些公司请我当顾问,就是为了弄清人们的真实需求,反过来再想办法满足需求。我的头衔可能是“品牌顾问”,不过,大多数机构请我去是当巡回侦探。我的任务就是查清最模糊、最抽象的一个词:欲望。伴随欲望而来的总是故事,总是等待被填补的空白:侵扰、扰乱和激励人类行为的有意识或无意识向往。
每天,欲望会发生几百次变化,呈现无数副面孔和伪装。它可能表现为性欲,或对食物、酒精、药物的嗜好。它也可能展现为对金钱地位的渴望,对组织归属感的需求,时而融入群体、时而展现自我的需要。它还可能是与另一个人共度今生,与自然、音乐和谐相处的渴望。我们渴望留住过去,这是欲望。我们渴望未来的美好,这也是欲望。为了“变得”让别人更满意,我们刷牙、擦脸霜、刮胡子、买新衣服、订购新眼镜。
不用说,欲望是难以捉摸的。你以为捕捉到它了,它却慢慢消逝了。过了几秒钟,它又出现了。全世界范围内,每一种文化都能通向欲望和消遣。巴西人去海滩,跟悉尼人和洛杉矶人去海滩一样。美国人、中东人和印度人成群结队去电影院,或去商场。英国人聚集在足球赛场或酒吧里。要是你住在沙特阿拉伯,消遣可能就是去阿曼旅行。要是你住在阿曼,消遣就是去迪拜旅行。对于迪拜人来说,消遣可能就是去伦敦。对伦敦人而言,消遣大概就是去西班牙的安达卢西亚海岸、法国南部、美国加利福尼亚或佛罗里达。我们渴望的,就是我们以为缺乏的——某个人、某个地方、某件东西、生命中的某段时间。
在信息时代,我们大多数人整天盯着屏幕看。我希望,大家能更加关注周围的线索,意识到我们所有人的相同点。品牌创建者和品牌所有人的使命没有任何区别,就是避免疏忽之罪。也就是说,对于周围的世界,我们根本没有警醒——神话学家及作家约瑟夫·坎贝尔称之为最严重的人类犯罪。
更多内容请关注:www.imefuture.com
来源:微信公众号 大数据文摘
工业大数据,你懂了吗?
工业大数据 冷眼看世界 2017-03-16 17:38 发表了文章
工业大数据是指在工业领域中,围绕典型智能制造模式,从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。
工业大数据的主要来源有三类:
◆ 生产经营相关业务数据:来自传统企业信息化范围,被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产,正在逐步扩大范围
◆ 设备物联数据:工业生产设备和目标产品在物联网运行模式下,实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据,这是工业大数据新的、增长最快的来源
◆ 外部数据:与工业企业生产活动和产品相关的企业外部互联网来源数据
一、工业大数据的地位
1.在智能制造标准体系中的定位
工业大数据位于智能制造标准体系结构图的关键技术标准的左侧,属于智能制造标准体系五大关键技术之一。
2.与大数据技术的关系
工业领域的数据累积到一定量级,超出了传统技术的处理能力,就需要借助大数据技术、方法来提升处理能力和效率,大数据技术为工业大数据提供了技术和管理的支撑。
工业大数据可以借鉴大数据的分析流程及技术,实现工业数据采集、处理、存储、分析、可视化。工业制造过程中需要高质量的工业大数据,可以借鉴大数据的治理机制对工业数据资产进行有效治理。
3.与工业软件和工业云的关系
工业软件承载着工业大数据采集和处理的任务,是工业数据的重要产生来源,工业软件支撑实现工业大数据的系统集成和信息贯通。
工业大数据技术与工业软件结合,加强了工业软件分析与计算能力,提升场景可视化程度,实现对用户行为和市场需求的预测和判断。
二、主要国家战略部署
1.美国先进制造业战略
2012年2月,美国发布了《先进制造业国家战略计划》报告,将促进先进制造业发展提高到了国家战略层面。从投资、劳动力和创新等方面提出了促进美国先进制造业发展的三大原则、五大目标及相应的对策措施。
2014年,美国白宫发布《2014年全球大数据白皮书》,指出美国大型企业在投资大数据科技方面的关键驱动因素:分析运营和交易数据的能力、洞察客户线上消费的行为、以向市场提供新的高度复杂的产品、对组织中的机器和设备进行更加深入的感知。
2.德国工业4.0战略
2015年4月,德国提出来“工业4.0”战略。强调通过信息网络与工业生产系统的充分融合,使产品与生产设备之间、工厂内部纵向之间、工厂与工厂之间,都能通过CPS(物理信息系统)联结为一个整体,从而实现生产的智能化,提升制造业的灵活性和工程效率。
3.法国新工业战略
2015年,法国推出“新工业法国战略”,总体布局为“一个核心,九大支点”。一个核心即“未来工业”,主要内容是实现工业生产向数字化、智能化转型。九大支点,包括新资源开发、可持续发展城市、环保汽车、网络技术、大数据技术、新型医药等。
2015年5月,法国经济、工业与就业部又公布了未来工业计划,该计划将在“新工业战略”的第二阶段中扮演核心角色,主要目标是建立更为互联互通、更具有竞争力的法国工业,旨在使工业工具更加现代化,实现经济增长模式转变。
4.中国制造2025战略
2015年5月,国务院正式印发《中国制造2025》规划。规划中提出将重点推动信息化与工业深度融合,把智能制造作为两化深度融合的主攻方向,着力发展智能装备和智能产品,推进生产过程智能化,培育新型生产方式。
同年12月,工信部、国标委联合发布《国家智能制造标准体系建设指南(2015年版)》。为推动智能工厂的建设,国务院又发布了《促进大数据发展行动纲要》,建立面向不同行业、不同环节的工业大数据资源聚合和分析应用平台。
三、工业大数据应用热点
工业大数据挖掘和分析的结果可广泛应用于企业研发设计、复杂生产过程、产品需求预测、工业供应链优化和工业绿色发展等各个环节。
1.在设计领域的应用
工业设计大数据主要用于提高研发人员的研发创新能力、研发效率和质量,支持协同设计,具体体现为以下几个方面:
(1)基于模型和仿真的研发设计
基于模型的研发设计。在数字化技术环境下的产品设计开发,从概念设计就以数字化模型为载体,不受到时间和空间等因素的限制对产品模型修改和完善,然后将最终方案的数据通过生产设备进行产品制作。
基于仿真的设计。通过数字化模型的显示、仿真、快速成型、虚拟现实交互,可及早发现设计缺陷,优化产品,克服以往多种缺点。虚拟仿真技术还在不断提高系统的智能型,逐步解决产品创新设计中的不确定性与模糊性。
(2)基于产品生命周期的设计
运用大数据相关技术,实现高度有序化的方式展示产品生命周期设计大数据的关系,方便地集成员工在设计中产方便地集成员工在设计中产生的新知识,使产品设计大数据得进一步丰富。
(3)融合消费者反馈的设计
利用工业数据平台获取消费者、市场等各维度的数据信息,达到生产者和消费者之间“信息粘性”的效果,利用这些关联数据信息,通过大数据挖掘分析技术,实现客户全面洞察,改进、创新设计产品的功能和款式。
2.在复杂生产过程优化的应用
(1)工业物联网生产线
在生产工艺改进方面,在生产过程中使用这些大数据,就能分析整个生产流程,有助于制造商改进其生产流程。在能耗分析方面,在设备生产过程中利用传感器集中监控所有的生产流程,优化能源的消耗。
通过诸如AGV小车、智能分拣配对系统、智能吊挂系统与智能分拣送料系统的导入等,加快整个制造流程的物料循环,通过智能摘挂系统、信号识别系统、智能取料系统、智能装配、智能定制等系统的导入实现整个制造流程的自动化。
(2)生产质量控制
利用工业大数据技术,挖掘产品质量特性与关键工艺参数之间的关联规则,抽取过程质量控制知识,为在线工序质量控制、工艺参数优化提供指导性意见。
(3)生产计划与排程
大数据给予企业更详细的数据信息,发现历史预测与实际的偏差概率,通过数据的关联分析及监控,企业能更准确地制定计划。
3.在产品需求预测中的应用
在产品开发方面,分析当前需求变化和组合形式,通过消费人群的关注点进行产品功能、性能的调整,设计制造更加符合核心需要的新产品,针对每一个群体策划并推送针对性的营销。
4.在工业供应链优化中的应用
供应链环节工业大数据的应用主要体现在供应链优化,即通过全产业链的信息整合,使整个生产系统达到协同优化,让生产系统更加动态灵活,进一步提高生产效率和降低生产成本。主要应用有供应链配送体系优化和用户需求快速响应。
5.在工业绿色发展中的应用
新一代信息技术通过对产品的配方、工艺及原材料采购、生产制造、仓储、运输、使用、大修和报废的全过程进行监控和管理,以数据采集为前端,数据分析和挖掘为服务,为制造企业实现绿色制造提供有力保障。
四、工业大数据参考框架
工业大数据参考架构以工业过程的业务需求为导向,基于工业系统的业务架构,规划工业大数据的数据、技术和应用(平台)架构,以搭建面向多业务领域、贯通多组织和应用层次的工业大数据IT架构。
1.数据参考架构
工业大数据应用的目标是构建覆盖工业全流程、全环节和产品全生命周期的数据链,工业大数据在实际应用当中涉及到的主要环节:数据源、数据收集与集成、数据处理与数据管理、典型应用场景等四个层次。
2.技术参考架构
工业大数据技术架构共有五个部分,分别为数据采集层、数据存储与集成层、数据建模层、数据处理层、数据交互应用层。
3.平台参考架构
工业大数据平台涵盖了IT网络架构和云计算基础架构等基础设施,专家库、知识库、业务需求库等资源,及安全、隐私等管理功能。此外,还包含关联工业大数据实际应用的三方面角色,即数据提供方、数据服务消费方、数据服务合作方。
五、应用案例
更多内容请请关注:www.imefuture.com
来源:智能制造 Arbei 查看全部
工业大数据参考框架,包括应用范围、典型运营模式、数据架构、技术架和平台参考等。
工业大数据是指在工业领域中,围绕典型智能制造模式,从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。
工业大数据的主要来源有三类:
◆ 生产经营相关业务数据:来自传统企业信息化范围,被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产,正在逐步扩大范围
◆ 设备物联数据:工业生产设备和目标产品在物联网运行模式下,实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据,这是工业大数据新的、增长最快的来源
◆ 外部数据:与工业企业生产活动和产品相关的企业外部互联网来源数据
一、工业大数据的地位
1.在智能制造标准体系中的定位
工业大数据位于智能制造标准体系结构图的关键技术标准的左侧,属于智能制造标准体系五大关键技术之一。
2.与大数据技术的关系
工业领域的数据累积到一定量级,超出了传统技术的处理能力,就需要借助大数据技术、方法来提升处理能力和效率,大数据技术为工业大数据提供了技术和管理的支撑。
工业大数据可以借鉴大数据的分析流程及技术,实现工业数据采集、处理、存储、分析、可视化。工业制造过程中需要高质量的工业大数据,可以借鉴大数据的治理机制对工业数据资产进行有效治理。
3.与工业软件和工业云的关系
工业软件承载着工业大数据采集和处理的任务,是工业数据的重要产生来源,工业软件支撑实现工业大数据的系统集成和信息贯通。
工业大数据技术与工业软件结合,加强了工业软件分析与计算能力,提升场景可视化程度,实现对用户行为和市场需求的预测和判断。
二、主要国家战略部署
1.美国先进制造业战略
2012年2月,美国发布了《先进制造业国家战略计划》报告,将促进先进制造业发展提高到了国家战略层面。从投资、劳动力和创新等方面提出了促进美国先进制造业发展的三大原则、五大目标及相应的对策措施。
2014年,美国白宫发布《2014年全球大数据白皮书》,指出美国大型企业在投资大数据科技方面的关键驱动因素:分析运营和交易数据的能力、洞察客户线上消费的行为、以向市场提供新的高度复杂的产品、对组织中的机器和设备进行更加深入的感知。
2.德国工业4.0战略
2015年4月,德国提出来“工业4.0”战略。强调通过信息网络与工业生产系统的充分融合,使产品与生产设备之间、工厂内部纵向之间、工厂与工厂之间,都能通过CPS(物理信息系统)联结为一个整体,从而实现生产的智能化,提升制造业的灵活性和工程效率。
3.法国新工业战略
2015年,法国推出“新工业法国战略”,总体布局为“一个核心,九大支点”。一个核心即“未来工业”,主要内容是实现工业生产向数字化、智能化转型。九大支点,包括新资源开发、可持续发展城市、环保汽车、网络技术、大数据技术、新型医药等。
2015年5月,法国经济、工业与就业部又公布了未来工业计划,该计划将在“新工业战略”的第二阶段中扮演核心角色,主要目标是建立更为互联互通、更具有竞争力的法国工业,旨在使工业工具更加现代化,实现经济增长模式转变。
4.中国制造2025战略
2015年5月,国务院正式印发《中国制造2025》规划。规划中提出将重点推动信息化与工业深度融合,把智能制造作为两化深度融合的主攻方向,着力发展智能装备和智能产品,推进生产过程智能化,培育新型生产方式。
同年12月,工信部、国标委联合发布《国家智能制造标准体系建设指南(2015年版)》。为推动智能工厂的建设,国务院又发布了《促进大数据发展行动纲要》,建立面向不同行业、不同环节的工业大数据资源聚合和分析应用平台。
三、工业大数据应用热点
工业大数据挖掘和分析的结果可广泛应用于企业研发设计、复杂生产过程、产品需求预测、工业供应链优化和工业绿色发展等各个环节。
1.在设计领域的应用
工业设计大数据主要用于提高研发人员的研发创新能力、研发效率和质量,支持协同设计,具体体现为以下几个方面:
(1)基于模型和仿真的研发设计
基于模型的研发设计。在数字化技术环境下的产品设计开发,从概念设计就以数字化模型为载体,不受到时间和空间等因素的限制对产品模型修改和完善,然后将最终方案的数据通过生产设备进行产品制作。
基于仿真的设计。通过数字化模型的显示、仿真、快速成型、虚拟现实交互,可及早发现设计缺陷,优化产品,克服以往多种缺点。虚拟仿真技术还在不断提高系统的智能型,逐步解决产品创新设计中的不确定性与模糊性。
(2)基于产品生命周期的设计
运用大数据相关技术,实现高度有序化的方式展示产品生命周期设计大数据的关系,方便地集成员工在设计中产方便地集成员工在设计中产生的新知识,使产品设计大数据得进一步丰富。
(3)融合消费者反馈的设计
利用工业数据平台获取消费者、市场等各维度的数据信息,达到生产者和消费者之间“信息粘性”的效果,利用这些关联数据信息,通过大数据挖掘分析技术,实现客户全面洞察,改进、创新设计产品的功能和款式。
2.在复杂生产过程优化的应用
(1)工业物联网生产线
在生产工艺改进方面,在生产过程中使用这些大数据,就能分析整个生产流程,有助于制造商改进其生产流程。在能耗分析方面,在设备生产过程中利用传感器集中监控所有的生产流程,优化能源的消耗。
通过诸如AGV小车、智能分拣配对系统、智能吊挂系统与智能分拣送料系统的导入等,加快整个制造流程的物料循环,通过智能摘挂系统、信号识别系统、智能取料系统、智能装配、智能定制等系统的导入实现整个制造流程的自动化。
(2)生产质量控制
利用工业大数据技术,挖掘产品质量特性与关键工艺参数之间的关联规则,抽取过程质量控制知识,为在线工序质量控制、工艺参数优化提供指导性意见。
(3)生产计划与排程
大数据给予企业更详细的数据信息,发现历史预测与实际的偏差概率,通过数据的关联分析及监控,企业能更准确地制定计划。
3.在产品需求预测中的应用
在产品开发方面,分析当前需求变化和组合形式,通过消费人群的关注点进行产品功能、性能的调整,设计制造更加符合核心需要的新产品,针对每一个群体策划并推送针对性的营销。
4.在工业供应链优化中的应用
供应链环节工业大数据的应用主要体现在供应链优化,即通过全产业链的信息整合,使整个生产系统达到协同优化,让生产系统更加动态灵活,进一步提高生产效率和降低生产成本。主要应用有供应链配送体系优化和用户需求快速响应。
5.在工业绿色发展中的应用
新一代信息技术通过对产品的配方、工艺及原材料采购、生产制造、仓储、运输、使用、大修和报废的全过程进行监控和管理,以数据采集为前端,数据分析和挖掘为服务,为制造企业实现绿色制造提供有力保障。
四、工业大数据参考框架
工业大数据参考架构以工业过程的业务需求为导向,基于工业系统的业务架构,规划工业大数据的数据、技术和应用(平台)架构,以搭建面向多业务领域、贯通多组织和应用层次的工业大数据IT架构。
1.数据参考架构
工业大数据应用的目标是构建覆盖工业全流程、全环节和产品全生命周期的数据链,工业大数据在实际应用当中涉及到的主要环节:数据源、数据收集与集成、数据处理与数据管理、典型应用场景等四个层次。
2.技术参考架构
工业大数据技术架构共有五个部分,分别为数据采集层、数据存储与集成层、数据建模层、数据处理层、数据交互应用层。
3.平台参考架构
工业大数据平台涵盖了IT网络架构和云计算基础架构等基础设施,专家库、知识库、业务需求库等资源,及安全、隐私等管理功能。此外,还包含关联工业大数据实际应用的三方面角色,即数据提供方、数据服务消费方、数据服务合作方。
五、应用案例
更多内容请请关注:www.imefuture.com
来源:智能制造 Arbei
3.15来了,你的个人数据安全情况如何?
其它类 盛世流光 2017-03-15 13:46 发表了文章
没有完美的密码,没有完美的防护
二月末,百度移动搜索和亚马逊服务器先后出现故障,造成短时间内访问瘫痪。岁末年初,京东被曝出12G数据外泄,其中包括用户的用户名、密码、邮箱、电话号码等多维度信息。再往前追溯,2016年已发生多起物联网安全案例,无论是历史最大规模的DDos攻击,还是25000台监控被用来组成僵尸网络事件。
在我们的生活全方位“触网”,个人信息安全难以保障时,围绕个人信息数据形成的黑色产业链却“悄无声息”地运营着。
2015年央视3.15晚会就曾曝光手机实名制形同虚设,运营商成为诈骗电话的幕后推手。此种情况在2016年仍层出不穷。仅仅依靠手机号码,凭借“拖库”、“洗库”、“撞库”等手段,不法分子即可获取数据中个人的身份、住址、家庭关系、经济状况等所有数据,再编两套话术,就可“绝对控制”普通人的生活,并据此进行交易。
《中国网民权益保护调查报告(2016)》显示,一年的时间,国内网民因垃圾短信、诈骗信息、个人信息泄露等造成的经济损失估算达915亿元。其中,9%的网民由于各类权益侵害造成的经济损失在1000元以上。
36氪日前的3.15用户体验调查数据也侧面反映了目前网络信息安全现状。59.2%的受访用户信息泄露后遇到过广告推销等骚扰类电话、邮件、短信;36.6%的人遇到过中奖等诈骗类电话;4.2%的受访用户人身安全曾因信息泄露而受到威胁。
“个人信息安全的保护意识人人都有,但却架不住诈骗者的‘使诈’。”上海市信息安全行业协会会长,众人科技创始人谈剑峰举例,一个人打电话说“你犯事儿了”,普通人都会觉得对方是骗子,但如果对方继而爆出你的家庭信息,并且开始“娓娓道来”时,我们都会思考“我是不是真犯事儿了”,此时,已经落入骗子的圈套。
无论是“拖库”、“洗库”、“撞库”等黑客攻击手段,还是随机诈骗的伎俩,从技术角度看,皆是信息安全的第一道“门”——身份认证被攻破,即核心密码失灵。用户个人信息一旦泄露,在支付的关键环节,身份认证方法是否可靠,将直接关系到用户资金安全。
“我们正在因为支付的便捷性丧失交易的安全性。”谈剑峰表示,不少用户为了方便记忆,在许多账户中都是用一个密码。“邮箱、支付、游戏等各种场景的密码都一样。一旦其中一个泄露,黑客通过‘撞库’,其它的密码则‘不解自破’。”
“足够便捷”与“足够安全”如何兼得?
在我们的调查中,“网购、支付”和“外卖、快递”被受访用户同时票选为最易泄露个人信息的场景,各占22.5%;“买房、买车”这一场景被票选的比例为20.5%;15.2%的受访用户认为社交、游戏场景泄露个人信息可能性较大;其它还有“移动出行”场景(11.3%)和“看新闻,浏览网页”等场景(7.9%)有泄露个人信息的可能。
谈剑峰表示,在我国互联网业态的各种场景中,金融支付场景信息泄露的情况较为突出。“信用卡普遍使用的今天,一些国外海淘网站为方便用户,会帮助记录信用卡的信息,不法分子仅凭信用卡号和有效期就可以支付,相当于自己写字的纸笔掌握在了别人手里。”谈剑峰强调,我们在交易过程中享受了便捷性,却因此丧失了安全。
众人科技CEO谈剑峰
即使诸如最新被广泛使用的生物识别,动态验证码等安全技术也存在潜在漏洞。
“生物特征看似方便,在互联网上应用却最不安全。”谈剑峰告诉记者,不安全的原因最核心的一点是其“不可再生性”。“我们想象着每个人的长相不一样,不可复制。但在网络世界里,生物特征背后就是0和1的数字。只要转化为0和1的数字,它就可能被截获、被重放、被重构。”
“根据我们近十年的网络信息安全技术研发经验来说,只有经常修改密码才是有效应对账户被盗风险的方式。”他指出,生物识别技术不适合在互联网上传输使用,而是适用于本地化使用,比如家庭门禁系统、金库的门禁安保系统。
然而在调查中,只有40.5%的受访用户在遭遇信息泄露之后,有过修改密码之类的行为。当便捷性与安全性相矛盾时,很少有人意识到问题的严重性而采取有效措施。
随着互联网技术的不断发展,移动支付安全更成为了“悬梁之剑”。在满足便捷需求的同时,保障移动支付安全是谈剑峰和众人科技一直以来的不懈追求。众人科技在网络安全领域深耕长达十年,除参与推动、制定国产信息安全标准外,不断更新升级自主研发、自主可控的核心技术。近年来,面对移动支付出现的问题,众人科技发明了自主专利的创新密码技术—SOTP(Super One-Time-Password),即可重构多因素动态认证技术。
说白了,就是用户在网上的信息是虚拟的。比如绑定的银行卡号是随着时间、网络环境等因素实时变化。真实的卡号只在银行系统中才被还原,这样避免个人银行卡信息泄露后出现网络盗刷的可能。
在谈剑峰看来,普通用户寻找的是一种安全“感”。当商家或交易平台给用户营造出一种安全感觉,用户就会觉得这样的支付手段或密码防护是安全的,继而一直使用。比如手机短信验证码,现在事实证明并不安全,可是用户感觉上既便捷又安全。
信息泄露风险与安全性相交织在一起时,86.1%受访用户会一边担心着信息泄露,一边不得不进行网上交易;2.3%受访用户曾因担心信息泄露而放弃网上交易;只有11.6%[j1] 受访用户不在乎或者不了解网上交易的潜在风险。
对此,谈剑峰强调SOTP是移动互联时代可以有效兼顾便捷性和安全性的密码技术。“目前的常规密码保护技术存在系统性风险。一个密码破了,与其相关的整个系统都有被破的风险。”相比之下,SOTP技术几乎没有系统性风险。谈剑峰强调,即使单点破了,也只是针对一个人的密码破了,对系统中其他用户不会造成任何影响。 “这是SOTP最大的特点之一”。
目前,SOTP技术已广泛应用于政府、金融等安全场景。去年,公安部与众人科技携手,在eID作为网络身份的一级信任源的基础上,使用SOTP作为二级身份认证防护技术,满足用户不同应用场景和不同安全等级的认证服务需求。
而西安银行与众人科技合作推出的创新型移动安全产品“@盾”,使金融交易场景既便捷时也更安全。谈剑峰介绍,用户安装“@盾”相当于在手机银行中置入隐形的硬件认证机制,交易过程中自动开启保护屏障,无需接收短信验证码,输入用户自己设定的密码便可轻松完成交易。“即使不法分子破解了手机银行密码,在交易时‘@盾’检测到不是绑定设备,将直接中断交易。”
对于信息安全防护,除了技术防范手段之外,更需要一套应对的组合拳。
对此,谈剑峰对普通用户的建议是在修改账户密码的同时,控制银行卡金额,不乱点各种渠道转发的链接。而对于互联网企业来说,应规范其采集数据的标准,并需有效的保障所采集数据存储的安全性。“现在一些互联网企业采集数据更多的是为了融资。因为投资人要看数据,看你的用户量有多少,数据有多少。一些防范意识差、无力研发或采购安全技术和产品的互联网企业对这些数据完全没有保护措施,就相当于你的个人信息在网上‘裸奔’,而且还在拼命奔。”
即将于今年6月1日起施行的《网络安全法》已聚焦个人信息保护。从收集、使用、管理等角度明确了网络产品服务提供者、运营者的责任,严厉打击出售、贩卖个人信息的行为。谈剑峰认为,国家已在法律层面明确了互联网企业的社会责任:应有基本安全防范意识,同时不能恶意收集用户信息,滥用用户数据。
“沉下心来进行核心技术的研发、在技术上不断创新,才是我们应该追求的未来创业的方向。”谈剑峰说道。
更多内容请关注:www.imefuture.com
来源:微信公众号 36氪 查看全部
没有完美的密码,没有完美的防护
二月末,百度移动搜索和亚马逊服务器先后出现故障,造成短时间内访问瘫痪。岁末年初,京东被曝出12G数据外泄,其中包括用户的用户名、密码、邮箱、电话号码等多维度信息。再往前追溯,2016年已发生多起物联网安全案例,无论是历史最大规模的DDos攻击,还是25000台监控被用来组成僵尸网络事件。
在我们的生活全方位“触网”,个人信息安全难以保障时,围绕个人信息数据形成的黑色产业链却“悄无声息”地运营着。
2015年央视3.15晚会就曾曝光手机实名制形同虚设,运营商成为诈骗电话的幕后推手。此种情况在2016年仍层出不穷。仅仅依靠手机号码,凭借“拖库”、“洗库”、“撞库”等手段,不法分子即可获取数据中个人的身份、住址、家庭关系、经济状况等所有数据,再编两套话术,就可“绝对控制”普通人的生活,并据此进行交易。
《中国网民权益保护调查报告(2016)》显示,一年的时间,国内网民因垃圾短信、诈骗信息、个人信息泄露等造成的经济损失估算达915亿元。其中,9%的网民由于各类权益侵害造成的经济损失在1000元以上。
36氪日前的3.15用户体验调查数据也侧面反映了目前网络信息安全现状。59.2%的受访用户信息泄露后遇到过广告推销等骚扰类电话、邮件、短信;36.6%的人遇到过中奖等诈骗类电话;4.2%的受访用户人身安全曾因信息泄露而受到威胁。
“个人信息安全的保护意识人人都有,但却架不住诈骗者的‘使诈’。”上海市信息安全行业协会会长,众人科技创始人谈剑峰举例,一个人打电话说“你犯事儿了”,普通人都会觉得对方是骗子,但如果对方继而爆出你的家庭信息,并且开始“娓娓道来”时,我们都会思考“我是不是真犯事儿了”,此时,已经落入骗子的圈套。
无论是“拖库”、“洗库”、“撞库”等黑客攻击手段,还是随机诈骗的伎俩,从技术角度看,皆是信息安全的第一道“门”——身份认证被攻破,即核心密码失灵。用户个人信息一旦泄露,在支付的关键环节,身份认证方法是否可靠,将直接关系到用户资金安全。
“我们正在因为支付的便捷性丧失交易的安全性。”谈剑峰表示,不少用户为了方便记忆,在许多账户中都是用一个密码。“邮箱、支付、游戏等各种场景的密码都一样。一旦其中一个泄露,黑客通过‘撞库’,其它的密码则‘不解自破’。”
“足够便捷”与“足够安全”如何兼得?
在我们的调查中,“网购、支付”和“外卖、快递”被受访用户同时票选为最易泄露个人信息的场景,各占22.5%;“买房、买车”这一场景被票选的比例为20.5%;15.2%的受访用户认为社交、游戏场景泄露个人信息可能性较大;其它还有“移动出行”场景(11.3%)和“看新闻,浏览网页”等场景(7.9%)有泄露个人信息的可能。
谈剑峰表示,在我国互联网业态的各种场景中,金融支付场景信息泄露的情况较为突出。“信用卡普遍使用的今天,一些国外海淘网站为方便用户,会帮助记录信用卡的信息,不法分子仅凭信用卡号和有效期就可以支付,相当于自己写字的纸笔掌握在了别人手里。”谈剑峰强调,我们在交易过程中享受了便捷性,却因此丧失了安全。
众人科技CEO谈剑峰
即使诸如最新被广泛使用的生物识别,动态验证码等安全技术也存在潜在漏洞。
“生物特征看似方便,在互联网上应用却最不安全。”谈剑峰告诉记者,不安全的原因最核心的一点是其“不可再生性”。“我们想象着每个人的长相不一样,不可复制。但在网络世界里,生物特征背后就是0和1的数字。只要转化为0和1的数字,它就可能被截获、被重放、被重构。”
“根据我们近十年的网络信息安全技术研发经验来说,只有经常修改密码才是有效应对账户被盗风险的方式。”他指出,生物识别技术不适合在互联网上传输使用,而是适用于本地化使用,比如家庭门禁系统、金库的门禁安保系统。
然而在调查中,只有40.5%的受访用户在遭遇信息泄露之后,有过修改密码之类的行为。当便捷性与安全性相矛盾时,很少有人意识到问题的严重性而采取有效措施。
随着互联网技术的不断发展,移动支付安全更成为了“悬梁之剑”。在满足便捷需求的同时,保障移动支付安全是谈剑峰和众人科技一直以来的不懈追求。众人科技在网络安全领域深耕长达十年,除参与推动、制定国产信息安全标准外,不断更新升级自主研发、自主可控的核心技术。近年来,面对移动支付出现的问题,众人科技发明了自主专利的创新密码技术—SOTP(Super One-Time-Password),即可重构多因素动态认证技术。
说白了,就是用户在网上的信息是虚拟的。比如绑定的银行卡号是随着时间、网络环境等因素实时变化。真实的卡号只在银行系统中才被还原,这样避免个人银行卡信息泄露后出现网络盗刷的可能。
在谈剑峰看来,普通用户寻找的是一种安全“感”。当商家或交易平台给用户营造出一种安全感觉,用户就会觉得这样的支付手段或密码防护是安全的,继而一直使用。比如手机短信验证码,现在事实证明并不安全,可是用户感觉上既便捷又安全。
信息泄露风险与安全性相交织在一起时,86.1%受访用户会一边担心着信息泄露,一边不得不进行网上交易;2.3%受访用户曾因担心信息泄露而放弃网上交易;只有11.6%[j1] 受访用户不在乎或者不了解网上交易的潜在风险。
对此,谈剑峰强调SOTP是移动互联时代可以有效兼顾便捷性和安全性的密码技术。“目前的常规密码保护技术存在系统性风险。一个密码破了,与其相关的整个系统都有被破的风险。”相比之下,SOTP技术几乎没有系统性风险。谈剑峰强调,即使单点破了,也只是针对一个人的密码破了,对系统中其他用户不会造成任何影响。 “这是SOTP最大的特点之一”。
目前,SOTP技术已广泛应用于政府、金融等安全场景。去年,公安部与众人科技携手,在eID作为网络身份的一级信任源的基础上,使用SOTP作为二级身份认证防护技术,满足用户不同应用场景和不同安全等级的认证服务需求。
而西安银行与众人科技合作推出的创新型移动安全产品“@盾”,使金融交易场景既便捷时也更安全。谈剑峰介绍,用户安装“@盾”相当于在手机银行中置入隐形的硬件认证机制,交易过程中自动开启保护屏障,无需接收短信验证码,输入用户自己设定的密码便可轻松完成交易。“即使不法分子破解了手机银行密码,在交易时‘@盾’检测到不是绑定设备,将直接中断交易。”
对于信息安全防护,除了技术防范手段之外,更需要一套应对的组合拳。
对此,谈剑峰对普通用户的建议是在修改账户密码的同时,控制银行卡金额,不乱点各种渠道转发的链接。而对于互联网企业来说,应规范其采集数据的标准,并需有效的保障所采集数据存储的安全性。“现在一些互联网企业采集数据更多的是为了融资。因为投资人要看数据,看你的用户量有多少,数据有多少。一些防范意识差、无力研发或采购安全技术和产品的互联网企业对这些数据完全没有保护措施,就相当于你的个人信息在网上‘裸奔’,而且还在拼命奔。”
即将于今年6月1日起施行的《网络安全法》已聚焦个人信息保护。从收集、使用、管理等角度明确了网络产品服务提供者、运营者的责任,严厉打击出售、贩卖个人信息的行为。谈剑峰认为,国家已在法律层面明确了互联网企业的社会责任:应有基本安全防范意识,同时不能恶意收集用户信息,滥用用户数据。
“沉下心来进行核心技术的研发、在技术上不断创新,才是我们应该追求的未来创业的方向。”谈剑峰说道。
更多内容请关注:www.imefuture.com
来源:微信公众号 36氪
大数据窥探:关于大数据的15条干货思考
智能科技类 哦然后呢 2017-03-14 11:24 发表了文章
大数据究竟是什么?又有什么用处?这里有 15 条大数据干货思考,一一为你解答。
1. 马云创造了“DT”(大数据时代)这个词,说未来社会不是 IT 时代,而是 DT 时代,而阿里巴巴战略定位为做 DT 时代的基础设施。类似于 IT 时代的微软,移动互联网时代的苹果之类的意思。
马云去年在云栖大会上提出未来 30 年的“五个新”,分别是“新零售,新制造,新金融,新技术,新能源”,其中“新能源”就是大数据,其讨论的相对比较少,似乎公众只关心的是公民数据安全问题,对于产业方面的大数据觉得比较抽象,实际上真正的“大数据”与阿里战略更为密切。
2. 最早把大数据应用在商业上的是亚马逊,直接根据用户的阅读兴趣推荐与之相关书籍,人家在 PC 时代就这么干了,是《大数据时代:生活、工作与思维大变革》一书中的经典案例;而在无线互联网时代的,今日头条根据用户阅读点击行动来形成个性化标签的“千人千面”,成为应用用户大数据的新样板;二者之间是不是有一些相似呢?
3. 手机正把一切都数据化,自从苹果做机身一体化以外,现在国产手机的电池都不可拆卸了,即使手机关机,也可以定位到,这个功能给军事、刑侦带来便利,比如以前儿童走失寻回机率很小,如今有了跟踪功能,大家看支付宝、滴滴出行、今日头条会推动这一方面消息成功率明显提升了很多,对犯罪分子具有很强的威慑力。很多岗位因为数据的力量实际上更加“实证化”了,在这种局面下,做一个好人会更多回报,而做一个坏人会得到更大的惩罚,这是社会昌明的前兆。
4. 手机里的数据可以实时上传到“云”上,如果数据没有“在线”,就不是所谓的大数据,而大数据与“云服务”是孪生兄弟,数据在线化需要存储、访问、下载,以前做数据存储是追求存储的空间大,就像手机的内存、电脑的硬盘、机房的服务器一样,当一切都数据化之后,盲目追求物理存储量显然行不通了,所以要转上“云”,也就是在线化了(听说这个与“马云”爸爸的名字相关)。
要用“在线”的思维去理解大数据,而不是停留在海量的直观上。
5. 云服务也是亚马逊的 AWS 最早做公有云,IT 企业不必向以前自建机房了,使用亚马逊的云服务,等于亚马逊为大家建了一个云服务的平台,这也就从 IaaS(基础即服务)转向了 PaaS(应用即服务)。在亚马逊做了云服务之后,阿里也做了阿里云,比如我所了解的智能锁品牌果加+、曼申、小嘀等,都是使用阿里云的服务,很多的 SaaS 软件也是购买的阿里云,阿里云目前稳坐企业服务市场的头把交椅,形成了网络效益。
6. SaaS(企业即服务软件)之所以火也与云服务相关,是在移动端可以直接下载 App 软件,有的连 PC 端系统都没有了,SaaS 与 ERP 的区别是,SaaS 是云端化下载、再安装,产品也更加标准化;而此前的 ERP 是固定的装机。现在 SaaS 比较多,似乎每个职能部门都有对立的 SaaS,以便于提升创业者的人效。缺点是 SaaS 实在太多,有些碎片化,应该会出现一个类似微信一样的“统一型的企业软件”,成为企业管理中的“瑞士军刀”,看在阿里是有 to B 的基因上,我大胆预测是阿里钉钉。
7. 一切都在数据化,并不是意味着所有的数据都有用,比如百度积累了很多年的搜索数据,需要“结构化”之后才能定向地分发信息;百度糯米的 O2O 数据目前的商业价值,还没有完全释放出来,还需要“云计算”能力跟上来。几乎所有的应用 Push 信息都比较烦人,说明大数据的场景化还很不成熟。
8. 除了积累数据之外,互联网巨头都在疯狂购买或兼并数据,目前,现在数据的流通和交换还处于相对初期的阶段。数据使用之后可以不像实物会折旧损耗,还可以继续用,其数据结构化更强,反而增加了价值。目前市场上的数据很多还是在咨询公司或互联网公司手中,并没有很好发挥数据共享的作用,总体来看,数据的壁垒和鸿沟还很大。
9. 要想首先解决数据开放问题,指望互联网公司开放似乎不大现实,人家的数据积累的好辛苦,都是资本的血汗钱。可行的是政府把自己的大数据开放出来,比如启信宝就是把工商税务数据进行结构化分类,产品体验做好形成了一个很实用的 App。
当然政府的数据有些涉密,所以推动起来还得看这次两会之后能否有指导文件出台。一旦医疗卫生、交通安全、能源化工之类的大数据公布其含金量将会比互联网数据更大,不过处在“原矿”阶段,还需要专业化团队开发,比如浪潮集团与很多地方政府进行政务云合作就是为了开发政府大数据的巨大潜能。
10. 数据要想发挥作用,数据资源只是前提,核心还是“云计算”能力,最关键的是看应用的场景;也许这些数据放在这儿没有用,但是在另外的地方却是宝贝,因而应该会出现一个类似淘宝一样的 C2C 数据交易平台,我有需要的数据找有的人买;而你有的数据我正好需要;而数据之间的流通都是可以在移动端直接进行支付的,反正货币本质上也是数字。这样的大数据平台也许是一种全新的电商(线上交易)平台,今年两会孙丕恕代表有提到发展“数商”的重要理念。
11. 大数据越来越成为 TMT 行业发力的起点,如果创业者掌握没有数据就没有办法照亮消费者,也没有办法去回溯生产端进行 C2B(定制生产);在这点上,数据开始回顾到了市场营销(Marketing)的本质,满足用户的需求,所以大数据最早爆发的领域是在精准营销或者数字营销上;直接服务于互联网公司的广告销售;尤其是目前创业流量成本越来越高,广告投放精准化需要有程序化平台做专业投放;目前百度做人工智能就是主要以数字营销为发力点。
12. 人工智能(AI)是一个与“移动互联网”、“互联网+”相媲美的大风口,但是人工智能必须要有大数据作为训练素材,机器学习、深度学习需要有大数据提升其机器人的学习能力。比如如果没有消费场景的大数据,就没有办法做出商业智能;如果没有医疗方面的大数据,就做不出智慧医生。
鉴于目前的大数据产业本身还没有火起来,阿星认为 AI 近几年不可能迅速引爆,处于早期阶段。但是人工智能概念的热炒、资本大量涌入,为大数据交易平台的出现以及数据购买带来钱景相当可观的增量,反而促进了大数据产业开始受重视。
13. 大数据把人都“标签化”了,以前互联网公司数据对立的都是 ID (账户)数据,但是很难接近真人的数据,如今最能真实反映人的数据还是阿里和腾讯,让以前无数多、散、匿、杂的数据越来越集中,越来越接近真人;而用户也可以跳出物理范畴去延伸线上的世界,人与人之间的信任成本降低,陌生人之间的线上交易形成一个相对良好的契约基础,这就是大数据所给予我们的第一波红利。
14. 可以预料,国内的大数据产业将与欧美完全不同,国外讲究个人隐私,有严格的反隐私法的规定;并且东亚文化圈对上网“隐私”容忍度很高,相关法律机制也不健全,也给了一些大数据公司和互联网用数据牟利带来了“空间”,这有点像互联网行业早期发展与国内知识产权相对宽松氛围相关,整个行业抄去抄来,网民无版权意识用免费内容用惯了。但如果在互联网行业已经成熟的今天,还在吃法律不健全的红利显然比较 low 了。
15. 大数据是把双刃剑,公民的数据信息必须得依法监管,如果一旦出现行业性数据安全泄密事件,将会相关新的新行业将陷入危机之中;如智能家居数据泄密将会造成人身财产安全隐患;比如在 3 月 10 日曝出一起某互联网公司员工人盗取 50 亿条公民数据的信息;这是 DT 崛起前最大的绊脚石;也从侧面证明了大数据产业所处的原始混乱状态。
更多内容请关注:www.imefuture.com
来源:微信公众号 人人都是产品经理 查看全部
大数据究竟是什么?又有什么用处?这里有 15 条大数据干货思考,一一为你解答。
1. 马云创造了“DT”(大数据时代)这个词,说未来社会不是 IT 时代,而是 DT 时代,而阿里巴巴战略定位为做 DT 时代的基础设施。类似于 IT 时代的微软,移动互联网时代的苹果之类的意思。
马云去年在云栖大会上提出未来 30 年的“五个新”,分别是“新零售,新制造,新金融,新技术,新能源”,其中“新能源”就是大数据,其讨论的相对比较少,似乎公众只关心的是公民数据安全问题,对于产业方面的大数据觉得比较抽象,实际上真正的“大数据”与阿里战略更为密切。
2. 最早把大数据应用在商业上的是亚马逊,直接根据用户的阅读兴趣推荐与之相关书籍,人家在 PC 时代就这么干了,是《大数据时代:生活、工作与思维大变革》一书中的经典案例;而在无线互联网时代的,今日头条根据用户阅读点击行动来形成个性化标签的“千人千面”,成为应用用户大数据的新样板;二者之间是不是有一些相似呢?
3. 手机正把一切都数据化,自从苹果做机身一体化以外,现在国产手机的电池都不可拆卸了,即使手机关机,也可以定位到,这个功能给军事、刑侦带来便利,比如以前儿童走失寻回机率很小,如今有了跟踪功能,大家看支付宝、滴滴出行、今日头条会推动这一方面消息成功率明显提升了很多,对犯罪分子具有很强的威慑力。很多岗位因为数据的力量实际上更加“实证化”了,在这种局面下,做一个好人会更多回报,而做一个坏人会得到更大的惩罚,这是社会昌明的前兆。
4. 手机里的数据可以实时上传到“云”上,如果数据没有“在线”,就不是所谓的大数据,而大数据与“云服务”是孪生兄弟,数据在线化需要存储、访问、下载,以前做数据存储是追求存储的空间大,就像手机的内存、电脑的硬盘、机房的服务器一样,当一切都数据化之后,盲目追求物理存储量显然行不通了,所以要转上“云”,也就是在线化了(听说这个与“马云”爸爸的名字相关)。
要用“在线”的思维去理解大数据,而不是停留在海量的直观上。
5. 云服务也是亚马逊的 AWS 最早做公有云,IT 企业不必向以前自建机房了,使用亚马逊的云服务,等于亚马逊为大家建了一个云服务的平台,这也就从 IaaS(基础即服务)转向了 PaaS(应用即服务)。在亚马逊做了云服务之后,阿里也做了阿里云,比如我所了解的智能锁品牌果加+、曼申、小嘀等,都是使用阿里云的服务,很多的 SaaS 软件也是购买的阿里云,阿里云目前稳坐企业服务市场的头把交椅,形成了网络效益。
6. SaaS(企业即服务软件)之所以火也与云服务相关,是在移动端可以直接下载 App 软件,有的连 PC 端系统都没有了,SaaS 与 ERP 的区别是,SaaS 是云端化下载、再安装,产品也更加标准化;而此前的 ERP 是固定的装机。现在 SaaS 比较多,似乎每个职能部门都有对立的 SaaS,以便于提升创业者的人效。缺点是 SaaS 实在太多,有些碎片化,应该会出现一个类似微信一样的“统一型的企业软件”,成为企业管理中的“瑞士军刀”,看在阿里是有 to B 的基因上,我大胆预测是阿里钉钉。
7. 一切都在数据化,并不是意味着所有的数据都有用,比如百度积累了很多年的搜索数据,需要“结构化”之后才能定向地分发信息;百度糯米的 O2O 数据目前的商业价值,还没有完全释放出来,还需要“云计算”能力跟上来。几乎所有的应用 Push 信息都比较烦人,说明大数据的场景化还很不成熟。
8. 除了积累数据之外,互联网巨头都在疯狂购买或兼并数据,目前,现在数据的流通和交换还处于相对初期的阶段。数据使用之后可以不像实物会折旧损耗,还可以继续用,其数据结构化更强,反而增加了价值。目前市场上的数据很多还是在咨询公司或互联网公司手中,并没有很好发挥数据共享的作用,总体来看,数据的壁垒和鸿沟还很大。
9. 要想首先解决数据开放问题,指望互联网公司开放似乎不大现实,人家的数据积累的好辛苦,都是资本的血汗钱。可行的是政府把自己的大数据开放出来,比如启信宝就是把工商税务数据进行结构化分类,产品体验做好形成了一个很实用的 App。
当然政府的数据有些涉密,所以推动起来还得看这次两会之后能否有指导文件出台。一旦医疗卫生、交通安全、能源化工之类的大数据公布其含金量将会比互联网数据更大,不过处在“原矿”阶段,还需要专业化团队开发,比如浪潮集团与很多地方政府进行政务云合作就是为了开发政府大数据的巨大潜能。
10. 数据要想发挥作用,数据资源只是前提,核心还是“云计算”能力,最关键的是看应用的场景;也许这些数据放在这儿没有用,但是在另外的地方却是宝贝,因而应该会出现一个类似淘宝一样的 C2C 数据交易平台,我有需要的数据找有的人买;而你有的数据我正好需要;而数据之间的流通都是可以在移动端直接进行支付的,反正货币本质上也是数字。这样的大数据平台也许是一种全新的电商(线上交易)平台,今年两会孙丕恕代表有提到发展“数商”的重要理念。
11. 大数据越来越成为 TMT 行业发力的起点,如果创业者掌握没有数据就没有办法照亮消费者,也没有办法去回溯生产端进行 C2B(定制生产);在这点上,数据开始回顾到了市场营销(Marketing)的本质,满足用户的需求,所以大数据最早爆发的领域是在精准营销或者数字营销上;直接服务于互联网公司的广告销售;尤其是目前创业流量成本越来越高,广告投放精准化需要有程序化平台做专业投放;目前百度做人工智能就是主要以数字营销为发力点。
12. 人工智能(AI)是一个与“移动互联网”、“互联网+”相媲美的大风口,但是人工智能必须要有大数据作为训练素材,机器学习、深度学习需要有大数据提升其机器人的学习能力。比如如果没有消费场景的大数据,就没有办法做出商业智能;如果没有医疗方面的大数据,就做不出智慧医生。
鉴于目前的大数据产业本身还没有火起来,阿星认为 AI 近几年不可能迅速引爆,处于早期阶段。但是人工智能概念的热炒、资本大量涌入,为大数据交易平台的出现以及数据购买带来钱景相当可观的增量,反而促进了大数据产业开始受重视。
13. 大数据把人都“标签化”了,以前互联网公司数据对立的都是 ID (账户)数据,但是很难接近真人的数据,如今最能真实反映人的数据还是阿里和腾讯,让以前无数多、散、匿、杂的数据越来越集中,越来越接近真人;而用户也可以跳出物理范畴去延伸线上的世界,人与人之间的信任成本降低,陌生人之间的线上交易形成一个相对良好的契约基础,这就是大数据所给予我们的第一波红利。
14. 可以预料,国内的大数据产业将与欧美完全不同,国外讲究个人隐私,有严格的反隐私法的规定;并且东亚文化圈对上网“隐私”容忍度很高,相关法律机制也不健全,也给了一些大数据公司和互联网用数据牟利带来了“空间”,这有点像互联网行业早期发展与国内知识产权相对宽松氛围相关,整个行业抄去抄来,网民无版权意识用免费内容用惯了。但如果在互联网行业已经成熟的今天,还在吃法律不健全的红利显然比较 low 了。
15. 大数据是把双刃剑,公民的数据信息必须得依法监管,如果一旦出现行业性数据安全泄密事件,将会相关新的新行业将陷入危机之中;如智能家居数据泄密将会造成人身财产安全隐患;比如在 3 月 10 日曝出一起某互联网公司员工人盗取 50 亿条公民数据的信息;这是 DT 崛起前最大的绊脚石;也从侧面证明了大数据产业所处的原始混乱状态。
更多内容请关注:www.imefuture.com
来源:微信公众号 人人都是产品经理