189 8069 5689

数据智能的本质和技术体系要求-创新互联

整个行业市场就是巨头引导的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服务层加上各中小企业在应用层不断向其他行业渗透的过程。市场在不断的被瓜分和细化。大数据/云计算/人工智能互相交织,趋于一体。一根针捅破天的机会越来越少,AI产品落地、垂直领域的创新、AI组织变革,将是接下来的热点。

创新互联专业为企业提供西和网站建设、西和做网站、西和网站设计、西和网站制作等企业网站建设、网页设计与制作、西和企业网站模板建站服务,十多年西和做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。

AI(数据智能)技术的普及

技术的发展有自己的规律,在不同阶段表现出不同的状态,发展的关键问题也不同。

技术的兴起阶段,技术本身的进步是发展的关键。此时往往是科研机构、高校或大型企业内部研究院开始进行前沿技术的研究。比如中国科学院大数据实验室、阿里人工智能实验室、上海大数据联盟等。

当技术发生了重大的突破,如AI的关键性技术突破,加上大数据和云计算技术提供了充足的数据和计算能力,使得AI迅速获得人们的关注。15年Alpha Go惊艳地表现像一个火种,整个行业市场开始有了燎原之势,风投、科技媒体开始逐渐关注。

随着而来的是大量的技术社区、技术布道者(技术培训等)和AI创业公司。好像当时的淘金热,创业公司是淘金者,技术布道者是渡船人。这一阶段,AI技术人员最为抢手。这时AI领域的垂直培训公司,如七月在线也风生水起,数据科学竞赛的平台kaggle、阿里天池大数据、datacastle也吸引力众多的技术人才。

当技术普及到达一定程度,技术能否真正的落地,去解决实际的问题则成为关键。这时候我们需要一批有着敏锐的市场需求并可以将技术落地的AI产品经理,技术开始渗透到各行各业,垂直细分领域的应用开始快速发展。各个领域应用的如电商销售、广告推荐系统、智能医疗等产生了大量的初创AI公司,而其背后,投资人关键的重点开始从技术本身变为能否解决实际的行业痛点。

然后,当技术发展趋于成熟,技术会导致生产生活关系、团队组织的变化。此时,一个团队能够适应性的改进自身,成为关键。比如回过头去看互联网发展的过程,从关注技术本身,到互联网应用,到企业互联网转型。AI技术也一样,技术本身会给团队的管理带来新的挑战。

当前AI(数据&智能)技术正处于技术普及的中后期,重点是技术的应用。在团队组织方面,我们试图寻找到一种新的合适的形式,来应对变化。

AI 组织变革

此处我们给出了一种组织架构,来应对这种变化。

数据采集团队:

内部数据对企业来说更为关键,是实现数据驱动的基础。外部数据一种是对互联网和线下数据的采集,一种是通过数据交易市场来获取。内部数据的获取依赖企业内部的信息化,数据交易市场目前在国内已经趋于成熟,如数据堂、聚合数据、发源地等。企业可以根据自己需求决定团队的规模,团队技能包括网络爬虫、协议解析、数据清洗、数据对接等。

数据治理团队:

数据治理包括数据质量控制、元数据管理等。数据治理保证了数据可用、可控、可信。数据治理从本质上来讲是服务的角色,让数据加工过程透明化,让各个环节的数据使用者能够清楚的知道数据从何而来,经过了怎样的处理过程。比如一个人的消费明细是原始数据,处理够得到消费天统计表、月统计表,消费者行为爱好分析表。数据治理要做的就是掌握他们之间的来龙去脉,并展现给其他团队使用。

服务团队:

云计算的核心思想是“一切皆服务”,解放生产力,让企业可以专注在其最核心的领域内。AI赋能是核心部分。

DaaS 数据即服务: 以数据的采集与提供,为主要业务内容。相关技术包括ETL、流式数据处理、实时计算、异构数据解析、数据治理等。

TaaS 工具即服务: 将数据处理工具以服务的形式提供。相关服务包括清洗服务、转换服务、解析服务等。

AaaS 分析即服务: 以数据报告、可视化报表的形式提供服务。相关技术包括统计学、可视化技术等。

MaaS 挖掘即服务: 提供数据挖掘的核心能力服务。相关技术包括机器学习、深度学习、认知计算、模式识别等。

DAAS层的公司专注数据的交换,比如上文提到数据交易平台。一种是直接交换数据(数据堂),一种是以API的形式提供(聚合数据)。

TaaS专注于工具的服务,比如百度的预处理服务,将预处理的清洗、规约等过程封装成服务。该类服务类似给淘金者提供锤子、钉子等公司,让淘金者可以更方便的去挖金。

AaaS则专注于分析统计。比如阿里云数加提供的快速BI服务。传统情况下搭建一个销售数据分析系统,可能要一个月。而使用AaaS,只要一天。用户只要上传数据,数据处理逻辑基本是图像化操作,拖放控件,大大提高了效率。

MaaS指的是数据挖掘的核心能力,如阿里云提供的机器学习api、深度学习模型等,在这种情况下,如果要开发一个图片识别系统,只要了解其提供的接口即可,无需关心内部实现,存储和计算能力可以按需购买。这降低了技术门槛,使得AI更快的应用到其他行业。

应用团队:

从对数据的加工层次,包括检索查询、统计分析、业务模型、数据展现,需要深度结合领域知识。这里是更多中小创业者的机会所在。对初创企业来讲,数据的获取、数据的加工都可以使用云服务。而应用层,没有任何一家企业可以通吃。应用层是创新最频繁的地方,当然,也是竞争和死亡率高的地方。

接下来,我们反观数据源、数据加工、数据治理、数据应用几个层面,来看下它们之间的发展逻辑。

数据智能的发展逻辑

数据源的三个层次:

1、纬度较少、数据量小

2、纬度丰富、数据量巨大(大数据)。

3、数据正确、及时、具有代表性 样本数据=总体数据(全数据)。

对业务目标而言,数据是否“全”才是关键。

全数据:足以能够全面反映事物形态的数据集合。

全数据下,样本数据=总体数据,数据足够正确、足够新、足够代表性。

当期,虽然大数据量很大、纬度很多、处理速度极快、能够全量处理,但是大数据并没有解决“全”的问题。

例如,“小而全的数据”:对于一个餐饮店的菜品销售分析。其店内产生的数据(客户订单、菜品评价),数据量每天的新增量仅在每天2千条左右,而且只有订单和评价数据,存储数据库也是传统关系式数据库。对“店内菜品分析而言”
拥有这些数据已经够“全”,解决其业务问题。而更“大”的其他数据,对其没有贡献。

再如,“大而不全的数据”:对于信贷问题,要发现不可信人员。往往的思路是,试图通过对用户的线上行为、消费情况、以往银行记录进行识别判断。而现实情况却是,该类人群会刻意的回避“线上行为”,如盗用他人银行卡、民间高利贷等“线下行为”,这些隐蔽行为无法获取到。

数据处理技术的三个层次:

1、检索、查询

2、统计、分类技术、异常数据分析、关联性分析

3、趋势预测

数据管理的三个层次:

1、保证数据可用

2、保证数据可控

3、保证数据可信

首要问题是有数据可用,这在数据匮乏的“小数据”时代最为重要。

“大数据”时代则要防止数据迅速膨胀带来的数据失控问题,避免成为一堆大而乱的数据垃圾。

“全数据”强调的是:不盲目追求“大”,而是从业务应用的角度,保证数据的正确、及时。

数据价值的三个层次:

1、展示事物发展过程

2、描述事物发展本质

3、预测事物发展趋势

对事物的发展过程加以数字化的展现,使用分类、关联等技术发现事物发展过程中的规律、模式。

对事物的发展趋势加以预测。

数据源层次越高、处理技术层次越高、数据管理层次越高,带来的数据价值越大。

最后

综上,整个行业市场就是巨头引导的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服务层加上各中小企业在应用层不断向其他行业渗透的过程。市场在不断的被瓜分和细化。大数据/云计算/人工智能互相交织,趋于一体。

互联互通社区


互联互通社区专注于IT互联网交流与学习,关注公众号:互联互通社区,每日获取最新报告并附带专题内容辅助学习。方案打造与宣讲、架构设计与执行、技术攻坚与培训、数据中台等技术咨询与服务合作请+微信:hulianhutongshequ


分享名称:数据智能的本质和技术体系要求-创新互联
浏览路径:http://cdxtjz.cn/article/dsphji.html

其他资讯