189 8069 5689
精选大数据相关用语
成都创新互联专注于企业全网营销推广、网站重做改版、江口网站定制设计、自适应品牌网站建设、H5页面制作、商城建设、集团公司官网建设、成都外贸网站建设公司、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为江口等各大城市提供网站开发制作服务。
大数据 (Big Data) 与数据科学 (Data Science) 已成为大众耳熟能详的词汇，各行各业正在积极运用且开发大数据的价值，这些巨量数据也带来了巨大的商机。
这时身处于大数据时代的我们，自然得对大数据有所认识，在这里为大家列出了一些经常跟大数据一起出现的陌生用语，认识了这些大数据相关字汇，下次看大数据的相关文章就不会一直卡了。
Algorithm 演算法
出自于数学用语，在这里指的是在有限步骤内，分析数据的具体方法，而且通常由软件来执行。
AIDC 自动识别技术
AIDC(Automatic Identification and Data Capture)是将讯息数据自动识读、自动输入电脑的重要方法和手段，它是以电脑技术和通信技术为基础的综合性科学技术。常见的 AIDC 例如条码(Bar codes)、磁条(magnetic strips)、生物识别(Biometrics)、RFID 等技术。
AWS 亚马逊网路服务系统
2006 年 Amazon 开始以 Web 服务的形式向企业提供各种云端运算服务，包括运算、储存、数据库、分析、应用程式和部署服务。现在许多科学家、开发人员以及各企业的技术人员都在利用 AWS (Amazon Web Services)进行大数据分析。
Avro 序列化系统
Avro 是 Hadoop 底下的子专案，是一个数据序列化系统(Data serialization system)，被设计用来支援大量数据交换。
Behavioral analytics 行为分析
行为分析是指用科学方法分析环境刺激与行为之间的因果关系，藉着系统性的观察来了解行为的变化原则，进而有系统的操作刺激，以达到行为的学习、塑造或改变。简单来说，就是用一个有系统的方法去观察、测量、收集客观数据来分析目标的表现行为。
Big Data 大数据
大数据(or 巨量数据)，顾名思义是指大量的资讯，当数据量庞大到数据库系统无法在合理时间内进行储存、运算、处理，分析成能解读的资讯时，就称为大数据。有兴趣深入了解请参考《巨量数据的时代，用「大、快、杂、疑」四字箴言带你认识大数据》以及《7 个你不可不知的大数据定义》。
BI 商业智慧
BI (Business Intelligence) 指用现代数据仓储技术、线上分析处理技术、数据挖掘进行数据分析，再以图形化的界面或报表呈现以实现商业价值。
Cassandra 数据库系统
是 Apache 软件基金会底下的开源分布式 NoSQL 数据库系统，适合用来管理巨量的结构化数据，由于其良好的可扩展性和性能，被 Digg、Twitter、Hulu、Netflix 等知名网站所采用。
CDR 详细通联记录
CDRs (Call Detail Record)是电信网路的使用纪录，例如通话时间、通话长度等资讯。CDR 是电信业者与企业分析网路营运和客户行为的重要资源。
Clickstream Analytics 点击流分析
点击流(Clickstream)就是使用者的在网页间来来去去的点选记录，也可以分成 Upstream –– 进入这个网站的「来源」，以及 Downstream —— 拜访完这个网站之後的「去向」。对于网路行销跟搜寻引擎来说，点击流分析是十分重要的参考。
Cloud Computing 云端运算
云端运算(Cloud Computing)是一种将数据、工具及程式放到网际网路上处理的资源利用方式，是一种分散式电脑运算(Distrubted computing)的概念，也就是让网路上不同的电脑同时帮你做一件事，可以大大的增加处理速度。
也因为所有资讯都被放置到网路的虚拟空间里，工程师在绘制示意图时常以一朵云来代表这个虚拟空间，因而有了「云端(Cloud)」一名。
Data Mining 数据探勘
顾名思义，就好比在地球上从一堆粗糙的石头中进行地物探勘、寻找有价值的矿脉，数据探勘就是从巨量数据中提取出未知的、有价值的潜在资讯。
Data Modelling 数据建模
数据模式(Data Model)在资讯系统中指的是数据如何被表达、储存及取用的方式，包括数据的格式、定义和属性，数据之间的关系，以及数据的限制，而数据模式的设计过程就称为「数据建模」。
Data Visualization 数据视觉化
是关于数据之视觉表现形式的研究，数据视觉化的技术可以帮助不同背景的工程人员沟通、理解，以达良好的设计与分析结果。
Data Experts 数据专家
数据专家就是能利用数据作出研究评估的专业人士，像是数据分析师、数据科学家、数据架构师等都可以被归类为数据专家，其工作内容细分请参考《数据分析师?科学家?架构师?大数据人才的工作内容及年薪比较》。
Exploratory Data Analysis 探索式分析
探索式数据分析是指在没有标准流程跟方法的情况下，在现有的数据中找寻数据的结构和特点、探索潜藏于数据中的讯息，这种数据分析方法强调的是探索式的分析而非严谨的模式确认。
Hadoop 技术
Hadoop 是一个能够储存并管理大量数据的云端平台，为 Apache 软件基金会底下的一个开放原始码、社群基础、而且完全免费的软件，Hadoop 的两大核心功能 —— 储存(Store)及处理(Process)数据所用到的分散式档案系统 HDFS 跟 MapReduce 平行运算架构。Hadoop 被广泛应用于大数据储存和大数据分析，成为大数据的主流技术。有兴趣深入了解请参考《认识大数据的黄色小象帮手 –– Hadoop》。
Internet of Things 物联网
物联网(Iots)是一个全球化的网路基础建设，透过数据撷取以及通讯能力以连结实体与虚拟物件，透过网际网路的发展，物连网可透过特定的机制，将所有装置连结在一起，以供控制、侦测、识别，并交换所有的资讯。
NoSQL 数据库系统
NoSQL 最早是指「No SQL」，号称不使用 SQL 作为查询语言的数据库系统。但近来则普遍将 NoSQL 视为「Not Only SQL」，也就是「不只是 SQL」的意思，希望结合 SQL 优点并混用关联式数据库和 NoSQL 数据库来达成最佳的储存效果。
在巨量数据所带动的潮流下，各种不同形态的NoSQL数据库如雨後春笋般窜起，其中 MongoDB 是众多 NoSQL 数据库软件中较为人熟知的一种。
Predictive Analytics 预测分析
是指透过预测模型、机器学习、数据挖掘等技术来分析现有和历史的事实数据对未来作出预测的数据分析方法。
R 语言
R 是一个开放原始码统计软件，提供统计计算和绘图功能，类似 Matlab 跟 SAS，而 R 不但免费 而且简单易上手，近年来成为数据科学界里的重要工具。
SaaS 软件即服务
SaaS (Software-As-A-Service)是随着网际网路技术和应用软件的成熟而兴起的一种软件应用模式。SaaS 提供商将软件统一部署在自己的伺服器上，藉由网路提供软件给客户，所以客户不用购买软件，而是根据需求向提供商订购所需的服务，且客户无需对软件进行维护，服务提供商会全权管理和维护软件;软件厂商在向客户提供网际网路应用的同时，也提供软件的离线操作和本地数据存储，让客户随时随地都可以使用其定购的软件和服务。
对于许多小型企业来说，SaaS 是采用先进技术的最好途径，它消除了企业购买、构建和维护基础设施和应用程式的需要。
Terabyte (1 000 000 000 000 Bytes)
TB 为兆位元组，是数据量的分级，相当于 10^12 bytes。其他数据量分级如下：
Bytes (8 Bits)
Kilobyte (1000 Bytes)
Megabyte (1 000 000 Bytes)
Gigabyte (1 000 000 000 Bytes)
Terabyte (1 000 000 000 000 Bytes)
Petabyte (1 000 000 000 000 000 Bytes)
Exabyte (1 000 000 000 000 000 000 Bytes)
Zettabyte (1 000 000 000 000 000 000 000 Bytes)
Yottabyte (1 000 000 000 000 000 000 000 000 Bytes)
以上是小编为大家分享的关于精选大数据相关用语的相关内容，更多信息可以关注环球青藤分享更多干货
2. 什么是NoSQL？
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，
泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。
（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。
2.2 NoSQL代表
MongDB、 Redis、Memcache
3. 关系型数据库与NoSQL的区别？
3.1 RDBMS
高度组织化结构化数据
结构化查询语言（SQL）
数据和关系都存储在单独的表中。
数据操纵语言，数据定义语言
严格的一致性
基础事务
ACID
关系型数据库遵循ACID规则
事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性：
A (Atomicity) 原子性
原子性很容易理解，也就是说事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。比如银行转账，从A账户转100元至B账户，分为两个步骤：1）从A账户取100元；2）存入100元至B账户。这两步要么一起完成，要么一起不完成，如果只完成第一步，第二步失败，钱会莫名其妙少了100元。
C (Consistency) 一致性
一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。
I (Isolation) 独立性
所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户，在这个交易还未完成的情况下，如果此时B查询自己的账户，是看不到新增加的100元的
D (Durability) 持久性
持久性是指一旦事务提交后，它所做的修改将会永久的保存在数据库上，即使出现宕机也不会丢失。
3.2 NoSQL
代表着不仅仅是SQL
没有声明性查询语言
没有预定义的模式
键 - 值对存储，列存储，文档存储，图形数据库
最终一致性，而非ACID属性
非结构化和不可预知的数据
CAP定理
高性能，高可用性和可伸缩性
分布式数据库中的CAP原理(了解)
CAP定理：
Consistency(一致性), 数据一致更新，所有数据变动都是同步的
Availability(可用性), 好的响应性能
Partition tolerance(分区容错性) 可靠性
P: 系统中任意信息的丢失或失败不会影响系统的继续运作。
定理：任何分布式系统只可同时满足二点，没法三者兼顾。
CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，
因此，根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类：
CA - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。
CP - 满足一致性，分区容忍性的系统，通常性能不是特别高。
AP - 满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。
CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。
而由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须需要实现的。
所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。
说明：C：强一致性 A：高可用性 P：分布式容忍性
举例：
CA：传统Oracle数据库
AP：大多数网站架构的选择
CP：Redis、Mongodb
注意：分布式架构的时候必须做出取舍。
一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。
因此牺牲C换取P，这是目前分布式数据库产品的方向。
4. 当下NoSQL的经典应用
当下的应用是 SQL 与 NoSQL 一起使用的。
代表项目：阿里巴巴商品信息的存放。
去 IOE 化。
ps：I 是指 IBM 的小型机，很贵的，好像好几万一台；O 是指 Oracle 数据库，也很贵的，好几万呢；M 是指 EMC 的存储设备，也很贵的。
难点：
数据类型多样性。
数据源多样性和变化重构。
数据源改造而服务平台不需要大面积重构。
NoSQL与RDBMS的九点区别联系
1 理解ACID与BASE的区别（ACID是关系型数据库强一致性的四个要求，而BASE是NoSQL数据库通常对可用性及一致性的弱要求原则，它们的意思分别是，ACID：atomicity, consistency, isolation, durability;BASE：Basically Available, Soft-state, Eventually Consistent。同时有意思的是ACID在英语里意为酸，BASE意思为碱）
2 理解持久化与非持久化的区别。这么说是因为有的NoSQL系统是纯内存存储的。
3 你必须意识到传统有关系型数据库与NoSQL系统在数据结构上的本质区别。传统关系型数据库通常是基于行的表格型存储，而NoSQL系统包括了列式存储（Cassandra）、key/value存储（Memcached）、文档型存储（CouchDB）以及图结构存储（Neo4j）
4与传统关系数据库有统一的SQL语言操作接口不同，NoSQL系统通常有自己特有的API接口。
5 在架构上，你必须搞清楚，NoSQL系统是被设计用于成百上千台机器的集群中的，而非共享型数据库系统的架构。
6在NoSQL系统中，可能你得习惯一下不知道你的数据具体存在何处的情况。
7 在NoSQL系统中，你最好习惯它的弱一致性。”eventually consistent”(最终一致性)正是BASE原则中的重要一项。比如在Twitter，你在Followers列表中经常会感受到数据的延迟。
8 在NoSQL系统中，你要理解，很多时候数据并不总是可用的。
9 你得理解，有的方案是拥有分区容忍性的，有的方案不一定有。
传统的关系型数据库在功能支持上通常很宽泛，从简单的键值查询，到复杂的多表联合查询再到事务机制的支持。而与之不同的是，NoSQL系统通常注重性能和扩展性，而非事务机制（事务就是强一致性的体现） 。传统的SQL数据库的事务通常都是支持ACID的强事务机制。A代表原子性，即在事务中执行多个操作是原子性的，要么事务中的操作全部执行，要么一个都不执行;C代表一致性，即保证进行事务的过程中整个数据加的状态是一致的，不会出现数据花掉的情况;I代表隔离性，即两个事务不会相互影响，覆盖彼此数据等;D表示持久化，即事务一量完成，那么数据应该是被写到安全的，持久化存储的设备上（比如磁盘）。NoSQL系统仅提供对行级别的原子性保证，也就是说同时对同一个Key下的数据进行的两个操作，在实际执行的时候是会串行的执行，保证了每一个Key-Value对不会被破坏。