亿级查询nosql,查询百万级数据

什么是nosql

nosql是not only sql的意思。是近今年新发展起来的存储系统。当前使用最多的是key-value模型，用于处理超大规模的数据。

创新互联的客户来自各行各业，为了共同目标，我们在工作上密切配合，从创业型小企业到企事业单位，感谢他们对我们的要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。专业领域包括成都网站设计、成都做网站、电商网站开发、微信营销、系统平台开发。

以下是摘自百度百科中的一部分

NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。

当今的应用体系结构需要数据存储在横向伸缩性上能够满足需求。而 NoSQL 存储就是为了实现这个需求。Google 的BigTable与Amazon的Dynamo是非常成功的商业 NoSQL 实现。一些开源的 NoSQL 体系，如Facebook 的Cassandra， Apache 的HBase，也得到了广泛认同。从这些NoSQL项目的名字上看不出什么相同之处：Hadoop、Voldemort、Dynomite，还有其它很多。

NoSQL与关系型数据库设计理念比较

关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作，但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。而非关系型数据库以键值对存储，它的结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。

上亿数据量用什么数据库最好

看你的是什么数据：

关系型数据：可以参考ali和京东用mysql集群来解决

非关系型数据：使用nosql集群来解决，MongoDB，Redis等

当然数据量特别大，查询很频繁的要利用好缓存

nosql为什么比sql快

因为索引多。同一条个数据，NOSQL占用空间是一般SQL数据库的3-5倍。

你可以理解成NOSQL默认开启全字段索引和全文索引什么的。

其实在十万级以下的数据，只要SQL建好索引的情况并不比NOSQL慢。NOSQL主要是用于千万上亿级的时候。

为什么使用nosql

因为速度快。你上亿级数据的情况下NOSQL是比普通SQL效率更高，哪怕有索引。毕竟NOSQL的存储空间使用是普通SQL三倍多。基本都用在索引方面了。

如果是全文搜索关键字，左右模糊等就更甩SQL几条街了

nosql和sql的区别

一样是数据库

NOSQL查询速度快，但是占用空间也大（都去索引那边了）

但是NOSQL查询复杂的逻辑关系的时候，只能批量获取到本地去统计而SQL能通过条件和关联表等方式进行筛选只显示符合条件的语句。

NOSQL用于无条件或少条件下的存取。百亿级数据也能快速取出。

SQL用于复杂的逻辑存取。在数据量不多的情况下也能跟NOSQL一样用于数据存储。

10亿级流数据交互查询，为什么抛弃mysql选择voltdb

作者谭正海、武毅发布于 2016年8月18日 | 被首富的“一个亿”刷屏？不如定个小目标，先把握住QCon上海的优惠吧！讨论

分享到：微博微信FacebookTwitter有道云笔记邮件分享

稍后阅读

我的阅读清单

大数据时代，随着数据量的爆炸式增长，对于数据的处理速度要求也越来越高，以往基于MySQL的数据处理方案已无法满足大吞吐、低延迟的写入和高速查询的场景；百分点总结出了一套完整的解决方案，本文就带你一同了解VoltDB在流数据交互查询的应用实践。

流式数据交互查询场景

在百分点，每天有10亿条记录产生，针对这些大量实时产生的数据，不仅要做到实时写入，类似推荐调优、数据验证等查询要在秒级响应。有简单的单条验证，也有几个小时或一天的聚合计算，也有基于几千万/几亿数据表间的联合聚合查询。例如如下SQL查询：

对于前期的MySQL方案，虽然已经根据一定规则做了人工的分库，但是对于上面SQL中的表Event落在单机上的数据量达到几千万，Result表也近千万，在这样的大表之间进行复杂的联合聚合查询，MySQL查下来要花费30分钟左右，甚至更长，或是没响应了。

因此在针对同时要求大吞吐、低延迟的写入和高速查询的场景下，基于MySQL的现存方案完全无法实现。在不放弃SQL语句的便利基础上，经历过多种选型和方案调研，最终选择了VoltDB来解决此类问题。