189 8069 5689
数据库总大小：17.3GB、总记录数：4千万零450条、信息数量：2千万条、单表最大信息数：400万条一、前言：帝 国CMS 6.0版本最重要的升级功能是对系统构架进行升级，构架更加完美、负载容量更大。然而很多人就问，这个全新的构架有多大的魅力、容量是多少？其实我也不能 准确的告诉你，因为6.0刚发布不久并且没有空闲时间测试，那时我只能告诉你“总体容量可无限放大，单表存放容量是原来的几十倍、甚至更多，副表数据量达 到一定大小后可设置分表，副表支持无限分表，因而副表容量是无限的”。然而理论是需要实践去验证的，所以趁着这两天比较空闲试着测试，并且测试结果令我非 常吃惊，在2000万数据中最大的news单表中从50万导到400万数据无论从生成内容页效率还受理信息列表竟然没有多大差别：单表无论是50万还是400万生成5000个内容页速度为：19秒单表无论是50万还是400万后台管理信息列表速度为：0.009秒 二、测试环境1、硬件配置：使用本人工作使用的机器测试，普通的配置CPU：2.0 GHz 内存：1GB 2、软件环境：使用无任何优化的帝国CMS6.0一键安装包WINDOWS 2003APACHE 2.2.4PHP 5.2.0MYSQL 5.0.27ZEND Optimizer 3.2.6帝国CMS6.0开源版(GBK)(注：因为只是测试所以采用效率比较一般的WINDOWS平台，最好的PHP+MYSQL运行环境建议采用LINUX或UNIX平台。) 三、以2000万数据中最大的news表数据量为400万、数据表大小为3.4GB为例：400万单表情况下生成5000条数据：19秒1、后台点管理信息列表速度：0.008秒2、修改信息页读取数据：0.005秒3、400万单表情况下生成5000条数据：19秒开始生成：生成过程截图：5000条生成时间：19秒查看成后的栏目目录HTML：4、测试在使用内容动态页的数据读取速度：0.0025秒四、由于章节比较多，所以不能在贴子中说明，点击下面链接查看完整的测试过程《2 千万数据、17.3GB数据库用帝国CMS6.0分表合理存放》分成数个篇章对帝国CMS大数据量如何合理存放的进行介绍，整个测试过程都是边运行边截 图，采用透明、公开的方式供大家监督！如果有谁对测评过程和测评结果有疑问，可以自行参照我们的测试过程搭建类似的测试环境自己测试和对比测试结果。点击这里查看完整的测试过程：/ecms6/jm/20000000/20000000.html五、本次2000万数据最终测试数据统计：本次测试经验总结：优点： 6.0在大数据下的优势非常明显，生成内容页、动态内容页效率非常之快且不受数据量影响，解决了CMS负载最大的问题，并且使用按表管理信息列表速度很快，单表几十万和几百万数据没有明显区别。不足之处： 在 于单栏目数据量大于200万时标签调用、栏目列表速度有所下降(指的是增加检索条件的情况)，主要由于最耗资源的置顶排序与多重排序，下版会考虑删除置顶 功能与优化列表，并且会增加大数据量标签调用优化处理功能，以达到所有页面速度在大数据量都很优秀，不仅是内容页效率优秀。本次测试 2000万只是本人空闲时搞的小测试，主要让大家知道帝国分表如何处理更好，只要分表均匀可以将一个很大的数据分解成无数个相同效率的表，单表无论是50 万、400万甚至1000万数据在管理信息列表与生成页面效率基本是相同的，例如：5000万数据中12个栏目可以分成每表存放450万，每个450万数 据表效率都是一样的。未来版本帝国将会推出更完美的构架，主表可以像副表一样无限分表，让系统性能再度翻倍提升。做一个完美的安全、稳定高效、强大、灵活 的CMS是我们的终极目标，多年来我们一直朝这个方向迈进，不断创新不断完善。帝国软件以为中国网站提供最完善的建站解决方案为已任，打造国内最好的 CMS程序。帝国CMS对大数据情况建议：数据表结构最好的优化是将所有的自定义字段都存放到副表；主表只存放标题字段；总体的数据表数据分配均匀，主表下的每个副表存放建议100万数据以内；内容页减少标签调用或采用JS调用或者采用.shtml包含最新内容页面的方式；栏目列表设置最大显示数量；过期信息或不再调用的信息进行归档；减少使用搜索，搜索是最耗资源的功能；自行修改文件去除标签和列表的置顶排序(置顶功能下版会默认删除)，对性能更高要求的可只采用id排序；优化运行环境，特别是MYSQL数据库优化；服务器配置最好2GB以上内存、采用更快的CPU以及硬盘转速缓存更高IO更快。未来帝国CMS版本对大数据方面功能展望： 标签调用与列表性能优化，删除置顶功能并且对标签调用优化处理；主表结构更加优化。推出更完美的构架，主表可以像副表一样无限分表，让系统无论从维护数据还是生成页面性能将再度翻倍提升。多服务器结构支持，实现负载均衡。增加Oracle、postgresql、Mssql等多种数据库支持。......更多功能我们正在不断的探索与创新，相信会给大家更多的惊喜。附：帝国CMS6.0系统数据构架图
创新互联是一家专业提供东源企业网站建设,专注与网站设计、成都网站设计、html5、小程序制作等业务。10年已为东源众多企业、政府机构等服务。创新互联专业的建站公司优惠进行中。
1. CouchDB
所用语言： Erlang
特点：DB一致性，易于使用
使用许可： Apache
协议： HTTP/REST
双向数据复制，
持续进行或临时处理，
处理时带冲突检查，
因此，采用的是master-master复制（见编注2）
MVCC – 写操作不阻塞读操作
可保存文件之前的版本
Crash-only（可靠的）设计
需要不时地进行数据压缩
视图：嵌入式 映射/减少
格式化视图：列表显示
支持进行服务器端文档验证
支持认证
根据变化实时更新
支持附件处理
因此， CouchApps（独立的 js应用程序）
需要 jQuery程序库
最佳应用场景：适用于数据变化较少，执行预定义查询，进行数据统计的应用程序。适用于需要提供数据版本支持的应用程序。
例如： CRM、CMS系统。 master-master复制对于多站点部署是非常有用的。
（编注2：master-master复制：是一种数据库同步方法，允许数据在一组计算机之间共享数据，并且可以通过小组中任意成员在组内进行数据更新。）
2. Redis
所用语言：C/C++
特点：运行异常快
使用许可： BSD
协议：类 Telnet
有硬盘存储支持的内存数据库，
但自2.0版本以后可以将数据交换到硬盘（注意， 2.4以后版本不支持该特性！）
Master-slave复制（见编注3）
虽然采用简单数据或以键值索引的哈希表，但也支持复杂操作，例如 ZREVRANGEBYSCORE。
INCR co （适合计算极限值或统计数据）
支持 sets（同时也支持 union/diff/inter）
支持列表（同时也支持队列；阻塞式 pop操作）
支持哈希表（带有多个域的对象）
支持排序 sets（高得分表，适用于范围查询）
Redis支持事务
支持将数据设置成过期数据（类似快速缓冲区设计）
Pub/Sub允许用户实现消息机制
最佳应用场景：适用于数据变化快且数据库大小可遇见（适合内存容量）的应用程序。
例如：股票价格、数据分析、实时数据搜集、实时通讯。
（编注3：Master-slave复制：如果同一时刻只有一台服务器处理所有的复制请求，这被称为
Master-slave复制，通常应用在需要提供高可用性的服务器集群。）
3. MongoDB
所用语言：C++
特点：保留了SQL一些友好的特性（查询，索引）。
使用许可： AGPL（发起者： Apache）
协议： Custom, binary（ BSON）
Master/slave复制（支持自动错误恢复，使用 sets 复制）
内建分片机制
支持 javascript表达式查询
可在服务器端执行任意的 javascript函数
update-in-place支持比CouchDB更好
在数据存储时采用内存到文件映射
对性能的关注超过对功能的要求
建议最好打开日志功能（参数 –journal）
在32位操作系统上，数据库大小限制在约2.5Gb
空数据库大约占 192Mb
采用 GridFS存储大数据或元数据（不是真正的文件系统）
最佳应用场景：适用于需要动态查询支持；需要使用索引而不是 map/reduce功能；需要对大数据库有性能要求；需要使用
CouchDB但因为数据改变太频繁而占满内存的应用程序。
例如：你本打算采用 MySQL或 PostgreSQL，但因为它们本身自带的预定义栏让你望而却步。
4. Riak
所用语言：Erlang和C，以及一些Javascript
特点：具备容错能力
使用许可： Apache
协议： HTTP/REST或者 custom binary
可调节的分发及复制(N, R, W)
用 JavaScript or Erlang在操作前或操作后进行验证和安全支持。
使用JavaScript或Erlang进行 Map/reduce
连接及连接遍历：可作为图形数据库使用
索引：输入元数据进行搜索（1.0版本即将支持）
大数据对象支持（ Luwak）
提供“开源”和“企业”两个版本
全文本搜索，索引，通过 Riak搜索服务器查询（ beta版）
支持Masterless多站点复制及商业许可的 SNMP监控
最佳应用场景：适用于想使用类似 Cassandra（类似Dynamo）数据库但无法处理
bloat及复杂性的情况。适用于你打算做多站点复制，但又需要对单个站点的扩展性，可用性及出错处理有要求的情况。
例如：销售数据搜集，工厂控制系统；对宕机时间有严格要求；可以作为易于更新的 web服务器使用。
5. Membase
所用语言： Erlang和C
特点：兼容 Memcache，但同时兼具持久化和支持集群
使用许可： Apache 2.0
协议：分布式缓存及扩展
非常快速（200k+/秒），通过键值索引数据
可持久化存储到硬盘
所有节点都是唯一的（ master-master复制）
在内存中同样支持类似分布式缓存的缓存单元
写数据时通过去除重复数据来减少 IO
提供非常好的集群管理 web界面
更新软件时软无需停止数据库服务
支持连接池和多路复用的连接代理
最佳应用场景：适用于需要低延迟数据访问，高并发支持以及高可用性的应用程序
例如：低延迟数据访问比如以广告为目标的应用，高并发的 web 应用比如网络游戏（例如 Zynga）
6. Neo4j
所用语言： Java
特点：基于关系的图形数据库
使用许可： GPL，其中一些特性使用 AGPL/商业许可
协议： HTTP/REST（或嵌入在 Java中）
可独立使用或嵌入到 Java应用程序
图形的节点和边都可以带有元数据
很好的自带web管理功能
使用多种算法支持路径搜索
使用键值和关系进行索引
为读操作进行优化
支持事务（用 Java api）
使用 Gremlin图形遍历语言
支持 Groovy脚本
支持在线备份，高级监控及高可靠性支持使用 AGPL/商业许可
最佳应用场景：适用于图形一类数据。这是 Neo4j与其他nosql数据库的最显著区别
例如：社会关系，公共交通网络，地图及网络拓谱
7. Cassandra
所用语言： Java
特点：对大型表格和 Dynamo支持得最好
使用许可： Apache
协议： Custom, binary (节约型)
可调节的分发及复制(N, R, W)
支持以某个范围的键值通过列查询
类似大表格的功能：列，某个特性的列集合
写操作比读操作更快
基于 Apache分布式平台尽可能地 Map/reduce
我承认对 Cassandra有偏见，一部分是因为它本身的臃肿和复杂性，也因为 Java的问题（配置，出现异常，等等）
最佳应用场景：当使用写操作多过读操作（记录日志）如果每个系统组建都必须用 Java编写（没有人因为选用
Apache的软件被解雇）
例如：银行业，金融业（虽然对于金融交易不是必须的，但这些产业对数据库的要求会比它们更大）写比读更快，所以一个自然的特性就是实时数据分析
8. HBase
（配合 ghshephard使用）
所用语言： Java
特点：支持数十亿行X上百万列
使用许可： Apache
协议：HTTP/REST （支持 Thrift，见编注4）
在 BigTable之后建模
采用分布式架构 Map/reduce
对实时查询进行优化
高性能 Thrift网关
通过在server端扫描及过滤实现对查询操作预判
支持 XML, Protobuf, 和binary的HTTP
Cascading, hive, and pig source and sink modules
基于 Jruby（ JIRB）的shell
对配置改变和较小的升级都会重新回滚
不会出现单点故障
堪比MySQL的随机访问性能
最佳应用场景：适用于偏好BigTable:)并且需要对大数据进行随机、实时访问的场合。
例如： Facebook消息数据库（更多通用的用例即将出现）
编注4：Thrift
是一种接口定义语言，为多种其他语言提供定义和创建服务，由Facebook开发并开源。
当然，所有的系统都不只具有上面列出的这些特性。这里我仅仅根据自己的观点列出一些我认为的重要特性。与此同时，技术进步是飞速的，所以上述的内容肯定需要不断更新。我会尽我所能地更新这个列表。
PostgreSQL 是一种对象-关系型数据库管理系统（ORDBMS），也是目前功能最强大、
特性最丰富和最复杂的自由数据库系统。它起源于伯克利（BSD）的数据库研究计划，
目前是最重要的开源数据库产品开发项目之一， 有着非常广泛的用户。
PostgreSQL 可以说是最富特色的自由数据库管理系统，也有人认为可以是最强大的自由
数据库管理系统。PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完
整性检查等特性的唯一的一种自由的数据库管理系统。
能在多下---包括Linux、FreeBSD和Windows等---运行，并且支持多语言的开发。
在两大开源数据库产品的对比中，一般认为MySQL速度更快，所以得到更为广泛的使
用；而PostgreSQL性能更为先进，PostgreSQL 提供很多 MySQL 目前所不支持的特性，比
如触发器、视图、存储过程等等，在记录数超千万之后性能表现尤其出色。
你可以每天创建一个表，查询数据的时候用union all合并起来查询
这样做的好处是，删除的时候可以直接把表删掉即可
在企业级大数据平台的建设中，从传统关系型数据库（如Oracle）向Hadoop平台汇聚数据是一个重要的课题。目前主流的工具有Sqoop、DataX、Oracle GoldenGate for Big Data等几种。Sqoop使用sql语句获取关系型数据库中的数据后，通过hadoop的MapReduce把数据从关系型数据库中导入数据到HDFS，其通过指定递增列或者根据时间戳达到增量导入的目的，从原理上来说是一种离线批量导入技术；DataX 直接在运行DataX的机器上进行数据的抽取及加载，其主要原理为：通过Reader插件读取源数据，Writer插件写入数据到目标 ，使用Job来控制同步作业，也是一种离线批量导入技术；Oracle Goldengate for Big Data抽取在线日志中的数据变化，转换为GGS自定义的数据格式存放在本地队列或远端队列中，并利用TCP/IP传输数据变化，集成数据压缩，提供理论可达到9：1压缩比的数据压缩特性，它简化了向常用大数据解决方案的实时数据交付，可以在不影响源系统性能的情况下将交易数据实时传入大数据系统。对比以上工具及方法，结合数据处理的准确性及实时性要求，我们评估Oracle Goldengate for Big Data基本可以满足当前大数据平台数据抽取的需求。
1. 概述
cstore_fdw实现了 PostgreSQL 数据库的列式存储。列存储非常适合用于数据分析的场景，数据分析的场景下数据是批量加载的。
这个扩展使用了Optimized Row Columnar (ORC)数据存储格式，ORC改进了Facebook的RCFile格式，带来如下好处:
压缩:将内存和磁盘中数据大小削减到2到4倍。可以扩展以支持不同压缩算法。
列投影:只提取和查询相关的列数据。提升IO敏感查询的性能。
跳过索引:为行组存储最大最小统计值，并利用它们跳过无关的行。
2. 使用
cstore_fdw的安装和使用都非常简单，可以参考官方资料。
thub.com/citusdata/cstore_fdw
注)注意cstore_fdw只支持PostgreSQL9.3和9.4 。
下面做几个简单的性能对比，看看cstore_fdw究竟能带来多大的性能提升。
2.1 数据加载
2.1.1 普通表
CREATE TABLE tb1
(
id int,
c1 TEXT,
c2 TEXT,
c3 TEXT,
c4 TEXT,
c5 TEXT,
c6 TEXT,
c7 TEXT,
c8 TEXT,
c9 TEXT,
c10 TEXT
);
注:要和普通表的全表扫描作对比，所以不建主键和索引。
[postgres@node2 chenhj]$ time psql -p 40382 -At -F, -c "select id,id::text,id::text,id::text,id::text,id::text,id::text,id::text,id::text,id::text,id::text from generate_series(1,10000000) id"|time psql -p 40382 -c "copy tb1 from STDIN with CSV"
COPY 10000000
1.56user 1.00system 6:42.39elapsed 0%CPU (0avgtext+0avgdata 7632maxresident)k
776inputs+0outputs (17major+918minor)pagefaults 0swaps
real 6m42.402s
user 0m15.174s
sys 0m14.904s
postgres=# select pg_total_relation_size('tb1'::regclass);
pg_total_relation_size
------------------------
1161093120
(1 row)
postgres=# \timing
Timing is on.
postgres=# analyze tb1;
ANALYZE
Time: 11985.070 ms
插入1千万条记录，数据占用存储大小1.16G，插入耗时6分42秒，分析耗时12秒。
2.1.2 cstore表
$ mkdir -p /home/chenhj/data94/cstore
CREATE EXTENSION cstore_fdw;
CREATE SERVER cstore_server FOREIGN DATA WRAPPER cstore_fdw;
CREATE FOREIGN TABLE cstb1
(
id int,
c1 TEXT,
c2 TEXT,
c3 TEXT,
c4 TEXT,
c5 TEXT,
c6 TEXT,
c7 TEXT,
c8 TEXT,
c9 TEXT,
c10 TEXT
)
SERVER cstore_server
OPTIONS(filename '/home/chenhj/data94/cstore/cstb1.cstore',
compression 'pglz');
[postgres@node2 chenhj]$ time psql -p 40382 -At -F, -c "select id,id::text,id::text,id::text,id::text, id::text,id::text,id::text,id::text,id::text,id::text from generate_series(1,10000000) id"|time psql -p 40382 -c "copy cstb1 from STDIN with CSV"
COPY 10000000
1.53user 0.78system 7:35.15elapsed 0%CPU (0avgtext+0avgdata 7632maxresident)k
968inputs+0outputs (20major+920minor)pagefaults 0swaps
real 7m35.520s
user 0m14.809s
sys 0m14.170s
[postgres@node2 chenhj]$ ls -l /home/chenhj/data94/cstore/cstb1.cstore
-rw------- 1 postgres postgres 389583021 Jun 23 17:32 /home/chenhj/data94/cstore/cstb1.cstore
postgres=# \timing
Timing is on.
postgres=# analyze cstb1;
ANALYZE
Time: 5946.476 ms
插入1千万条记录，数据占用存储大小390M，插入耗时7分35秒，分析耗时6秒。
使用cstore列存储后，数据占用存储大小降到普通表的3分之1。需要说明的是，由于所有TEXT列填充了随机数据，压缩率不算高，某些实际的应用场景下压缩效果会比这更好。
2.2 Text列的like查询性能对比
2.2.1 普通表
清除文件系统缓存，并重启PostgreSQL
[postgres@node2 chenhj]$ pg_ctl -D /home/chenhj/data94 -l logfile94 restart
[root@node2 ~]# free
total used free shared buffers cached
Mem: 2055508 771356 1284152 0 9900 452256
-/+ buffers/cache: 309200 1746308
Swap: 4128760 387624 3741136
[root@node2 ~]# echo 1 /proc/sys/vm/drop_caches
[root@node2 ~]# free
total used free shared buffers cached
Mem: 2055508 326788 1728720 0 228 17636
-/+ buffers/cache: 308924 1746584
Swap: 4128760 381912 3746848
对Text列执行like查询
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.42 0.00 95.40
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 58.55 330.68 212.08 7351441 4714848
[postgres@node2 chenhj]$ time psql -p 40382 -c "select count(*) from tb1 where c1 like '%66'"
count
--------
100000
(1 row)
real 0m7.051s
user 0m0.001s
sys 0m0.004s
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.43 0.00 95.39
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 58.90 381.53 211.90 8489597 4714956
耗时7.1秒，产生IO读1.14G,IO写108K。
不清文件系统缓存，不重启PostgreSQL，再执行一次。消耗时间降到1.6秒，几乎不产生IO。
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.43 0.00 95.39
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 58.81 332.20 213.06 7350301 4714364
[postgres@node2 chenhj]$ time psql -p 40382 -c "select count(*) from tb1 where c1 like '%66'"
count
--------
100000
(1 row)
real 0m1.601s
user 0m0.002s
sys 0m0.001s
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.43 0.00 95.38
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 58.80 332.12 213.01 7350337 4714364
2.2.2 cstore表
清除文件系统缓存，并重启PostgreSQL
[postgres@node2 chenhj]$ pg_ctl -D /home/chenhj/data94 -l logfile94 restart
[root@node2 ~]# echo 1 /proc/sys/vm/drop_caches
对Text列执行like查询
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.38 0.00 95.45
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 58.12 376.42 209.04 8492017 4716048
[postgres@node2 chenhj]$ time psql -p 40382 -c "select count(*) from cstb1 where c1 like '%66'"
count
--------
100000
(1 row)
real 0m2.786s
user 0m0.002s
sys 0m0.003s
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.38 0.00 95.44
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 58.12 378.75 208.89 8550761 4716048
耗时2.8秒，产生IO读59M,IO写0K。执行时间优化的虽然不是太多，但IO大大减少，可见列投影起到了作用。
不清文件系统缓存，不重启PostgreSQL，再执行一次。消耗时间降到1.4秒，几乎不产生IO。
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.36 0.00 95.47
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 57.75 376.33 207.58 8550809 4716524
[postgres@node2 chenhj]$ time psql -p 40382 -c "select count(*) from cstb1 where c1 like '%66'"
count
--------
100000
(1 row)
real 0m1.424s
user 0m0.002s
sys 0m0.001s
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 0.38 3.36 0.00 95.47
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 57.70 375.96 207.38 8550809 4716588
2.3 对Int列执行=查询
2.3.1 普通表
清除文件系统缓存，并重启PostgreSQL后
[postgres@node2 chenhj]$ pg_ctl -D /home/chenhj/data94 -l logfile94 restart
[root@node2 ~]# echo 1 /proc/sys/vm/drop_caches
对Int列执行=查询
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.79 0.00 0.37 3.33 0.00 95.50
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 57.25 373.21 205.67 8560897 4717624
[postgres@node2 chenhj]$ time psql -p 40382 -c "select count(*) from tb1 where id =666666"
count
-------
1
(1 row)
real 0m6.844s
user 0m0.002s
sys 0m0.006s
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.79 0.00 0.37 3.34 0.00 95.49
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 57.60 422.57 205.54 9699161 4717708
耗时6.8秒，产生IO读1.14G,IO写84K
不清缓存，再执行一次。消耗时间降到1.1秒，几乎不产生IO。
[postgres@node2 chenhj]$ iostat -k dm-2
Linux 2.6.32-71.el6.x86_64 (node2) 06/23/14 _x86_64_ (2 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.79 0.00 0.37 3.33 0.00 95.50
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
dm-2 57.44 421.37 204.97 9699177 4718032
[postgres@node2 chenhj]$ time psql -p 40382 -c "select count(*) from tb1 where id =666666"
count
-------