oracle表压缩技术（BAISC vs OLTP）_orcale 表 压缩 原理-程序员宅基地

技术标签： oracle  

  from：http://blog.csdn.net/pioayang/article/details/23758695

oracle压缩技术分为基本表压缩（basic table compression），OLTP表压缩（OLTP table compression），索引压缩（index compression）和混合列压缩（hybrid columnar compression (HCC)）。

basic compression从9i开始推出，是oracle的默认压缩方式。OLTP compression是11g开始推出，支持所有类型的DML操作的数据压缩。压缩会节省磁盘空间，但可能会增加CPU资源的消耗。本文主要讨论常用的basic和LTOP压缩，索引压缩和HCC可以参考oracle其它文档。表压缩技术适合OLAP系统和OLTP系统中数据变化很小的历史表，不适合频繁DML操作的表

 

1.1    压缩的原理

以OLTP压缩为例，引用参考文档4的说明，原理如下

请看一个 ACCOUNTS 表，它包含以下记录：


在数据库内部，假定一个数据库块包含上述所有行。


解压缩的块看上去是这样的：记录中的所有字段（列）都包含数据。压缩此块时，数据库首先计算在所有行中发现的重复值，将这些值移出行外，然后将其放在块的头部附近。行中的这些重复值将被替换为一个表示其中每个值的符号。从概念上讲，它看上去如下图所示，您可以看到压缩前后的块。


注意这些值是如何从行中取出并放入顶部称为“符号表”的特殊区域中的。列中的每个值都被分配一个符号，此符号将替代行内的实际值。由于符号所占空间小于实际值，因此记录大小也远远小于初始值。行中的重复数据越多，符号表和块越紧凑。

由于压缩作为触发事件发生，而不是在插入行时发生，因此在正常的 DML 进程中压缩对性能没有任何影响。压缩被触发后，对 CPU 的需求肯定会变得很高，但在其他任何时间 CPU 影响都为零，因此压缩也适用于 OLTP 应用程序，这是 Oracle Database 11g 中压缩的平衡点。

除了减少空间占用外，压缩数据还将缩短网络传输时间、减少备份空间，并使在 QA 和测试中维护生产数据库的完整副本变得切实可行。

1.2    basic压缩

下面通过具体的实验来看basic压缩和OLTP压缩的效果和异同点。

basic compression的6组实验，来比较各种情况下的表压缩

 

[sql]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sys@MS4ADB3(dtydb5)> select count(*)from test;  
  2.  COUNT(*)  
  3.   
  4. ----------  
  5.   
  6.     50000  
  7.   
  8. --       1.Baseline CTAS  
  9.   
  10. create table t1 tablespace users  
  11. as  
  12. select * from test where rownum <=50000;  
  13.   
  14. --       2.CTAS with basic compression enabled  
  15.   
  16. create table t2 compress basic tablespaceusers  
  17. as  
  18. select * from test where rownum <=50000;  
  19.   
  20. --       3.Normal insert into empty table defined as compressed  
  21.   
  22. create table t3 compress basic tablespaceusers  
  23. as  
  24. select * from test where rownum = 0;  
  25. insert into t3 select * from test whererownum <= 50000;  
  26.   
  27. --       4.Direct path insert into empty table defined as compressed  
  28.   
  29. create table t4 compress basic tablespaceusers  
  30. as  
  31. select * from test where rownum = 0;  
  32.   
  33. insert /*+append*/ into t4 select * fromtest where rownum <= 50000  
  34.   
  35. --       5.CTAS without compression, then change to compressed  
  36.   
  37. create table t5 tablespace users  
  38. as  
  39. select * from test where rownum <=50000;  
  40.   
  41. alter table t5 compress basic;   
 
[sql]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. --- 6. table move compress  
  2.   
  3. create table t6 tablespace users  
  4. as  
  5. select * from test where rownum <=50000;  
  6. alter table t6 move compress basic;  
对表做表分析

  

[sql]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. execdbms_stats.gather_table_stats('SYS','T1');  
  2.   
  3. execdbms_stats.gather_table_stats('SYS','T2');  
  4.   
  5. execdbms_stats.gather_table_stats('SYS','T3');  
  6.   
  7. execdbms_stats.gather_table_stats('SYS','T4');  
  8.   
  9. execdbms_stats.gather_table_stats('SYS','T5');  
  10.   
  11. execdbms_stats.gather_table_stats('SYS','T6');  
  12.   
  13.    
查询表占用空间情况

[sql]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sys@MS4ADB3(dtydb5)> select  table_name,blocks, pct_free , compression,compress_for  
  2.  2      from    user_tables  
  3.  3      where   table_name in('T1','T2','T3','T4','T5','T6');  
  4.   
  5.    
  6. TABLE_NAME                                                      BLOCKS   PCT_FREE COMPRESSION      COMPRESS_FOR  
  7.   
  8. ---------------------------------------------------------------------- ---------- ---------------- ------------------------  
  9. T1                                                                 666         10 DISABLED  
  10. T2                                                                 204          0 ENABLED          BASIC  
  11. T3                                                                 622          0 ENABLED          BASIC  
  12. T4                                                                 204          0 ENABLED          BASIC  
  13. T5                                                                  666         10 ENABLED          BASIC  
  14. T6                                                                 204          0 ENABLED          BASIC  
  15.   
  16.    
  17.   
  18. sys@MS4ADB3(dtydb5)> selectsegment_name,bytes/1024 K from dba_segments where segment_name in('T1','T2','T3','T4','T5','T6');  
  19.   
  20. SEGMENT_NA          K  
  21.   
  22. --------- ----------  
  23. T1               6144  
  24. T2               2048  
  25. T3               5120  
  26. T4               2048  
  27. T5               6144  
  28. T6               2048  
 

结果分析：

从上可以看出，

basic compression

在CATS，insert /*+append*/和move compress操作会对数据进行压缩。而alter table compress操作会修改表的压缩属性，但不会对已有数据进行压缩，对压缩表做普通的insert操作也不对对数据进行压缩。压缩表的PCT_FREE为0，说明oracle设计基本压缩表的目的就是认为此类表以后会很少修改

 

 

 

1.3    OLTP压缩

使用OLTP压缩分别做以下6组实验

[plain]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. --    1. Baseline CTAS  
  2. create table t21 tablespace users  
  3. as  
  4. select * from test where rownum <= 50000;  
  5.   
  6. --    2. CTAS with  OLTP compress enabled  
  7. create table t22 compress for OLTP tablespace users  
  8. as  
  9. select * from test where rownum <= 50000;  
  10.   
  11. --    3. Normal insert into empty table defined as compressed  
  12. create table t23 compress for OLTP tablespace users  
  13. as  
  14. select * from test where rownum = 0;  
  15.   
  16. insert into t23 select * from test where rownum <= 50000;  
  17.   
  18. --    4. Direct path insert into empty table defined as compressed  
  19. create table t24 compress for OLTP tablespace users  
  20. as  
  21. select * from test where rownum = 0;  
  22.   
  23. insert /*+append*/ into t24 select * from test where rownum <= 50000;  
  24.   
  25. --    5. CTAS without compression, then change to compressed  
  26. create table t25 tablespace users  
  27. as  
  28. select * from test where rownum <= 50000;  
  29.   
  30. alter table t25 compress for OLTP;   
  31.   
  32. --- 6. table move compress  
  33. create table t26 tablespace users  
  34. as  
  35. select * from test where rownum <= 50000;  
  36. alter table t26 move compress for OLTP;  
表分析

 

[plain]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. exec dbms_stats.gather_table_stats('SYS','T21');  
  2. exec dbms_stats.gather_table_stats('SYS','T22');  
  3. exec dbms_stats.gather_table_stats('SYS','T23');  
  4. exec dbms_stats.gather_table_stats('SYS','T24');  
  5. exec dbms_stats.gather_table_stats('SYS','T25');  
  6. exec dbms_stats.gather_table_stats('SYS','T26');   

表占用空间的大小

[sql]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sys@MS4ADB3(dtydb5)> select  table_name,blocks, pct_free , compression, compress_for  
  2.   2      from    user_tables  
  3.   3      where   table_name in ('T21','T22','T23','T24','T25','T26');  
  4.   
  5. TABLE_NAME                                                       BLOCKS   PCT_FREE COMPRESSION      COMPRESS_FOR  
  6. ------------------------------------------------------------ ---------- ---------- ---------------- ------------------------  
  7. T21                                                                 666         10 DISABLED  
  8. T22                                                                 225         10 ENABLED          OLTP  
  9. T23                                                                 370         10 ENABLED          OLTP  
  10. T24                                                                 225         10 ENABLED          OLTP  
  11. T25                                                                 666         10 ENABLED          OLTP  
  12. T26                                                                 225         10 ENABLED          OLTP  

比较分析
OTLP压缩实现了对DML操作的压缩（T23表），主要原理如图所示，当向空块插入数据时，数据不压缩，只有当数据超过一个阀值时，此时oracle才对数据块进行压缩，而且可能对同一个数据块多次压缩


转化为压缩表的3方法

1. ALTER TABLE … COMPRESS FOR OLTP
此方法对现有数据不压缩，对以后的DML语句相关数据进行OLTP压缩

2. Online Redefinition (DBMS_REDEFINITION)
对现有和以后的数据均压缩。使用DBMS_REDEFINITION可以在线对表进行操作，可以使用并行操作。分区表的global index是个例外，需要在线重定义之后重建索引

3. ALTER TABLE … MOVE COMPRESS FOR OLTP
对现有和以后的数据均压缩。在move过程中，会对表加排它（X）锁，DML操作会被阻塞，可以使用并行提高性能。move操作会导致索引失效，因此move之后需要重建索引。move操作可以改变segment的表空间



 参考文档
http://blog.csdn.net/tianlesoftware/article/details/8170488
http://allthingsoracle.com/compression-oracle-basic-table-compression/
Advanced Compression with Oracle Database 11g
http://www.oracle.com/technetwork/cn/articles/oem/11g-compression-198295-zhs.html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pioayang/article/details/23947717

智能推荐

分布式光纤传感器的全球与中国市场2022-2028年：技术、参与者、趋势、市场规模及占有率研究报告_预计2026年中国分布式传感器市场规模有多大-程序员宅基地

文章浏览阅读3.2k次。本文研究全球与中国市场分布式光纤传感器的发展现状及未来发展趋势，分别从生产和消费的角度分析分布式光纤传感器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。主要生产商包括：FISO TechnologiesBrugg KabelSensor HighwayOmnisensAFL GlobalQinetiQ GroupLockheed MartinOSENSA Innovati_预计2026年中国分布式传感器市场规模有多大

07_08 常用组合逻辑电路结构——为IC设计的延时估计铺垫_基4布斯算法代码-程序员宅基地

文章浏览阅读1.1k次，点赞2次，收藏12次。常用组合逻辑电路结构——为IC设计的延时估计铺垫学习目的：估计模块间的delay，确保写的代码的timing 综合能给到多少HZ，以满足需求！_基4布斯算法代码

OpenAI Manager助手（基于SpringBoot和Vue）_chatgpt网页版-程序员宅基地

文章浏览阅读3.3k次，点赞3次，收藏5次。OpenAI Manager助手（基于SpringBoot和Vue）_chatgpt网页版

关于美国计算机奥赛USACO，你想知道的都在这_usaco可以多次提交吗-程序员宅基地

文章浏览阅读2.2k次。USACO自1992年举办，到目前为止已经举办了27届，目的是为了帮助美国信息学国家队选拔IOI的队员，目前逐渐发展为全球热门的线上赛事，成为美国大学申请条件下，含金量相当高的官方竞赛。USACO的比赛成绩可以助力计算机专业留学，越来越多的学生进入了康奈尔，麻省理工，普林斯顿，哈佛和耶鲁等大学，这些同学的共同点是他们都参加了美国计算机科学竞赛（USACO)，并且取得过非常好的成绩。适合参赛人群USACO适合国内在读学生有意向申请美国大学的或者想锻炼自己编程能力的同学，高三学生也可以参加12月的第_usaco可以多次提交吗

MySQL存储过程和自定义函数_mysql自定义函数和存储过程-程序员宅基地

文章浏览阅读394次。1.1 存储程序1.2 创建存储过程1.3 创建自定义函数1.3.1 示例1.4 自定义函数和存储过程的区别1.5 变量的使用1.6 定义条件和处理程序1.6.1 定义条件1.6.1.1 示例1.6.2 定义处理程序1.6.2.1 示例1.7 光标的使用1.7.1 声明光标1.7.2 打开光标1.7.3 使用光标1.7.4 关闭光标1.8 流程控制的使用1.8.1 IF语句1.8.2 CASE语句1.8.3 LOOP语句1.8.4 LEAVE语句1.8.5 ITERATE语句1.8.6 REPEAT语句。_mysql自定义函数和存储过程

半导体基础知识与PN结_本征半导体电流为0-程序员宅基地

文章浏览阅读188次。半导体二极管——集成电路最小组成单元。_本征半导体电流为0

随便推点

【Unity3d Shader】水面和岩浆效果_unity 岩浆shader-程序员宅基地

文章浏览阅读2.8k次，点赞3次，收藏18次。游戏水面特效实现方式太多。咱们这边介绍的是一最简单的UV动画（无顶点位移），整个mesh由4个顶点构成。实现了水面效果（左图），不动代码稍微修改下参数和贴图可以实现岩浆效果（右图）。有要思路是1，uv按时间去做正弦波移动2，在1的基础上加个凹凸图混合uv3，在1、2的基础上加个水流方向4，加上对雾效的支持，如没必要请自行删除雾效代码(把包含fog的几行代码删除)S..._unity 岩浆shader

广义线性模型——Logistic回归模型（1）_广义线性回归模型-程序员宅基地

文章浏览阅读5k次。广义线性模型是线性模型的扩展，它通过连接函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。广义线性模型拟合的形式为：其中g(μY)是条件均值的函数（称为连接函数）。另外，你可放松Y为正态分布的假设，改为Y 服从指数分布族中的一种分布即可。设定好连接函数和概率分布后，便可以通过最大似然估计的多次迭代推导出各参数值。在大部分情况下，线性模型就可以通过一系列连续型或类别型预测变量来预测正态分布的响应变量的工作。但是，有时候我们要进行非正态因变量的分析，例如：（1）类别型.._广义线性回归模型

HTML+CSS大作业 环境网页设计与实现(垃圾分类) web前端开发技术 web课程设计 网页规划与设计_垃圾分类网页设计目标怎么写-程序员宅基地

文章浏览阅读69次。环境保护、 保护地球、 校园环保、垃圾分类、绿色家园、等网站的设计与制作。 总结了一些学生网页制作的经验：一般的网页需要融入以下知识点：div+css布局、浮动、定位、高级css、表格、表单及验证、js轮播图、音频 视频 Flash的应用、ul li、下拉导航栏、鼠标划过效果等知识点，网页的风格主题也很全面：如爱好、风景、校园、美食、动漫、游戏、咖啡、音乐、家乡、电影、名人、商城以及个人主页等主题，学生、新手可参考下方页面的布局和设计和HTML源码（有用点赞△） 一套A+的网_垃圾分类网页设计目标怎么写

C# .Net 发布后,把dll全部放在一个文件夹中,让软件目录更整洁_.net dll 全局目录-程序员宅基地

文章浏览阅读614次，点赞7次，收藏11次。之前找到一个修改 exe 中 DLL地址 的方法, 不太好使,虽然能正确启动, 但无法改变 exe 的工作目录,这就影响了.Net 中很多获取 exe 执行目录来拼接的地址 ( 相对路径 ),比如 wwwroot 和 代码中相对目录还有一些复制到目录的普通文件 等等,它们的地址都会指向原来 exe 的目录, 而不是自定义的 “lib” 目录,根本原因就是没有修改 exe 的工作目录这次来搞一个启动程序,把 .net 的所有东西都放在一个文件夹,在文件夹同级的目录制作一个 exe._.net dll 全局目录

BRIEF特征点描述算法_breif description calculation 特征点-程序员宅基地

文章浏览阅读1.5k次。本文为转载，原博客地址：http://blog.csdn.net/hujingshuang/article/details/46910259简介 BRIEF是2010年的一篇名为《BRIEF:Binary Robust Independent Elementary Features》的文章中提出，BRIEF是对已检测到的特征点进行描述，它是一种二进制编码的描述子，摈弃了利用区域灰度..._breif description calculation 特征点

房屋租赁管理系统的设计和实现，SpringBoot计算机毕业设计论文_基于spring boot的房屋租赁系统论文-程序员宅基地

文章浏览阅读4.1k次，点赞21次，收藏79次。本文是《基于SpringBoot的房屋租赁管理系统》的配套原创说明文档，可以给应届毕业生提供格式撰写参考，也可以给开发类似系统的朋友们提供功能业务设计思路。_基于spring boot的房屋租赁系统论文

推荐文章

热门文章

相关标签