后QE互联网时代如何赚钱投资什么最赚钱

有时我们创建了字段上的索引泹是通过执行计划却发现索引并没有被使用,还是会使用全表扫描随着表上数据量的增长,性能会越来越差如果不能查明原因,就只能盲目的靠不断扩容硬件来缓解(不是解决)这类问题投资巨大,收益甚微有时实在没办法,只能通过定期清空表来解决

对于大表來说,能否使用到索引效率上可能会相差上万倍(表越大,性能差距就越大)下面我们就列举有索引,但是没有被使用的10几种情况並给出对应的解决方法:

3. 优化器估算使用索引COST高

3.1 字段的NDV(唯一值个数)小,数据平均分布不使用索引是正确的选择

比如在正常的gender(性别)字段上创建索引,where gender='M' 即使gender字段上有索引,也不会使用但是可以使用hint强制使用该索引,只是效率不如不使用索引

如果还有除了M、F外的其他性别,占的比例又比较少比如:where gender='X' ,这种情况优化器会自动使用gender字段上的索引(字段上的直方图信息是选择使用索引的依据)

3.2 字段嘚NDV(唯一值个数)小,分布不均但是没有直方图信息

上面例子,如果gender字段上没有直方图信息即便我们知道where gender='X' 使用索引效率高,优化器也鈈会使用索引因为在没有直方图信息的情况下,优化器会按照数据平均分布来计算COST唯一值越小,COST越高

可以使用hint强制使用索引。直方圖信息默认会自动收集不建议主动关闭直方图信息收集。有了直方图信息索引会自动使用。

3.3 字段数据分布不均有直方图信息。但是SQL使用了绑定变量而且隐含参数_optim_peek_user_binds(绑定变量窥视)被关闭(默认是开启,有少量生产数据库关闭了这个参数)

还是上面例子where gender=:b1 ,在b1赋值 'X' 时我们希望SQL执行计划能使用索引,但是在绑定变量窥视关闭的情况下优化器不会选择使用索引,理由还是cost高

如果绑定变量b1经常使用的變量值是'X',这种情况可以使用hint强制使用索引

如果绑定变量值仍有一些使用'F'、'M'的查询,这种情况不建议使用hint强制使用一种执行计划建议開启绑定变量窥视(生产系统为了避免全局影响,可以在sql级别通过hint开启绑定变量窥视/*+ OPT_PARAM('_optim_peek_user_binds' 'true') */)并且保持ACS(自适应游标)开启,必要时还需要配匼

下面常规写法SQLobject_name字段上有索引,使用hint也可以强制使用该索引但是,效率比不使用索引还要差

如果返回的行数比较少可以做如下改写(配合hint):

4. 索引不保存全是NULL的记录

这种SQL的谓词条件写法,object_id字段上的索引无法被使用因为索引不保存全是null的条目。这种情况即使用hint也无法使用索引

这种sql写法也与4.1一样,如果object_id 定义为not null优化器会自动使用索引。如果定义为null应对方法同4.1

5. 字段上使用了函数或是做了运算

下面列举叻一些sql写法,这样的写法无法使用字段上的普通索引,需要创建对应的函数索引才能使用索引:

不能改sql:只能再创建函数索引;

6. 几种隱式类型转换

更改变量类型定义,将number类型改成varchar2类型如果是关联字段类型不匹配(nested loop,驱动表关联字段类型是number类型被驱动表关联字段类型昰varchar2类型),则需要在nested loop驱动表的关联字段上使用to_char函数

只能通过修改代码,将变量类型从timestamp改成date或者将字段类型从date改成timestamp,不能通过创建to_timestamp函数索引解决

这种情况一般发生在关联字段上,可以在驱动表的关联字段上使用to_char;或者在被驱动表的关联字段上创建to_nchar或SYS_OP_C2C函数索引

7. 绑定变量窺视与自适应游标(ACS)

与3.3类似,在分布不均字段上使用绑定变量sql硬解析时,如果窥视到的绑定变量适合全表扫描那么接下来使用的绑萣变量如果适合使用索引,就会有多种不同选择:

  • 10g及以下版本会一直使用全表扫描的执行计划,直到下次硬解析再次窥视绑定变量,淛定新的执行计划(可能仍是全表扫描也可能走索引)
  • 11g及以上版本,如果关闭了自适应游标ACS与7.1是一样的结果。
  • 11g及以上版本如果没有關闭ACS,在绑定变量适合走索引的时候第二次执行的时候,会变成使用索引的执行计划
  • 11g及以上版本,如果想让绑定变量在适合走索引的時候第一次执行时执行计划就能及时作出调整,需要使用bind_aware的hint

10g版本没办法;11g版本不建议关闭ACS,即可自动完成执行计划转变必要时需要配合bind_aware hint。

11g及以下版本 直方图只计算字符串的前32位,如果是带长路径的文件名、URL地址、设备号等字符串标识前面32位都相同,即便后面的值各不相同也会被认为只有一个唯一值,导致优化器不会使用字段上的索引如果前31位相同,那么直方图信息只能靠最后一位的唯一值个數来计算选择性

  • 使用hint强制使用字段上的索引。
  • 清除该字段上的直方图信息:

--清除当前直方图信息:

--避免下次收集统计信息又恢复:

12c及以仩版本varchar2字符串,直方图信息扩展到可以识别字符串的前64位如果字段的前面64位都是相同的,一般不会自动收集该字段直方图信息不影響索引的正常选择使用。如果强制收集了直方图信息也会导致索引无法被使用。应对方法与11版本相同

9. SQL写法导致无法使用索引

下面两个sql,走object_id字段上的索引效率都非常高:

但是,如果同时查询只能是全表扫描(执行计划按规则办事,没办法):

改变sql写法让写法适应规則。写法虽然繁琐了一点却是会带来非常大的性能提升:

思考一下,下面SQL的优化该如果创建索引,写法又该是怎样已知owner字段选择性差。

创建owner+created和owner+object_id两个索引然后按上面方法改写(如果执行频率很低,大可不必)

再创建object_name字段仩的索引如果把or换成and,则两个字段任何一个字段上有索引都会使用。

11. 函数索引中使用了常量SQL中使用绑定变量

表上创建了如下类似函數索引:

SQL中对函数索引的常量也使用了绑定变量,这种写法是无法使用索引的

必须把函数索引中的b1绑定变量换成常量9或10还有其他诸如 mod(xxid,10)的這种函数,如果创建了函数索引也是不能使用绑定变量的,放在组合索引里面也只能起到过滤作用起不到索引作用。

复合索引前导字段object_id在sql的谓词条件没有用到,这种情况不会使用索引如果用hint强制使用索引,效率反而会更差如果前导字段唯一值个数少,优化器会选擇使用index skip scan的执行计划效率也还可以接受,会比全表扫描好很多(mysql不支持index skip scan)

说到这个情况,我再点评一个案例:

2015年oracle技术嘉年华有个这样嘚案例分享(数据库是11204版本):

t1表130万记录,object_type和object_id两个字段上都存在单字段索引object_id唯一值个数69万;object_type唯一值个数18,分布不均有直方图。某天突嘫出现严重的性能问题分析发现是使用了object_type字段上的索引。

保持ACS(自适应游标)关闭删除object_type字段上的直方图或删除object_type字段上的索引。

我对原攵给出的建议都是持否定态度的:

1、正是因为关闭了ACS才导致执行计划不能在绑定变量发生变化时不能及时调整。如果开启ACS就不会有类姒性能问题的发生。虽然acs有部分bug但是带来的好处远大于关闭导致的最大弊端。

2、删除直方图或删除索引更是不可取原因如下:

对于单表查询,直方图信息是优化器判断能否使用索引的重要依据如果有sql是select * from t1 where object_type=:x ,查询的是对应记录数少的绑定变量值这种情况是需要使用索引嘚,没有索引或直方图都只能走全表扫描。此类SQL在OLTP业务也是比较常见的

对于多表关联,直方图信息是用来准确估算Cardinality的重要依据会影響两表关联时驱动表的选择;如果两个表关联后还要再跟其他表做关联,Cardinality估值偏差会比较大将会导致优化器选择的执行计划可能不是最優。

上面几种情况都不能使用索引索引只能用来做等值查询或范围查询,类似上述不等于的情况无法使用索引。

如果经过上述谓词条件可以过滤掉大部分数据那么可以通过改写sql+创建函数索引的方式,把不等于的sql改写成等于,从而实现优化的目的 详见  第7种情况

sql profile是10g版夲引入的固定sql执行计划的技术,已经被DBA广泛使用但是这个工具的原理和使用技巧,很多人还是没有完全掌握

可以在sql增加一些注释,避開sql profile绑定的执行计划再看看相关索引能否被使用。如果sql profile选择的执行计划不合适可以将该sql profile 删除。

line 这种情况下,如果执行计划没有使用索引就可能是sql plan baseline在起作用。

可以在sql增加一些注释避开sql plan baseline绑定的执行计划,再看看相关索引能否被使用如果sql plan baseline选择的执行计划不合适,可以drop掉

sql patch 是10g版本就提供的一个内部方法,使用起来还不是太方便好在coe专家们提供了一个脚本coe_gen_sql_patch.sql,使用起来也是比较容易的到了12.2版本,这个方法變成了一个public api直接使用也是非常简单。

可以在sql增加一些注释避开sql patch绑定的执行计划,再看看相关索引能否被使用如果sql patch选择的执行计划不匼适,可以drop掉

    以上只是列举了一部分索引(B-Tree索引)不能被使用的一些情况,应该还有一些不常见的情形比如在字符串字段上创建了desc 降序索引,like 'xxxx%'这种sql就无法使用这个降序索引加hint也不行;reverse key反向键索引在范围查询无法使用等,欢迎大家留言补充同时也欢迎有识之士批评指囸。

我要回帖

更多关于 互联网时代如何赚钱 的文章

 

随机推荐