MySQL DISTINCT 的基本实现原理

"SELECT distinct uid FROM user WHERE (".$where .") AND uid != '$uid'";

 

 

--------------------------

 

DISTINCT 实际上和 GROUP BY 操做的实现很是类似，只不过是在 GROUP BY 以后的每组中只取出一条记录而已。因此，DISTINCT 的实现和 GROUP BY 的实现也基本差很少，没有太大的区别。一样能够经过松散索引扫描或者是紧凑索引扫描来实现，固然，在没法仅仅使用索引即能完成 DISTINCT 的时候，MySQL 只能经过临时表来完成。可是，和 GROUP BY 有一点差异的是，DISTINCT 并不须要进行排序。也就是说，在仅仅只是 DISTINCT 操做的 Query 若是没法仅仅利用索引完成操做的时候，MySQL 会利用临时表来作一次数据的“缓存”，可是不会对临时表中的数据进行 filesort 操做。固然，若是咱们在进行 DISTINCT 的时候还使用了 GROUP BY 并进行了分组，并使用了相似于 MAX 之类的聚合函数操做，就没法避免 filesort 了。

下面咱们就经过几个简单的 Query 示例来展现一下 DISTINCT 的实现。

1.首先看看经过松散索引扫描完成 DISTINCT 的操做：

sky @ localhost : example 11 : 03 : 41 > EXPLAIN SELECT DISTINCT group_id
    -> FROM group_message \ G
*************************** 1. row ***************************
           id : 1
  SELECT_type : SIMPLE
         table : group_message
         type : range
possible_keys : NULL
           key : idx_gid_uid_gc
       key_len : 4
           ref : NULL
         rows : 10
         Extra : Using index for group - by
1 row in set ( 0.00 sec )

咱们能够很清晰的看到，执行计划中的 Extra 信息为“Using index for group-by”，这表明什么意思？为何我没有进行 GROUP BY 操做的时候，执行计划中会告诉我这里经过索引进行了 GROUP BY 呢？其实这就是于 DISTINCT 的实现原理相关的，在实现 DISTINCT的过程当中，一样也是须要分组的，而后再从每组数据中取出一条返回给客户端。而这里的 Extra 信息就告诉咱们，MySQL 利用松散索引扫描就完成了整个操做。固然，若是 MySQL Query Optimizer 要是可以作的再人性化一点将这里的信息换成“Using index for distinct”那就更好更容易让人理解了，呵呵。

2.咱们再来看看经过紧凑索引扫描的示例：

sky @ localhost : example 11 : 03 : 53 >  EXPLAIN SELECT DISTINCT user_id
    -> FROM group_message
    -> WHERE group_id = 2 \ G
*************************** 1. row ***************************
           id : 1
  SELECT_type : SIMPLE
         table : group_message
         type : ref
possible_keys : idx_gid_uid_gc
           key : idx_gid_uid_gc
       key_len : 4
           ref : const
         rows : 4
         Extra : Using WHERE ; Using index
1 row in set ( 0.00 sec )

这里的显示和经过紧凑索引扫描实现 GROUP BY 也彻底同样。实际上，这个 Query 的实现过程当中，MySQL 会让存储引擎扫描 group_id = 2 的全部索引键，得出全部的 user_id，而后利用索引的已排序特性，每更换一个 user_id 的索引键值的时候保留一条信息，便可在扫描完全部 gruop_id = 2 的索引键的时候完成整个 DISTINCT 操做。

3.下面咱们在看看没法单独使用索引便可完成 DISTINCT 的时候会是怎样：

sky @ localhost : example 11 : 04 : 40 > EXPLAIN SELECT DISTINCT user_id
    -> FROM group_message
    -> WHERE group_id > 1 AND group_id < 10 \ G
*************************** 1. row ***************************
           id : 1
  SELECT_type : SIMPLE
         table : group_message
         type : range
possible_keys : idx_gid_uid_gc
           key : idx_gid_uid_gc
       key_len : 4
           ref : NULL
         rows : 32
         Extra : Using WHERE ; Using index ; Using temporary
1 row in set ( 0.00 sec )

当 MySQL 没法仅仅依赖索引便可完成 DISTINCT 操做的时候，就不得不使用临时表来进行相应的操做了。可是咱们能够看到，在 MySQL 利用临时表来完成 DISTINCT 的时候，和处理 GROUP BY 有一点区别，就是少了 filesort。实际上，在 MySQL 的分组算法中，并不必定非要排序才能完成分组操做的，这一点在上面的 GROUP BY 优化小技巧中我已经提到过了。实际上这里 MySQL 正是在没有排序的状况下实现分组最后完成 DISTINCT 操做的，因此少了 filesort 这个排序操做。

4.最后再和 GROUP BY 结合试试看：

sky @ localhost : example 11 : 05 : 06 > EXPLAIN SELECT DISTINCT max ( user_id )
    -> FROM group_message
    -> WHERE group_id > 1 AND group_id < 10
    -> GROUP BY group_id \ G
*************************** 1. row ***************************
           id : 1
  SELECT_type : SIMPLE
         table : group_message
         type : range
possible_keys : idx_gid_uid_gc
           key : idx_gid_uid_gc
       key_len : 4
           ref : NULL
         rows : 32
         Extra : Using WHERE ; Using index ; Using temporary ; Using filesort
1 row in set ( 0.00 sec )

最后咱们再看一下这个和 GROUP BY 一块儿使用带有聚合函数的示例，和上面第三个示例相比，能够看到已经多了 filesort 排序操做了，正是由于咱们使用了 MAX 函数的缘故。要取得分组后的 MAX 值，又没法使用索引完成操做，只能经过排序才行了。

 

 

 

---------------------------------------------

 

使用mysql时，有时须要查询出某个字段不重复的记录，虽然mysql提供有 distinct这个关键字来过滤掉多余的重复记录只保留一条，但每每只用它来返回不重复记录的条数，而不是用它来返回不重记录的全部值。其缘由是 distinct只能返回它的目标字段，而没法返回其它字段

下面先来看看例子：

   table
   id name
   1 a
   2 b
   3 c
   4 c
   5 b

好比我想用一条语句查询获得name不重复的全部数据，那就必须使用distinct去掉多余的重复记录。

select distinct name from table
获得的结果是:

   name
   a
   b
   c

好像达到效果了，但是，我想要获得的是id值呢？改一下查询语句吧:

select distinct name, id from table

结果会是:

   id name
   1 a
   2 b
   3 c
   4 c
   5 b

 

试了半天，也不行，最后在mysql手册里找到一个用法，

用group_concat(distinct name)配合group by name实现了我所须要的功能 5.0才支持的.

 

忽然灵机一闪，既然可使用group_concat函数，那其它函数能行吗？

赶忙用count函数一试，成功， 如今将完整语句放出:

select *, count(distinct name) from table group by name

结果:

   id name count(distinct name)
   1 a 1
   2 b 1
   3 c 1

再顺便说一句，group by 必须放在 order by 和 limit以前， 否则会报错。。。OK了

 

 

---------------------------------------