在我们做开发的中效率一直是个问题,特别是对于很多大数据量操作,今天我们碰到一个要随机查询数据,一开始我们可能想到最简单的order by rand() 来操作但效率不敢恭维啊.
最近由于需要大概研究了一下MYSQL的随机抽取实现方法。举个例子,要从tablename表中随机提取一条记录,大家一般的写法就是:SELECT * FROM tablename ORDER BY RAND() LIMIT 1。
有两个方法可以达成以上效果:
1.新建一个表,里面存着 -5 至 5 之间的数.再利用order by rand()得到随机数,建立指定范围数据表,代码如下:
- #auther: 小强(占卜师)
- #date: 2008-03-31
-
- create table randnumber
- select -1 as number
- union
- select -2
- union
- select -3
- union
- select -4
- union
- select -5
- union
- select 0
- union
- select 1
- union
- select 2
- union
- select 3
- union
- select 4
- union
- select 5
- #得到随机数
- #auther: 小强(占卜师)
- #date: 2008-03-31
-
- select number
- from randnumber order by rand() limit 1
优点:随机数可以指定某部分数据,并不需要连续的.
缺点:当随机数范围很广的时候,建表比较困难.
2.利用MySQL的ROUND()加上RAND()函数实现,一句sql语句搞定,代码如下:
- #auther: 小强(占卜师)
- #date: 2008-03-31
-
- SELECT ROUND((0.5-RAND())*2*5)
- #注释
- #0.5-rand()可以得到-0.5 至 +0.5的随机数
- #(0.5-rand())*2可以得到-1 至 +1的随机数
- #(0.5-rand())*2*5可以得到-5 至 +5的随机数
- #ROUND((0.5-RAND())*2*5)可以得到-5 至 +5的随机整数
但是,后来我查了一下MYSQL的官方手册,里面针对RAND()的提示大概意思就是,在ORDER BY从句里面不能使用RAND()函数,因为这样会导致数据列被多次扫描,但是在MYSQL 3.23版本中,仍然可以通过ORDER BY RAND()来实现随机.
但是真正测试一下才发现这样效率非常低,一个15万余条的库,查询5条数据,居然要8秒以上,查看官方手册,也说rand()放在ORDER BY 子句中会被执行多次,自然效率及很低.
搜索Google,网上基本上都是查询max(id) * rand()来随机获取数据,代码如下:
- SELECT * FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2 WHERE t1.id >= t2.id ORDER BY t1.id ASC LIMIT 5;
但是这样会产生连续的5条记录,解决办法只能是每次查询一条,查询5次,即便如此也值得,因为15万条的表,查询只需要0.01秒不到.
下面的语句采用的是JOIN,mysql的论坛上有人使用,代码如下:
- SELECT * FROM `table` WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` ) ORDER BY id LIMIT 1;
我测试了一下,需要0.5秒,速度也不错,但是跟上面的语句还是有很大差距,总觉有什么地方不正常.
于是我把语句改写了一下,代码如下:
- SELECT * FROM `table`
- WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `table`)))
- ORDER BY id LIMIT 1;
这下,效率又提高了,查询时间只有0.01秒.
最后,再把语句完善一下,加上MIN(id)的判断。我在最开始测试的时候,就是因为没有加上MIN(id)的判断,结果有一半的时间总是查询到表中的前面几行。
完整查询语句是:
- SELECT * FROM `table`
- WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`)) + (SELECT MIN(id) FROM `table`)))
- ORDER BY id LIMIT 1;
-
- SELECT *
- FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`))+(SELECT MIN(id) FROM `table`)) AS id) AS t2
- WHERE t1.id >= t2.id
- ORDER BY t1.id LIMIT 1;
最后在php中对这两个语句进行分别查询10次,前者花费时间 0.147433 秒,后者花费时间 0.015130 秒,看来采用JOIN的语法比直接在WHERE中使用函数效率还要高很多.
经过多次测试我们得出的结果是利用join的语法比在where中的直接使用要快速不少啊,有更好提交的朋友可以出来讨人聊聊. |