【MySQL性能優化】改進MySQL Order By Rand()的低效率

正文: php

  最近因爲須要研究了一下MYSQL的隨機抽取實現方法。舉個例子,要從tablename表中隨機提取一條記錄,你們通常的寫法就是:html

SELECT * FROM content ORDER BY RAND() LIMIT 1mysql


【飄易注:3萬條記錄查詢花費 0.3745 秒(下同);從mysql slow query log看出「ORDER BY RAND() 」全表掃描了2次!】後來我查了一下MYSQL的官方手冊,裏面針對RAND()的提示大概意思就是,在ORDER BY從句裏面不能使用RAND()函數,由於這樣會致使數據列被屢次掃描。可是在MYSQL 3.23版本中,仍然能夠經過ORDER BY RAND()來實現隨機。可是真正測試一下才發現這樣效率很是低。一個15萬餘條的庫,查詢5條數據,竟然要8秒以上。查看官方手冊,也說rand()放在ORDER BY 子句中會被執行屢次,天然效率及很低。搜索Google,採用JOIN,查詢max(id) * rand()來隨機獲取數據。 sql

SELECT *
FROM `content` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `content`)) AS id) AS t2
WHERE t1.id >= t2.id
ORDER BY t1.id ASC LIMIT 1;函數

【查詢花費 0.0008 秒,飄易認爲能夠推薦使用這個語句!!】可是這樣會產生連續的5條記錄。解決辦法只能是每次查詢一條,查詢5次。即使如此也值得,由於15萬條的表,查詢只須要0.01秒不到。有一個方法: 測試

SELECT * FROM `content` AS a JOIN ( SELECT MAX( ID ) AS ID FROM `content` ) AS b ON ( a.ID >= FLOOR( b.ID * RAND( ) ) ) LIMIT 5;  fetch

上面這種方式保證了必定範圍內的隨機,查詢花費 0.4265 秒,也不推薦。下面的語句,mysql的論壇上有人使用 .net

SELECT *
FROM `content`
WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `content` )
ORDER BY id LIMIT 1;htm

  
【查詢花費 1.2254 秒,飄易強烈不推薦!由於實測後,3萬行的表,這個語句居然會掃描500萬行!!】跟上面的語句仍是有很大差距。總覺有什麼地方不正常。因而我把語句改寫了一下。 排序

SELECT * FROM `content`
WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `content`)))  
ORDER BY id LIMIT 1;

【查詢花費 0.0012 秒】這下,效率又提升了,查詢時間只有0.01秒最後,再把語句完善一下,加上MIN(id)的判斷。我在最開始測試的時候,就是由於沒有加上MIN(id)的判斷,結果有一半的時間老是查詢到表中的前面幾行。
完整查詢語句是:

SELECT * FROM `content`
WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `content`)-(SELECT MIN(id) FROM `content`)) + (SELECT MIN(id) FROM `content`)))  
ORDER BY id LIMIT 1;

【查詢花費 0.0012 秒】

SELECT *
FROM `content` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `content`)-(SELECT MIN(id) FROM `content`))+(SELECT MIN(id) FROM `content`)) AS id) AS t2
WHERE t1.id >= t2.id
ORDER BY t1.id LIMIT 1;

   
【查詢花費 0.0008 秒】最後在php中對這兩個語句進行分別查詢10次,
前者花費時間 0.147433 秒
後者花費時間 0.015130 秒
看來採用JOIN的語法比直接在WHERE中使用函數效率還要高不少。(via)======================================
【好了,最後飄易來總結下】:
第一種方案,即原始的 Order By Rand() 方法:

$sql="SELECT * FROM content ORDER BY rand() LIMIT 12";
$result=mysql\_query($sql,$conn);
$n=1;
$rnds='';
while($row=mysql\_fetch\_array($result)){
$rnds=$rnds.$n.". <a href='show".$row['id']."-".strtolower(trim($row\['title'\]))."'>".$row['title']."
n";
$n++;
}

3萬條數據查12條隨機記錄,須要0.125秒,隨着數據量的增大,效率愈來愈低。第二種方案,改進後的 JOIN 方法:

for($n=1;$n<=12;$n++){
$sql="SELECT * FROM `content` AS t1
JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `content`)) AS id) AS t2
WHERE t1.id >= t2.id ORDER BY t1.id ASC LIMIT 1";
$result=mysql\_query($sql,$conn);
$yi=mysql\_fetch\_array($result);
$rnds = $rnds.$n.". <a href='show".$yi['id']."-".strtolower(trim($yi\['title'\]))."'>".$yi['title']."
n";
}

3萬條數據查12條隨機記錄,須要0.004秒,效率大幅提高,比第一種方案提高了約30倍。缺點:屢次select查詢,IO開銷大。第三種方案,SQL語句先隨機好ID序列,用 IN 查詢(飄易推薦這個用法,IO開銷小,速度最快):

$sql="SELECT MAX(id),MIN(id) FROM content";
$result=mysql\_query($sql,$conn);
$yi=mysql\_fetch\_array($result);
$idmax=$yi[0];
$idmin=$yi[1];
$idlist='';   
for($i=1;$i<=20;$i++){   
if($i==1){ $idlist=mt_rand($idmin,$idmax); }   
else{ $idlist=$idlist.','.mt_rand($idmin,$idmax); }   
}  
$idlist2="id,".$idlist;
$sql="select \* from content where id in ($idlist) order by field($idlist2) LIMIT 0,12";
$result=mysql\_query($sql,$conn);
$n=1;
$rnds='';
while($row=mysql\_fetch\_array($result)){
$rnds=$rnds.$n.". <a href='show".$row['id']."-".strtolower(trim($row\['title'\]))."'>".$row['title']."
n";
$n++;
}

3 萬條數據查12條隨機記錄,須要0.001秒,效率比第二種方法又提高了4倍左右,比第一種方法提高120倍。注,這裏使用 了 order by field($idlist2) 是爲了避免排序,不然 IN 是自動會排序的。缺點:有可能遇到ID被刪除的狀況,因此須要多選幾 個ID。測試方法:

$t = microtime(true); //執行語句 echo microtime(true) - $t;