Discuz!的Memcache緩存實現[轉]

Discuz!的Memcache緩存實現

前言：
在PHP+MySQL架構的站點中，本文重點從MySQL的角度去分析如何使Discuz!論壇（或者相似的PHP+MySQL架構的程序）應對大訪問量。同時給出一些使用Memcache去減輕MySQL壓力的建議。其中不少數據是我的測試的結果，若有不一樣意見，敬請留言告之。另外因爲我的思惟的問題，行文比較跳躍，特此聲明！

系統分析：
單純的從MySQL的角度出發，單臺MySQL的數據庫負載到天天上億次的操做（每秒大概1100次MySQL操做，而後乘以86400）應該不是很是困難的事情。按照這個數據也就是說一個單MySQL服務器的論壇來講能夠跑到2千萬PV是不成問題的，我相信國內絕大部分的論壇都不可能作到天天2千萬的PV，但實際狀況並非如此。當論壇PV超過百萬的時候一臺WEB早已經不堪重負了。

就我手頭的一些數據顯示，目前的Discuz!論壇的基本服務器架構是前面Squid頂着，後面纔是一臺DB在撐着。這種架構中，web服務器壓力增大能夠經過並行增長服務器解決，而MySQL壓力卻無處釋放，在不考慮MySQL官方服務的狀況下，咱們經過合理的利用Memcache是能夠達到減輕MySQL服務器負載的。

可能會有朋友說咱們能夠對數據表進行分表（注：此處分表是指經過PHP程序去分表，好比pw，dv的分表）處理，可是當前的狀況是一臺DB服務器已經不能支撐當前的數據處理了，經過PHP對MySQL進行的分表依然不能減輕MySQL的負載。（注：本段文字針對已經成型的系統，若是是獨立開發的系統在架構前期就進行數據的同步分區仍是不錯的。）

還可能有朋友會說利用MySQL的主從構架，若是你提出這個問題，我就很明確的告訴你，回去看看手冊吧。在Mysql Master/Slave 模式中，Slave主要是來備份數據的，只有當Master出現故障時，Slave纔會接過Master的服務，對外部請求進行處理，直到Master恢復正常。就是說：在Master/Slave中，要麼是Master在服務，要麼是Slave在服務，不會Master/Slave同時提供服務。使用MySQL主從依然不能有效的下降MySQL的負載。

或許你又會問我爲何不使用MySQL集羣（MySQL Cluster），那但是白花花的銀子啊，同等金錢的付出下，得到最大的收益纔是王道。PS:說句題外話，MySQL手冊中將MySQL集羣解釋爲MySQL簇，不習慣。

其實在MySQL5.1中的MySQL分區（MySQL Partition）是個很好的東西，它容許根據能夠設置爲任意大小的規則，跨文件系統分配單個表的多個部分。實際上，表的不一樣部分在不一樣的位置被存儲爲單獨的表。我認爲這個纔是當前狀況下，最積極有效的下降MySQL負載的解決方法之一。可是遺憾的是，這種MySQL分區的方式我我的沒有使用過的經歷，也不見有至關充分的案例代表它是穩定的或者不穩定的。因此我還在徘徊中。若是你知道，請麻煩告之！有朋友說騰訊是在用MySQL分區，可是遺憾的是我沒有獲得確切的數據。

好了分析總結了這麼多種下降MySQL負載的方式以後，在用戶環境需求等特定條件下，我得出結論在當前狀況下，緩解Discuz!論壇的MySQL負載比較有效的方法就是使用Memcache！

 

使用Memcache的理由：
1.Web Server（Lighttpd、Nginx聽說都比Apache效率高好多，你們能夠試用下）對CPU要求高，對內存要求低；而Memcached Server是對CPU要求低，對內存要求高，因此能夠搭配使用。在對前端的Web Server上安裝Memcached Server是可行的。
2.金錢金錢金錢，最少的付出，得到最大的收益。
3.簡單簡單簡單，對於一個架構合理的系統來講，添加Memcache的支持可能只是一個批量處理文件的過程

Discuz!使用Memcache
1.在config.inc.php中增長

$memcachehost = '127.0.0.1';
$memcacheport = 11211;
$memcachelife = 60;

2.在include/common.inc.php中

$mem = new Memcache;
$mem->connect($memcachehost, $memcacheport);

3.修改include/db_mysql.class.php中的fetch_array、query這兩個方法，並添加query_mysql方法，代碼以下：

function fetch_array($query, $result_type = MYSQL_ASSOC) {
return is_resource($query) ? mysql_fetch_array($query, $result_type) : $query[0];
}

function query_memcache($sql, $type = '') {
global $mem,$memcachelife;

$key = md5($sql);
if(!($query = $mem->get($key))) {
$query = $this->query($sql, $type);
while($item  = $this->fetch_array($query)) {
$res[] = $item;
}
$query = $res;
$mem->set($key, $query , 0, $memcachelife);
}
return $query;
}

function query($sql, $type = '') {
global $debug, $discuz_starttime, $sqldebug, $sqlspenttimes;

$func = $type == 'UNBUFFERED' && @function_exists('mysql_unbuffered_query') ?
'mysql_unbuffered_query' : 'mysql_query';
if(!($query = $func($sql, $this->link)) && $type != 'SILENT') {
$this->halt('MySQL Query Error', $sql);
}

if(substr($sql, 0, 6) == 'SELECT') {
echo '<font color="red">Cache SQL</font>:<font color="green">'.$sql.'</font><br /><br />';
} else {
echo '<font color="red">Flash SQL</font>:<font color="green">'.$sql.'</font><br /><br />';
}

$this->querynum++;
return $query;
}

4.將須要使用Memcache緩存的SQL查詢的代碼由

$db->query(

修改成

$db->query_memcache(

注意並將

while($post = $db->fetch_array($query)) {

修改成

foreach($query as $post) {

沒有while的$db->fetch_array能夠不用修改。

下面代碼有用得着的就拿去：

preg_replace("/while\([$](\w+)\s*\=\s*[$]db->fetch_array\([$]query\)\)/is", "foreach(\$query as \$\\1)", $file);

回頭放出個小工具批量替換下就能夠了。
在EditPlus中能夠這樣替換：while\([$](.*) = [$]db->fetch_array\([$]query\)\)替換爲foreach($query as $\1)
5.完成了，測試吧！~

參考資料：
對Memcached有疑問的朋友能夠參考下列文章：
Linux下的Memcache安裝：http://www.ccvita.com/257.html
Windows下的Memcache安裝：http://www.ccvita.com/258.html
Memcache基礎教程：http://www.ccvita.com/259.html
Discuz!的Memcache緩存實現：http://www.ccvita.com/261.html
Memcache協議中文版：http://www.ccvita.com/306.html
Memcache分佈式部署方案：http://www.ccvita.com/395.html

後記
寫完以後忽然發現天已經要亮了，悶騷了一個晚上。我的的一些總結，歡迎留言探討！

Tag: Discuz!, Memcache 

kimi at 2007-12-17 05:39:29 in Memcache