Mysql主從基本原理，以及讀寫分離致使主庫從庫數據不一致問題

　　一、Mysql的主從同步就是當master（主庫）發生數據變化的時候，會實時同步到slave（從庫）。

　　二、主從複製能夠水平擴展數據庫的負載能力，容錯，高可用，數據備份。

　　三、不論是delete、update、insert，仍是建立函數、存儲過程，都是在master上，當master有操做的時候，slace會快速的接受到這些操做，從而作同步。

　　主要的實現原理：

　　　　　　　　一、在master機器上，主從同步時間會被寫道特殊的log文件中（binary-log）；

　　　　　　　　二、在slave機器上，slave讀取主從同步事件，並根據讀取的事件變化，在slave庫上作相應的更改。

　　詳細的主從同步主要有三種形式：statement、row、mixed

　　　　　　　　一、statement：會將對數據庫操做的sql語句寫道binlog中

　　　　　　　　二、row：會將每一條數據的變化寫道binlog中。

　　　　　　　　三、mixed：statement與row的混合。Mysql決定何時寫statement格式的，何時寫row格式的binlog。

　　　　在master機器上的操做：

　　　　　　當master上的數據發生變化的時候，該事件變化會按照順序寫入binlog中。當slave連接到master的時候，master機器會爲slave開啓binlog dunp線程。當master的binlog發生變化的時候，binlog dump線程會通知slave，並將相應的binlog內容發送給slave。

　　　　在slave機器上操做：

　　　　　　當主從同步開啓的時候，slave上會建立兩個線程：I\O線程。該線程鏈接到master機器，master機器上的binlog dump 線程會將binlog的內容發送給該I\O線程。該I/O線程接收到binlog內容後，再將內容寫入到本地的relay log；sql線程。該線程讀取到I/O線程寫入的ralay log。而且根據relay log。而且根據relay log 的內容對slave數據庫作相應的操做。

　　四、mysql數據庫從庫同步的延遲問題

　　　　首先在服務器上執行show slave satus;能夠看到不少同步的參數：　

Master_Log_File：                      SLAVE中的I/O線程當前正在讀取的主服務器二進制日誌文件的名稱
Read_Master_Log_Pos：        在當前的主服務器二進制日誌中，SLAVE中的I/O線程已經讀取的位置
Relay_Log_File：                        SQL線程當前正在讀取和執行的中繼日誌文件的名稱
Relay_Log_Pos：                        在當前的中繼日誌中，SQL線程已讀取和執行的位置
Relay_Master_Log_File：      由SQL線程執行的包含多數近期事件的主服務器二進制日誌文件的名稱
Slave_IO_Running：                 I/O線程是否被啓動併成功地鏈接到主服務器上
Slave_SQL_Running：              SQL線程是否被啓動
Seconds_Behind_Master：     從屬服務器SQL線程和從屬服務器I/O線程之間的時間差距，單位以秒計。

從庫同步延遲狀況出現的
一、show slave status顯示參數Seconds_Behind_Master不爲0，這個數值可能會很大
二、show slave status顯示參數Relay_Master_Log_File和Master_Log_File顯示bin-log的編號相差很大，說明bin-log在從庫上沒有及時同步，因此近期執行的bin-log和當前IO線程所讀的bin-log相差很大
三、mysql的從庫數據目錄下存在大量mysql-relay-log日誌，該日誌同步完成以後就會被系統自動刪除，存在大量日誌，說明主從同步延遲很厲害

a、MySQL數據庫主從同步延遲原理
mysql主從同步原理：
主庫針對寫操做，順序寫binlog，從庫單線程去主庫順序讀」寫操做的binlog」，從庫取到binlog在本地原樣執行（隨機寫），來保證主從數據邏輯上一致。
mysql的主從複製都是單線程的操做，主庫對全部DDL和DML產生binlog，binlog是順序寫，因此效率很高，slave的Slave_IO_Running線程到主庫取日誌，效率比較高，下一步，問題來了，slave的Slave_SQL_Running線程將主庫的DDL和DML操做在slave實施。DML和DDL的IO操做是隨即的，不是順序的，成本高不少，還可能可slave上的其餘查詢產生lock爭用，因爲Slave_SQL_Running也是單線程的，因此一個DDL卡主了，須要執行10分鐘，那麼全部以後的DDL會等待這個DDL執行完纔會繼續執行，這就致使了延時。
有朋友會問：「主庫上那個相同的DDL也須要執行10分，爲何slave會延時？」，答案是master能夠併發，Slave_SQL_Running線程卻不能夠。

b、 MySQL數據庫主從同步延遲是怎麼產生的？
當主庫的TPS併發較高時，產生的DDL數量超過slave一個sql線程所能承受的範圍，那麼延時就產生了，固然還有就是可能與slave的大型query語句產生了鎖等待。
首要緣由：數據庫在業務上讀寫壓力太大，CPU計算負荷大，網卡負荷大，硬盤隨機IO過高
次要緣由：讀寫binlog帶來的性能影響，網絡傳輸延遲。

c、 MySQL數據庫主從同步延遲解決方案。

架構方面
1.業務的持久化層的實現採用分庫架構，mysql服務可平行擴展，分散壓力。
2.單個庫讀寫分離，一主多從，主寫從讀，分散壓力。這樣從庫壓力比主庫高，保護主庫。
3.服務的基礎架構在業務和mysql之間加入memcache或者redis的cache層。下降mysql的讀壓力。
4.不一樣業務的mysql物理上放在不一樣機器，分散壓力。
5.使用比主庫更好的硬件設備做爲slave

總結，mysql壓力小，延遲天然會變小。

硬件方面

1.採用好服務器，好比4u比2u性能明顯好，2u比1u性能明顯好。
2.存儲用ssd或者盤陣或者san，提高隨機寫的性能。
3.主從間保證處在同一個交換機下面，而且是萬兆環境。
總結，硬件強勁，延遲天然會變小。一句話，縮小延遲的解決方案就是花錢和花時間。

mysql主從同步加速

一、sync_binlog在slave端設置爲0
二、–logs-slave-updates 從服務器從主服務器接收到的更新不記入它的二進制日誌。
三、直接禁用slave端的binlog
四、slave端，若是使用的存儲引擎是innodb，innodb_flush_log_at_trx_commit =2

從文件系統自己屬性角度優化
master端
修改linux、Unix文件系統中文件的etime屬性， 因爲每當讀文件時OS都會將讀取操做發生的時間回寫到磁盤上，對於讀操做頻繁的數據庫文件來講這是不必的，只會增長磁盤系統的負擔影響I/O性能。能夠經過設置文件系統的mount屬性，組織操做系統寫atime信息，在linux上的操做爲：
打開/etc/fstab，加上noatime參數
/dev/sdb1 /data reiserfs noatime 1 2
而後從新mount文件系統
#mount -oremount /data

PS：
主庫是寫，對數據安全性較高，好比sync_binlog=1，innodb_flush_log_at_trx_commit = 1 之類的設置是須要的
而slave則不須要這麼高的數據安全，徹底能夠講sync_binlog設置爲0或者關閉binlog，innodb_flushlog也能夠設置爲0來提升sql的執行效率
一、sync_binlog=1 o
MySQL提供一個sync_binlog參數來控制數據庫的binlog刷到磁盤上去。
默認，sync_binlog=0，表示MySQL不控制binlog的刷新，由文件系統本身控制它的緩存的刷新。這時候的性能是最好的，可是風險也是最大的。一旦系統Crash，在binlog_cache中的全部binlog信息都會被丟失。
若是sync_binlog>0，表示每sync_binlog次事務提交，MySQL調用文件系統的刷新操做將緩存刷下去。最安全的就是sync_binlog=1了，表示每次事務提交，MySQL都會把binlog刷下去，是最安全可是性能損耗最大的設置。這樣的話，在數據庫所在的主機操做系統損壞或者忽然掉電的狀況下，系統纔有可能丟失1個事務的數據。
可是binlog雖然是順序IO，可是設置sync_binlog=1，多個事務同時提交，一樣很大的影響MySQL和IO性能。
雖然能夠經過group commit的補丁緩解，可是刷新的頻率太高對IO的影響也很是大。對於高併發事務的系統來講，
「sync_binlog」設置爲0和設置爲1的系統寫入性能差距可能高達5倍甚至更多。
因此不少MySQL DBA設置的sync_binlog並非最安全的1，而是2或者是0。這樣犧牲必定的一致性，能夠得到更高的併發和性能。
默認狀況下，並非每次寫入時都將binlog與硬盤同步。所以若是操做系統或機器(不只僅是MySQL服務器)崩潰，有可能binlog中最後的語句丟失了。要想防止這種狀況，你可使用sync_binlog全局變量(1是最安全的值，但也是最慢的)，使binlog在每N次binlog寫入後與硬盤同步。即便sync_binlog設置爲1,出現崩潰時，也有可能表內容和binlog內容之間存在不一致性。

二、innodb_flush_log_at_trx_commit （這個很管用）
抱怨Innodb比MyISAM慢 100倍？那麼你大概是忘了調整這個值。默認值1的意思是每一次事務提交或事務外的指令都須要把日誌寫入（flush）硬盤，這是很費時的。特別是使用電池供電緩存（Battery backed up cache）時。設成2對於不少運用，特別是從MyISAM錶轉過來的是能夠的，它的意思是不寫入硬盤而是寫入系統緩存。
日誌仍然會每秒flush到硬 盤，因此你通常不會丟失超過1-2秒的更新。設成0會更快一點，但安全方面比較差，即便MySQL掛了也可能會丟失事務的數據。而值2只會在整個操做系統 掛了時纔可能丟數據。

三、ls(1) 命令可用來列出文件的 atime、ctime 和 mtime。
atime 文件的access time 在讀取文件或者執行文件時更改的
ctime 文件的create time 在寫入文件，更改全部者，權限或連接設置時隨inode的內容更改而更改
mtime 文件的modified time 在寫入文件時隨文件內容的更改而更改
ls -lc filename 列出文件的 ctime
ls -lu filename 列出文件的 atime
ls -l filename 列出文件的 mtime
stat filename 列出atime，mtime，ctime
atime不必定在訪問文件以後被修改
由於：使用ext3文件系統的時候，若是在mount的時候使用了noatime參數那麼就不會更新atime信息。
這三個time stamp都放在 inode 中.若是mtime,atime 修改,inode 就必定會改, 既然 inode 改了,那ctime也就跟着改了.
之因此在 mount option 中使用 noatime, 就是不想file system 作太多的修改, 而改善讀取效能