ubuntu14.04 LTS下Atlas2.2安裝說明

準備工做

本文檔是在ubuntu14.04下安裝2.2版本的atlas。

官方文檔很重要，請熟讀。

wiki地址：https://github.com/Qihoo360/Atlas/wiki

QQ 羣：326544838(能夠加此羣進行諮詢)

1.所用軟件：

Ubuntu14.04 LTS版

2.使用服務器地址：192.168.1.244

3.ubuntu14.04對應的安裝文件選擇Atlas-2.2-debian7.0-x86_64.deb

4.主庫爲192.168.1.160，從庫爲192.168.1.116,192.168.1.149,192.168.236

2 Atlas的總體架構

Atlas是由 Qihoo 360, Web平臺部基礎架構團隊開發維護的一個基於MySQL協議的數據中間層項目。它是在mysql-proxy 0.8.2版本的基礎上，對其進行了優化，增長了一些新的功能特性。360內部使用Atlas運行的mysql業務，天天承載的讀寫請求數達幾十億條。

 

Atlas是一個位於應用程序與MySQL之間中間件。在後端DB看來，Atlas至關於鏈接它的客戶端，在前端應用看來，Atlas至關於一個DB。Atlas做爲服務端與應用程序通信，它實現了MySQL的客戶端和服務端協議，同時做爲客戶端與MySQL通信。它對應用程序屏蔽了DB的細節，同時爲了下降MySQL負擔，它還維護了鏈接池。Atlas的總體架構，可參考下面這兩幅圖：

3 Atlas的功能介紹

3.1 Atlas究竟是個啥玩意？

數據庫須要讀寫分離，一個數據庫寫數據，多個數據庫讀庫。程序鏈接數據庫的時候，若是沒有一個代理，那隻能寫程序去控制往哪一個庫寫入，而後讀哪一個庫的數據，這種場景下有了mysql-proxy，能夠看看相關介紹它的文檔。

Atlas是mysql-proxy的升級版，就是起到一個代理功能，在應用層和持久層加了一層，安裝配置完atlas，atlas會暴露給應用層ip、端口、數據庫名、帳號、密碼，應用層就能夠鏈接數據庫了。

數據庫的jdbc鏈接地址（跟數據庫鏈接同樣）如：

String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"; // JDBC的URL

Connection conn = DriverManager.getConnection(url, "root", "root");

說明：

192.168.1.244 是安裝atlas的機器ip

1234 是atlas的接口，供應用層使用

Altas_test是主從庫的的實例名

Root/root 是主從庫的帳號和密碼，主從庫的帳號和密碼必須一致

3.2 Atlas是否支持多字符集？

對多字符集的支持是咱們對原版MySQL-Proxy的第一項改進，符合國情是必須的。而且支持客戶端在鏈接時指定默認字符集。

3.3 Atlas是否支持事務操做？

支持，且處於事務狀態的客戶端中途退出時，Atlas會銷燬該客戶端使用的鏈接，讓後臺的mysql回滾事務，保證了事務的完整性。

3.4 自動讀寫分離挺好，但有時候我寫完立刻就想讀，萬一主從同步延遲怎麼辦?

SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。

3.5 主庫宕機，讀操做受影響麼？

在Atlas中讀操做不受影響，Atlas會將讀請求轉發到其餘還存活的從庫上。但此時寫請求將會失敗，由於主庫宕機了。

3.6 檢測後端DB狀態會阻塞正常請求麼？

不會, atlas中檢測線程是異步進行檢測的，即便有db宕機，也不會阻塞主流程。在Atlas中沒有什麼異常會讓主流程阻塞。

3.7 想下線一臺DB, 又不想停掉mysql server, 怎麼辦？

能夠經過管理接口手動上下線後端db, Atlas會優先考慮管理員的意願。

3.8 想給集羣中增長一臺DB, 不想影響線上正常訪問能夠嗎？

經過管理接口能夠輕鬆實現。

3.9 相比官方mysql-proxy, Atlas還有哪些改進？

A: 這實在是個難以回答的問題，性能，穩定性，可靠性，易維護性，咱們作過幾十項的改進，下面會盡可能列一些較大的改動

3.10 Atlas支持mysql的prepare特性嗎？

目前Atlas部分支持prepare功能，支持java,python,PHP(PDO方式）。

3.11 Altas支持多個主庫的運行模式嗎？

目前還未對於Atlas後面掛接多個主庫的情形進行測試過，不建議這樣使用。建議使用一主一從或一主多從的模式。

3.12 在使用Atlas的過程當中，發現了Atlas存在的bug或者對Atlas有新的功能需求，如何反饋給開發者？

對於用戶反饋的bug，咱們很是重視。歡迎用戶將bug的復現的環境、步驟和運行截圖發郵件至zhuchao[AT]360.cn。同時若是用戶在實際的應用場景中，對Atlas有新的功能需求，也能夠向咱們發郵件，咱們將及時回覆。另外有熱心網友建了QQ羣326544838，開發者也已經加入，方便討論。

3.13 java程序鏈接Atlas出現亂碼問題

把jdbc鏈接中的amp;刪除掉，例如：將

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true
修改成：

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

3.14 監控主從同步之間的延遲?

Atlas不負責MySQL的主從同步操做，須要DBA本身管理。但熱心的網友已經經過腳本實現了經過調用Atlas提供的接口，來監控主從之間的同步，並作上下線從庫的操做。有須要的同窗參看：

https://github.com/chenzhe07/Atlas_auto_setline

3.15 java程序鏈接Atlas發現不能讀寫分離，全部的請求都發向主庫，這是爲何？

檢查一下java框架，是否是默認將autocommit設置爲0了，不少java框架將語句都封裝在一個事務中，而Atlas會將事務請求都發向主庫。

3.16 Atlas有sql語句黑名單過濾機制嗎？

有的，Atlas會屏蔽不帶where條件的delete和update操做，以及sleep函數。

4 安裝atlas

去github下載安裝包，下載頁地址：https://github.com/Qihoo360/Atlas/releases

下載Atlas-2.2-debian7.0-x86_64.deb文件(一開始安裝的是Atlas-2.2-debian6.0-x86_64.deb文件，老是錯誤百出，安裝7.0很是順利，這是經過atlas羣裏邊問的。)上傳到/var/tmp路徑下，執行以下命令：

cp /var/tmp/Atlas-2.2-debian7.0-x86_64.deb /home/atlas/

dpkg -i  Atlas-2.2-debian7.0-x86_64.deb 

 

 

5 配置atlas

安裝完畢後，須要配置/usr/local/mysql-proxy/conf下的test.cnf,執行命令以下：

Vi /usr/local/mysql-proxy/conf/test.cnf

 

注：紅色部分是須要修改的地方

#管理接口的用戶名

admin-username = user

 

#管理接口的密碼

admin-password = pwd

 

#實現管理接口的Lua腳本所在路徑

admin-lua-script = /usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua

 

#Atlas後端鏈接的MySQL主庫的IP和端口，可設置多項，用逗號分隔

proxy-backend-addresses =192.168.1.160:3306

 

#Atlas後端鏈接的MySQL從庫的IP和端口，@後面的數字表明權重，用來做負載均衡，若省略則默認爲1，可設置多項，用逗號分隔

proxy-read-only-backend-addresses = 192.168.1.116:3306@1 ,192.168.1.149:3306@1 ,192.168.1.236:3306@2

 

#設置Atlas的運行方式，設爲true時爲守護進程方式，設爲false時爲前臺方式，通常開發調試時設爲false，線上運行時設爲true

daemon = true

 

#設置Atlas的運行方式，設爲true時Atlas會啓動兩個進程，一個爲monitor，一個爲worker，monitor在worker意外退出後會自動將其重啓，設爲false時只有worker>，沒有monitor，通常開發調試時設爲false，線上運行時設爲true

keepalive = true

 

#工做線程數，推薦設置與系統的CPU核數相等

event-threads = 4

 

#日誌級別，分爲message、warning、critical、error、debug五個級別

log-level = message

 

#日誌存放的路徑

log-path = /usr/local/mysql-proxy/log

 

#實例名稱，用於同一臺機器上多個Atlas實例間的區分

instance = test

#Atlas監聽的工做接口IP和端口

proxy-address = 0.0.0.0:1234

 

#Atlas監聽的管理接口IP和端口

admin-address = 0.0.0.0:2345

 

#鏈接池的最小空閒鏈接數，應設爲event-threads的整數倍，可根據業務請求量大小適當調大或調小

min-idle-connections = 8

 

#分表設置，此例中person爲庫名，mt爲表名，id爲分表字段，3爲子表數量，可設置多項，以逗號分隔，若不分表則不須要設置該項

#tables = person.mt.id.3

 

#用戶名與其對應的加密過的MySQL密碼，密碼使用PREFIX/bin目錄下的加密程序encrypt加密，此設置項用於多個用戶名同時訪問同一個Atlas實例的狀況，若只有一>個用戶名則不須要設置該項

# For example, the username is: myuser, and the password is:mypwd (encrypted ciphertext is:HJBoxfRsjeI=). 

 

#pwds = root:+jKsgB3YAG8=, root:GS+tr4TPgqc=

pwds = root:DAJnl8cVzy8=

#默認字符集，若不設置該項，則默認字符集爲latin1

charset = utf8

 

#容許鏈接Atlas的客戶端的IP，能夠是精確IP，也能夠是IP段，以逗號分隔，若不設置該項則容許全部IP鏈接，不然只容許列表中的IP鏈接

#client-ips = 127.0.0.1, 192.168.1

 

#Atlas前面掛接的LVS的物理網卡的IP(注意不是虛IP)，如有LVS且設置了client-ips則此項必須設置，不然能夠不設置

#lvs-ips = 192.168.1.1

6 啓動atlas

配置完畢後，執行以下命令：

/usr/local/mysql-proxy/bin/mysql-proxyd test start

 

 

看到如上信息，說明安裝成功了，恭喜發財!

啓動成功後，在atlas安裝機器上測試與出從庫的連通狀況；

1.驗證與主庫的連通

 

看到上邊圖說明atlas與主庫連通成功

與其餘從庫的連通用一樣的方式，這裏不一一列舉。

7 管理

 執行以下命令：

 mysql -h127.0.0.1 -uuser -ppwd -P2345;

進入管理:

 

命令給的很是清楚了，不一一說了。

8 客戶端鏈接測試

本實驗使用的是jdbc，可使用數據庫鏈接池進行鏈接。

創建一個maven工程，添加mysql驅動依賴：

<dependency>

<groupId>mysql</groupId>

<artifactId>mysql-connector-java</artifactId>

<version>5.1.35</version>

</dependency>

測試類：

package com.heli.altas;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class DbUtil {

	class User {
		private int id;
		private String name;
		private String address;

		public String getAddress() {
			return address;
		}

		public void setAddress(String address) {
			this.address = address;
		}

		public int getId() {
			return id;
		}

		public void setId(int id) {
			this.id = id;
		}

		public String getName() {
			return name;
		}

		public void setName(String name) {
			this.name = name;
		}
	}

	class News {
		private int id;

		public int getId() {
			return id;
		}

		public void setId(int id) {
			this.id = id;
		}

		public int getUserId() {
			return userId;
		}

		public void setUserId(int userId) {
			this.userId = userId;
		}

		public String getTitle() {
			return title;
		}

		public void setTitle(String title) {
			this.title = title;
		}

		public String getContent() {
			return content;
		}

		public void setContent(String content) {
			this.content = content;
		}

		private int userId;
		private String title;
		private String content;

	}

	/**
	 * @Description: 寫用戶表
	 * @param
	 * @return void 返回類型
	 * @throws
	 */
	public static void insertUsers(List<User> users) {
		try {
			Connection conn = connection();
			conn.setAutoCommit(false);
			// 插入數據的代碼
			String sql2 = "insert into user(name,address) values(?,?)";
			PreparedStatement pst = conn.prepareStatement(sql2);

			for (User user : users) {
				pst.setString(1, user.getName());
				pst.setString(2, user.getAddress());
				pst.addBatch();
			}
			// 執行批量更新
			pst.executeBatch();
			// 語句執行完畢，提交本事務
			conn.commit();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	/**
	 * @Description: 寫新聞表測試
	 * @param
	 * @return void 返回類型
	 * @throws
	 */
	public static void insertNews(List<News> newss) {
		try {
			Connection conn = connection();
			conn.setAutoCommit(false);
			// 插入數據的代碼
			String sql = "insert into news(user_id,title,content) values(?,?,?)";
			PreparedStatement pst = conn.prepareStatement(sql);

			for (News news : newss) {
				pst.setInt(1, news.getUserId());
				pst.setString(2, news.getTitle());
				pst.setString(3, news.getContent());
				pst.addBatch();
			}
			// 執行批量更新
			pst.executeBatch();
			// 語句執行完畢，提交本事務
			conn.commit();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	/**
	 * @Description:
	 * @param
	 * @return Connection 返回類型
	 * @throws
	 */
	private static Connection connection() throws ClassNotFoundException, SQLException {
		// 調用Class.forName()方法加載驅動程序
		Class.forName("com.mysql.jdbc.Driver");
		String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"; // JDBC的URL
		Connection conn = DriverManager.getConnection(url, "root", "root");
		return conn;
	}

	public static void testBatchInsert(int threadNum, List<User> users, List<News> newss) throws Exception {
		// 建立一個可重用固定線程數的線程池
		ExecutorService pool = Executors.newFixedThreadPool(threadNum);
		// 建立實現了Runnable接口對象，Thread對象固然也實現了Runnable接口
		long start = System.currentTimeMillis();
		DbUtil dbUtil = new DbUtil();
		for (int i = 0; i < threadNum; i++) {
			// 將線程放入池中進行執行
			pool.execute(dbUtil.new MyThread(users, newss));
		}
		// 關閉線程池
		pool.shutdown();
		while (true) {
			if (pool.isTerminated()) {
				System.out.println("所有線程跑完了！");
				break;
			}
			Thread.sleep(200);
		}
		// 關閉線程池
		pool.shutdown();
		long end = System.currentTimeMillis();
		System.out.println("耗時" + (end - start) / 1000);
	}

	class MyThread extends Thread {
		List<User> users = new ArrayList<User>();
		List<News> newss = new ArrayList<News>();

		public MyThread(List<User> users, List<News> newss) {
			super();
			this.users = users;
			this.newss = newss;
		}

		@Override
		public void run() {
			// System.out.println(Thread.currentThread().getName() + "正在執行。");
			try {
				long start = System.currentTimeMillis();
				insertUsers(users);
				insertNews(newss);
				long end = System.currentTimeMillis();
				System.out.println(Thread.currentThread() + "耗時" + (end - start) / 1000);
				// Thread.sleep(0);
			} catch (Exception e) {
				e.printStackTrace();
			}

		}
	}

	/**
	 * 測試讀
	 */
	public static void testQuery() {
		try {
			Connection conn = connection();
			String sql = "select u.name name ,n.title title ,n.content content from user u left join news n on u.id = n.user_id where u.id=?";
			PreparedStatement pst = conn.prepareStatement(sql);
			pst.setInt(1,1);
			ResultSet rs = pst.executeQuery();
			while (rs.next()) {
				String name = rs.getString("name");
				String title = rs.getString("title");
				String content = rs.getString("content");
				System.out.println(name + "====" + title + "====" + content);
			}
			rs.close();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public static void main(String[] args) throws Exception {
		// 初始化數據
		List<User> users = new ArrayList<User>();
		for (int i = 0; i < 0; i++) {
			User user = new DbUtil().new User();
			user.setName(UUID.randomUUID().toString().substring(0, 4));
			user.setAddress("北京10裏店嘎啦衚衕犄角戶");
			users.add(user);
		}

		List<News> newss = new ArrayList<News>();
		for (int i = 0; i < 0; i++) {
			News news = new DbUtil().new News();
			news.setUserId(i);
			news.setTitle("自動讀寫分離挺好，但有時候我寫完立刻就想讀，萬一主從同步延遲怎麼辦?");
			news.setContent("SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。SQL語句前增長 /*master*/ 就能夠將讀請求強制發往主庫。在mysql命令行測試該功能時，須要加-c選項，以防mysql客戶端過濾掉註釋信息。");
			newss.add(news);
		}

		// 單線程測試開始
		// insert(users);
		// 單線程測試結束

		// 多線程測試開始
		//testBatchInsert(100, users, newss);
		//多線程測試結束
		
		//測試讀
		testQuery();

	}
}

8.1 重要說明

String url = "jdbc:mysql://192.168.1.244:1234/atlas_test"; 

// JDBC的URL,192.168.1.244爲atlas的ip，端口是1234，atlas_test是主（寫）庫的實例名

Connection conn = DriverManager.getConnection(url, "root", "root");

//root/root是各個主從庫的帳號密碼

9 經常使用命令

進入/usr/local/mysql-proxy/bin目錄，執行下面的命令啓動、重啓或中止Atlas。

9.1 啓動

sudo ./mysql-proxyd test start或/usr/local/mysql-proxy/bin/mysql-proxyd test start

9.2 重啓

sudo ./mysql-proxyd test restart

9.3 中止

sudo ./mysql-proxyd test stop

9.4 查看狀態

可使用ps -ef | grep mysql-proxy查看Atlas是否已經啓動或中止

9.5 密碼加密

進入 /usr/loca/mysql-proxy/bin/encrypt. 路徑執行：

 

9.6 查看日誌

tail /usr/local/mysql-proxy/log/test.log 

 

注意：

(1). 運行文件是：mysql-proxyd(不是mysql-proxy)。

(2). test是conf目錄下配置文件的名字，也是配置文件裏instance項的名字，三者須要統一。

執行命令：mysql -h127.0.0.1 -P1234 -u用戶名 -p密碼，若是能連上則證實Atlas初步測試正常，能夠再嘗試發幾條SQL語句看看執行結果是否正確。

進入Atlas的管理界面的命令：mysql -h127.0.0.1 -P2345 -uuser -ppwd，進入後執行:select * from help;查看管理DB的各種命令。

10 安裝錯誤解決

啓動錯誤：

/usr/local/mysql-proxy/bin/mysql-proxy: error while loading shared libraries: libcrypto.so.6: cannot open shared object file: No such file or directory

解決辦法：

換安裝版本：

dpkg -i  Atlas-2.2-debian7.0-x86_64.deb 

 

啓動錯誤：

loading module '/usr/local/mysql-proxy/lib/mysql-proxy/plugins/libproxy.so' failed: libmysqlclient.so.16: cannot open shared object file: Too many levels of symbolic links

解決辦法：

安裝依賴：

apt-get install mysql-client-5.6