數據庫分庫分表中間件 Sharding-JDBC 源碼分析 —— SQL 解析（三）之查詢SQL解析
🙂🙂🙂關注微信公衆號：【芋艿的後端小屋】有福利： java
- RocketMQ / MyCAT / Sharding-JDBC 全部源碼分析文章列表
- RocketMQ / MyCAT / Sharding-JDBC 中文註釋源碼 GitHub 地址
- 您對於源碼的疑問每條留言都將獲得認真回覆。甚至不知道如何讀源碼也能夠請教噢。
- 新的源碼解析文章實時收到通知。每週更新一篇左右。
- 認真的源碼交流微信羣。
本文主要基於 Sharding-JDBC 1.5.0 正式版 git
1. 概述
本文前置閱讀：github
本文分享插入SQL解析的源碼實現。sql
不考慮 INSERT SELECT 狀況下，插入SQL解析比查詢SQL解析複雜度低的多的多。不一樣數據庫在插入SQL語法上也統一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser。數據庫
MySQL INSERT 語法一共有 3 種 ：後端
- 第一種：
INSERT {VALUES | VALUES}
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
[(col_name,...)]
{VALUES | VALUE} ({expr | DEFAULT},...),(...),...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]複製代碼
- 第二種：
INSERT SET
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
SET col_name={expr | DEFAULT}, ...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]複製代碼
- 第三種：
INSERT SELECT
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
[(col_name,...)]
SELECT ...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]複製代碼
Sharding-JDBC 目前支持：微信
- 第一種：
INSERT {VALUES | VALUES}單條記錄 - 第二種：
INSERT SET
Sharding-JDBC 插入SQL解析主流程以下：app
// AbstractInsertParser.java
public final InsertStatement parse() {
sqlParser.getLexer().nextToken(); // 跳過 INSERT 關鍵字
parseInto(); // 解析INTO
parseColumns(); // 解析表
if (sqlParser.equalAny(DefaultKeyword.SELECT, Symbol.LEFT_PAREN)) {
throw new UnsupportedOperationException("Cannot support subquery");
}
if (getValuesKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第一種插入SQL狀況
parseValues();
} else if (getCustomizedInsertKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第二種插入SQL狀況
parseCustomizedInsert();
}
appendGenerateKey(); // 自增主鍵
return insertStatement;
}複製代碼
Sharding-JDBC 正在收集使用公司名單：傳送門。
🙂 你的登記，會讓更多人蔘與和使用 Sharding-JDBC。傳送門
Sharding-JDBC 也會所以，可以覆蓋更多的業務場景。傳送門
登記吧，騷年！傳送門源碼分析
2. InsertStatement
插入SQL 解析結果。ui
public final class InsertStatement extends AbstractSQLStatement {
/** * 插入字段 */
private final Collection<Column> columns = new LinkedList<>();
/** * */
private GeneratedKey generatedKey;
/** * 插入字段 下一個Token 開始位置 */
private int columnsListLastPosition;
/** * 值字段 下一個Token 開始位置 */
private int valuesListLastPosition;
}複製代碼
咱們來看下 INSERT INTO t_order (uid, nickname) VALUES (?, ?) 的解析結果：
3. #parse()
3.1 #parseInto()
解析表。
// AbstractInsertParser.java
/** * 解析表 */
private void parseInto() {
// 例如，Oracle，INSERT FIRST/ALL 目前不支持
if (getUnsupportedKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) {
throw new SQLParsingUnsupportedException(sqlParser.getLexer().getCurrentToken().getType());
}
sqlParser.skipUntil(DefaultKeyword.INTO);
sqlParser.getLexer().nextToken();
// 解析表
sqlParser.parseSingleTable(insertStatement);
skipBetweenTableAndValues();
}
/** * 跳過 表 和 插入字段 中間的 Token * 例如 MySQL ：[PARTITION (partition_name,...)] */
private void skipBetweenTableAndValues() {
while (getSkippedKeywordsBetweenTableAndValues().contains(sqlParser.getLexer().getCurrentToken().getType())) {
sqlParser.getLexer().nextToken();
if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
sqlParser.skipParentheses();
}
}
}複製代碼
其中 #parseSingleTable() 請看《SQL 解析（二）之SQL解析》的 #parseSingleTable() 小節。
3.2 #parseColumns()
解析插入字段。
// AbstractInsertParser.java
private void parseColumns() {
Collection<Column> result = new LinkedList<>();
if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
String tableName = insertStatement.getTables().getSingleTableName();
Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); // 自動生成鍵信息
int count = 0;
do {
// Column 插入字段
sqlParser.getLexer().nextToken();
String columnName = SQLUtil.getExactlyValue(sqlParser.getLexer().getCurrentToken().getLiterals());
result.add(new Column(columnName, tableName));
sqlParser.getLexer().nextToken();
// 自動生成鍵
if (generateKeyColumn.isPresent() && generateKeyColumn.get().equalsIgnoreCase(columnName)) {
generateKeyColumnIndex = count;
}
count++;
} while (!sqlParser.equalAny(Symbol.RIGHT_PAREN) && !sqlParser.equalAny(Assist.END));
//
insertStatement.setColumnsListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
//
sqlParser.getLexer().nextToken();
}
insertStatement.getColumns().addAll(result);
}複製代碼
3.3 #parseValues()
解析值字段
/** * 解析值字段 */
private void parseValues() {
boolean parsed = false;
do {
if (parsed) { // 只容許INSERT INTO 一條
throw new UnsupportedOperationException("Cannot support multiple insert");
}
sqlParser.getLexer().nextToken();
sqlParser.accept(Symbol.LEFT_PAREN);
// 解析表達式
List<SQLExpression> sqlExpressions = new LinkedList<>();
do {
sqlExpressions.add(sqlParser.parseExpression());
} while (sqlParser.skipIfEqual(Symbol.COMMA));
//
insertStatement.setValuesListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
// 解析值字段
int count = 0;
for (Column each : insertStatement.getColumns()) {
SQLExpression sqlExpression = sqlExpressions.get(count);
insertStatement.getConditions().add(new Condition(each, sqlExpression), shardingRule);
if (generateKeyColumnIndex == count) { // 自動生成鍵
insertStatement.setGeneratedKey(createGeneratedKey(each, sqlExpression));
}
count++;
}
sqlParser.accept(Symbol.RIGHT_PAREN);
parsed = true;
}
while (sqlParser.equalAny(Symbol.COMMA)); // 字段以 "," 分隔
}
/** * 建立 自動生成鍵 * * @param column 字段 * @param sqlExpression 表達式 * @return 自動生成鍵 */
private GeneratedKey createGeneratedKey(final Column column, final SQLExpression sqlExpression) {
GeneratedKey result;
if (sqlExpression instanceof SQLPlaceholderExpression) { // 佔位符
result = new GeneratedKey(column.getName(), ((SQLPlaceholderExpression) sqlExpression).getIndex(), null);
} else if (sqlExpression instanceof SQLNumberExpression) { // 數字
result = new GeneratedKey(column.getName(), -1, ((SQLNumberExpression) sqlExpression).getNumber());
} else {
throw new ShardingJdbcException("Generated key only support number.");
}
return result;
}複製代碼
3.4.1 GeneratedKey
自動生成鍵，屬於分片上下文信息。
public final class GeneratedKey {
/** * 字段 */
private final String column;
/** * 第幾個佔位符 */
private final int index;
/** * 值 */
private final Number value;
}複製代碼
3.4.2 Condition
條件對象，屬於分片上下文信息。在插入SQL解析裏存儲影響分片的值字段。後續《SQL 路由》 會專門分享這塊。
public final class Condition {
/** * 字段 */
@Getter
private final Column column;
// ... 省略其它屬性
}
public final class Column {
/** * 列名 */
private final String name;
/** * 表名 */
private final String tableName;
}複製代碼
3.4 #parseCustomizedInsert()
解析第二種插入SQL：INSERT SET。例如：
INSERT INTO test SET id = 4 ON DUPLICATE KEY UPDATE name = 'doubi', name = 'hehe';
INSERT INTO test SET id = 4, name = 'hehe';複製代碼
private void parseInsertSet() {
do {
getSqlParser().getLexer().nextToken();
// 插入字段
Column column = new Column(SQLUtil.getExactlyValue(getSqlParser().getLexer().getCurrentToken().getLiterals()), getInsertStatement().getTables().getSingleTableName());
getSqlParser().getLexer().nextToken();
// 等號
getSqlParser().accept(Symbol.EQ);
// 【值】表達式
SQLExpression sqlExpression;
if (getSqlParser().equalAny(Literals.INT)) {
sqlExpression = new SQLNumberExpression(Integer.parseInt(getSqlParser().getLexer().getCurrentToken().getLiterals()));
} else if (getSqlParser().equalAny(Literals.FLOAT)) {
sqlExpression = new SQLNumberExpression(Double.parseDouble(getSqlParser().getLexer().getCurrentToken().getLiterals()));
} else if (getSqlParser().equalAny(Literals.CHARS)) {
sqlExpression = new SQLTextExpression(getSqlParser().getLexer().getCurrentToken().getLiterals());
} else if (getSqlParser().equalAny(DefaultKeyword.NULL)) {
sqlExpression = new SQLIgnoreExpression();
} else if (getSqlParser().equalAny(Symbol.QUESTION)) {
sqlExpression = new SQLPlaceholderExpression(getSqlParser().getParametersIndex());
getSqlParser().increaseParametersIndex();
} else {
throw new UnsupportedOperationException("");
}
getSqlParser().getLexer().nextToken();
// Condition
if (getSqlParser().equalAny(Symbol.COMMA, DefaultKeyword.ON, Assist.END)) {
getInsertStatement().getConditions().add(new Condition(column, sqlExpression), getShardingRule());
} else {
getSqlParser().skipUntil(Symbol.COMMA, DefaultKeyword.ON);
}
} while (getSqlParser().equalAny(Symbol.COMMA)); // 字段以 "," 分隔
}複製代碼
3.5 #appendGenerateKey()
當表設置自動生成鍵，而且插入SQL沒寫自增字段，增長該字段。例如：
// 主鍵爲user_id
INSERT INTO t_user(nickname, age) VALUES (?, ?)複製代碼
後續 SQL 改寫會生成該自增編號，並改寫該 SQL。後續《SQL 改寫》 會專門分享這塊。
private void appendGenerateKey() {
// 當表設置自動生成鍵，而且插入SQL沒寫自增字段
String tableName = insertStatement.getTables().getSingleTableName();
Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName);
if (!generateKeyColumn.isPresent() || null != insertStatement.getGeneratedKey()) {
return;
}
// ItemsToken
ItemsToken columnsToken = new ItemsToken(insertStatement.getColumnsListLastPosition());
columnsToken.getItems().add(generateKeyColumn.get());
insertStatement.getSqlTokens().add(columnsToken);
// GeneratedKeyToken
insertStatement.getSqlTokens().add(new GeneratedKeyToken(insertStatement.getValuesListLastPosition()));
}複製代碼
3.5.1 GeneratedKeyToken
自增主鍵標記對象。
public final class GeneratedKeyToken implements SQLToken {
/** * 開始位置 */
private final int beginPosition;
}複製代碼
666. 彩蛋
😈 是否是比《SQL 解析（三）之插入SQL》簡單不少。
道友，能否分享一波【本文】到朋友圈。
繼續加油更新！
相關文章
- 1. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（三）之查詢SQL
- 2. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（二）之SQL解析
- 3. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（五）之更新SQL
- 4. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（六）之刪除SQL
- 5. 數據庫分庫分表中間件 Sharding-JDBC 源碼分析 —— SQL 執行
- 6. 數據庫分庫分表中間件 Sharding-JDBC 源碼分析 —— SQL 路由（二）之分庫分表路由
- 7. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（二）之SQL解析【推薦閱讀】
- 8. 數據庫中間件MyCAT源碼分析：【單庫單表】查詢
- 9. 數據庫中間件 MyCAT 源碼分析 —— SQL ON MongoDB
- 10. 數據庫中間件 MyCAT源碼分析——跨庫兩表Join
- 更多相關文章...
- • XML DOM 解析器 - XML DOM 教程
- • SQLite 分離數據庫 - SQLite教程
- • 互聯網組織的未來：剖析GitHub員工的任性之源
- • 算法總結-二分查找法
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. js中 charCodeAt
- 2. Android中通過ViewHelper.setTranslationY實現View移動控制（NineOldAndroids開源項目）
- 3. 【Android】日常記錄：BottomNavigationView自定義樣式，修改點擊後圖片
- 4. maya 文件檢查 ui和數據分離 （一）
- 5. eclipse 修改項目的jdk版本
- 6. Android InputMethod設置
- 7. Simulink中Bus Selector出現很多? ? ?
- 8. 【Openfire筆記】啓動Mac版Openfire時提示「系統偏好設置錯誤」
- 9. AutoPLP在偏好標籤中的生產與應用
- 10. 數據庫關閉的四種方式
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（三）之查詢SQL
- 2. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（二）之SQL解析
- 3. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（五）之更新SQL
- 4. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（六）之刪除SQL
- 5. 數據庫分庫分表中間件 Sharding-JDBC 源碼分析 —— SQL 執行
- 6. 數據庫分庫分表中間件 Sharding-JDBC 源碼分析 —— SQL 路由（二）之分庫分表路由
- 7. 數據庫中間件 Sharding-JDBC 源碼分析 —— SQL 解析（二）之SQL解析【推薦閱讀】
- 8. 數據庫中間件MyCAT源碼分析：【單庫單表】查詢
- 9. 數據庫中間件 MyCAT 源碼分析 —— SQL ON MongoDB
- 10. 數據庫中間件 MyCAT源碼分析——跨庫兩表Join