SSM框架實現高併發秒殺API學習筆記

時間  2019-12-01
標籤 ssm 框架 實現 併發 秒殺 api 學習 筆記 简体版
原文   原文鏈接

慕課網yijun zhang老師的《Java高併發秒殺API》系列課程學習總結php

maven命令建立web骨架項目

mvn archetype:generate -DgroupId=org.seckill -DartifactId=seckill -DarchetypeArtifactId=maven-archetype-webappcss

groupId和artifactId用來標註項目座標，項目名爲org.seckill；archetypeArtifactId指明使用maven的webapp原型來建立項目。html

建立成功後選定pom文件導入IDEA。前端

建立須要的文件夾，並選定其類型，如源文件夾java，資源文件夾resources。java

其中web.xml文件的使用的是Servlet2.3版本，默認jsp的el表達式不工做，須要切換爲更高的版本。進入~\apache-tomcat-9.0.14\webapps\examples\WEB-INF，打開其中的web.xml文件，將其標籤內容複製過來，替換項目文件中的標籤。mysql

pom文件中junit默認是3.8版本，3.0版本默認使用編程方式，4.0使用註解方式來運行，需替換爲4.0版本。git

導入相關依賴

1.日誌：使用slf4j + logbackgithub

slf4j-api、logback-core、logback-classicweb

2.數據庫相關依賴，使用mybatis、mysql，鏈接池使用druidredis

mysql-connector-java、druid、mybatis、mybatis-spring

3.Servlet web相關依賴

standard、jackson-databind、javax.servlet-api

4.spring依賴

核心依賴：spring-core、spring-beans、spring-context

dao層相關依賴：spring-jdbc、spring-tx、jstl

web相關依賴：spring-web、spring-webmvc

test相關依賴：spring-test

數據庫建立：建立數據庫，建立秒殺庫存表，並初始化一些信息，建立秒殺成功明細表（schema.sql）

Dao層相關

建立entity層，放置實體類。對應數據庫表。

建立dao層，dao層相關接口，定義增刪改查方法

mybatis配置

建立mybatis配置文件mybatis-config，進入mybatis官網查看示例，配置全局屬性，例：

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <!--配置全局屬性-->
    <settings>
        <!--使用jdbc的getGeneratedKeys 獲取數據庫自增主鍵值-->
        <setting name="useGeneratedKeys" value="true"/>
        <!--使用列別名替換列名 默認：true-->
        <setting name="useColumnLabel" value="true"/>
        <!--開啓駝峯命名轉換：Table(create_time) -> Entity(createTime)-->
        <setting name="mapUnderscoreToCamelCase" value="true"/>
    </settings>
</configuration>
複製代碼

在resources文件夾下建立mapper層，其下建立映射dao層的sql配置文件,官網，例：

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="org.seckill.dao.SeckillDao">
    <!--目的：爲dao接口方法提供sql語句配置-->

    <!--xml中不容許出現<=，使用<![CDATA[ ]]>標籤，<![CDATA[<=]]>-->
    <update id="reduceNumber">
        update seckill
        set number = number -1
        where seckill_id = #{seckillId}
        and start_time <![CDATA[<=]]> #{killTime}
        and end_time >= #{killTime}
        and number >0;
    </update>

    <select id="queryById" resultType="Seckill" parameterType="long">
          select seckill_id,name,number,start_time,end_time,create_time
          from seckill
          where seckill_id = #{seckillId}
    </select>
</mapper>
複製代碼

建立jdbc配置文件jdbc.properties，例：

driver=com.mysql.cj.jdbc.Driver
url=jdbc:mysql://localhost:3306/seckill?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC
user=root
password=123456
複製代碼
mybatis整合spring

mybatis整合spring，在resources文件夾下建立spring層，放置與spring相關配置。建立spring-dao.xml配置文件，在其中配置整合mybatis過程。例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
    <!-- 配置整合mybatis過程 -->
    <!-- 一、配置數據庫相關參數 properties的屬性：${url}-->
    <context:property-placeholder location="classpath:jdbc.properties"/>

    <!--2:數據庫鏈接池-->
    <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource">
        <!--配置鏈接池屬性-->
        <property name="driverClassName" value="${driver}"/>
        <property name="url" value="${url}"/>
        <property name="username" value="${user}"/>
        <property name="password" value="${password}"/>

        <property name="initialSize" value="10"/>
        <property name="maxActive" value="30"/>
        <property name="minIdle" value="10"/>
        <!--關閉鏈接後不自動commit，默認false-->
        <property name="defaultAutoCommit" value="false"/>

        <property name="maxWait" value="1000"/>

        <property name="timeBetweenConnectErrorMillis" value="60000"/>
        <property name="minEvictableIdleTimeMillis" value="300000" />
    </bean>

    <!--約定大於配置-->
    <!--3:配置SqlSessionFactory對象-->
    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
        <!--注入數據庫鏈接池-->
        <property name="dataSource" ref="dataSource"/>
        <!--配置Mybatis全局配置文件-->
        <property name="configLocation" value="classpath:mybatis-config.xml"/>
        <!--掃描entity包 使用別名 org.seckill.entity.Seckill->Seckill-->
        <property name="typeAliasesPackage" value="org.seckill.entity"/>
        <!--掃描sql配置文件:mapper須要的xml文件-->
        <property name="mapperLocations" value="classpath:mapper/*.xml"/>
    </bean>

    <!--4:配置掃描Dao接口包,動態實現Dao接口,注入到Spring容器中-->
    <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
        <!--注入sqlSessionFactory-->
        <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>
        <!--給出掃描Dao接口包-->
        <property name="basePackage" value="org.seckill.dao"/>
    </bean>

</beans>
複製代碼

單元測試

錯誤1 、錯誤2

Service層相關

建立dto層，數據傳輸層，例如封裝執行秒殺後的結果、封裝json數據、暴露秒殺地址

建立exception層，自定義繼承自RuntimeException的異常，例：

package org.seckill.exception;

// 秒殺相關業務異常
public class SeckillException extends RuntimeException{
    public SeckillException(String message) {
        super(message);
    }

    public SeckillException(String message, Throwable cause) {
        super(message, cause);
    }
}
複製代碼

可繼續建立繼承此異常類的詳細異常，如重複異常、秒殺關閉異常，同上。

建立enums層，枚舉返回信息

建立service，實現業務邏輯，接口與實現

使用spring託管Service

使用spring託管Service依賴配置，建立spring-service.xml配置文件，在其中配置，例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">

    <!--掃描service包下全部使用註解的類型-->
    <context:component-scan base-package="org.seckill.service"/>

    <!-- 配置事務管理器 -->
    <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <!-- 注入數據庫鏈接池 -->
        <property name="dataSource" ref="dataSource"/>
    </bean>

    <!--配置基於註解的聲明式事務 默認使用註解來管理事務行爲 -->
    <tx:annotation-driven transaction-manager="transactionManager"/>
</beans>
複製代碼
使用日誌

使用到了日誌，官網參考建立logback.xml配置文件進行配置，最簡單例：

<?xml version="1.0" encoding="UTF-8" ?>
<configuration debug="true">

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <!-- encoders are by default assigned the type ch.qos.logback.classic.encoder.PatternLayoutEncoder -->
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <root level="debug">
        <appender-ref ref="STDOUT" />
    </root>
</configuration>
複製代碼

單元測試

Controller層相關

整合配置SpringMVC框架

建立spring-web.xml配置文件，在其中配置Spring MVC，例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mvc="http://www.springframework.org/schema/mvc" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
    <!--配置Spring-MVC-->
    <!-- 一、開啓springMVC註解模式-->
    <!-- 簡化配置： (1) 自動註冊DefaultAnnotationHandlerMapping,AnnotationMethodHandlerAdapter (2) 提供了一系列功能：數據綁定/數字和日期的format@NumberFormat @DateTimeFormat, xml 和 json默認讀寫支持 -->
    <mvc:annotation-driven/>

    <!--servlet-mapping 映射路徑：/ -->

    <!--二、靜態資源配置 默認servlet配置 1）加入對靜態資源的處理 js gif png 2）容許使用「/」作總體映射 -->
    <mvc:default-servlet-handler/>

    <!-- 三、配置jsp 顯示viewResolver-->
    <bean class="org.springframework.web.servlet.view.InternalResourceViewResolver">
        <property name="viewClass" value="org.springframework.web.servlet.view.JstlView"/>
        <property name="prefix" value="/WEB-INF/jsp/"/>
        <property name="suffix" value=".jsp"/>
    </bean>

    <!--四、掃描web相關的bean-->
    <context:component-scan base-package="org.seckill.web"/>
</beans>
複製代碼

建立web層，即控制層，實現Restful接口設計

在web.xml文件中配置DispatcherServlet，例：

<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_4_0.xsd" version="4.0" metadata-complete="true">
    <!--配置DispatcherServlet-->
    <servlet>
        <servlet-name>seckill-dispatcher</servlet-name>
        <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
        <!-- 配置springMVC須要加載的配置文件 spring-dao.xml,spring-service.xml,spring-web.xml -->
        <init-param>
            <param-name>contextConfigLocation</param-name>
            <param-value>classpath:spring/spring-*.xml</param-value>
        </init-param>
    </servlet>
    <servlet-mapping>
        <servlet-name>seckill-dispatcher</servlet-name>
        <!-- '/'默認匹配全部請求-->
        <url-pattern>/</url-pattern>
    </servlet-mapping>
</web-app>

複製代碼

使用BootStrap與jQuery開發頁面結構，再使用JS實現交互邏輯

頁面測試：成功

高併發優化

優化分析
CDN

CDN（內容分發網絡）是加速用戶獲取數據的系統，部署在離用戶最近的網絡節點上，命中CDN不須要訪問後端服務器。

系統詳情頁部署到CDN節點，CDN對詳情頁靜態化，詳情頁中有不少獲取靜態資源的請求css，js等，這些請求的資源也會部署到CDN，訪問詳情頁不用訪問系統，即獲取不到系統時間，因此作一個請求獲取當前服務器的系統時間頗有必要。

經過上面分析知訪問詳情頁不用訪問系統，java訪問一次內存（Cacheline）大約10ns，即1秒鐘大約可作1億次，因此獲取系統時間不用優化。

秒殺地址接口返回數據會變化，沒法使用CDN緩存，適合服務器緩存：Redis等，服務器1秒可抗10wQPS,redis集羣后可抗百萬級QPS（QPS爲每秒查詢率），一次性維護成本低。可優化。

redis

其餘方案：

NoSQLMQ

優勢：可抗很高的併發

缺點：運維成本和穩定型：NoSQL、MQ等爲分佈式服務，穩定性不足

​ 開發成本：數據一致性，回滾方案等，須要人工處理

冪等性難保證：重複秒殺問題
複製代碼

​ 不適合新手的架構

爲何不使用MySQL優化？

MySQL真的低效？

測試：同一個id執行update減庫存壓力測試

update壓力測試

約4wQPS

java控制事務行爲分析

shiwu

瓶頸分析

fenxi

​ Java GC（Garbage Collection，垃圾收集，垃圾回收）機制

分析結果：不是MySQL、Java慢。緣由爲java客戶端執行SQL語句，等待執行結果，再作判斷，再去執行，而java和數據庫通訊之間會有網絡延遲或者GC，這些時間也要加載執行事務中，而同一行事務爲串行化。

行級鎖在commit以後釋放，因此優化方向是減小行級鎖持有時間

延遲分析

同城機房網絡

異地機房網絡

如何判斷Update更新庫存成功？

兩個條件：一、Update自身沒報錯；二、客戶端確認Update影響記錄數

優化思路：

把客戶端邏輯放到MySQL服務端，避免網絡延遲和GC影響

如何放到MySQL服務端？

兩種解決方案：

——定製SQL方案：update /* + [auto_commit] */ ,須要修改MySQL源碼

執行update後自動作回滾，update記錄數爲1時commit，0則rollback，避免客戶端與MySQL服務端之間的網絡延遲和GC影響

——使用存儲過程：整個事務在MySQL端完成

優化總結：

前端控制：暴露接口（將動、靜態數據及核心功能點分離）、按鈕防重複

動靜態數據分離：CDN緩存、後端緩存（Redis、MemCache）

事務競爭優化：減小事務鎖時間

Redis後端緩存優化

Redis安裝（64位Windows下）

優化地址暴露接口

導入redis客戶端jedis及序列號工具protostuff

dao爲放置數據庫及其餘存儲類的包，在dao包下建立cache層，cache層下放RedisDao類，緩存在redis中爲二進制數組，若redis中存在緩存，獲取二進制數組byte[]，進行反序列化，將數據放入建立的空對象。若不存在緩存，則將對象序列化轉換爲byte[]放入redis。

改進秒殺實現方法中獲取數據，先訪問redis，若無數據，則訪問數據庫，並將數據放入redis。

在spring-dao.xml文件中配置RedisDao，例

<!--RedisDao-->
<bean id="redisDao" class="org.seckill.dao.cache.RedisDao">
    <!--實際配置應放入配置文件-->
    <constructor-arg index="0" value="localhost"/>
    <constructor-arg index="1" value="6379"/>
</bean>
複製代碼

此緩存優化一致性維護創建在超時的基礎上，由於秒殺對象在正常狀況下不會改變，若須要改動，廢棄新建。

事務執行優化

update 減庫存 【rowLock】 <——網絡延遲、GC——> insert 購買明細 <——網絡延遲、GC——>

commit/rollback【freeLock】

簡單優化——減小了行級鎖持有時間，使MySQL得到更高的QPS

insert 購買明細 <——網絡延遲、GC——> update 減庫存【rowLock】 <——網絡延遲、GC——>

commit/rollback【freeLock】

深度優化——將事務SQL在MySQL端執行（存儲過程）

在數據庫建立存儲過程（seckill.sql）

而後在SeckillDao接口中新建使用存儲過程執行秒殺的方法，此方法傳入參數爲Map類型（在service實現方法中須要將結果放入參數告訴MySQL，該操做使用了org.apache.commons.collections的MapUtils方法，需在pom文件中引入）。而後在其對應配置文件中使用mybatis調用存儲過程。再在秒殺業務接口中新建經過存儲過程執行秒殺操做的方法，在其實現類中實現該方法，在該方法中調用dao接口中的方法。測試1成功。在controller中改用該方法，網頁測試，成功。

系統可能用到哪些服務？

CDN、 WebServer：Nginx + Jetty、 Redis、 MySQL

大型系統部署架構

jiagou

開發：前端 + 後端 測試（迭代、修改、壓力測試等） DBA（存儲過程、分庫分表等） 運維（負責機器監控、Nginx配置等）

—關於使用current_timestamp時間與北京時間相差8小時解決辦法

blog.csdn.net/uzbekistan/…

—關於Tomcat日誌輸出中文亂碼，網上幾種方法無效，待解決

項目代碼地址

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程