Spring Boot 高效併發數據聚合之道

項目地址和示例代碼: https://github.com/lvyahui8/spring-boot-data-aggregatorjava

背景

接口開發是後端開發中最多見的場景, 多是RESTFul接口, 也多是RPC接口. 接口開發每每是從各處撈出數據, 而後組裝成結果, 特別是那些偏業務的接口.git

例如, 我如今須要實現一個接口, 拉取用戶基礎信息+用戶的博客列表+用戶的粉絲數據的整合數據, 假設已經有以下三個接口可使用, 分別用來獲取 用戶基礎信息 ,用戶博客列表, 用戶的粉絲數據.程序員

用戶基礎信息github

@Service
public class UserServiceImpl implements UserService {
    @Override
    public User get(Long id) {
        try {Thread.sleep(1000L);} catch (InterruptedException e) {}
        /* mock a user*/
        User user = new User();
        user.setId(id);
        user.setEmail("lvyahui8@gmail.com");
        user.setUsername("lvyahui8");
        return user;
    }
}

用戶博客列表spring

@Service
public class PostServiceImpl implements PostService {
    @Override
    public List<Post> getPosts(Long userId) {
        try { Thread.sleep(1000L); } catch (InterruptedException e) {}
        Post post = new Post();
        post.setTitle("spring data aggregate example");
        post.setContent("No active profile set, falling back to default profiles");
        return Collections.singletonList(post);
    }
}

用戶的粉絲數據後端

@Service
public class FollowServiceImpl implements FollowService {
    @Override
    public List<User> getFollowers(Long userId) {
        try { Thread.sleep(1000L); } catch (InterruptedException e) {}
        int size = 10;
        List<User> users = new ArrayList<>(size);
        for(int i = 0 ; i < size; i++) {
            User user = new User();
            user.setUsername("name"+i);
            user.setEmail("email"+i+"@fox.com");
            user.setId((long) i);
            users.add(user);
        };
        return users;
    }
}

注意, 每個方法都sleep了1s以模擬業務耗時.網絡

咱們須要再封裝一個接口, 來拼裝以上三個接口的數據.併發

PS: 這樣的場景實際在工做中很常見, 並且每每咱們須要拼湊的數據, 是要走網絡請求調到第三方去的. 另外可能有人會想, 爲什麼不分紅3個請求? 實際爲了客戶端網絡性能考慮, 每每會在一次網絡請求中, 儘量多的傳輸數據, 固然前提是這個數據不能太大, 不然傳輸的耗時會影響渲染. 許多APP的首頁, 看着複雜, 實際也只有一個接口, 一次性拉下全部數據, 客戶端開發也簡單.app

串行實現

編寫性能優良的接口不只是每一位後端程序員的技術追求, 也是業務的基本訴求. 通常狀況下, 爲了保證更好的性能, 每每須要編寫更復雜的代碼實現.框架

但凡人皆有惰性, 所以, 每每咱們會像下面這樣編寫串行調用的代碼

@Component
public class UserQueryFacade {
    @Autowired
    private FollowService followService;
    @Autowired
    private PostService postService;
    @Autowired
    private UserService userService;
    
    public User getUserData(Long userId) {
        User user = userService.get(userId);
        user.setPosts(postService.getPosts(userId));
        user.setFollowers(followService.getFollowers(userId));
        return user;
    }
}

很明顯, 上面的代碼, 效率低下, 起碼要3s才能拿到結果, 且一旦用到某個接口的數據, 便須要注入相應的service, 複用麻煩.

並行實現

有追求的程序員可能立馬會考慮到, 這幾項數據之間並沒有強依賴性, 徹底能夠並行獲取嘛, 經過異步線程+CountDownLatch+Future實現, 就像下面這樣.

@Component
public class UserQueryFacade {
    @Autowired
    private FollowService followService;
    @Autowired
    private PostService postService;
    @Autowired
    private UserService userService;
    
    public User getUserDataByParallel(Long userId) throws InterruptedException, ExecutionException {
        ExecutorService executorService = Executors.newFixedThreadPool(3);
        CountDownLatch countDownLatch = new CountDownLatch(3);
        Future<User> userFuture = executorService.submit(() -> {
            try{
                return userService.get(userId);
            }finally {
                countDownLatch.countDown();
            }
        });
        Future<List<Post>> postsFuture = executorService.submit(() -> {
            try{
                return postService.getPosts(userId);
            }finally {
                countDownLatch.countDown();
            }
        });
        Future<List<User>> followersFuture = executorService.submit(() -> {
            try{
                return followService.getFollowers(userId);
            }finally {
                countDownLatch.countDown();
            }
        });
        countDownLatch.await();
        User user = userFuture.get();
        user.setFollowers(followersFuture.get());
        user.setPosts(postsFuture.get());
        return user;
    }
}

上面的代碼, 將串行調用改成並行調用, 在有限併發級別下, 能極大提升性能. 但很明顯, 它過於複雜, 若是每一個接口都爲了並行執行都寫這樣一段代碼, 簡直是噩夢.

優雅的註解實現

熟悉java的都知道, java有一種很是便利的特性 ~~ 註解. 簡直是黑魔法. 每每只須要給類或者方法上添加一些註解, 即可以實現很是複雜的功能.

有了註解, 再結合Spring依賴自動注入的思想, 那麼咱們可不能夠經過註解的方式, 自動注入依賴, 自動並行調用接口呢? 答案是確定的.

首先, 咱們先定義一個聚合接口

@Component
public class UserAggregate {
    @DataProvider(id="userFullData")
    public User userFullData(@DataConsumer(id = "user") User user,
                             @DataConsumer(id = "posts") List<Post> posts,
                             @DataConsumer(id = "followers") List<User> followers) {
        user.setFollowers(followers);
        user.setPosts(posts);
        return user;
    }
}

其中

@DataProvider 表示這個方法是一個數據提供者, 數據Id爲 userFullData
@DataConsumer 表示這個方法的參數, 須要消費數據, 數據Id爲 user ,posts, followers.

固然, 原來的3個原子服務 用戶基礎信息 ,用戶博客列表, 用戶的粉絲數據, 也分別須要添加一些註解

@Service
public class UserServiceImpl implements UserService {
    @DataProvider(id = "user")
    @Override
    public User get(@InvokeParameter("userId") Long id) {

@Service
public class PostServiceImpl implements PostService {
    @DataProvider(id = "posts")
    @Override
    public List<Post> getPosts(@InvokeParameter("userId") Long userId) {

@Service
public class FollowServiceImpl implements FollowService {
    @DataProvider(id = "followers")
    @Override
    public List<User> getFollowers(@InvokeParameter("userId") Long userId) {

其中

@DataProvider 與前面的含義相同, 表示這個方法是一個數據提供者
@InvokeParameter 表示方法執行時, 須要手動傳入的參數

這裏注意 @InvokeParameter 和 @DataConsumer的區別, 前者須要用戶在最上層調用時手動傳參; 然後者, 是由框架自動分析依賴, 並異步調用取得結果以後注入的.

最後, 僅僅只須要調用一個統一的門面(Facade)接口, 傳遞數據Id, Invoke Parameters,以及返回值類型. 剩下的並行處理, 依賴分析和注入, 徹底由框架自動處理.

@Component
public class UserQueryFacade {
    @Autowired
    private DataBeanAggregateQueryFacade dataBeanAggregateQueryFacade;

    public User getUserFinal(Long userId) throws InterruptedException, 
    			IllegalAccessException, InvocationTargetException {
        return dataBeanAggregateQueryFacade.get("userFullData",
                Collections.singletonMap("userId", userId), User.class);
    }
}

如何用在你的項目中

上面的功能, 筆者已經封裝爲一個spring boot starter, 併發布到maven中央倉庫.

只需在你的項目引入依賴.

<dependency>
  <groupId>io.github.lvyahui8</groupId>
  <artifactId>spring-boot-data-aggregator-starter</artifactId>
  <version>1.0.1</version>
</dependency>

並在 application.properties 文件中聲明註解的掃描路徑.

# 替換成你須要掃描註解的包
io.github.lvyahui8.spring.base-packages=io.github.lvyahui8.spring.example

以後, 就可使用以下註解和 Spring Bean 實現聚合查詢

@DataProvider
@DataConsumer
@InvokeParameter
Spring Bean DataBeanAggregateQueryFacade

注意, @DataConsumer 和 @InvokeParameter 能夠混合使用, 能夠用在同一個方法的不一樣參數上. 且方法的全部參數必須有其中一個註解, 不能有沒有註解的參數.

項目地址和上述示例代碼: https://github.com/lvyahui8/spring-boot-data-aggregator

後期計劃

後續筆者將繼續完善異常處理, 超時邏輯, 解決命名衝突的問題, 並進一步提升插件的易用性, 高可用性, 擴展性