mica 1.1.7 發佈 mica-http 畢業從 http 到輕量級爬蟲

mica（雲母）

mica 雲母，寓意爲雲服務的核心，加強 Spring cloud 功能，使得 Spring cloud 服務開發更加方便快捷。

mica 核心依賴

mica 基於 java 8，沒有歷史包袱，支持傳統 Servlet 和 Reactive（webflux）。採用 mica-auto 自動生成 spring.factories 和 spring-devtools.properties 配置，僅依賴 Spring boot、Spring cloud 全家桶，無第三方依賴。市面上鮮有的微服務核心組件。

依賴	版本
Spring	5.x
Spring Boot	2.1.x
Spring Cloud	Greenwich 版

更新說明

• :zap: 優化 readme 添加文檔地址.
• :zap: 添加 .codacy.yml 配置.
• :zap: 添加模塊 mica-laytpl 模塊.
• :zap: mica-core 加強 XmlHelper 支持安全和非安全模式.
• :zap: mica-http html、xml 轉 Bean，並支持類型轉換.
• :zap: mica-http 添加劇試機制.
• :zap: mica-http add EventListener。
• :zap: mica-http 優化攔截器，支持多個，將日誌攔截器放到最後。
• :zap: gradle use platform replace enforcedPlatform。
• :zap: mica-cloud 優化 RestTemplate Bean 添加配置開關，默認不開啓.
• :arrow_up: 依賴升級 swagger-bootstrap-ui 到 1.9.5.

1. 介紹

​ mica-http 自從 v1.1.3 加入到 mica 最近幾週一直在打磨，逐漸成爲了一個輕量級爬蟲工具。

2. 爬蟲代理和重試

3. 爬取頁面

4. 模型

5. 壓測報告

第一輪

Benchmark                           Mode  Cnt    Score     Error    Units
MicaHttpBenchmark.micaHttp         thrpt    5  899.299 ± 208.080  ops/min
MicaHttpBenchmark.okHttp           thrpt    5  841.669 ± 106.094  ops/min
MicaHttpBenchmark.protoTypeOkHttp  thrpt    5  346.647 ±  23.664  ops/min
複製代碼

第二輪

Benchmark                           Mode  Cnt    Score     Error    Units
MicaHttpBenchmark.micaHttp         thrpt    5  876.651 ± 276.569  ops/min
MicaHttpBenchmark.okHttp           thrpt    5  899.365 ± 194.188  ops/min
MicaHttpBenchmark.protoTypeOkHttp  thrpt    5  341.028 ±  34.713  ops/min
複製代碼

第三輪

Benchmark                           Mode  Cnt    Score     Error    Units
MicaHttpBenchmark.micaHttp         thrpt    5  944.017 ± 175.509  ops/min
MicaHttpBenchmark.okHttp           thrpt    5  875.143 ± 164.594  ops/min
MicaHttpBenchmark.protoTypeOkHttp  thrpt    5  331.370 ±  19.136  ops/min
複製代碼

解讀

• mica-http 對 okhttp 進行加強，並無明顯的性能損耗，偶爾結果還比 okhttp 表現得好。
• protoTypeOkHttp 採用的是每次 new OkHttpClient() 性能損耗明顯很是明顯，並且高併發下還有內存泄露，因此你們在使用時必定要注意。

文檔

• 文檔地址（官網）：www.dreamlu.net/#/doc/docs
• 文檔地址（語雀-可關注訂閱）：www.yuque.com/dreamlu/mic…
• 示例項目：github.com/lets-mica/m…

歡迎關注咱們的公衆號：如夢技術，精彩內容每日推送。