深刻理解flutter的編譯原理與優化

閒魚技術-正物

問題背景

對於開發者而言，什麼是Flutter？它是用什麼語言編寫的，包含哪幾部分，是如何被編譯，運行到設備上的呢？Flutter如何作到Debug模式Hot Reload快速生效變動，Release模式原生體驗的呢？Flutter工程和咱們的Android/iOS工程有何差異，關係如何，又是如何嵌入Android/iOS的呢？Flutter的渲染和事件傳遞機制如何工做？Flutter支持熱更新嗎？Flutter官方並未提供iOS下的armv7支持，確實如此嗎？在使用Flutter的時候，若是發現了engine的bug，如何去修改和生效？構建緩慢或出錯又如何去定位，修改和生效呢？

凡此種種，都須要對Flutter從設計，開發構建，到最終運行有一個全局視角的觀察。

本文將以一個簡單的hello_flutter爲例，介紹下Flutter相關原理及定製與優化。

Flutter簡介

Flutter的架構主要分紅三層:Framework，Engine和Embedder。

Framework使用dart實現，包括Material Design風格的Widget,Cupertino(針對iOS)風格的Widgets，文本/圖片/按鈕等基礎Widgets，渲染，動畫，手勢等。此部分的核心代碼是:flutter倉庫下的flutter package，以及sky_engine倉庫下的io,async,ui(dart:ui庫提供了Flutter框架和引擎之間的接口)等package。

Engine使用C++實現，主要包括:Skia,Dart和Text。Skia是開源的二維圖形庫，提供了適用於多種軟硬件平臺的通用API。其已做爲Google Chrome，Chrome OS，Android, Mozilla Firefox, Firefox OS等其餘衆多產品的圖形引擎，支持平臺還包括Windows7+,macOS 10.10.5+,iOS8+,Android4.1+,Ubuntu14.04+等。Dart部分主要包括:Dart Runtime，Garbage Collection(GC)，若是是Debug模式的話，還包括JIT(Just In Time)支持。Release和Profile模式下，是AOT(Ahead Of Time)編譯成了原生的arm代碼，並不存在JIT部分。Text即文本渲染，其渲染層次以下:衍生自minikin的libtxt庫(用於字體選擇，分隔行)。HartBuzz用於字形選擇和成型。Skia做爲渲染/GPU後端，在Android和Fuchsia上使用FreeType渲染，在iOS上使用CoreGraphics來渲染字體。

Embedder是一個嵌入層，即把Flutter嵌入到各個平臺上去，這裏作的主要工做包括渲染Surface設置,線程設置，以及插件等。從這裏能夠看出，Flutter的平臺相關層很低，平臺(如iOS)只是提供一個畫布，剩餘的全部渲染相關的邏輯都在Flutter內部，這就使得它具備了很好的跨端一致性。

Flutter工程結構

本文使用開發環境爲flutter beta v0.3.1，對應的engine commit:09d05a389。

以hello_flutter工程爲例，Flutter工程結構以下所示:

其中ios爲iOS部分代碼，使用CocoaPods管理依賴，android爲Android部分代碼，使用Gradle管理依賴，lib爲dart代碼，使用pub管理依賴。相似iOS中Cocoapods對應的Podfile和Podfile.lock，pub下則是pubspec.yaml和pubspec.lock。

Flutter模式

對於Flutter，它支持常見的debug,release,profile等模式，但它又有其不同。

Debug模式：對應了Dart的JIT模式，又稱檢查模式或者慢速模式。支持設備，模擬器(iOS/Android)，此模式下打開了斷言，包括全部的調試信息，服務擴展和Observatory等調試輔助。此模式爲快速開發和運行作了優化，但並未對執行速度，包大小和部署作優化。Debug模式下，編譯使用JIT技術，支持廣受歡迎的亞秒級有狀態的hot reload。

Release模式：對應了Dart的AOT模式，此模式目標即爲部署到終端用戶。只支持真機，不包括模擬器。關閉了全部斷言，儘量多地去掉了調試信息，關閉了全部調試工具。爲快速啓動，快速執行，包大小作了優化。禁止了全部調試輔助手段，服務擴展。

Profile模式：相似Release模式，只是多了對於Profile模式的服務擴展的支持，支持跟蹤，以及最小化使用跟蹤信息須要的依賴，例如，observatory能夠鏈接上進程。Profile並不支持模擬器的緣由在於，模擬器上的診斷並不表明真實的性能。

鑑於Profile同Release在編譯原理等上無差別，本文只討論Debug和Release模式。

事實上flutter下的iOS/Android工程本質上依然是一個標準的iOS/Android的工程，flutter只是經過在BuildPhase中添加shell來生成和嵌入App.framework和Flutter.framework(iOS),經過gradle來添加flutter.jar和vm/isolate_snapshot_data/instr(Android)來將Flutter相關代碼編譯和嵌入原生App而已。所以本文主要討論因flutter引入的構建，運行等原理。編譯target雖然包括arm,x64,x86,arm64，但因原理相似，本文只討論arm相關(如無特殊說明，android默認爲armv7)。

Flutter代碼的編譯與運行(iOS)

Release模式下的編譯

release模式下，flutter下iOS工程中dart代碼構建鏈路以下所示:

其中gen_snapshot是dart編譯器，採用了tree shaking(相似依賴樹邏輯，可生成最小包，也於是在Flutter中禁止了dart支持的反射特性)等技術,用於生成彙編形式的機器代碼，再經過xcrun等編譯工具鏈生成最終的App.framework。換句話說，全部的dart代碼，包括業務代碼，三方package代碼，它們所依賴的flutter框架代碼，最終將會變成App.framework。

tree shaking功能位於gen_snapshot中，對應邏輯參見: engine/src/third_party/dart/runtime/vm/compiler/aot/precompiler.cc

dart代碼最終對應到App.framework中的符號以下所示:

事實上，相似Android Release下的產物(見下文)，App.framework也包含了kDartVmSnapshotData，kDartVmSnapshotInstructions，kDartIsolateSnapshotData，kDartIsolateSnapshotInstructions四個部分。爲何iOS使用App.framework這種方式，而不是Android的四個文件的方式呢？緣由在於在iOS下，由於系統的限制，Flutter引擎不可以在運行時將某內存頁標記爲可執行，而Android是能夠的。

Flutter.framework對應了Flutter架構中的engine部分，以及Embedder。實際中Flutter.framework位於flutter倉庫的/bin/cache/artifacts/engine/ios*下，默認從google倉庫拉取。當須要自定義修改的時候，可經過下載engine源碼，利用Ninja構建系統來生成。

Flutter相關代碼的最終產物是:App.framework(dart代碼生成)和Flutter.framework(引擎)。從Xcode工程的視角看，Generated.xcconfig描述了Flutter相關環境的配置信息，而後Runner工程設置中的Build Phases新增的xcode_backend.sh實現了Flutter.framework的拷貝(從Flutter倉庫的引擎到Runner工程根目錄下的Flutter目錄)與嵌入和App.framework的編譯與嵌入。最終生成的Runner.app中Flutter相關內容以下所示:

其中flutter_assets是相關的資源，代碼則是位於Frameworks下的App.framework和Flutter.framework。

Release模式下的運行

Flutter相關的渲染，事件，通訊處理邏輯以下所示:

其中dart中的main函數調用棧以下:

Debug模式下的編譯

Debug模式下flutter的編譯，結構相似Release模式，差別主要表現爲兩點:

1.Flutter.framework

由於是Debug，此模式下Framework中是有JIT支持的，而在Release模式下並無JIT部分。

2.App.framework

不一樣於AOT模式下的App.framework是Dart代碼對應的本地機器代碼，JIT模式下，App.framework只有幾個簡單的API，其Dart代碼存在於snapshot_blob.bin文件裏。這部分的snapshot是腳本快照，裏面是簡單的標記化的源代碼。全部的註釋，空白字符都被移除，常量也被規範化，也沒有機器碼，tree shaking或者是混淆。

App.framework中的符號表以下所示:

對Runner.app/flutter_assets/snapshot_blob.bin執行strings命令能夠看到以下內容:

Debug模式下main入口的調用堆棧以下:

Flutter代碼的編譯與運行(Android)

鑑於Android和iOS除了部分平臺相關的特性外，其餘邏輯如Release對應AOT，Debug對應JIT等均相似，此處只涉及二者不一樣。

Release模式下的編譯

release模式下，flutter下Android工程中dart代碼整個構建鏈路以下所示:

其中vm/isolate_snapshot_data/instr內容均爲arm指令，將會在運行時被engine載入，並標記vm/isolate_snapshot_instr爲可執行。vm_中涉及runtime等服務(如gc)，用於初始化DartVM，調用入口見Dart_Initialize(dart_api.h)。isolate__則是對應了咱們的App代碼，用於建立一個新的isolate,調用入口見Dart_CreateIsolate(dart_api.h)。flutter.jar相似iOS的Flutter.framework，包括了engine部分的代碼(Flutter.jar中的libflutter.so)，以及一套將Flutter嵌入Android的類和接口(FlutterMain,FlutterView,FlutterNativeView等)。實際中flutter.jar位於flutter倉庫的/bin/cache/artifacts/engine/android*下，默認從google倉庫拉取。當須要自定義修改的時候，可經過下載engine源碼，利用Ninja構建系統來生成flutter.jar。

以isolate_snapshot_data/instr爲例，執行disarm命令結果以下:

)

其Apk結構以下所示:

APK新安裝以後，會根據一個ts的判斷(packageinfo中的versionCode結合lastUpdateTime)來決定是否拷貝APK中的assets，拷貝後內容以下所示:

isolate/vm_snapshot_data/instr均最後位於app的本地data目錄下，而這部分又屬於可寫內容，所以能夠經過下載並替換的方式，完成App的整個替換和更新。

Release模式下的運行

Debug模式下的編譯

相似iOS的Debug/Release的差異，Android的Debug與Release的差別主要包括如下兩部分:

1.flutter.jar

區別同iOS

2.App代碼部分

位於flutter_assets下的snapshot_blob.bin，同iOS。

在介紹了iOS/Android下的Flutter編譯原理後，下面着重描述下如何定製flutter/engine以完成定製和優化。鑑於Flutter處於敏捷的迭代中，如今的問題後續不必定是問題，於是此部分並非要去解決多少問題，而是選取不一樣類別的問題來講明解決思路。

Flutter構建相關的定製與優化

Flutter是一個很複雜的系統，除了上述提到的三層架構中的內容外，還包括Flutter Android Studio(Intellij)插件，pub倉庫管理等。但咱們的定製和優化每每是在flutter的工具鏈相關，具體代碼位於flutter倉庫的flutter_tools包。接下來舉例說明下如何對這部分作定製。

Android部分

相關內容包括flutter.jar，libflutter.so(位於flutter.jar下)，gen_snapshot，flutter.gradle，flutter(flutter_tools)。

1.限定Android中target爲armeabi

此部分屬於構建相關，邏輯位於flutter.gradle下。當App是經過armeabi支持armv7/arm64的時候，須要修改flutter的默認邏輯。以下所示:

由於gradle自己的特色，此部分修改後直接構建便可生效。

2.設定Android啓動時默認使用第一個launchable-activity

此部分屬於flutter_tools相關，修改以下:

這裏的重點不是如何去修改，而是如何去讓修改生效。原理上來講，flutter run/build/analyze/test/upgrade等命令實際上執行的都是flutter(flutter_repo_dir/bin/flutter)這一腳本，再經過腳本經過dart執行flutter_tools.snapshot(經過packages/flutter_tools生成)。其邏輯以下:

if [[ ! -f "SNAPSHOT_PATH" ]] || [[ ! -s "STAMP_PATH" ]] || [[ "(cat "STAMP_PATH")" != "revision" ]] || [[ "FLUTTER_TOOLS_DIR/pubspec.yaml" -nt "$FLUTTER_TOOLS_DIR/pubspec.lock" ]]; then
        rm -f "$FLUTTER_ROOT/version"
        touch "$FLUTTER_ROOT/bin/cache/.dartignore"
        "$FLUTTER_ROOT/bin/internal/update_dart_sdk.sh"
        echo Building flutter tool...
    if [[ "$TRAVIS" == "true" ]] || [[ "$BOT" == "true" ]] || [[ "$CONTINUOUS_INTEGRATION" == "true" ]] || [[ "$CHROME_HEADLESS" == "1" ]] || [[ "$APPVEYOR" == "true" ]] || [[ "$CI" == "true" ]]; then
      PUB_ENVIRONMENT="$PUB_ENVIRONMENT:flutter_bot"
    fi
    export PUB_ENVIRONMENT="$PUB_ENVIRONMENT:flutter_install"
    
    if [[ -d "$FLUTTER_ROOT/.pub-cache" ]]; then
      export PUB_CACHE="${PUB_CACHE:-"$FLUTTER_ROOT/.pub-cache"}"
    fi
    
    while : ; do
      cd "$FLUTTER_TOOLS_DIR"
      "$PUB" upgrade --verbosity=error --no-packages-dir && break
      echo Error: Unable to 'pub upgrade' flutter tool. Retrying in five seconds...
      sleep 5
    done
    "$DART" --snapshot="$SNAPSHOT_PATH" --packages="$FLUTTER_TOOLS_DIR/.packages" "$SCRIPT_PATH"
    echo "$revision" > "$STAMP_PATH"
    fi

不難看出要從新構建flutter_tools，能夠刪除flutter_repo_dir/bin/cache/flutter_tools.stamp(這樣從新生成一次)，或者屏蔽掉if/fi判斷(每一次都會從新生成)。

3.如何在Android工程Debug模式下使用release模式的flutter

當開發者在研發中發現flutter有些卡頓時，猜想多是邏輯的緣由，也多是由於是Debug下的flutter。此時能夠構建release下的apk，也能夠將flutter強制修改成release模式以下:

iOS部分

相關內容包括:Flutter.framework，gen_snapshot，xcode_backend.sh，flutter(flutter_tools)。

1.優化構建過程當中反覆替換Flutter.framework致使的從新編譯

此部分邏輯屬於構建相關，位於xcode_backend.sh中，Flutter爲了保證每次獲取到正確的Flutter.framework,每次都會基於配置(見Generated.xcconfig配置)查找和替換Flutter.framework，但這也致使了工程中對此Framework有依賴部分代碼的從新編譯，修改以下:

2.如何在iOS工程Debug模式下使用release模式的flutter

只須要將Generated.xcconfig中的FLUTTER_BUILD_MODE修改成release，FLUTTER_FRAMEWORK_DIR修改成release對應的路徑便可。

3.armv7的支持

原始文章請參見:https://github.com/flutter/engine/wiki/iOS-Builds-Supporting-ARMv7

事實上flutter自己是支持iOS下的armv7的，但目前並未提供官方支持，須要自行修改相關邏輯，具體以下:

a.默認的邏輯能夠生成Flutter.framework(arm64)

b.修改flutter以使得flutter_tools能夠每次從新構建，修改build_aot.dart和mac.dart，將相關針對iOS的arm64修改成armv7,修改gen_snapshot爲i386架構。

其中i386架構下的gen_snapshot可經過如下命令生成:

./flutter/tools/gn --runtime-mode=debug --ios --ios-cpu=arm
ninja -C out/ios_debug_arm

這裏有一個隱含邏輯:

構建gen_snapshot的CPU相關預約義宏(__x86_64__/__i386等)，目標gen_snapshot的arch，最終的App.framework的架構總體上要保持一致。即x86_64->x86_64->arm64或者i386->i386->armv7。

c.在iPhone4S上，會發生因gen_snapshot生成不被支持的SDIV指令而形成EXC_BAD_INSTRUCTION(EXC_ARM_UNDEFINED)錯誤，可經過給gen_snapshot添加參數--no-use-integer-division實現(位於build_aot.dart)。其背後的邏輯以下圖所示:

d.基於a和b生成的Flutter.framework,將其lipo create生成同時支持armv7和arm64的Flutter.framework。

e.修改Flutter.framework下的Info.plist，移除

<key>UIRequiredDeviceCapabilities</key>
  <array>
    <string>arm64</string>
  </array>

同理，對於App.framework也要做此操做，以避免上架後會受到App Thining的影響。

flutter_tools的調試

例如咱們想了解flutter在構建debug模式下的apk的時候，具體執行的邏輯如何，能夠按照下面的思路走:

a.瞭解flutter_tools的命令行參數

b.以dart工程形式打開packages/flutter_tools，基於得到的參數修改flutter_tools.dart，設置命令行dart app便可開始調試。

>>>>閱讀全文