Elasticsearch源碼解析：環境搭建

在以前學習Redis的過程當中，我就是一邊經過文檔/視頻學習，一邊閱讀源碼。我發現兩種方法能夠相輔相成，互相補充。閱讀文檔能夠幫助咱們快速瞭解某個功能，閱讀源碼有助於咱們更深刻的理解這一功能的實現及思想。

所以，在學習 Elasticsearch 的時候我也準備採用這樣的模式。因此，從今天開始，我會按期更新學習 Elasticsearch 源碼的收穫。在開始學習以前，須要先把環境準備好。因此今天就先分享一下準備環境的過程。

軟件環境

Intellij Idea:2020.1版本

JDK 12

Gradle 5.5

下載源碼

你能夠在 Github 中下載 release 版本或指定 tag 的源碼，地址以下。

https://github.com/elastic/elasticsearch/releases

下載好之後解壓到指定目錄/

tar -xzvf elasticsearch-7.3.1.tar.gz

也能夠直接在命令行經過 git 下載源碼

git clone git@github.com:elastic/elasticsearch.git

而後能夠切換到你想要的版本

git checkout v7.3.1

導入IntelliJ IDEA

下載好源碼之後，咱們來將項目導入 IDEA，首先，進入到項目的根目錄，執行命令

./gradlew idea

這一步是生成 IntelliJ 的項目文件，須要下載一些依賴包，下載的不順利的同窗能夠選擇將 gradle 源切換成國內的源。

切換 gradle 源

進入目錄

cd ~/.gradle

新建一個名爲 init.gradle 的目錄，內容以下

allprojects {
    repositories {
        def ALIYUN_REPOSITORY_URL = 'https://maven.aliyun.com/repository/public'
        all { ArtifactRepository repo ->
            if(repo instanceof MavenArtifactRepository){
                def url = repo.url.toString()
                if (url.startsWith('https://repo1.maven.org/maven2')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $ALIYUN_REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven { url ALIYUN_REPOSITORY_URL }
    }
}

文件生成好以後，會有以下提示

如今咱們開始往 idea 中導入項目，File -> New Project From Existing Sources，選擇你的代碼根目錄，而後點擊open，以後在Import project from external model -> Gradle，到 idea 中，它還會下載一些包。下載完之後，咱們就算是導入完成了。

本地運行Elasticsearch

將項目導入到 idea 中以後，咱們就能夠嘗試運行項目了，這一步看似簡單，倒是我花費時間最多的一步。首先咱們找到 server 包下的org/elasticsearch/bootstrap/Elasticsearch.java，運行其中的main函數。

若是你運行失敗，不要驚慌，咱們須要加一些配置。

點開 Run/Debug Configrations，如圖，咱們須要在 VM options 中加一些配置。還須要勾選上 Include dependencies with "Provided" scope

VM options 以下

-Des.path.home=/Users/moka/eshome
-Des.path.conf=/Users/moka/eshome/config
-Xms1g
-Xmx1g
-Dlog4j2.disable.jmx=true
-Djava.security.policy=/Users/moka/eshome/config/elasticsearch.policy

下面對這些參數進行一下說明

-Des.path.home：指定eshome所在路徑，elasticsearch 會須要從這個路徑下加載一些包，所以，咱們須要指定一個目錄，而後把必要的模塊和配置文件複製到該目錄下，你能夠選擇本身編譯源碼，或者是從官網下載對應的二進制版本，

tar -zxvf elasticsearch-7.3.1-darwin-x86_64.tar.gz
cd elasticsearch-7.3.1
cp -r config modules plugins /Users/moka/eshome

-Des.path.conf：指定配置文件所在的路徑名，後續調整節點配置時，修改其下的配置文件

-Xms1g 和 -Xmx1g 設置 JVM 堆的大小

-Dlog4j2.disable.jmx=true：這個是jvm.options文件中的默認配置，不加的話會報「access denied」等錯誤。

-Djava.security.policy：這個也是權限問題，配置policy文件路徑，內容以下

grant{
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
};

按照這些配置好之後，發現仍是會報錯

java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
	at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:494) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:422) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:146) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:303) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:246) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
	at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
	at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
	at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
	at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
	at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
	... 15 more

這一步應該是 IDEA 的報錯，網上有同窗說是勾選 Include dependencies with "Provided" scope，我試了一下沒什麼效果。而後把 server 包下的 build.gradle 文件修改一下解決了問題。

找到

compileOnly project(':libs:elasticsearch-plugin-classloader')

修改成

compile project(':libs:elasticsearch-plugin-classloader')

改完以後再次運行，會有一個空指針報錯，報錯位置是

server/src/main/java/org/elasticsearch/node/InternalSettingsPreparer.java:119

這裏是由於我沒有設置 node.name，在 elasticsearch.yml 文件中設置一下就能夠了。

如今再點擊 Run/Debug ，就能夠成功運行了。

遠程調試

本地調試的另外一種方法就是遠程 debug。

首先，咱們進入到下載的一個穩定版本的 elasticsearch 目錄，在 bin/elasticsearch文件中加上一行代碼

-agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \

加上以後的代碼以下：

if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

而後咱們執行./elasticsearch，會出現以下信息，說明 Elasticsearch 在監聽8888端口。

如今咱們到 IDEA 中添加一個 Remote Run

接着進行端口配置。

而後就能夠選擇這個 Remote 來進行 Debug 了。當控制檯出現

Connected to the target VM, address: 'localhost:8888', transport: 'socket'

說明鏈接成功了。

咱們來實驗一下，在這個位置打一個斷點

server/src/main/java/org/elasticsearch/rest/action/cat/RestHealthAction.java:54

而後在瀏覽器地址欄中輸入

http://localhost:9200/_cat/health

若是進入斷點，說明咱們已經能夠成功 Debug 了。

總結

工欲善其事，必先利其器。在閱讀源碼以前，咱們首先須要搭建好環境，本文咱們介紹了兩種方法，一種是直接在 IDEA 中啓動 Elasticsearch ，另外一種是 Debug 遠程的 Elasticsearch。其中第二種方法，相對比較簡單，推薦你們使用。