Elasticsearch源碼解析：環境搭建

時間  2020-11-22
標籤 java node git github web bootstrap 瀏覽器 微信 jvm socket 欄目 日誌分析 简体版
原文   原文鏈接

在以前學習Redis的過程當中，我就是一邊經過文檔/視頻學習，一邊閱讀源碼。我發現兩種方法能夠相輔相成，互相補充。閱讀文檔能夠幫助咱們快速瞭解某個功能，閱讀源碼有助於咱們更深刻的理解這一功能的實現及思想。java

所以，在學習 Elasticsearch 的時候我也準備採用這樣的模式。因此，從今天開始，我會按期更新學習 Elasticsearch 源碼的收穫。在開始學習以前，須要先把環境準備好。因此今天就先分享一下準備環境的過程。node

軟件環境

Intellij Idea:2020.1版本git

JDK 12github

Gradle 5.5web

下載源碼

你能夠在 Github 中下載 release 版本或指定 tag 的源碼，地址以下。bootstrap

https://github.com/elastic/elasticsearch/releases瀏覽器

下載好之後解壓到指定目錄/微信

tar -xzvf elasticsearch-7.3.1.tar.gz

也能夠直接在命令行經過 git 下載源碼jvm

git clone git@github.com:elastic/elasticsearch.git

而後能夠切換到你想要的版本socket

git checkout v7.3.1

導入IntelliJ IDEA

下載好源碼之後，咱們來將項目導入 IDEA，首先，進入到項目的根目錄，執行命令

./gradlew idea

這一步是生成 IntelliJ 的項目文件，須要下載一些依賴包，下載的不順利的同窗能夠選擇將 gradle 源切換成國內的源。

切換 gradle 源

進入目錄

cd ~/.gradle

新建一個名爲 init.gradle 的目錄，內容以下

allprojects {
    repositories {
        def ALIYUN_REPOSITORY_URL = 'https://maven.aliyun.com/repository/public'
        all { ArtifactRepository repo ->
            if(repo instanceof MavenArtifactRepository){
                def url = repo.url.toString()
                if (url.startsWith('https://repo1.maven.org/maven2')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $ALIYUN_REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven { url ALIYUN_REPOSITORY_URL }
    }
}

文件生成好以後，會有以下提示

Build sucess

如今咱們開始往 idea 中導入項目，File -> New Project From Existing Sources，選擇你的代碼根目錄，而後點擊open，以後在Import project from external model -> Gradle，到 idea 中，它還會下載一些包。下載完之後，咱們就算是導入完成了。

本地運行Elasticsearch

將項目導入到 idea 中以後，咱們就能夠嘗試運行項目了，這一步看似簡單，倒是我花費時間最多的一步。首先咱們找到 server 包下的org/elasticsearch/bootstrap/Elasticsearch.java，運行其中的main函數。

若是你運行失敗，不要驚慌，咱們須要加一些配置。

點開 Run/Debug Configrations，如圖，咱們須要在 VM options 中加一些配置。還須要勾選上 Include dependencies with "Provided" scope

run config

VM options 以下

-Des.path.home=/Users/moka/eshome
-Des.path.conf=/Users/moka/eshome/config
-Xms1g
-Xmx1g
-Dlog4j2.disable.jmx=true
-Djava.security.policy=/Users/moka/eshome/config/elasticsearch.policy

下面對這些參數進行一下說明

-Des.path.home：指定eshome所在路徑，elasticsearch 會須要從這個路徑下加載一些包，所以，咱們須要指定一個目錄，而後把必要的模塊和配置文件複製到該目錄下，你能夠選擇本身編譯源碼，或者是從官網下載對應的二進制版本，

tar -zxvf elasticsearch-7.3.1-darwin-x86_64.tar.gz
cd elasticsearch-7.3.1
cp -r config modules plugins /Users/moka/eshome

-Des.path.conf：指定配置文件所在的路徑名，後續調整節點配置時，修改其下的配置文件

-Xms1g 和 -Xmx1g 設置 JVM 堆的大小

-Dlog4j2.disable.jmx=true：這個是jvm.options文件中的默認配置，不加的話會報「access denied」等錯誤。

-Djava.security.policy：這個也是權限問題，配置policy文件路徑，內容以下

grant{
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
};

按照這些配置好之後，發現仍是會報錯

java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
    at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:494) ~[main/:?]
    at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:422) ~[main/:?]
    at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:146) ~[main/:?]
    at org.elasticsearch.node.Node.<init>(Node.java:303) ~[main/:?]
    at org.elasticsearch.node.Node.<init>(Node.java:246) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
    at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
    at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
    at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
    ... 15 more

這一步應該是 IDEA 的報錯，網上有同窗說是勾選Include dependencies with "Provided" scope，我試了一下沒什麼效果。而後把 server 包下的 build.gradle 文件修改一下解決了問題。

找到

compileOnly project(':libs:elasticsearch-plugin-classloader')

修改成

compile project(':libs:elasticsearch-plugin-classloader')

改完以後再次運行，會有一個空指針報錯，報錯位置是

server/src/main/java/org/elasticsearch/node/InternalSettingsPreparer.java:119

npe

這裏是由於我沒有設置 node.name，在 elasticsearch.yml 文件中設置一下就能夠了。

如今再點擊 Run/Debug ，就能夠成功運行了。

run success

遠程調試

本地調試的另外一種方法就是遠程 debug。

首先，咱們進入到下載的一個穩定版本的 elasticsearch 目錄，在bin/elasticsearch文件中加上一行代碼

-agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \

加上以後的代碼以下：

if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

而後咱們執行./elasticsearch，會出現以下信息，說明 Elasticsearch 在監聽8888端口。

listening

如今咱們到 IDEA 中添加一個 Remote Run

Remote Run

接着進行端口配置。

port

而後就能夠選擇這個 Remote 來進行 Debug 了。當控制檯出現

Connected to the target VM, address: 'localhost:8888', transport: 'socket'

說明鏈接成功了。

咱們來實驗一下，在這個位置打一個斷點

server/src/main/java/org/elasticsearch/rest/action/cat/RestHealthAction.java:54

而後在瀏覽器地址欄中輸入

http://localhost:9200/_cat/health

若是進入斷點，說明咱們已經能夠成功 Debug 了。

總結

工欲善其事，必先利其器。在閱讀源碼以前，咱們首先須要搭建好環境，本文咱們介紹了兩種方法，一種是直接在 IDEA 中啓動 Elasticsearch ，另外一種是 Debug 遠程的 Elasticsearch。其中第二種方法，相對比較簡單，推薦你們使用。


本文分享自微信公衆號 - 代碼潔癖患者（Jackeyzhe2018）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程