Elasticsearch索引遷移的四種方式

連結

本文主要講解Elasticsearch下實作索引遷移的幾種方式。

#0、引言

将ES中的索引拷貝到其他ES中，或者将ES整體遷移，研究發現有兩個開源的工具：elaticserch-dump和 Elasticsearch-Exporter。

除此之外，logstash在索引同步、遷移方面的作用也很大。

兩工具及logstash實作遷移的介紹、安裝、使用、驗證效果等展示如下：

#1、elasticsearch-dump遷移

##1.1 elasticsearch-dump簡介

Tools for moving and saving indicies. 從來移動和儲存索引的工具。

https://github.com/taskrabbit/elasticsearch-dump

##1.2 elasticsearch-dump安裝

1) yum install epel-release

2) yum install nodejs

3) yum install npm

4) npm install elasticdump

5) cd node_modules/elasticdump/bin  後便可以執行操作。

1

2

3

4

5

安裝後如下所示：

[root@N3 elasticdump]# pwd

/home/tp/node_modules/elasticdump

[root@N3 elasticdump]# ls -al

total 388

drwxr-xr-x 2 root root 4096 Mar 21 15:46 bin

-rw-r--r-- 1 root root 174 Mar 18 2016 Dockerfile

-rw-r--r-- 1 root root 299251 Mar 15 2014 elasticdump.jpg

-rw-r--r-- 1 root root 6172 Feb 2 23:47 elasticdump.js

drwxr-xr-x 2 root root 4096 Jul 13 2016 .github

drwxr-xr-x 3 root root 4096 Mar 21 15:46 lib

-rw-r--r-- 1 root root 11356 May 22 2014 LICENSE.txt

drwxr-xr-x 10 root root 4096 Mar 21 15:46 node_modules

-rw-r--r-- 1 root root 44 May 22 2014 .npmignore

-rw-r--r-- 1 root root 15135 Mar 21 15:46 package.json

-rw-r--r-- 1 root root 13335 Dec 14 06:20 README.md

drwxr-xr-x 3 root root 4096 Mar 21 15:46 test

-rw-r--r-- 1 root root 1150 Dec 2 07:54 .travis.yml

6

7

8

9

10

11

12

13

14

15

16

17

##1.3 elasticsearch-dump 使用

'#拷貝analyzer如分詞

elasticdump \

 --input=http://production.es.com:9200/my_index \

 --output=http://staging.es.com:9200/my_index \

 --type=analyzer

'#拷貝映射

 --type=mapping

'#拷貝資料

 --type=data

##1.4 elasticsearch-dump實戰小結

源ES版本1.6.0，目标ES版本：2.3.4，驗證發現：analyzer和mapping可以拷貝成功。

但是，data拷貝不成功。目标機器ES中不能顯示出資料。根本原因沒有排查到。

#2、 Elasticsearch-Exporter遷移

##2.1 Elasticsearch-Exporter簡介

https://github.com/mallocator/Elasticsearch-Exporter

A small script to export data from one Elasticsearch cluster into another. 将ES中的資料向其他導出的簡單腳本實作。

##2.2、Elasticsearch-Exporter安裝

http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/

centos用 yum 方式安裝 nodejs 和 npm

npm install nomnom

npm install colors

npm install elasticsearch-exporter --production

安裝後：

[root@N3 elasticsearch-exporter]# ll -ls

total 80

4 drwxr-xr-x 2 root root 4096 Mar 21 22:01 drivers

12 -rw-r--r-- 1 root root 11523 Sep 19 2014 exporter.js

12 -rw-r--r-- 1 root root 11324 Mar 16 2014 LICENSE

4 drwxr-xr-x 4 root root 4096 Mar 21 22:01 node_modules

12 -rw-r--r-- 1 root root 11259 Sep 19 2014 options.js

16 -rw-r--r-- 1 root root 14500 Mar 21 22:01 package.json

16 -rw-r--r-- 1 root root 12645 Sep 19 2014 README.md

4 drwxr-xr-x 2 root root 4096 Apr 25 2014 tools

##2.3、 Elasticsearch-Exporter使用

node exporter.js -a <source hostname> -b <target hostname> -p <s port> -q <t port> -i <s index> -j <t index>

即可實作跨機器索引的遷移。

更多的參數可以檢視node exporter.js --help

[root@N3 elasticsearch-exporter]# node exporter.js --help

Elasticsearch Exporter - Version 1.4.0

Usage: exporter [options]

Options:

 -a <hostname>, --sourceHost <hostname>  遷移源機器位址

 -b <hostname>, --targetHost <hostname>  遷移目的機器位址（如果沒有設定索引，目的位址需要有别于源位址）

 -p <port>, --sourcePort <port>   源機器的ES的端口，9200（一般）

 -q <port>, --targetPort <port>    目标機器的ES的端口，9200（一般）

 -i <index>, --sourceIndex <index> 源ES待導出的索引，如果該值不設定，整個的資料庫都會導出。

 -j <index>, --targetIndex <index>目标機器ES的索引，如果源索引設定，該值必須填寫。

##2.4、 Elasticsearch-Exporter 索引遷移實戰（驗證ok）

[root@No3 elasticsearch-exporter]# node exporter.js -a 10.221.110.31-b 100.0.1.130 -p 9200 -q 9200 -i awppx -j awppx

同步最後會顯示：

Number of calls: 169

Fetched Entries: 8064 documents

Processed Entries: 8064 documents

Source DB Size: 8064 documents

代表同步成功。

源ES版本1.6.0，目标ES版本：2.3.4，

驗證發現：可以使用 Elasticsearch-Exporter跨機器、跨ES版本同步索引成功。

#3、logstash定向索引遷移

[root@N3 bin]# cat ./logstash_output_mongo/logstash_es22es.conf

input {

 elasticsearch {

 hosts => [ "100.200.10.54:9200" ]

 index => "doc"

 size => 1000

 scroll => "5m"

 docinfo => true

 scan => true

 }

}

filter {

json {

 source => "message"

 remove_field => ["message"]

 mutate {

 # rename field from 'name' to 'browser_name'

 rename => { "_id" => "wid" }

output {

 hosts => [ "100.20.32.45:9200" ]

 document_type => "docxinfo"

 index => "docx"

 stdout {

 codec => "dots"

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

4、elasticsearch-migration工具

https://github.com/medcl/elasticsearch-migration

支援多個版本間的資料遷移，使用scroll+bulk

1.版本支援1.x,2.x.5.0 (0.x未測試)

2.支援http basic auth 認證的es叢集

3.支援導入覆寫索引名稱（目前隻支援單個索引導入的情況下可指定）

4.支援index setting和mapping的同步（相關es大版本，2.x和5.0之間不支援）

5.支援dump到本地檔案

6.支援從dump檔案加載導入到指定索引

讨論參考：

https://elasticsearch.cn/article/78

5、小結

對比發現， Elasticsearch-Exporter在索引遷移方面相對更好用。（待深入研究補充）

而logstash定向索引用于輔助解決 Elasticsearch-Exporter不同版本遷移有Bug的情形。

參考：

[1]http://blog.csdn.net/u014587343/article/details/50541494

[2]http://stackoverflow.com/questions/26547560/how-to-move-elasticsearch-data-from-one-server-to-another