天天看點

使用embulk從Oracle抽取資料到trafodion

轉自:http://blog.csdn.net/post_yuan/article/details/77856320

使用者也可以開發自己的plugins并上傳,如EsgynDB就基于trafodion自己開發一款基于trafodion的upsert using load實作的批量加載插件,如下圖,

使用embulk從Oracle抽取資料到trafodion

本文在此利用上述的trafodion output插件及oracle input插件通過執行個體描述如何使用embulk實作oracle到trafodion的資料加載。 

1 下載下傳安裝Embulk

<code>wget https:</code><code>//dl</code><code>.embulk.org</code><code>/embulk-latest</code><code>.jarmkdir ~/.embulk</code><code>/bin</code>

<code>mv</code> <code>embulk-latest.jar ~/.embulk</code><code>/bin/embulk</code>

<code>chmod</code> <code>+x ~/.embulk</code><code>/bin/embulk</code>

<code>echo</code> <code>'export PATH="$HOME/.embulk/bin:$PATH"'</code> <code>&gt;&gt; ~/.bashrc</code>

<code>source</code> <code>~/.bashrc123456</code>

2 驗證Embulk下載下傳安裝成功

<code>[root@n12 ~]</code><code># embulk gem list</code>

<code>2017-09-05 20:19:51.184 +0800: Embulk v0.8.31</code>

<code>*** LOCAL GEMS ***</code>

<code>did_you_mean (default: 1.0.1)</code>

<code>jar-dependencies (default: 0.3.5)</code>

<code>jruby-openssl (0.9.17 java)</code>

<code>json (1.8.3 java)</code>

<code>minitest (default: 5.4.1)</code>

<code>net-telnet (default: 0.1.1)</code>

<code>power_assert (default: 0.2.3)</code>

<code>psych (2.0.17 java)</code>

<code>racc (1.4.14 java)</code>

<code>rake (default: 10.4.2)</code>

<code>rdoc (default: 4.2.0)</code>

<code>test</code><code>-unit (default: 3.1.1)</code>

3 安裝oracle input插件及trafodion output插件

4 驗證以上插件安裝成功

5 準備oracle jar包,用于讀取oracle資料庫

6 編輯YAML檔案oracle_to_trafodion.yml 

7 建立Oracle測試表并插入測試資料

8 建立Trafodion目标表

9 運作Embulk任務

10 檢查Embulk任務執行成功

至此,使用Embulk從Oracle抽取資料到Trafodion示範完畢!