如何提高Pentaho Kettle的MySQL寫入速度

版權聲明：本文為部落客原創文章，未經部落客允許不得轉載。歡迎通路我的部落格 https://blog.csdn.net/smooth00/article/details/69389424

使用Kettle的初期，一般隻是關注Tranaction如何實作功能，對連接配接參數可以說基本不關注，其實這裡面隐含一些性能問題，如果不熟悉這些性能參數，要想提高性能還真的不容易。

參考1：http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html

參考2：http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

通過在要插入mysql的資料庫連接配接參數中配置以下參數，就可以大量提高mysql資料批量插入的速度：

1、這是因為在資料庫連接配接參數中配置了以下兩個MySQL特定選項：

useServerPrepStmts = false

rewriteBatchedStatements = true

将會使大批量單條插入語句：

INSERT INTO t (c1,c2) VALUES ('One',1);

INSERT INTO t (c1,c2) VALUES ('Two',2);

INSERT INTO t (c1,c2) VALUES ('Three',3);

改寫成真正的批量插入語句：

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);

2、通過設定MySQL如下連接配接參數：

useCompression=true

可以實作壓縮傳輸，優化用戶端和MySQL伺服器之間的通信性能。