天天看點

DataWorks百問百答24:怎麼處理同步檔案名加字尾問題?

OSS/FTP/SFTP/HDFS同步後檔案名加字尾的原因:

資料內建同步資料到OSS/FTP/SFTP/HDFS時将并行多線程寫入,由于對應檔案系統限制,隻能生成多個不重名檔案才可以保證同步任務的并發運作,是以在每個檔案後面加上一串随機字元串防止檔案名沖突。

解決方法

目前隻有OSS插件支援并發寫入單個檔案并且不會在檔案後面加字尾,_FTP/SFTP/HDFS插件不支援_

OSS插件操作方法

在[腳本模式]增加如下配置:"writeSingleObject": true
DataWorks百問百答24:怎麼處理同步檔案名加字尾問題?
注意:如果您自定義資源組上面設定上面的參數不生效是因為您datax版本比較老建議更新版本。

DataWorks百問百答曆史記錄

請點選這裡檢視>>

更多DataWorks技術和産品資訊,歡迎加入

【DataWorks釘釘交流群】

繼續閱讀