1. 背景
最近接到一個産品需求是給指定的 sftp 伺服器的指定目錄定時推送檔案資料。
因為項目組已有現成的元件可以輕松實作 sftp 伺服器檔案的快速上傳，本來是一件很容易的事情，但是問題出現在這個指定的 sftp 伺服器所指定的密碼帶有系統關鍵字和一些特殊字元，導緻現在的元件在解析過程中會失敗。
是以重新開發了下面的這套腳本來滿足這個特殊的需求。
2. 代碼實作
Python代碼
#test_upload.py
import os, sys
import yaml
from optparse import OptionParser
import paramiko
import traceback
opt_parser = OptionParser()
opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
opt_parser.add_option('--local_file', action='store', type='string', dest='local_file', help='file to be transferred')
def load_config_from_param_conf(key):
"""
:param key: 指定業務所使用的sftp服務的名稱，例如sftp.yaml檔案中的key: test_file_upload
:return: 從指定路徑拿到yaml檔案并讀取指定key，傳回例如sftp.yaml檔案中key為test_file_upload下的配置選項值
包含: host,port,user,password,destination
"""
config_file = f'{os.environ["TASK_MAIN"]}/test_conf/sftp.yaml' #擷取指定路徑下的yaml檔案
with open(config_file, 'r') as r: #打開yaml檔案内容
config = yaml.load(r) #轉換yaml資料為字典
return config['sftp']['upload'][key]
def upload(sftp_conf, local_file_path):
"""
:param sftp_conf: 擷取指定sftp_conf=test_file_upload下傳回的字典值，這裡的參數sftp_conf與load_config_from_param_conf函數裡的參數值一緻
:param local_file_path: 指定本地要上傳到sftp伺服器的檔案的絕對路徑
:return:
"""
sf = paramiko.Transport((sftp_conf['host'], sftp_conf['port']))
sf.connect(username=sftp_conf['user'], password=sftp_conf['password'])
sftp = paramiko.SFTPClient.from_transport(sf)
to_path = sftp_conf['destination']
sftp.put(local_file_path, to_path + os.sep + os.path.split(local_file_path)[-1], confirm=False)
sftp.close()
if __name__ == '__main__':
option = opt_parser.parse_args(sys.argv[1:])[0]
sftp_conf = load_config_from_param_conf(option.node)
try:
upload(sftp_conf, option.local_file)
except Exception as e:
print(traceback.format_exc())
raise Exception('upload {} file error.'.format(option.local_file))
複制
sftp配置檔案代碼
#sftp.yaml
sftp:
upload:
test_file_upload:
host: 10.12.34.6
port: 808
user: user_test
password: 8Z.Lx/2@UH
destination: /data/dump
複制
3. 代碼分析
(1). yaml 子產品
import yaml
複制
導入 yaml 子產品前可以使用以下指令進行子產品的安裝
python3 -m pip install PyYaml
複制
yaml 子產品在這裡的作用是讀取 sftp 配置檔案代碼，将指定key: test_file_upload 下的 key:value 的值轉換為字典。
例如：load_config_from_param_conf 函數中的傳回值就是使用 yaml 讀取到 sftp 配置檔案代碼後，傳回 key: test_file_upload 下配置選項值。
格式如下：
{ "host": "10.12.34.6",
"port": "808",
"user": "user_test",
"password": "8Z.Lx/2@UH",
"destination": "/data/dump"
}
複制
最後将傳回值傳給 upload 函數作為參數。
(2). OptionParser 子產品
from optparse import OptionParser
複制
按照 yaml 子產品的安裝方法，先安裝 optparse 子產品後，然後在檔案中從optparse 中導入 OptionParser 子產品
opt_parser = OptionParser()
opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
opt_parser.add_option('--local_file', action='store', type='string', dest='local_file', help='file to be uploaded')
複制
在這裡我使用了 OptionParser 這個類執行個體化了一個對象：opt_parser，通過對象來調用 add_option 方法添加了2個參數，分别是：node, local_file
1). 形參：--node，實參：node
所代表的業務含義是：指定要上傳的 sftp 的節點，具體參數值對應 sftp配置檔案代碼中的 test_file_upload
2). 形參：--local_file，實參：local_file
所代表的業務含義是：指定本地需要被上傳到 sftp 伺服器的具體檔案路徑
3). 調用指令
python3 test_upload.py --node test_file_upload --local_file /home/test/sftp_load/test_001.csv
複制
4). add_option()方法
add_option()參數說明：
action: 存儲方式，分别為:store,store_false,store_true
type: 類型
dest: 存儲的變量
default: 預設值
help: 幫助資訊
複制
參數：action的枚舉
store: 參數清單中帶有--node, 那麼就會将下一個元素即：test_file_upload 作為其 dest 實參 node 的值; 如果沒有--node,那麼對應的node的值就為 None;
store_true: 參數清單中有--local_file, 那麼其 dest 實參 local_file 的值就為 True; 否者就為 default 定義的預設值，這裡沒有給定 default 的預設值;
store_false: 參數清單中有--local_file, 那麼其 dest 實參 local_file 的值就為 False; 否者就為 default 定義的預設值，這裡沒有給定 default 的預設值;
參數：type
type是指定傳入參數的類型，這裡的參數類型為 string 類型。
參數：dest
dest是參數傳入後由哪個變量來存儲的，後面代碼對該參數的引用也是使用這裡定義的變量名來引用的。
參數：default
default 是與 action 的值結合使用的。
- 當action=store_true時，default=123時，如果有傳入形參--local_file，則實參local_file的值為：True
- 當action=store_true時，default=123時，如果沒有傳入形參--local_file，則實參local_file的值為：123
- 當action=store_false時，default=123時，如果有傳入形參--local_file，則實參local_file的值為：False
- 當action=store_false時，default=123時，如果沒有傳入形參--local_file，則實參local_file的值為：123
參數：help
help相當于幫助說明文檔，用于描述這個參數的含義。