天天看點
傳回

某小公司項目環境部署演變之路前言背景演變具體技術

前言

在環境部署問題上，我們經曆了3個階段：傳統安裝、鏡像恢複、自動發現注冊+指令下達。目前鏡像恢複後，啟動虛拟機，一旦能ping通我們公司位址，就會自動注冊這台機器（即使沒有其他外網通路權限、也未開放任何對外端口），我們也就有了這台機器的管理權限，可批量群控下發指令。（第二階段、第三階段均為我自主設計。）

背景

我們是一家産品+定制化需求公司，項目做好之後會直接部署到客戶伺服器上。而客戶很少選擇雲伺服器，因為他們有自己的機房，部署前會提供給我們1-2台虛拟機，然後整個環境部署問題就交給我們了。

演變

第一階段：傳統安裝

使用時間：？~2016年

  1. 需甲方提供windows或linux伺服器遠端連接配接方式（這裡各個甲方提供都不一樣，有堡壘機、vpn、直接定向開放端口、vpn+堡壘機等）非常複雜，隻能case by case
  2. 遠端到伺服器上
  3. 上傳資料庫、jdk、tomcat各類安裝包（受限帶寬因素，往往很耗時）
  4. 安裝安裝資料庫
  5. 安裝jdk、tomcat、nginx（linux環境下，使用寫好的sh腳本直接運作，依然比較耗時）
  6. 人工部署war包等 等

此方式缺點太多，往往需要3-5人天才能完成所有部署，但我們隻有一位運維人員，是以當項目沖突時，極為被動。而且因為各個軟體版本發生變動、甲方提供的虛拟機3個盤符、2個盤符，或者沒有D盤（雖然可以通過計算機管理更改驅動器顯示号，但可能導緻其他軟體無法運作）是以環境比較亂。

這種方式比較老，我也不介紹更多。當然，據我了解，目前還有一些小公司在沿用這種部署方式，是以在這裡勸采用這種方式的公司盡快完成轉型。

第二階段：鏡像恢複

使用時間：2016年~2017年

  1. 需甲方提供windows或linux伺服器遠端連接配接方式（這裡各個甲方提供都不一樣，有堡壘機、vpn、直接定向開放端口、vpn+堡壘機等）非常複雜，隻能case by case
  2. 使用vm鏡像恢複虛拟機并設定好ip（内含docker）
  3. 通過deploy子產品一鍵部署war包

此方式，我們将第一階段的2、3、4、5封裝成vm虛拟機鏡像、開發了deploy子產品、抽取項目無狀态。

這時我們對運維人員依賴大大減少，工作量大大減少至2-6小時。（這個階段起，我們公司沒有運維人員，進入DevOps時代。事實上，此階段初我們運維人員離職，使得我不得不加快設計）

第三階段：自動發現注冊+指令下達

使用時間：2017年~2018年

  1. 甲方使用我們vm鏡像恢複并設定好ip，保證能ping通我們公司位址
  2. 自動發現注冊+指令下達
  3. 通過deploy子產品一鍵部署war包

此階段，我們部署耗時在5-10分鐘，而且我們不再需要甲方提供遠端，我們還可以批量管理所有機器，不僅滿足了此時的需求，并為後面擴充做了鋪墊。

具體技術

這裡主要講二、三兩個階段

因為傳統方式缺點特别多，是以在我向上司介紹方案後，上司很感興趣，很快就安排我着手去幹。為了提高效率，期間選型多款工具或架構組成的方案，本文隻介紹最終選型的設計。

frp

frp是一款内網穿透軟體，可以使得沒有外網ip的機器暴露在外網裡，但本文利用它将一台内網機器端口暴露在另外一個内網中的特性。

安裝frp服務端

選擇一台内網機器比如172.0.0.2，需臨時保證這台伺服器走公網固定ip線路

wget --no-check-certificate https://raw.githubusercontent.com/clangcn/onekey-install-shell/master/frps/install-frps.sh -O ./install-frps.sh
chmod 700 ./install-frps.sh
./install-frps.sh install
複制代碼

全部參數都有預設值，直接回車就是輸入預設值：

Please input frps bind_port [1-65535](Default Server Port: 5443): #輸入frp提供服務的端口，用于伺服器端和用戶端通信，預設即可
Please input frps vhost_http_port [1-65535](Default vhost_http_port: 80): #輸入frp進行http穿透的http服務端口，建議不用預設
Please input frps vhost_https_port [1-65535](Default vhost_https_port: 443): #輸入frp進行https穿透的https服務端口，建議不用預設
Please input frps dashboard_port [1-65535](Default dashboard_port: 6443):#輸入frp的控制台服務端口，用于檢視frp工作狀态，預設即可
Please input dashboard_user (Default: admin):#登入控制台的使用者名，預設即可
Please input dashboard_pwd (Default: kpkpM7VZ):#登入控制台的密碼，如果記不住預設的建議修改
Please input privilege_token (Default: 9m2UAOWa6hx5Eise):#輸入frp伺服器和用戶端通信的密碼，預設是随機生成的，預設即可
Please input frps max_pool_count [1-200](Default max_pool_count: 50):#設定每個代理可以建立的連接配接池上限，預設50
##### Please select log_level #####
1: info
2: warn
3: error
4: debug
#####################################################
Enter your choice (1, 2, 3, 4 or exit. default [1]): 預設即可
Please input frps log_max_days [1-30](Default log_max_days: 3 day):
##### Please select log_file #####
1: enable
2: disable
#####################################################
Enter your choice (1, 2 or exit. default [1]):預設即可
複制代碼

至此frp服務端就搭建好了

用戶端

這裡我們以linux為例

打開http://diannaobos.iok.la:81/frp/frp-v0.14.0/

下載下傳frp_0.14.0_linux_amd64.tar.gz檔案，隻保留frpc開頭的檔案（frp用戶端）

以frp檔案夾形式解壓到linux的home目錄

編寫reg.sh腳本

reg.sh也放在linux的home目錄

UUID=$(cat /sys/class/dmi/id/product_uuid)
wget -O frpc.ini http://114.114.114.114/frp.php?file=$UUID;
a=`du -s frpc.ini | awk '{print $1}'`  
if [ $a -lt 1 ]  
then  
       echo "none"  
else  
        echo "action"  
	pkill frpc
	sleep 2s
	rm -rf ~/frp/frpc.ini
	cp frpc.ini ~/frp/frpc.ini
	~/frp/./frp.sh
fi
複制代碼

其中UUID為伺服器唯一辨別，即使vm虛拟機鏡像相同，但uuid不會相同。

其中114.114.114.114為公司對外注冊中心

編寫crontab 

crontab -e
*/5  * * * * ~/reg.sh
複制代碼

每隔5分鐘執行一次，意思是每隔5分鐘去注冊一次或者說是拉取一次變更請求，當服務端配置不改變時不會重新開機服務。

frp開機自啟

linux

chmod +x ~/frp/frp.sh
vi /etc/rc.d/rc.local
#檔案底部追加
bash ~/frp/frp.sh

chmod +x  /etc/rc.d/rc.local
#重新開機即可
複制代碼

frp.php簡易版内容如下 

<?php  
$filename=$_GET['file'].'.ini';
$filename='frp/'.$filename;

if(!file_exists($filename)){
	file_put_contents($filename,"");
	file_put_contents($filename.'.update',$_SERVER['REMOTE_ADDR']);
}else{
	if (!file_exists($filename.'.update')){
		$str = file_get_contents($filename);
		echo $str;
		file_put_contents($filename.'.update',$_SERVER['REMOTE_ADDR']);
	}
}
?>
複制代碼

當有機器注冊時，frp檔案夾下會有id對應的檔案名，我們隻需要在.ini中寫入配置，再删除.update檔案即可，待服務端收到frp新配置後，會自動再建立一個.update檔案，并且将ip寫入.update檔案。

.ini例子 

[common]
server_addr = 114.114.114.114
server_port = 5443
privilege_token =密鑰

[webserver]
type = tcp
local_ip = 127.0.0.1
local_port = 22
use_encryption = false
use_compression = false
remote_port = 7001


[a-web]
type = http
local_ip = 127.0.0.1
local_port = 80
use_encryption = false
use_compression = true
custom_domains = a.a.com
複制代碼

common為公共部分

webserver是将本地22端口使用隧道技術穿透到公司的172.0.0.2機器裡

内網機器遠端隻需通路172.0.0.2的7001端口

a-web是本機80端口在公司内網中的直接通路url：a.a.com

通過frp管理背景，可以實時檢視到各個機器連接配接情況。

至此，我們可以遠端機器、通路該機器80端口，理論上可以通路該機器所有端口，如新增端口穿透，隻需要去修改.ini，這是一簡易版的介紹。

再接入ansible即可遠端群控。

ansible

ansible 是一款自動化運維工具，具體使用可參考我另外一篇博文《自動化運維工具ansible的實踐》

外網映射

假設公司外網為114.114.114.114 需将114.114.114.114的5443端口映射到172.0.0.2的5443上，其他端口均不要映射，

docker

前兩年docker很火，DevOps很火，是以我們選擇了docker，以便我們docker鏡像快速部署我們系統。可參考我另外一篇博文 《我是如何重構整個研發項目，促進自動化運維DevOps的落地？》

Portainer

可參考我的另外一篇博文《Docker的web端管理平台對比（DockerUI 、Shipyard、Portainer、Daocloud）》

deploy

deploy為我們自研，底層原理可參考《java web項目war包自動更新部署方案》

總結

本文主要講利用frp内網穿透、建構隧道的技術實作對無外網、無端口機器的運維部署；利用ansible工具實作群控；利用docker進行快速部署；通過自研deploy進行版本控制等。

該套方案極大的節省了我們的運維成本，使我們這樣的小公司跑步進入了一個無運維人員、DevOps時代。

如果你有類似場景，希望本文對你有所幫助。

運維 作業系統 devops
上一篇: Python列印函數用時的兩種方法--類的構造析構函數與函數裝飾器2017.02.20更新
下一篇: mule實作雙向光閘

繼續閱讀