作者/張北（進階資料分析師）
文章來源/厚立醫視野
目前醫院在病床使用上存在較大提升空間，同一病區中有的醫療小組收納患者較多卻床位資源缺乏，有的醫療小組空床較多，造成病床資源浪費。
圖源：厚立醫視野
上圖繪制了某醫院病區主診醫生接收患者的在院量趨勢，可以看到，患者在院量波動較大，即某些時間段病區病床閑置較多，某些時間段可能病床不足。
如何有效提升病床使用效率呢？
病床的配置就是資源的配置設定，哪裡不足配置設定哪裡。然而每天患者的入出院是動态的，受多種因素影響（例如：季節、節假日），如何才能精确地配置病床？這裡引入了強化學習算法。
1
強化學習算法介紹
強化學習RL算法是一種模拟生活趨利避害行為的一種學習方式，能夠在無指導的情況下自主學習并能夠根據目前的環境實時地調整最優政策，在解決序列決策問題上有很大的優勢。
智能體首先觀察環境獲得相應的狀态資訊S，然後根據政策函數選擇并執行目前狀态對應的動作A，該動作會改變環境目前的狀态，并得到一個對動作好壞程度做出評價的獎賞R。智能體可以利用得到的獎賞對以後的行為進行優化，通過與環境不斷的互動學習可以逐漸獲得最優政策，在整個過程中，智能體的目标是最大化累計獎賞，公式如下所示。
圖源：厚立醫視野
說明白一點，強化學習的過程就是訓練智能體的過程。
舉個例子——
小孩做選擇題，這裡可以把智能體看成小孩，做題的過程看做環境，選擇答案就是動作（A,B,C,D），小孩選擇錯了要受到老師打（懲罰），做對了老師就獎勵小孩，小孩為了獲得更多的獎勵，需要不斷地嘗試（試錯），經過大量地做題，小孩越來越聰明（每次都可以選擇正确），那麼小孩就成功了（智能體訓練完成）。
2
基于強化學習的病床資源優化
病床數量決定接納患者的數量，病床不足會造成患者無床可住，病床過剩又會導緻資源浪費，是以病床的合理配置是關鍵。病床配置受多種因素影響，例如每天入出院患者量、節假日、病情、住院時長、醫生調崗等，需要在複雜的醫療環境中決策出合理的病床配置。
簡單的資源優化算法很難實作資源合理配置，是以提出強化學習算法優化病區病床資源。強化學習通過複雜的狀态空間模拟真實的醫療場景，智能體依據目前狀态作出合理的病床配置設定動作，以最大化獎勵值實作病床的合理配置。
1.模型建立及訓練
①建立環境
State = [n0, n1, n2, ... , nm, b0, b1, b2, ... , bm, i0, i1, i2, ... , im, o0, o1, o2, ... ,om, e0, e1, ... , em，L，S，W，H，F，h，d].
其中m表示醫療小組數量，n 表示在院數量，b表示病床量，i 表示當日入院量，o表示當日出院量，e表示住院天數超标患者量，L表示剩餘病床，S表示共享病床，W表示星期，H表示是否節假日，F表示季節，h表示調崗醫生，d表示在崗天數。
Action = {...,-2,-1,0,1,2,...}，智能體動作加床或者減床。
Reward = A*新患者的費用-B*病床成本-C*沒住院的患者損失-D*超标出院損失，獎勵函數根據實際需求設定。
②搭模組化型：DQL模型
③模型訓練：根據資料量設定合适參數
④模型質控：接收率（acc） = 每天住院數量/每天入院數量
病床使用率 bur=每天在院數量/每天病床量
⑤模型預測：得到病床配置區間和共享病床量
基于強化學習環境的搭建，在病床資源優化中考慮了疾病的特殊性（例如季節性疾病乙型腦炎、腦出血）和醫院自身情況（例如醫生調崗），同時，考慮到患者的特征、住院時間、住院天數。通過強化學習模拟住院場景，智能體根據資料資訊合理的選擇加減病床，做到病床不浪費、不占床的目的。
2.病床資源配置結果展示
基于某病區病案首頁資料，采用強化學習算法預測主診醫生病床區間、共享病床量，并通過KPI值計算基礎病床量，結果如下表所示：
圖源:厚立醫視野
優化前後病床使用率對比
圖源：厚立醫視野
上表可以看出經過強化學習優化各主診醫生病床使用率有了較大提升，避免了病床資源浪費。
3
總結
本篇文章引出醫療病床資源急需合理優化的思考和實際病床配置設定中存在的難題，提出強化學習算法來解決複雜的病床配置。強化學習模拟患者入出院過程，通過最大化獎勵值獲得各醫療小組的病床預測區間、共享床位量，有效地提升了病床使用率。
醫院精細化管理過程中，強化學習模型不僅可以解決病床配置問題，還可以應用到更多的資源優化管理，甚至醫療效率、醫療效益等優化管理問題。醫療大資料分析資訊化工具中引入基于神經網絡算法的疾病風險模組化，在醫療控費中取得了顯著效果，強化學習的加入為醫療決策、資源優化提供了算法支撐，提高了資訊化工具的深度。相信未來強化學習可以應用到更多的醫療場景，為醫療營運管理提供有力的決策支援。
本文作者
圖源：厚立醫視野