天天看點

為什麼模型快速疊代不一定有效

作者:人人都是産品經理
在快速變化的金融科技領域,風控模型的疊代似乎成了一種常态。然而,這篇文章提出了一個颠覆性的觀點:模型快速疊代可能并不像我們想象的那麼有效。
為什麼模型快速疊代不一定有效

嚴格一點,我想說的是,模型快速疊代基本是無效的。

适用場景是風控模型,什麼是快速我不能給你明确定義,但是按周按月一定在裡頭。

我來論證下這個觀點,目的呢,一個是讓你别去瞎搞,另一個是讓你别去信别人的瞎搞。

我對風控的寫作一直是哲學藝術層面的,技術層面的我不能寫,也不想寫。你不用太相信資料,因為資料有适用性,不一定是定論,但你可以相信我。

那就先來哲學層面的吧。‍‍

論據一:信用是穩定的,那麼信用模型也應該是穩定的。‍‍‍‍

信用是穩定的,這句話是可以直接在前面用 ∵ 這個數學符号的,∴ 才有所謂的無信不立,那信用模型應該是很穩定的。但是風險模型卻要頻繁疊代,那隻有一個解釋,那就是風險模型的模組化目标不等同于信用,而是信用的一個表示,它具備一定的不穩定性。

但總歸這個事情是比較穩定的,是以風控模型沒必要過于頻繁疊代,像搜廣推那樣。

你得有個度。至于這個度具體是什麼,當然也沒有定論。我隻能說,當你感到不對勁的時候,很可能就真的沒有用,如果你對自己的能力有信心的話。

其實上面有幾個字很重要:模組化目标不等同于信用,而是信用的一個表示。它解釋了風險表現的不确定性,因為當A是B的一種表示時,就意味着A是執行個體而不是B本身,還可以有别的表示。風險呈現了什麼樣的形态,由使用者、平台、市場環境等多方面确定。

論據二:動量政策不一定适用于信貸風控領域。‍‍‍‍‍‍‍

固定政策下,一萬個使用者通過了,用前八千樣本和後八千樣本模組化有差別嗎?沒有差別,因為這裡不受政策影響。

當然你硬要說的話,還有一個因素是時間。這個當然是可忽略不計的,行吧,我們也别忽略不計。

時間,可能會使得這兩者模組化有差别,但卻不一定是哪個好哪個壞。用後八千樣本模組化更好的可能性稍微大一點點,這是認為用最近的樣本模組化用于未來的預測是更好的。這就是動量政策,其思想是趨勢總是傾向于繼續。神經網絡中的動量優化算法核心思想也是如此。

為什麼模型快速疊代不一定有效

如上圖,斜線和波動線,動量政策效果會差别很大。實際上,除非把波動線切分地足夠細,不然,它是不适用的。

信貸市場環境是斜線還是波動線呢?‍‍‍‍‍‍

動量政策還存在一個更大的問題是,風險預測裡有一個很長的表現期,例如mob6甚至mob12,也就是說你的樣本離現在已經隔了半年甚至一年了。因為這個gap的存在,動量還行不行實際上很不好說。gap一長也可能是周期你說對不對。

論據三:模型衰減是長期的,突變才是短期的,模型疊代解決的是衰減,不是突變。

模型當然是會衰減的,但是衰減是一個長期的詞語,短期變化不是衰減而是突變。

長期變化的是,客群不斷在遷移,風險關系也在不斷變化,這是衰減。

短期變化的是,模型上線後效果突然下降,這是因為模型被使用了,最低分段沒了,這是突變。‍‍‍‍‍

為什麼模型快速疊代不一定有效

哪個是有效的?不用說了吧。

……

好了,該說說為什麼大家會以為模型快速疊代有效了。‍‍‍‍‍‍

在大家的評估體系中,模型疊代是有用的,因為驗證集的ks一直有提升。但是這隻是你的評估體系,在真實應用裡,它有用嗎?‍

沒用。反着想一想吧,v2如果有用,那v3呢,v4呢,你會發現你什麼也不用做,你一直在做優化,并且每次都提升很多,請問為什麼業務沒有更好?

你說你是衰減,你快速疊代實作了前面那個衰減圖示的提升。‍‍

一個月有什麼衰減?如果有,那長期分期産品全是錯的。你說是也不是?

模型疊代是不是真實有效,我之前寫過,寫得非常好,就是這篇《關于那個新老政策模型孰好孰劣的問題》。比較兩版模型效果,應該看的是通過率高的客群,是優質客群,而往往大家看的都是劣質客群,因為這些客群效果差,是痛點客群,而隻有這些客群效果提升顯著。

朋友們,如果你什麼都沒有做,快速疊代是沒有意義的。

那為什麼很多團隊一直在做疊代呢?很簡單啊,這些人總歸要找點事做,要找點故事講。隻是,一個系統,内部再怎麼折騰,并不增加這個系統外的知識和價值。

《慶餘年2》春闱時侯季常說他們來考院搬磚打工不僅是為了混口飯吃,更是為了露臉,結果郭尚書說所有來的人都不會被錄用,因為這些人投機取巧人品有問題。你看,有時候表現可能會起到相反的效果。

如果誰說他們團隊模型疊代特别多、特别快并引以為傲,你聽聽就得了,甚至你可以給對方打上一個不太靠譜的标簽。

那怎麼樣讓它穩定一點呢?這樣就不用瞎折騰了。那當然是優質使用者經營,識别準風險,識别準需求,評估好收入,評估好負債,别亂來。

我怎麼開始站在監管角度說話了。有點意思哈哈哈哈哈。

本文由人人都是産品經理作者【雷帥】,微信公衆号:【雷帥快與慢】,原創/授權 釋出于人人都是産品經理,未經許可,禁止轉載。

題圖來自Unsplash,基于 CC0 協定。

繼續閱讀