天天看点

为什么模型快速迭代不一定有效

作者:人人都是产品经理
在快速变化的金融科技领域,风控模型的迭代似乎成了一种常态。然而,这篇文章提出了一个颠覆性的观点:模型快速迭代可能并不像我们想象的那么有效。
为什么模型快速迭代不一定有效

严格一点,我想说的是,模型快速迭代基本是无效的。

适用场景是风控模型,什么是快速我不能给你明确定义,但是按周按月一定在里头。

我来论证下这个观点,目的呢,一个是让你别去瞎搞,另一个是让你别去信别人的瞎搞。

我对风控的写作一直是哲学艺术层面的,技术层面的我不能写,也不想写。你不用太相信数据,因为数据有适用性,不一定是定论,但你可以相信我。

那就先来哲学层面的吧。‍‍

论据一:信用是稳定的,那么信用模型也应该是稳定的。‍‍‍‍

信用是稳定的,这句话是可以直接在前面用 ∵ 这个数学符号的,∴ 才有所谓的无信不立,那信用模型应该是很稳定的。但是风险模型却要频繁迭代,那只有一个解释,那就是风险模型的建模目标不等同于信用,而是信用的一个表示,它具备一定的不稳定性。

但总归这个事情是比较稳定的,所以风控模型没必要过于频繁迭代,像搜广推那样。

你得有个度。至于这个度具体是什么,当然也没有定论。我只能说,当你感到不对劲的时候,很可能就真的没有用,如果你对自己的能力有信心的话。

其实上面有几个字很重要:建模目标不等同于信用,而是信用的一个表示。它解释了风险表现的不确定性,因为当A是B的一种表示时,就意味着A是实例而不是B本身,还可以有别的表示。风险呈现了什么样的形态,由用户、平台、市场环境等多方面确定。

论据二:动量策略不一定适用于信贷风控领域。‍‍‍‍‍‍‍

固定策略下,一万个用户通过了,用前八千样本和后八千样本建模有区别吗?没有区别,因为这里不受策略影响。

当然你硬要说的话,还有一个因素是时间。这个当然是可忽略不计的,行吧,我们也别忽略不计。

时间,可能会使得这两者建模有差别,但却不一定是哪个好哪个坏。用后八千样本建模更好的可能性稍微大一点点,这是认为用最近的样本建模用于未来的预测是更好的。这就是动量策略,其思想是趋势总是倾向于继续。神经网络中的动量优化算法核心思想也是如此。

为什么模型快速迭代不一定有效

如上图,斜线和波动线,动量策略效果会差别很大。实际上,除非把波动线切分地足够细,不然,它是不适用的。

信贷市场环境是斜线还是波动线呢?‍‍‍‍‍‍

动量策略还存在一个更大的问题是,风险预测里有一个很长的表现期,例如mob6甚至mob12,也就是说你的样本离现在已经隔了半年甚至一年了。因为这个gap的存在,动量还行不行实际上很不好说。gap一长也可能是周期你说对不对。

论据三:模型衰减是长期的,突变才是短期的,模型迭代解决的是衰减,不是突变。

模型当然是会衰减的,但是衰减是一个长期的词语,短期变化不是衰减而是突变。

长期变化的是,客群不断在迁移,风险关系也在不断变化,这是衰减。

短期变化的是,模型上线后效果突然下降,这是因为模型被使用了,最低分段没了,这是突变。‍‍‍‍‍

为什么模型快速迭代不一定有效

哪个是有效的?不用说了吧。

……

好了,该说说为什么大家会以为模型快速迭代有效了。‍‍‍‍‍‍

在大家的评估体系中,模型迭代是有用的,因为验证集的ks一直有提升。但是这只是你的评估体系,在真实应用里,它有用吗?‍

没用。反着想一想吧,v2如果有用,那v3呢,v4呢,你会发现你什么也不用做,你一直在做优化,并且每次都提升很多,请问为什么业务没有更好?

你说你是衰减,你快速迭代实现了前面那个衰减图示的提升。‍‍

一个月有什么衰减?如果有,那长期分期产品全是错的。你说是也不是?

模型迭代是不是真实有效,我之前写过,写得非常好,就是这篇《关于那个新老策略模型孰好孰劣的问题》。比较两版模型效果,应该看的是通过率高的客群,是优质客群,而往往大家看的都是劣质客群,因为这些客群效果差,是痛点客群,而只有这些客群效果提升显著。

朋友们,如果你什么都没有做,快速迭代是没有意义的。

那为什么很多团队一直在做迭代呢?很简单啊,这些人总归要找点事做,要找点故事讲。只是,一个系统,内部再怎么折腾,并不增加这个系统外的知识和价值。

《庆余年2》春闱时侯季常说他们来考院搬砖打工不仅是为了混口饭吃,更是为了露脸,结果郭尚书说所有来的人都不会被录用,因为这些人投机取巧人品有问题。你看,有时候表现可能会起到相反的效果。

如果谁说他们团队模型迭代特别多、特别快并引以为傲,你听听就得了,甚至你可以给对方打上一个不太靠谱的标签。

那怎么样让它稳定一点呢?这样就不用瞎折腾了。那当然是优质用户经营,识别准风险,识别准需求,评估好收入,评估好负债,别乱来。

我怎么开始站在监管角度说话了。有点意思哈哈哈哈哈。

本文由人人都是产品经理作者【雷帅】,微信公众号:【雷帅快与慢】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

继续阅读