作者：閑魚技術-峰明
背景
閑魚業務發展迅猛，閑魚首頁feeds、閑魚搜尋、猜你喜歡商品推薦feeds流、首頁金剛衛等大流量場景成為了各條業務線的産品、營運争搶的流量入口。随着海量的投放需求提到技術團隊，陳舊的開發、營運模式的弊端就顯現出來了：現有的技術鍊路無法在多業務投放同一場景時，既保證他們的pv投放目标，又保證較高的點選轉化。各業務方為了達到投放轉化效果，隻能申請更多的坑位做素材投放，進而影響到其他業務素材和普通商品的曝光效率，形成惡性循環。營運投放需求不斷增長，在陳舊的技術研發體系下難以做到多人高效協同開發，需求開發上線效率難以提高，一直為業務方所诟病。我們急需設計一套新的技術方案來解決這些問題。
思路
我們要解決的根本問題是在總流量一定的情況下，如何從全局視角做調控，最大化全局流量轉化效率。
為了解決這個問題，我們需要從以下幾個角度着手:
1、保障多方投放的流量目标在單一場景下（如首頁feeds、搜尋結果頁）的達成，且在滿足投放目标的前提下提升轉化效率。
2、在滿足單一場景各項資料名額的前提下，打通多場景對全局轉化效率做優化提升。
3、通過工程手段賦能業務方，加速新業務的快速上線、快速調整投放政策，降低業務試錯成本。
基于以上考慮，我們決定與達摩院算法團隊合作，從工程上打通都江堰算法平台，使得各投放業務能夠以極低的成本享受算法紅利，保障業務目标達成與轉化效率提升。同時，我們設計了一套全新的投放系統，理念是各種營運能力可快速擴充、可元件化沉澱，且特殊素材投放需求支援全新并行化研發模式，給予業務方更多的嘗試機會。
鲲鵬系統建設
為了實作營運能力可複用、易管理、靈活投放政策等特性，我們抽象了活動、場景、素材的3級結構，并支援在每個場景下定義多套模闆來管理素材。
場景是鲲鵬系統中最大的一個概念，它是素材投放的舞台。必須先定義好場景，才能進行針對性的業務開發與素材配置、投放等。以搜尋結果頁為例，就劃分為以下5個場景：長頸鹿營運場景、搜尋結果feeds場景、poplayer場景、query詞幹預場景、背景氛圍場景，如下圖所示。隻有定義好了這些場景，才能決定營運素材的生效範圍在哪裡。
有了場景之後，我們根據各營運的投放需求差異為各業務建立個性化的素材模闆，然後就可以由營運同學在模闆限制下自主建立素材。各種已沉澱下來的營運能力（如uv疲勞度過濾、搜尋關鍵詞過濾、平台過濾、版本過濾等）都可以由營運同學配置素材時，自主在界面上進行勾選或填寫。素材建立完成後，通過建立活動，指定人群、生效時間把素材投放出去，即可完成整個投放工作。
業務在制定投放計劃時都是有預期目标的，營運隻需要在投放過程中把業務投放目标填寫在控制台上，鲲鵬系統就會自動與都江堰算法平台進行協作，幫助業務目标達成及轉化效率優化。
營運同學通過鲲鵬控制台配置的投放目标（如3天共100萬曝光pv）、投放政策（盡快投放、平滑投放、自由投放）及其他各項素材内容，會通過鲲鵬離線資料鍊路T+1回流到算法平台，供混排算法模型制定次日的全局投放計劃。各素材實際的曝光、點選資料包含鲲鵬下發的業務唯一辨別，這份資料回流到混排算法平台，用于模型的不斷優化疊代。各垂縱算法（業務定制的算法資料提供方，比如直播垂縱算法、求購垂縱算法）經過混排後實際曝光的資料，會通過鲲鵬通用曝光過濾資料鍊路回流到垂縱算法過曝表中，解決垂縱資料重複曝光問題。
在接入了鲲鵬平台後，使用者發起一次請求的資料處理流程如下圖：
從上圖可以看到資料處理過程中涉及到較多的子產品，我們在鲲鵬系統設計過程中盡可能把各種模闆通過可擴充的架構實作，把各業務實作的定制功能沉澱為公共元件，橫向助力更多業務快速疊代。
整個系統的架構設計如下圖所示：
DataFetcher擴充點子系統
鲲鵬的DataFetcher擴充點子系統是能夠實作多人低成本參與并行開發的關鍵之一。各業務線的資料投放需求如果需要從遠端服務實時擷取（比如根據使用者搜尋詞實時推薦關聯導購資訊），那麼業務開發同學通過繼承DataFetcher擴充點基類，在子類的回調方法中調用遠端服務擷取資料、編寫DO轉換的邏輯，即可輕松完成業務開發和投放。至于多DataFetcher的RPC并發、資源隔離、名額監控等功能都已經在鲲鵬底層包裝好了，對業務同學完全透明，業務開發同學隻需要關注業務本身即可。而在誕生鲲鵬系統之前，各業務的投放都需要開發者對投放場景的主幹代碼極為熟悉才行，導緻搜尋、首頁feeds等場景的投放開發工作隻有場景owner一個人能夠勝任，成為開發單點資源瓶頸，鲲鵬徹底消除了這個局面。
DataFetcher子系統是鲲鵬“積木化”特性的重要實作。比如閑魚首頁feeds場景需要為新使用者投放一批實時推薦的優質權益商品，通過DataFetcher實作。那麼以後營運需要在搜尋結果頁、猜你喜歡頁面投放此類權益商品時，此DataFetcher可以直接複用，通過鲲鵬控制台注冊到對應場景即可，有效節省了開發資源，也提升了業務上線效率。
過濾器子系統
随着業務對精細化營運的需求越來越高，我們在鲲鵬上打造了一套積木化的過濾器子系統，沉澱成為基礎元件供所有業務使用。
除了大家熟知的分人群定投之外，我們還提供了分平台（iOS/Android）、分版本、灰階流量比例、搜尋詞嚴格比對、搜尋詞模糊比對、頁碼過濾、uv疲勞度過濾等前置過濾器。如果業務有相關的營運定投需求，可以在控制台上選擇對應的過濾器直接使用。
如果業務有特殊的定投需求，現有的過濾器還不能滿足，那麼可以通過繼承MatFilter基類輕松實作特殊的業務邏輯，并沉澱為通用過濾器元件，所有業務都可以複用。
如此一來，鲲鵬的過濾器子系統能力将不斷積累沉澱，實作跨業務的能力共享。
舉一個實際的搜尋竹蜻蜓投放例子：遊戲營運同學的需求是，當使用者來閑魚搜尋“王者榮耀”“跑跑卡丁車”這幾個詞時，把遊戲竹蜻蜓的素材針對特定的遊戲愛好者人群、僅在andoird用戶端6.6.7~6.7.1這幾個版本上投放15%的灰階流量，且每個使用者每3天最多曝光10次。這樣一個需求
https://gw.alicdn.com/tfs/TB1ENCtxYj1gK0jSZFOXXc7GpXa-1201-806.png中用到了衆多的過濾條件，有了鲲鵬的加持，這些過濾器能力都可以無需開發直接複用快速上線。而在此之前，這些需求需要經過prd評審、開發、聯調、測試、釋出後才能上線生效。
都江堰算法平台打通
鲲鵬的一個重要目标是借助達摩院算法能力助力業務目标達成，實作全局流量配置設定調優。我們與達摩院共建了都江堰算法平台，實作了一套通用的混排算法，從工程側打通離線資料通路與線上服務鍊路，各業務都可以低成本複用此算法能力。閑魚首頁feeds、閑魚首頁金剛衛上多條業務線投放已經使用了鲲鵬系統提供的通用混排算法能力，在保證業務方達成投放pv目标的基礎之上，還把pvctr名額提升了60%~100%，且随着算法模型的不斷疊代優化，效果名額還有很大的上升空間。
分組管理與審批流
鲲鵬系統在多個大流量接口落地（首頁、搜尋SRP、猜你喜歡等），每個接口都有衆多業務線的營運同學來進行投放，需要進行合理的分組權限管理來規避錯誤修改其他業務素材的問題。
鲲鵬系統搭建了分組管理子系統，每個業務同學都必須歸屬于某個業務分組，此分組下的同學都隻能看到自己分組下的素材，無法看到其他分組下的素材。建立素材、活動時必須歸屬于一個分組。這樣就實作了有效的人與素材的分組管理。
一旦素材或活動的配置發生變化，都會自動觸發一個審批流工單，流向本分組的審批人。通過審批流程規避人為失誤的風險。
接入鲲鵬後的角色分工
以前老的開發模式中，營運與開發的界線存在模糊地帶。由于投放平台能力不完善，很多營運類配置變更都需要通過服務端推開關甚至修改代碼來實作。
接入鲲鵬之後，開發與營運的角色分工就非常清晰了：
• 場景開發owenr負責對接鲲鵬系統。
• 業務開發同學負責在鲲鵬擴充點上實作自己的業務需求。
• 營運同學負責在鲲鵬控制台上配置素材，把業務開發同學的擴充點實作投放出來，并根據實際需要選擇合适的營運基礎元件來達到投放效果。
開發實作了業務需求後，後續所有的營運類變更都由營運同學自助在控制台操作完成。如果投放不符合預期，營運可以自助修改、自助下線，全程不需要開發參與。
效果
目前閑魚鲲鵬系統已經在閑魚首頁feeds、首頁金剛位、搜尋結果頁、猜你喜歡、搜尋底紋推薦等多個場景中落地，對各業務方目标達成提供了極大助力，pv轉化率提升了60%~100%，uv轉化成本降低了40%左右，且還有很大的優化空間。由于多種基礎營運元件可以免開發直接複用，DataFetcher擴充點機制使得各業務方開發資源也可以并行投入進來，業務需求總體上線耗時縮短了50%以上。
展望
鲲鵬系統提供的算法賦能、擴充點并行開發、場景素材管理與投放、積木化營運能力沉澱，都對業務投放效果與研發效率帶來了非常顯著的正面提升。後續我們将會繼續深挖垂縱算法通用能力、更靈活的擴充點開發模式、橫向打通更多場景優化全局流量調控效果，為業務帶來更多增長點。