從直播硬體出發，淺析直播技術到物聯網裝置的智能化趨勢

直播有個人直播（泛娛樂直播）和企業直播（商業&商務直播）之分；個人直播的投入成本低，一部手機便可以随時随地開播，且各直播App有足夠多的直播輔助工具來協助開播，對增值服務需求不高；企業直播講究規範，有專門的直播間，投入的人力物力很大，直播影響面廣泛，對專業的直播硬體，PaaS，SaaS等軟體服務以及營運指導，售後服務等多種增值服務都有明确訴求，故本次分析基于TO B的企業直播業務展開。

作者：秦宓

1.直播市場調研

背景

全世界的經濟因疫情不斷放緩，企業競争激烈，企業開源節流，降本增效的核心訴求越來越強，而數字經濟也在快速發展，逐漸成為新的經濟增長動力；企業直播能推動企業的生産，經營等多個環節的價值提升，控制和節約成本，幫助企業傳播，觸達更多的使用者，進而加速企業的數字化轉型。

資料來源：艾瑞咨詢《2021年中國企業直播服務行業發展研究報告》

直播參與方

1. C端使用者：資訊擷取，休閑娛樂，購物等；2. B端企業：教育訓練，會議，營運，營銷等；3. 直播服務商：直播硬體，軟體，雲服務，資料服務，營銷服務，辦公協同等。

B端企業的直播場景

從教育，金融，汽車，醫療，網際網路，傳媒，家居，地産等多個垂直行業，從幾十人的小企業到上萬人的大型企業，企業直播都在快速應用；企業直播有對内，和對外雙重需求；對内主要進行企業教育訓練，會議會展，企業宣傳；對外進行産品介紹，賽事直播，電商帶貨等。

B端企業對直播的訴求

相比于公有雲，企業更希望融合了公有雲和私有雲的混合雲模式，在擷取公有雲的低成本功能疊代和穩定性能的同時，保持對業務定制的能力；兼具PaaS和SaaS特性的aPaaS服務能更好地滿足企業搭建直播系統的需要（甚至是企業搭建自己的視訊中台），aPaaS提供的低代碼，可擴充，彈性伸縮的能力讓企業的直播服務可以進行更好地定制化；同時低延遲，超高清，高并發，高安全性是衡量使用者體驗的重要名額。

直播服務商的架構與生态

直播服務商提供了上遊，中遊，下遊的一站式解決方案，同時不斷地內建CRM，HRM，協同辦公，資料服務等企業級服務，讓直播服務與其他企業級服務産生協同效應，打造以直播業務為核心的企業服務生态。

IoT定位和機會在哪？

IoT基于自身定位和技術優勢，更有可能在上遊提供直播所需的CDN分發，智能稽核，轉碼，點播等基礎能力，同時在中遊聚焦智能化直播硬體，直播PaaS（iPaaS，aPaaS），資料分析服務等方面的研發；在生态協上內建釘釘辦公服務，友盟營銷服務等來為直播服務商提供有競争力的核心能力，先TO B再TO C，輸出有競争力的核心軟硬體能力來為直播服務商賦能。

2. 直播相關技術

直播相關的技術涉及到基本的裝置端的推拉流以及對應協定，雲端的轉碼，稽核，水印等功能；也包含運作在裝置端和雲端的一些AI算法能力。

直播服務流程

1. 主播端：采集封裝好的音視訊直播流被推流SDK推送到直播服務中心；2. 服務端：推送的視訊流通過CDN分發節點進行加速，以此來保證上行傳輸的穩定性；3. 服務端：視訊流推送至多媒體直播中心後，可按需對視訊流進行轉碼，錄制，截圖，安全稽核等處理；4. 觀衆端：處理好的視訊流通過CDN分發節點下發至觀衆的裝置中進行播放；5. 觀衆端：直播視訊還可以在雲端錄制下來後轉至點播系統提供點播服務。

多媒體架構

FFmpeg：

• 集錄制，轉換，音/視訊編碼解碼功能于一體的完整開源解決方案；
• 支援視訊采集，視訊格式轉換，視訊抓圖，視訊加水印，将音/視訊轉化成流；
• 可将攝像頭的視訊，麥克風的音頻以指定格式（如FLV）來進行RTMP協定的推流；
• 支援協定：HTTP，RTP，RTSP，RTMP等。

核心子產品：

• 讀/寫裝置資料子產品：libavdevice；
• 音/視訊編解碼子產品：libavcodec（codec =enCode （編碼）+ deCode（解碼））；
• 音/視訊格式打包和解包子產品：libavformat；
• 播放器（用ffmpeg解析和解碼，可以用拉流播放）：ffplay。

編碼（壓縮處理，便于存儲和傳輸）格式：

• 視訊：H.262，H.264，H.265（有版權）；VP8，VP9，AV1（無版權）；
• 音頻：MP3，AAC等；
• 常用編碼器：
• 視訊：libx264（H.264格式），libx265，libvpx（VP8，VP9格式），libaom（AV1格式）；
• 音頻：aac（AAC格式）。

推拉流流程：

硬體加速編解碼：

• FFmpeg通過hwaccel cuda，h264_cuvid，hevc_cuvid和h264_nvenc，hevc_nvenc子產品支援硬體加速編碼和解碼（存在NVIDIA GPU情況下），硬體編解碼器能産生與軟體編解碼器相同的輸出，但可能使用更少的功率和CPU；
• 硬體編解碼用到GPU處理能力，省電，性能快，分擔CPU壓力和減少CPU發熱，由于不同硬體平台的晶片性能和接口參數不一樣，需要硬體廠商在硬體和軟體層面做适配；軟體編解碼不用GPU，主要通過CPU進行的編解碼，耗電，性能較差，但對各個硬體平台的相容性強；一般的直播平台都會基于裝置的具體配置做自适應來保障直播效果。

常用直播協定

RTMP（Real Time Streaming Protocol）

• Adobe 實時消息傳輸協定，基于TCP長連接配接，支援FLV格式的連續視訊流（收到資料立刻轉發）；
• 低延時（1~3S），但在iOS平台上沒有提供原生支援RTMP的播放器；
• 預設使用1935非公共端口，易被防火牆阻攔，在iOS端需要使用第三方解碼器；
• 适合用在推流端和拉流端雙端。

HTTP-FLV（HTTP Flash Video）

• 基于HTTP長連接配接的RTMP，低延時（1~3S），支援HTML5；
• 将音/視訊資料封裝成FLV格式，然後通過HTTP協定傳輸；
• 結合了RTMP的低延時，以及複用現有HTTP分發資源的流式協定；
• 實時性和RTMP相等，與RTMP比省去部分協定互動時間，首屏時間更短，可拓展的功能更多；
• HTTP-FLV一般用于拉流播放。

HLS（HTTP Live Streaming）

• Apple視訊直播技術，支援m3u8格式的切片視訊流；
• 在服務端收集一段時間的流媒體并切割，生成連續的ts切片檔案，并更新m3u8索引；
• 延遲性高（5~20S），基于HTTP短連接配接，需要不斷地與伺服器建立連接配接，支援HTML5；
• 由于是基于HTTP/80傳輸，能有效避免防火牆攔截；
• HLS一般用于拉流播放或者回看。

直播相關算法

直播内容稽核（雲側）

• 由于内容量巨大，人工稽核成本高，AI稽核可以基于鑒黃，暴力，恐怖等内容進行過濾。

個性化推薦（雲側）

• 面向主動搜尋，或場景識别的個性化推薦，基于實時興趣進行相關内容推薦。

廣告營銷（雲側）

• 基于直播視訊内容，場景等進行廣告推廣，進行直播内容的商業化變現。

直播美顔（裝置側）

• 直播美顔（美白，磨皮，貼紙，濾鏡），美型（關鍵點檢測，五官調整）等；
• 裝置側算法推理需要在滿足效果的情況下兼顧實時性要求，同時要适配不同的硬體配置。

3. 直播一體機訴求

傳統基于手機的直播存在各種各樣的問題，市面上一直有對直播一體機這樣的專業智能裝置的訴求，用來進行直播活動的全流程功能管控和提效。

傳統直播道具存在的問題

1. 手機直播發熱卡頓，直播畫面小，和粉絲互動不友善，也不能拓展到其他高端專業的直播外接裝置；2. 配齊手機，電腦，大屏同屏器，導播台，編碼器，音控台等裝置進行直播，協同麻煩，操作過于複雜；3. 複雜的裝置協同需要多人參與來進行一場直播，人力成本貴；4. 直播間裝飾，需要設計，材料，人工等額外費用，且不能一鍵随意切換來改變直播間的背景；5. 無法同時支援多機位，多個攝像頭之間無法協同工作，實作遠/近景，産品特寫，畫中畫等效果。

直播一體機可內建功能

1. 集多功能于一體：內建導播台，編碼器，采集卡，螢幕，音控台，同屏器，提詞器于一體；2. 實時摳圖功能：一鍵可切換直播背景，免去直播間的裝修；支援圖檔，PPT，視訊作為直播背景； 3. 多機位可切換：全景，近景，特寫機位，可以多角度呈現直播的賣點；

4. 支援多攝像頭：可以支援HDMI，USB等多路攝像頭接入；5. 支援一鍵開播：内置主流的如淘寶直播，抖音，快手，小紅書等直播平台，可以一鍵開播；6. 多媒體接口擴充：可擴充單反，錄影機，微單，麥克風，聲霸卡，鍵盤滑鼠等多媒體裝置；7. 遠端OTA能力：系統，功能（包括内置App更新，新裝App等），性能等更新均可遠端OTA更新。

直播一體機軟硬體配置

硬體裝置：

• 直播一體機（安卓系統，帶CPU，GPU能力）；
• 攝像頭（支援多機位）。

輔助裝置：

• 燈光，無線麥克風，綠幕摳像布。

軟體套件：

• 內建綠幕摳圖, 直播貼片, 多路導播，畫中畫，水印，機位切換，音頻/畫質調節，提詞器等能力；
• 軟體可拆分為基礎軟體包與直播進階功能輔助包。

商業模式：

• 硬體一次性采購，軟體套件可以按年收取服務費用。

由直播一體機需求到物聯網裝置智能化普及的進階

由于手機直播的不足帶來的直播一體機的需求，推進了以直播硬體為載體的直播一體化完整解決方案的訴求，而這還隻是目前萬千行業的冰山一角。目前IoT（實體網）已經在AIoT（人工智能物聯網）和IIoT（工業物聯網）兩個方向上飛速發展；尤其是是在AIoT領域，已經滲透到社群，園區，城市，農業，商業等衆多領域，并逐漸形成端，邊，管，雲一體化的各個細分方向的專業化解決方案。

硬體智能化便是這些解決方案的基石，被智能化的硬體本着資料就近消費，算力就近計算的原則，與邊緣計算，雲計算進行協同互聯，推進了AIoT的加速普及；未來在端側， 邊緣側将會有120億的IoT裝置，1500億的嵌入式裝置，而這些都将是可以智能化的沃土。

本調研從大家熟悉的直播業務出發，拆解直播一體機這種智能化硬體裝置訴求群組成。這樣的智能化硬體已經非常多了，如雲POS機，雲投屏機，電子智能秤，AI攝像頭，Vlog互動屏，安防邊緣一體機，商業客流分析一體機，工業瑕疵檢測一體機等，會逐一對以前已有的各種裝置進行一遍智慧化的改造。

IoT的時代永遠不會到來，因為它從現在開始的每天都在不斷地到來中，未來不管是在晶片硬體，作業系統，算法推理，資料分析，工程內建，雲端監控 & 運維等都蘊含着巨量的機會，等待大家一起挖掘。

掃碼入群和作者一起探讨音視訊技術

擷取更多視訊雲行業最新資訊👇

「視訊雲技術」你最值得關注的音視訊技術公衆号，每周推送來自阿裡雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。公衆号背景回複【技術】可加入阿裡雲視訊雲産品技術交流群，和業内大咖一起探讨音視訊技術，擷取更多行業最新資訊。