前言
從事音樂相關的app開發也已經有一段時日了,在這過程中app的播放器幾經修改我也是以對于iOS下的音頻播放實作有了一定的研究。寫這個系列的部落格目的一方面希望能夠抛磚引玉,另一方面也是希望能幫助國内其他的iOS開發者和愛好者少走彎路(我自己就遇到了不少的坑=。=)。
本篇為《iOS音頻播放》系列的第一篇,主要将對iOS下實作音頻播放的方法進行概述。
基礎
先來簡單了解一下一些基礎的音頻知識。
目前我們在計算機上進行音頻播放都需要依賴于音頻檔案,音頻檔案的生成過程是将聲音資訊采樣、量化和編碼産生的數字信号的過程,人耳所能聽到的聲音,最低的頻率是從20Hz起一直到最高頻率20KHZ,是以音頻檔案格式的最大帶寬是20KHZ。根據奈奎斯特的理論,隻有采樣頻率高于聲音信号最高頻率的兩倍時,才能把數字信号表示的聲音還原成為原來的聲音,是以音頻檔案的采樣率一般在40~50KHZ,比如最常見的CD音質采樣率44.1KHZ。
對聲音進行采樣、量化過程被稱為脈沖編碼調制(Pulse Code Modulation),簡稱
PCM
。PCM資料是最原始的音頻資料完全無損,是以PCM資料雖然音質優秀但體積龐大,為了解決這個問題先後誕生了一系列的音頻格式,這些音頻格式運用不同的方法對音頻資料進行壓縮,其中有無損壓縮(ALAC、APE、FLAC)和有損壓縮(MP3、AAC、OGG、WMA)兩種。
目前最為常用的音頻格式是MP3,MP3是一種有損壓縮的音頻格式,設計這種格式的目的就是為了大幅度的減小音頻的資料量,它舍棄PCM音頻資料中人類聽覺不敏感的部分,從下面的比較圖我們可以明顯的看到MP3資料相比PCM資料明顯矮了一截(圖檔引自imp3論壇)。
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiInBnau02Yw9CXvlGZ1FWLT9Uavw1cldWYtl2Lc9WauIWdoRXan5yZulGajNXbvw1LcpDc0RHaiojIsJye.jpg)
上圖為pcm資料
上圖為mp3資料
MP3格式中的碼率(BitRate)代表了MP3資料的壓縮品質,現在常用的碼率有128kbit/s、160kbit/s、320kbit/s等等,這個值越高聲音品質也就越高。MP3編碼方式常用的有兩種固定碼率(Constant bitrate,CBR)和可變碼率(Variable bitrate,VBR)。
MP3格式中的資料通常由兩部分組成,一部分為ID3用來存儲歌名、演唱者、專輯、音軌數等資訊,另一部分為音頻資料。音頻資料部分以幀(frame)為機關存儲,每個音頻都有自己的幀頭,如圖所示就是一個MP3檔案幀結構圖(圖檔同樣來自網際網路)。MP3中的每一個幀都有自己的幀頭,其中存儲了碼率、采樣率等解碼必須的資訊,是以每一個幀都可以獨立于檔案存在和播放,這個特性加上高壓縮比使得MP3檔案成為了音頻流播放的主流格式。幀頭之後存儲着音頻資料,這些音頻資料是若幹個PCM資料幀經過壓縮算法壓縮得到的,對CBR的MP3資料來說每個幀中包含的PCM資料幀是固定的,而VBR是可變的。
iOS音頻播放概述
了解了基礎概念之後我們就可以列出一個經典的音頻播放流程(以MP3為例):
- 讀取MP3檔案
- 解析采樣率、碼率、時長等資訊,分離MP3中的音頻幀
- 對分離出來的音頻幀解碼得到PCM資料
- 對PCM資料進行音效處理(均衡器、混響器等,非必須)
- 把PCM資料解碼成音頻信号
- 把音頻信号交給硬體播放
- 重複1-6步直到播放完成
在iOS系統中apple對上述的流程進行了封裝并提供了不同層次的接口(圖檔引自官方文檔)。
CoreAudio的接口層次
下面對其中的中高層接口進行功能說明:
- Audio File Services:讀寫音頻資料,可以完成播放流程中的第2步;
- Audio File Stream Services:對音頻進行解碼,可以完成播放流程中的第2步;
- Audio Converter services:音頻資料轉換,可以完成播放流程中的第3步;
- Audio Processing Graph Services:音效處理子產品,可以完成播放流程中的第4步;
- Audio Unit Services:播放音頻資料:可以完成播放流程中的第5步、第6步;
- Extended Audio File Services:Audio File Services和Audio Converter services的結合體;
- AVAudioPlayer/AVPlayer(AVFoundation):進階接口,可以完成整個音頻播放的過程(包括本地檔案和網絡流播放,第4步除外);
- Audio Queue Services:進階接口,可以進行錄音和播放,可以完成播放流程中的第3、5、6步;
- OpenAL:用于遊戲音頻播放,暫不讨論
可以看到apple提供的接口類型非常豐富,可以滿足各種類别類需求:
- 如果你隻是想實作音頻的播放,沒有其他需求AVFoundation會很好的滿足你的需求。它的接口使用簡單、不用關心其中的細節;
- 如果你的app需要對音頻進行流播放并且同時存儲,那麼AudioFileStreamer加AudioQueue能夠幫到你,你可以先把音頻資料下載下傳到本地,一邊下載下傳一邊用NSFileHandler等接口讀取本地音頻檔案并交給AudioFileStreamer或者AudioFile解析分離音頻幀,分離出來的音頻幀可以送給AudioQueue進行解碼和播放。如果是本地檔案直接讀取檔案解析即可。(這兩個都是比較直接的做法,這類需求也可以用AVFoundation+本地server的方式實作,AVAudioPlayer會把請求發送給本地server,由本地server轉發出去,擷取資料後在本地server中存儲并轉送給AVAudioPlayer。另一個比較trick的做法是先把音頻下載下傳到檔案中,在下載下傳到一定量的資料後把檔案路徑給AVAudioPlayer播放,當然這種做法在音頻seek後就回有問題了。);
- 如果你正在開發一個專業的音樂播放軟體,需要對音頻施加音效(均衡器、混響器),那麼除了資料的讀取和解析以外還需要用到AudioConverter來把音頻資料轉換成PCM資料,再由AudioUnit+AUGraph來進行音效處理和播放(但目前多數帶音效的app都是自己開發音效子產品來坐PCM資料的處理,這部分功能自行開發在自定義性和擴充性上會比較強一些。PCM資料通過音效器處理完成後就可以使用AudioUnit播放了,當然AudioQueue也支援直接使對PCM資料進行播放。)。下圖描述的就是使用AudioFile + AudioConverter + AudioUnit進行音頻播放的流程(圖檔引自官方文檔)。
下篇預告
下一篇将講述iOS音頻播放中必須面對的難(da)題(keng),AudioSession。
參考資料
音頻檔案格式
脈沖編碼調制
采樣率
奈奎斯特頻率
MP3
ID3
Core Audio Essential
Common Tasks in OS X