OpenSL ES: OpenSL ES 簡介

1. OpenSL ES 是什麼

OpenSL ES (Open Sound Library for Embedded Systems)是無受權費、跨平臺、針對嵌入式系統精心優化的硬件音頻加速API。它爲嵌入式移動多媒體設備上的本地應用程序開發者提供標準化, 高性能,低響應時間的音頻功能實現方法，並實現軟/硬件音頻性能的直接跨平臺部署，下降執行難度，促進高級音頻市場的發展。簡單來講OpenSL ES是一個嵌入式跨平臺免費的音頻處理庫。
Android的OpenSL ES庫是在NDK的platforms文件夾對應android平臺先相應cpu類型裏面，如：

2. OpenSL ES 與 Android的關係

Android 2.3 (API 9) 即開始支持 OpenSL ES 標準了，經過 NDK 提供相應的 API 開發接口，下圖是 Android 官方給出的關係圖（參考：https://source.android.com/devices/audio/latency_app.html）：

由該圖能夠看出，Android 實現的 OpenSL ES 只是 OpenSL 1.0.1 的子集，而且進行了擴展，所以，對於 OpenSL ES API 的使用，咱們還須要特別留意哪些是 Android 支持的，哪些是不支持的，具體相關文檔的地址位於 NDK docs 目錄下：

NDKroot/docs/Additional_library_docs/opensles/index.html
NDKroot/docs/Additional_library_docs/opensles/OpenSL_ES_Specification_1.0.1.pdf

3. 與Java層的AudioRecord, AudioTrack的關係

利用 Android 提供的 AudioRecord 採集音頻，利用 AudioTrack 播放音頻，利用 MediaCodec 來編解碼，這些 API 均是 Android 提供的 Java 層 API，不管是採集、播放仍是編解碼，這些 API 接口都須要將音頻數據從 Java 拷貝到 native 層，或者從 native 層拷貝到 Java，若是但願減小拷貝，開發更加高效的 Android 音頻應用，則建議使用 Android NDK 提供的 OpenSL ES API 接口，它支持在 native 層直接處理音頻數據。

4. OpenSL ES的特性以及優劣勢

特性：

（1）C 語言接口，兼容 C++，須要在 NDK 下開發，能更好地集成在 native 應用中
（2）運行於 native 層，須要本身管理資源的申請與釋放，沒有 Dalvik 虛擬機的垃圾回收機制
（3）支持 PCM 數據的採集，支持的配置：16bit 位寬，16000 Hz採樣率，單通道。（其餘的配置不能保證兼容全部平臺）
（4）支持 PCM 數據的播放，支持的配置：8bit/16bit 位寬，單通道/雙通道，小端模式，採樣率（8000, 11025, 12000, 16000, 22050, 24000, 32000, 44100, 48000 Hz）
（5）支持播放的音頻數據來源：res 文件夾下的音頻、assets 文件夾下的音頻、sdcard 目錄下的音頻、在線網絡音頻、代碼中定義的音頻二進制數據等等

優點：

（1）避免音頻數據頻繁在 native 層和 Java 層拷貝，提升效率
（2）相比於 Java API，能夠更靈活地控制參數
（3）因爲是 C 代碼，所以能夠作深度優化，好比採用 NEON 優化
（4）代碼細節更難被反編譯

劣勢：

（1）不支持版本低於 Android 2.3 (API 9) 的設備
（2）沒有所有實現 OpenSL ES 定義的特性和功能
（3）不支持 MIDI 
（4）不支持直接播放 DRM 或者 加密的內容
（5）不支持音頻數據的編解碼，如需編解碼，須要使用 MediaCodec API 或者第三方庫
（6）在音頻延時方面，相比於上層 API，並無特別明顯地改進

5. OpenSL ES的一些基本概念

Objects和Interfaces

OpenSL ES 有兩個必須理解的概念，就是 Object 和 Interface，Object 能夠想象成 Java 的 Object 類，Interface 能夠想象成 Java 的 Interface，但它們並不徹底相同，下面進一步解釋他們的關係：
（1） 每一個 Object 可能會存在一個或者多個 Interface，官方爲每一種 Object 都定義了一系列的 Interface
（2）每一個 Object 對象都提供了一些最基礎的操做，好比：Realize，Resume，GetState，Destroy 等等，若是但願使用該對象支持的功能函數，則必須經過其 GetInterface 函數拿到 Interface 接口，而後經過 Interface 來訪問功能函數
（3）並非每一個系統上都實現了 OpenSL ES 爲 Object 定義的全部 Interface，因此在獲取 Interface 的時候須要作一些選擇和判斷

全部的Object在OpenSL裏面咱們拿到的都是一個SLObjectItf：

struct SLObjectItf_ {
    SLresult (*Realize) (SLObjectItf self,SLboolean async);

    SLresult (*Resume) (SLObjectItf self,SLboolean async);

    SLresult (*GetState) (SLObjectItf self,SLuint32 * pState);

    SLresult (*GetInterface) (SLObjectItf self, const SLInterfaceID iid, void * pInterface);

    SLresult (*RegisterCallback) (SLObjectItf self, slObjectCallback callback, void * pContext);

    void (*AbortAsyncOperation) (SLObjectItf self);

    void (*Destroy) (SLObjectItf self);

    SLresult (*SetPriority) (SLObjectItf self, SLint32 priority, SLboolean preemptable);

    SLresult (*GetPriority) (SLObjectItf self, SLint32 *pPriority, SLboolean *pPreemptable);

    SLresult (*SetLossOfControlInterfaces) (SLObjectItf self, SLint16 numInterfaces, SLInterfaceID * pInterfaceIDs, SLboolean enabled);
};

typedef const struct SLObjectItf_ * const * SLObjectItf;

這裏的SLObjectItf是一個二級指針，它指向的是一個結構體指針。任何建立出來的Object都必須調用 Realize 方法作初始化，在不須要的時候可使用 Destroy 方法來釋放資源。

Interface則是方法的集合,例如SLRecordItf裏面包含了和錄音相關的方法,SLPlayItf包含了和播放相關的方法。咱們功能都是經過調用Interfaces的方法去實現的，如 SLEngineItf 這個interface,咱們能夠經過它去建立各類Object,例如播放器、錄音器、混音器的Object,而後在用這些Object去獲取各類Interface去實現各類功能。

struct SLEngineItf_ {
    SLresult (*CreateAudioPlayer) (SLEngineItf self, SLObjectItf * pPlayer, SLDataSource *pAudioSrc, SLDataSink *pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID * pInterfaceIds, const SLboolean * pInterfaceRequired);

    SLresult (*CreateAudioRecorder) (SLEngineItf self, SLObjectItf * pRecorder, SLDataSource *pAudioSrc, SLDataSink *pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID * pInterfaceIds, const SLboolean * pInterfaceRequired);

    SLresult (*CreateOutputMix) (SLEngineItf self, SLObjectItf * pMix, SLuint32 numInterfaces, const SLInterfaceID * pInterfaceIds, const SLboolean * pInterfaceRequired);

    ...
};

6. OpenSL ES的基本開發流程

這裏以使用OpenSL ES 來播放一個PCM文件爲例，主要包括：

1、 建立接口對象
2、設置混音器
3、建立播放器（錄音器）
4、設置緩衝隊列和回調函數
5、設置播放狀態
6、啓動回調函數

因爲OpenSL ES是Native層提供的API，在使用前須注意添加頭文件和連接選項，在須要用到OpenSL ES API的C文件中添加：

#include <SLES/OpenSLES.h>
#include <SLES/OpenSLES_Android.h>

連接庫文件：

若是是：Android.mk

LOCAL_LDLIBS += -lOepnSLES

若是是：CMakeLists.txt

　在 target_link_libraries 括號中添加 OpenSLES 

示例代碼： 《OpenSL ES: 利用OpenSL ES播放一個存在於SDcard上的PCM文件》

參考連接：

1. Android音頻開發（7）：使用 OpenSL ES API（下）

2. OpenSL ES 學習筆記

3.Android OpenSL ES 開發：Android OpenSL 介紹和開發流程說明