因爲
licecap
錄製的GIF失幀太嚴重, 都模糊掉了, 再放兩張高清截圖
git
前言
今年三月份,
鬥魚
獲騰訊
領投的1億美圓融資的消息被各大平臺報道轉載,在電競、泛娛樂已經是熱門投資的當下,網絡直播平臺天然也得到了各界的關注。盜用兩張關於遊戲直播的趨勢圖github
這還僅僅是遊戲直播這塊的蛋糕.直播
行業的競爭會愈來愈激烈, 無論是主播仍是直播平臺都面臨着激烈的競爭, 固然直播
行業也會愈來愈規範, 直播元素也愈來愈多.算法
視頻直播,能夠分爲 採集,前處理,編碼,傳輸, 服務器處理,解碼,渲染 sql
採集: iOS系統由於軟硬件種類很少, 硬件適配性比較好, 因此比較簡單. 而Android端市面上機型衆多, 要作些機型的適配工做.PC端是最麻煩的, 各類奇葩攝像頭驅動.因此如今不少的中小型直播平臺, 都放棄了PC的直播, 更有一些直播平臺只作iOS端的視頻直播.chrome
前處理: 美顏算法,視頻的模糊效果, 水印等都是在這個環節作. 目前iOS端最著名開源框架的毫無疑問就是GPUImage
.其中內置了125種渲染效果, 還支持各類腳本自定義. 我高仿的喵播
的美顏效果也是基於GPUImage
的.數據庫
編碼: 重難點在於要在分辨率,幀率,碼率,GOP等參數設計上找到最佳平衡點。iOS8以後, Apple
開放了VideoToolbox.framework
, 能夠直接進行硬編解碼, 這也是爲何如今大多數直播平臺最低只支持到iOS8的緣由之一. iOS端硬件兼容性比較好, 能夠直接採起硬編碼. 而Android得硬編碼又是一大坑.編程
傳輸: 這塊通常都是交給CDN
服務商. CDN
只提供帶寬和服務器之間的傳輸, 發送端和接收端的網絡鏈接抖動緩存仍是要本身實現的.目前國內最大的CDN
服務商應該是網宿
.canvas
服務器處理: 須要在服務器作一些流處理工做, 讓推送上來的流適配各個平臺各類不一樣的協議, 好比:RTMP,HLS,FLV...數組
解碼和渲染: 也就即音視頻的播放. 解碼毫無疑問也必需要硬解碼. iOS端兼容較好, Android依然大坑.這塊的難點在於音畫同步, 目前不少直播平臺這塊是硬傷.國內比較好的開源項目應該是B站開源的ijkplayer . 鬥魚
就是基於ijkplayer 的, 本項目也是基於ijkplayer 的.緩存
技術坑 : 降噪, 音頻解碼器, 藍牙適配, 回聲消除, 信令控制, 登陸, 鑑權, 權限管理, 狀態管理, 應用消息, 消息推送, 禮物系統, 即時聊天, 支付系統, 統計系統, 數據庫, 緩存, 分佈式文件存儲, 消息隊列, 運維繫統等等大小不一的坑等你來填!!!
資金坑 : 以帶寬爲例, 2萬人同時在線, 手機碼率在600KB, 每月的帶寬費用至少在30萬左右. 根據歡聚時代(YY)15年四季度財務報, 他們的帶寬成本爲人民幣1.611億元, 摺合每個月5000萬+. 人力成本+渠道支出和其餘支出就不詳談了.
社會坑: 還得每時每刻與各類黑暗勢力鬥爭, 包括色情, 廣告, 刷小號, 刷充值, 告侵權, DDos...(我反編譯
喵播
的官方APP, 他們的項目名就叫Shehui
, O(∩_∩)O哈哈~)
項目主要是基於ijkplayer 的. 最好是打包成framework
. 本來我準備寫一個打包教程, 不事後來在簡書上發現了一篇特別詳細的打包blog, 分享給你們: http://www.jianshu.com/p/1f06b27b3ac0.
若是你根據教程打包失敗了(固然這種概率比較小), 我這還有一份我已經打包好的(Release版), 下載地址:
連接:http://pan.baidu.com/s/1eRVetdK 密碼:2dc0
下載後, 直接解壓便可.
Frameworks: 若是文件夾不存在, 點擊classes
選擇Show in Finder
, 新建一個便可, 將你打包的或者下載的framework
拖入其中並拉進項目中. 你也能夠本身建一個文件夾, 把這個Frameworks
直接delete
便可
Profile : 我的中心, 這裏面只有一個ProfileController
. 由於總寫重複代碼, 都寫吐了, 這兒有興趣的本身寫一下吧, So easy...
Network : 關於網絡鏈接的工具類. 關於網絡的實時監控, 網絡狀態的切換, 網絡請求的工具類都在這裏面.
Other : 全局的常量. 固然你也能夠在裏面將文件結構更加細化.
Home : 包含最新主播, 最熱直播, 關注的直播, 禮物排行榜等模塊. 還有最重要的視頻直播也在這裏面了.
ShowTime :見名知意. 視頻直播的前處理, 智能美顏和H264硬編碼等都在這裏面.
Main : UITabBarController
和UINavigationController
的配置
Toos : 這兒命名有點不規範, 這裏面放置的都是項目用到的分類
Login : 登陸模塊
Resource : 項目用到的資源文件
tip1: 判讀網絡類型.
在觀看直播的時候, 咱們一般都是用WiFi或者3/4G(土豪級別的), 通常用戶在進行網絡切換的時候, 咱們都要給出友善的提示, 告訴TA: 您的網絡狀態切換到了XX狀態. 假設用戶從WiFi切換到4G, 你的應用也沒個提醒, 致使TA的流量歸零甚至欠了運營商一屁股的錢, 我想你的APP的用戶體驗也就歸零或者爲負了.
咱們可使用蘋果的Reachability
結合下面的代碼實時監聽網絡狀態的改變
typedef NS_ENUM(NSUInteger, NetworkStates) {
NetworkStatesNone, // 沒有網絡
NetworkStates2G, // 2G
NetworkStates3G, // 3G
NetworkStates4G, // 4G
NetworkStatesWIFI // WIFI
};
// 判斷網絡類型
+ (NetworkStates)getNetworkStates
{
NSArray *subviews = [[[[UIApplication sharedApplication] valueForKeyPath:@"statusBar"] valueForKeyPath:@"foregroundView"] subviews];
// 保存網絡狀態
NetworkStates states = NetworkStatesNone;
for (id child in subviews) {
if ([child isKindOfClass:NSClassFromString(@"UIStatusBarDataNetworkItemView")]) {
//獲取到狀態欄碼
int networkType = [[child valueForKeyPath:@"dataNetworkType"] intValue];
switch (networkType) {
case 0:
//無網模式
states = NetworkStatesNone;
break;
case 1:
states = NetworkStates2G;
break;
case 2:
states = NetworkStates3G;
break;
case 3:
states = NetworkStates4G;
break;
case 5:
{
states = NetworkStatesWIFI;
}
break;
default:
break;
}
}
}
//根據狀態選擇
return states;
}
tip2: 登陸模塊
若是你多運行幾回就會發現, 登陸模塊背景中播放的視頻是2個視頻每次隨機播放一個的.而且是無限重複的, 也就是說只要你一直呆着登陸界面, 就會單視頻循環播放當前的視頻. 這兒的登陸只是幾個按鈕, 沒有具體的登陸邏輯, 隨便點哪個按鈕均可以進入首頁.
咱們須要監聽視頻, 是否播放完成.
// 監聽視頻是否播放完成
[[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(didFinish) name:IJKMPMoviePlayerPlaybackDidFinishNotification object:nil];
若是播放完成了, 讓IJKFFMoviePlayerController
再次play
便可
- (void)didFinish
{
// 播放完以後, 繼續重播
[self.player play];
}
這種效果相信不少人都看到過或者作過.我簡單說一下個人作法(不必定是最佳的, 只是提供一個思路)
一個父控制器
HomeViewController
+三個子控制器(最熱/最新/關注. 每一個控制器各自管理本身的業務邏輯, 高內聚低耦合). 重寫HomeViewController
的loadView
, 將self.view
替換成UIScrollView
. 將三個子控制器的view
添加到UIScrollView
上便可. 其餘的效果實現, 請參照個人代碼, 都有詳細的中文註釋.
tip4: 直播(面向觀衆端)
這個是整個項目的重點之一了.這種直播的佈局, 應該是比較主流的了. 我下載的好多直播類APP都是這個項目佈局, 包括YY也是這種界面佈局.這個裏面涉及的東西比較多了, 三言兩語真說不清.
簡單說一下已經實現的效果:
A: 主播的直播
B: 關聯主播的視頻直播, 默認是隻有界面, 沒有聲音的. 點擊該視圖能夠切換到此主播
C: 下拉切換另外一個主播, 這個功能是很常見的. 作法是直播控制器是一個UICollectionViewController
, 只有一個cell
, 且cell.frame
就是self.collectionViewb.bounds
. 咱們進入直播控制器的時候, 實際上是傳進去一個關聯主播數組, 每次下拉的時候, 就加載數組裏面的主播
D. 查看觀衆席的觀衆詳情
E. 查看主播詳情
F. 足跡: 粒子動畫, 後面詳解
G. 彈幕: 點擊最下方的工具欄第一個按鈕能夠開啓/關閉彈幕, 後面詳解
...
tip5: 粒子動畫實現遊客足跡
粒子動畫的layer是添加到播放器的view上面的. 下面代碼有詳細的註釋
CAEmitterLayer *emitterLayer = [CAEmitterLayer layer];
// 發射器在xy平面的中心位置
emitterLayer.emitterPosition = CGPointMake(self.moviePlayer.view.frame.size.width-50,self.moviePlayer.view.frame.size.height-50);
// 發射器的尺寸大小
emitterLayer.emitterSize = CGSizeMake(20, 20);
// 渲染模式
emitterLayer.renderMode = kCAEmitterLayerUnordered;
// 開啓三維效果
// _emitterLayer.preservesDepth = YES;
NSMutableArray *array = [NSMutableArray array];
// 建立粒子
for (int i = 0; i<10; i++) {
// 發射單元
CAEmitterCell *stepCell = [CAEmitterCell emitterCell];
// 粒子的建立速率,默認爲1/s
stepCell.birthRate = 1;
// 粒子存活時間
stepCell.lifetime = arc4random_uniform(4) + 1;
// 粒子的生存時間容差
stepCell.lifetimeRange = 1.5;
// 顏色
// fire.color=[[UIColor colorWithRed:0.8 green:0.4 blue:0.2 alpha:0.1]CGColor];
UIImage *image = [UIImage imageNamed:[NSString stringWithFormat:@"good%d_30x30", i]];
// 粒子顯示的內容
stepCell.contents = (id)[image CGImage];
// 粒子的名字
// [fire setName:@"step%d", i];
// 粒子的運動速度
stepCell.velocity = arc4random_uniform(100) + 100;
// 粒子速度的容差
stepCell.velocityRange = 80;
// 粒子在xy平面的發射角度
stepCell.emissionLongitude = M_PI+M_PI_2;;
// 粒子發射角度的容差
stepCell.emissionRange = M_PI_2/6;
// 縮放比例
stepCell.scale = 0.3;
[array addObject:stepCell];
}
emitterLayer.emitterCells = array;
[self.moviePlayer.view.layer insertSublayer:emitterLayer below:self.catEarView.layer];
tip6: 彈幕
彈幕使用的也是一個第三方輪子BarrageRenderer . 這個開源項目的文檔都是中文的, 用法也是很簡單的.
基本配置
_renderer = [[BarrageRenderer alloc] init];
// 設置彈幕的顯示區域. 基於父控件的.
_renderer.canvasMargin = UIEdgeInsetsMake(ALinScreenHeight * 0.3, 10, 10, 10);
[self.contentView addSubview:_renderer.view];
彈幕配置
#pragma mark - 彈幕描述符生產方法
/// 生成精靈描述 - 過場文字彈幕
- (BarrageDescriptor *)walkTextSpriteDescriptorWithDirection:(NSInteger)direction
{
BarrageDescriptor * descriptor = [[BarrageDescriptor alloc]init];
descriptor.spriteName = NSStringFromClass([BarrageWalkTextSprite class]);
descriptor.params[@"text"] = self.danMuText[arc4random_uniform((uint32_t)self.danMuText.count)];
descriptor.params[@"textColor"] = Color(arc4random_uniform(256), arc4random_uniform(256), arc4random_uniform(256));
descriptor.params[@"speed"] = @(100 * (double)random()/RAND_MAX+50);
descriptor.params[@"direction"] = @(direction);
descriptor.params[@"clickAction"] = ^{
UIAlertView *alertView = [[UIAlertView alloc]initWithTitle:@"提示" message:@"彈幕被點擊" delegate:nil cancelButtonTitle:@"取消" otherButtonTitles:nil];
[alertView show];
};
return descriptor;
}
最後一步, 千萬要記得start
[_renderer start];
#import "GLProgram.h"
// Base classes
#import "GPUImageOpenGLESContext.h"
#import "GPUImageOutput.h"
#import "GPUImageView.h"
#import "GPUImageVideoCamera.h"
#import "GPUImageStillCamera.h"
#import "GPUImageMovie.h"
#import "GPUImagePicture.h"
#import "GPUImageRawDataInput.h"
#import "GPUImageRawDataOutput.h"
#import "GPUImageMovieWriter.h"
#import "GPUImageFilterPipeline.h"
#import "GPUImageTextureOutput.h"
#import "GPUImageFilterGroup.h"
#import "GPUImageTextureInput.h"
#import "GPUImageUIElement.h"
#import "GPUImageBuffer.h"
// Filters
#import "GPUImageFilter.h"
#import "GPUImageTwoInputFilter.h"
#pragma mark - 調整顏色 Handle Color
#import "GPUImageBrightnessFilter.h" //亮度
#import "GPUImageExposureFilter.h" //曝光
#import "GPUImageContrastFilter.h" //對比度
#import "GPUImageSaturationFilter.h" //飽和度
#import "GPUImageGammaFilter.h" //伽馬線
#import "GPUImageColorInvertFilter.h" //反色
#import "GPUImageSepiaFilter.h" //褐色(懷舊)
#import "GPUImageLevelsFilter.h" //色階
#import "GPUImageGrayscaleFilter.h" //灰度
#import "GPUImageHistogramFilter.h" //色彩直方圖,顯示在圖片上
#import "GPUImageHistogramGenerator.h" //色彩直方圖
#import "GPUImageRGBFilter.h" //RGB
#import "GPUImageToneCurveFilter.h" //色調曲線
#import "GPUImageMonochromeFilter.h" //單色
#import "GPUImageOpacityFilter.h" //不透明度
#import "GPUImageHighlightShadowFilter.h" //提亮陰影
#import "GPUImageFalseColorFilter.h" //色彩替換(替換亮部和暗部色彩)
#import "GPUImageHueFilter.h" //色度
#import "GPUImageChromaKeyFilter.h" //色度鍵
#import "GPUImageWhiteBalanceFilter.h" //白平橫
#import "GPUImageAverageColor.h" //像素平均色值
#import "GPUImageSolidColorGenerator.h" //純色
#import "GPUImageLuminosity.h" //亮度平均
#import "GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,圖像黑白(有相似漫畫效果)
#import "GPUImageLookupFilter.h" //lookup 色彩調整
#import "GPUImageAmatorkaFilter.h" //Amatorka lookup
#import "GPUImageMissEtikateFilter.h" //MissEtikate lookup
#import "GPUImageSoftEleganceFilter.h" //SoftElegance lookup
#pragma mark - 圖像處理 Handle Image
#import "GPUImageCrosshairGenerator.h" //十字
#import "GPUImageLineGenerator.h" //線條
#import "GPUImageTransformFilter.h" //形狀變化
#import "GPUImageCropFilter.h" //剪裁
#import "GPUImageSharpenFilter.h" //銳化
#import "GPUImageUnsharpMaskFilter.h" //反遮罩銳化
#import "GPUImageFastBlurFilter.h" //模糊
#import "GPUImageGaussianBlurFilter.h" //高斯模糊
#import "GPUImageGaussianSelectiveBlurFilter.h" //高斯模糊,選擇部分清晰
#import "GPUImageBoxBlurFilter.h" //盒狀模糊
#import "GPUImageTiltShiftFilter.h" //條紋模糊,中間清晰,上下兩端模糊
#import "GPUImageMedianFilter.h" //中間值,有種稍微模糊邊緣的效果
#import "GPUImageBilateralFilter.h" //雙邊模糊
#import "GPUImageErosionFilter.h" //侵蝕邊緣模糊,變黑白
#import "GPUImageRGBErosionFilter.h" //RGB侵蝕邊緣模糊,有色彩
#import "GPUImageDilationFilter.h" //擴展邊緣模糊,變黑白
#import "GPUImageRGBDilationFilter.h" //RGB擴展邊緣模糊,有色彩
#import "GPUImageOpeningFilter.h" //黑白色調模糊
#import "GPUImageRGBOpeningFilter.h" //彩色模糊
#import "GPUImageClosingFilter.h" //黑白色調模糊,暗色會被提亮
#import "GPUImageRGBClosingFilter.h" //彩色模糊,暗色會被提亮
#import "GPUImageLanczosResamplingFilter.h" //Lanczos重取樣,模糊效果
#import "GPUImageNonMaximumSuppressionFilter.h" //非最大抑制,只顯示亮度最高的像素,其餘爲黑
#import "GPUImageThresholdedNonMaximumSuppressionFilter.h" //與上相比,像素丟失更多
#import "GPUImageSobelEdgeDetectionFilter.h" //Sobel邊緣檢測算法(白邊,黑內容,有點漫畫的反色效果)
#import "GPUImageCannyEdgeDetectionFilter.h" //Canny邊緣檢測算法(比上更強烈的黑白對比度)
#import "GPUImageThresholdEdgeDetectionFilter.h" //閾值邊緣檢測(效果與上差異不大)
#import "GPUImagePrewittEdgeDetectionFilter.h" //普瑞維特(Prewitt)邊緣檢測(效果與Sobel差很少,貌似更平滑)
#import "GPUImageXYDerivativeFilter.h" //XYDerivative邊緣檢測,畫面以藍色爲主,綠色爲邊緣,帶彩色
#import "GPUImageHarrisCornerDetectionFilter.h" //Harris角點檢測,會有綠色小十字顯示在圖片角點處
#import "GPUImageNobleCornerDetectionFilter.h" //Noble角點檢測,檢測點更多
#import "GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角點檢測,與上差異不大
#import "GPUImageMotionDetector.h" //動做檢測
#import "GPUImageHoughTransformLineDetector.h" //線條檢測
#import "GPUImageParallelCoordinateLineTransformFilter.h" //平行線檢測
#import "GPUImageLocalBinaryPatternFilter.h" //圖像黑白化,並有大量噪點
#import "GPUImageLowPassFilter.h" //用於圖像加亮
#import "GPUImageHighPassFilter.h" //圖像低於某值時顯示爲黑
#pragma mark - 視覺效果 Visual Effect
#import "GPUImageSketchFilter.h" //素描
#import "GPUImageThresholdSketchFilter.h" //閥值素描,造成有噪點的素描
#import "GPUImageToonFilter.h" //卡通效果(黑色粗線描邊)
#import "GPUImageSmoothToonFilter.h" //相比上面的效果更細膩,上面是粗曠的畫風
#import "GPUImageKuwaharaFilter.h" //桑原(Kuwahara)濾波,水粉畫的模糊效果;處理時間比較長,慎用
#import "GPUImageMosaicFilter.h" //黑白馬賽克
#import "GPUImagePixellateFilter.h" //像素化
#import "GPUImagePolarPixellateFilter.h" //同心圓像素化
#import "GPUImageCrosshatchFilter.h" //交叉線陰影,造成黑白網狀畫面
#import "GPUImageColorPackingFilter.h" //色彩丟失,模糊(相似監控攝像效果)
#import "GPUImageVignetteFilter.h" //暈影,造成黑色圓形邊緣,突出中間圖像的效果
#import "GPUImageSwirlFilter.h" //漩渦,中間造成捲曲的畫面
#import "GPUImageBulgeDistortionFilter.h" //凸起失真,魚眼效果
#import "GPUImagePinchDistortionFilter.h" //收縮失真,凹面鏡
#import "GPUImageStretchDistortionFilter.h" //伸展失真,哈哈鏡
#import "GPUImageGlassSphereFilter.h" //水晶球效果
#import "GPUImageSphereRefractionFilter.h" //球形折射,圖形倒立
#import "GPUImagePosterizeFilter.h" //色調分離,造成噪點效果
#import "GPUImageCGAColorspaceFilter.h" //CGA色彩濾鏡,造成黑、淺藍、紫色塊的畫面
#import "GPUImagePerlinNoiseFilter.h" //柏林噪點,花邊噪點
#import "GPUImage3x3ConvolutionFilter.h" //3x3卷積,高亮大色塊變黑,加亮邊緣、線條等
#import "GPUImageEmbossFilter.h" //浮雕效果,帶有點3d的感受
#import "GPUImagePolkaDotFilter.h" //像素圓點花樣
#import "GPUImageHalftoneFilter.h" //點染,圖像黑白化,由黑點構成原圖的大體圖形
#pragma mark - 混合模式 Blend
#import "GPUImageMultiplyBlendFilter.h" //一般用於建立陰影和深度效果
#import "GPUImageNormalBlendFilter.h" //正常
#import "GPUImageAlphaBlendFilter.h" //透明混合,一般用於在背景上應用前景的透明度
#import "GPUImageDissolveBlendFilter.h" //溶解
#import "GPUImageOverlayBlendFilter.h" //疊加,一般用於建立陰影效果
#import "GPUImageDarkenBlendFilter.h" //加深混合,一般用於重疊類型
#import "GPUImageLightenBlendFilter.h" //減淡混合,一般用於重疊類型
#import "GPUImageSourceOverBlendFilter.h" //源混合
#import "GPUImageColorBurnBlendFilter.h" //色彩加深混合
#import "GPUImageColorDodgeBlendFilter.h" //色彩減淡混合
#import "GPUImageScreenBlendFilter.h" //屏幕包裹,一般用於建立亮點和鏡頭眩光
#import "GPUImageExclusionBlendFilter.h" //排除混合
#import "GPUImageDifferenceBlendFilter.h" //差別混合,一般用於建立更多變更的顏色
#import "GPUImageSubtractBlendFilter.h" //差值混合,一般用於建立兩個圖像之間的動畫變暗模糊效果
#import "GPUImageHardLightBlendFilter.h" //強光混合,一般用於建立陰影效果
#import "GPUImageSoftLightBlendFilter.h" //柔光混合
#import "GPUImageChromaKeyBlendFilter.h" //色度鍵混合
#import "GPUImageMaskFilter.h" //遮罩混合
#import "GPUImageHazeFilter.h" //朦朧加暗
#import "GPUImageLuminanceThresholdFilter.h" //亮度閾
#import "GPUImageAdaptiveThresholdFilter.h" //自適應閾值
#import "GPUImageAddBlendFilter.h" //一般用於建立兩個圖像之間的動畫變亮模糊效果
#import "GPUImageDivideBlendFilter.h" //一般用於建立兩個圖像之間的動畫變暗模糊效果
#pragma mark - 尚不清楚
#import "GPUImageJFAVoroniFilter.h"
#import "GPUImageVoroniConsumerFilter.h"
tip8: H264硬編碼
若是使用ijkplayer 使用硬解碼, 一句代碼便可.
// 開啓硬解碼
[option setPlayerOptionValue:@"1" forKey:@"videotoolbox"];
硬編碼的應用場景: 咱們要將主播的視頻數據傳送給服務器
經過攝像頭來採集圖像,而後將採集到的圖像,經過硬編碼的方式進行編碼,最後編碼後的數據將其組合成H264的碼流經過網絡傳播。
攝像頭採集圖像, iOS系統提供了AVCaptureSession來採集攝像頭的圖像數據. 項目中我是直接使用 GPUImage 中的GPUImageVideoCamera
, 直接設置GPUImageVideoCamera
的代理便可, 在其代理方法- (void)willOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer;
進行數據編碼便可.
切記一點: 無論是系統自帶的
AVCaptureSession
仍是GPUImageVideoCamera
採集到的數據都是未通過編碼的CMSampleBuffer.
而後將採集到的數據, 用iOS開放的VideoToolbox
進行硬編碼. 關於VideoToolbox
硬編解碼網上不少教程, 固然最好是看Apple的官方文檔, 若是隻是硬編碼, 看個人項目便可.
關鍵的編碼函數(來自YOLO
直播負責人的開源項目 BeautifyFaceDemo )
void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CMSampleBufferRef sampleBuffer ) {
if (status != 0) return;
// 採集的未編碼數據是否準備好
if (!CMSampleBufferDataIsReady(sampleBuffer))
{
NSLog(@"didCompressH264 data is not ready ");
return;
}
ALinH264Encoder* encoder = (__bridge ALinH264Encoder*)outputCallbackRefCon;
bool keyframe = !CFDictionaryContainsKey((CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);
if (keyframe) // 關鍵幀
{
CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);
size_t sparameterSetSize, sparameterSetCount;
const uint8_t *sparameterSet;
OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0 );
if (statusCode == noErr)
{
size_t pparameterSetSize, pparameterSetCount;
const uint8_t *pparameterSet;
OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0 );
if (statusCode == noErr)
{
encoder->sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
encoder->pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];
NSLog(@"sps:%@ , pps:%@", encoder->sps, encoder->pps);
}
}
}
CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
size_t length, totalLength;
char *dataPointer;
OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);
if (statusCodeRet == noErr) {
size_t bufferOffset = 0;
static const int AVCCHeaderLength = 4;
while (bufferOffset < totalLength - AVCCHeaderLength)
{
uint32_t NALUnitLength = 0;
memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);
NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);
NSData *data = [[NSData alloc] initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];
bufferOffset += AVCCHeaderLength + NALUnitLength;
NSLog(@"sendData-->> %@ %lu", data, bufferOffset);
}
}
}
雖然說這個項目是個山寨
的, 高仿
的, 可是依然已經很龐大了. 具體的細節仍是須要你們本身去看個人項目源碼. 短短几千字還真說不清這麼多的知識點. blog的文章名字說了是初窺
, 還真的只是初窺
, 視頻直播裏面的坑太多. 且行且珍惜...
tip: 本文理論知識部分, 採集自網絡. 請記住一句話
talk is cheap show me the code
, 重點在於Demo
項目自己. 理論部分我只是一個搬運工和總結者...
Xcode7(及以上)
最好是將項目跑在真機上. 有些地方模擬器是不支持的, 也看不到任何效果的, 好比硬編碼/智能美顏等, 這些功能模塊, 我作了限制的, 須要真機狀態才能進行.
GitHub下載地址
請star和fork. 後續的bug會持續更新到github上的.
有問題能夠在簡書給我留言/私信, 或者微博(簡書我的上首頁有個人微博)私信我.