From f5ad70d4807ae6db8c7792bf4b0603bd9bf151f3 Mon Sep 17 00:00:00 2001
From: zlh668 <86775608+zlh668@users.noreply.github.com>
Date: Tue, 28 Mar 2023 19:51:02 +0800
Subject: [PATCH] =?UTF-8?q?iOS=20AVDemo=EF=BC=9A=E9=9F=B3=E9=A2=91?=
 =?UTF-8?q?=E5=B0=81=E8=A3=85=EF=BC=8C=E9=87=87=E9=9B=86=E7=BC=96=E7=A0=81?=
 =?UTF-8?q?=E5=B9=B6=E5=B0=81=E8=A3=85=E4=B8=BA=20M4A?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 ...¢‘å°�装，采集编ç �并å°�装为 M4A.md | 789 ++++++++++++++++++
 1 file changed, 789 insertions(+)
 create mode 100644 iOS资料/iOS AVDemo：音频�装，采集编�并�装为 M4A.md

diff --git a/iOS资料/iOS AVDemo：音频�装，采集编�并�装为 M4A.md b/iOS资料/iOS AVDemo：音频�装，采集编�并�装为 M4A.md
new file mode 100644
index 0000000..59285e6
--- /dev/null
+++ b/iOS资料/iOS AVDemo：音频�装，采集编�并�装为 M4A.md	
@@ -0,0 +1,789 @@
+# iOS AVDemo：音频�装，采集编�并�装为 M4A
+
+iOS/Android 客户端开��学如果想�开始学习音视频开�，最�滑的方�是对[音视频基础概念知识](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MjM5MTkxOTQyMQ==&action=getalbum&album_id=2140155659944787969#wechat_redirect)有一定了解�，�借助本地平�的音视频能力上手去实践音视频的`采集 → 编� → �装 → 解�装 → 解� → 渲染`过程，并借助[音视频工具](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MjM5MTkxOTQyMQ==&action=getalbum&album_id=2216997905264082945#wechat_redirect)�分�和�解对应的音视频数�。
+
+在[音视频工程示例](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MjM5MTkxOTQyMQ==&action=getalbum&album_id=2273301900659851268#wechat_redirect)这个�目，我们将通过拆解`采集 → 编� → �装 → 解�装 → 解� → 渲染`�程并实现 Demo ��大家介�如何在 iOS/Android 平�上手音视频开�。
+
+这里是第三篇：**iOS 音频�装 Demo**。这个 Demo 里包�以下内容：
+
+- 1）实现一个音频采集模�；
+- 2）实现一个音频编�模�；
+- 3）实现一个音频�装模�；
+- 4）串�音频采集�编���装模�，将采集到的音频数�输入给 AAC 编�模�进行编�，�将编��的数�输入给 M4A �装模��装和存储；
+- 5）详尽的代�注释，帮你�解代�逻辑和原�。
+
+## 1�音频采集模�
+
+在这个 Demo 中，音频采集模� `KFAudioCapture` 的实现与 [《iOS 音频采集 Demo》](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484867&idx=1&sn=d857104930a86de8ab0bdf2358ca6283&scene=21#wechat_redirect) 中一样，这里就����介�了，其接�如下：
+
+```
+KFAudioCapture.h
+#import <Foundation/Foundation.h>
+#import <CoreMedia/CoreMedia.h>
+#import "KFAudioConfig.h"
+
+NS_ASSUME_NONNULL_BEGIN
+
+@interface KFAudioCapture : NSObject
++ (instancetype)new NS_UNAVAILABLE;
+- (instancetype)init NS_UNAVAILABLE;
+- (instancetype)initWithConfig:(KFAudioConfig *)config;
+
+@property (nonatomic, strong, readonly) KFAudioConfig *config;
+@property (nonatomic, copy) void (^sampleBufferOutputCallBack)(CMSampleBufferRef sample); // 音频采集数�回调。
+@property (nonatomic, copy) void (^errorCallBack)(NSError *error); // 音频采集错误回调。
+
+- (void)startRunning; // 开始采集音频数�。
+- (void)stopRunning; // �止采集音频数�。
+@end
+
+NS_ASSUME_NONNULL_END
+```
+
+## 2�音频编�模�
+
+�样的，音频编�模� `KFAudioEncoder` 的实现与[《iOS 音频编� Demo》](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484887&idx=1&sn=ac142cbeafddc27f3a8c2902524831c8&scene=21#wechat_redirect)中一样，这里就����介�了，其接�如下：
+
+```
+#import <Foundation/Foundation.h>
+#import <CoreMedia/CoreMedia.h>
+
+NS_ASSUME_NONNULL_BEGIN
+
+@interface KFAudioEncoder : NSObject
++ (instancetype)new NS_UNAVAILABLE;
+- (instancetype)init NS_UNAVAILABLE;
+- (instancetype)initWithAudioBitrate:(NSInteger)audioBitrate;
+
+@property (nonatomic, assign, readonly) NSInteger audioBitrate; // 音频编��率。
+@property (nonatomic, copy) void (^sampleBufferOutputCallBack)(CMSampleBufferRef sample); // 音频编�数�回调。
+@property (nonatomic, copy) void (^errorCallBack)(NSError *error); // 音频编�错误回调。
+
+- (void)encodeSampleBuffer:(CMSampleBufferRef)buffer; // 编�。
+@end
+
+NS_ASSUME_NONNULL_END
+```
+
+## 3�音频�装模�
+
+接下�，我们�实现一个音频�装模�，在这里输入编��的数�，输出�装�的文件。
+
+这次我们��装的格�是 M4A，属于 MPEG-4 标准，通常普通的 MPEG-4 文件扩展�是 `.mp4`，�包�音频的 MPEG-4 文件扩展�用 `.m4a`。所以，其实我们这里实现的是一个 MP4 �装模�，支�将音频编�数��装� M4A，也支�将音视频数��装� MP4。关于 MP4 格�，�以看一看[《MP4 格�》](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484677&idx=1&sn=a868911489519592930e18a60966d6a1&scene=21#wechat_redirect)这篇文章了解一下。
+
+由于 MP4 �装涉�到一些�数设置，所以我们先实现一个 `KFMuxerConfig` 类用于定义 MP4 �装的�数的�置。这里包括了：�装文件输出地���装文件类型�图���信�这几个�数。
+
+```
+KFMuxerConfig.h
+#import <Foundation/Foundation.h>
+#import <CoreGraphics/CoreGraphics.h>
+#import "KFMediaBase.h"
+
+NS_ASSUME_NONNULL_BEGIN
+
+@interface KFMuxerConfig : NSObject
+@property (nonatomic, strong) NSURL *outputURL; // �装文件输出地�。
+@property (nonatomic, assign) KFMediaType muxerType; // �装文件类型。
+@property (nonatomic, assign) CGAffineTransform preferredTransform; // 图�的��信�。比如：视频图�旋转。
+@end
+
+NS_ASSUME_NONNULL_END
+KFMuxerConfig.m
+#import "KFMuxerConfig.h"
+
+@implementation KFMuxerConfig
+
+- (instancetype)init {
+    self = [super init];
+    if (self) {
+        _muxerType = KFMediaAV;
+        _preferredTransform = CGAffineTransformIdentity;
+    }
+    return self;
+}
+
+@end
+```
+
+其中用到的 `KFMediaType` 是定义在 `KFMediaBase.h` 中的一个枚举：
+
+```
+KFMediaBase.h
+#ifndef KFMediaBase_h
+#define KFMediaBase_h
+
+#import <Foundation/Foundation.h>
+
+typedef NS_ENUM(NSInteger, KFMediaType) {
+    KFMediaNone = 0,
+    KFMediaAudio = 1 << 0, // 仅音频。
+    KFMediaVideo = 1 << 1, // 仅视频。
+    KFMediaAV = KFMediaAudio | KFMediaVideo,  // 音视频都有。
+};
+
+#endif /* KFMediaBase_h */
+```
+
+接下�，我们�实现 `KFMP4Muxer` 模�。
+
+```
+KFMP4Muxer.h
+#import <Foundation/Foundation.h>
+#import <CoreMedia/CoreMedia.h>
+#import "KFMuxerConfig.h"
+
+NS_ASSUME_NONNULL_BEGIN
+
+@interface KFMP4Muxer : NSObject
++ (instancetype)new NS_UNAVAILABLE;
+- (instancetype)init NS_UNAVAILABLE;
+- (instancetype)initWithConfig:(KFMuxerConfig *)config;
+
+@property (nonatomic, strong, readonly) KFMuxerConfig *config;
+@property (nonatomic, copy) void (^errorCallBack)(NSError *error); // �装错误回调。
+
+- (void)startWriting; // 开始�装写入数�。
+- (void)cancelWriting; // �消�装写入数�。
+- (void)appendSampleBuffer:(CMSampleBufferRef)sampleBuffer; // 添加�装数�。
+- (void)stopWriting:(void (^)(BOOL success, NSError *error))completeHandler; // �止�装写入数�。
+@end
+
+NS_ASSUME_NONNULL_END
+```
+
+上�是 `KFMP4Muxer` 的接�设计，除了`�始化方法`，主�是有`获��装�置`以�`�装错误回调`的接�，�外就是`开始写入�装数�`�`�消写入�装数�`�`添加�装数�`�`�止写入�装数�`的接�。
+
+在上�的`添加�装数�`接�中，我们使用的是�然 **CMSampleBufferRef**[1] 作为�数类型，�次体现了它作为 `iOS 音视频处� pipeline 中的�通货�`的通用性。关于这点，我们在[《iOS 音频采集 Demo》](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484867&idx=1&sn=d857104930a86de8ab0bdf2358ca6283&scene=21#wechat_redirect)和[《iOS 音频编� Demo》](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484887&idx=1&sn=ac142cbeafddc27f3a8c2902524831c8&scene=21#wechat_redirect)两篇文章中都�到过。
+
+在这个 Demo 里我们通过 `CMSampleBufferRef` 打包的是编��的 AAC 数�，将其作为输入�给�装模�。
+
+```
+KFMP4Muxer.m
+#import "KFMP4Muxer.h"
+#import <AVFoundation/AVFoundation.h>
+
+#define KFMP4MuxerAddOutputError 1000
+#define KFMP4MuxerMaxQueueCount 10000
+
+// �装器的状�机。
+typedef NS_ENUM(NSInteger, KFMP4MuxerStatus) {
+    KFMP4MuxerStatusUnknown = 0,
+    KFMP4MuxerStatusRunning = 1,
+    KFMP4MuxerStatusFailed = 2,
+    KFMP4MuxerStatusCompleted = 3,
+    KFMP4MuxerStatusCancelled = 4,
+};
+
+@interface KFMP4Muxer () {
+    CMSimpleQueueRef _audioQueue; // 音频数�队列。
+    CMSimpleQueueRef _videoQueue; // 视频数�队列。
+}
+@property (nonatomic, strong, readwrite) KFMuxerConfig *config;
+@property (nonatomic, strong) AVAssetWriter *muxWriter; // �装器实例。
+@property (nonatomic, strong) AVAssetWriterInput *writerVideoInput; // Muxer 的视频输入。
+@property (nonatomic, strong) AVAssetWriterInput *writerAudioInput; // Muxer 的音频输入。
+@property (nonatomic, strong) dispatch_queue_t muxerQueue;
+@property (nonatomic, strong) dispatch_semaphore_t semaphore;
+@property (nonatomic, assign) KFMP4MuxerStatus muxerStatus;
+@end
+
+@implementation KFMP4Muxer
+#pragma mark - LifeCycle
+- (instancetype)initWithConfig:(KFMuxerConfig *)config {
+    self = [super init];
+    if (self) {
+        _config = config;
+        _muxerQueue = dispatch_queue_create("com.KeyFrameKit.muxerQueue", DISPATCH_QUEUE_SERIAL); // �装任务队列。
+        _semaphore = dispatch_semaphore_create(1);
+        CMSimpleQueueCreate(kCFAllocatorDefault, KFMP4MuxerMaxQueueCount, &_audioQueue);
+        CMSimpleQueueCreate(kCFAllocatorDefault, KFMP4MuxerMaxQueueCount, &_videoQueue);
+    }
+    
+    return self;
+}
+
+- (void)dealloc {
+    dispatch_semaphore_wait(_semaphore, DISPATCH_TIME_FOREVER);
+    [self _reset]; // 清�。
+    dispatch_semaphore_signal(_semaphore);
+}
+
+#pragma mark - Public Method
+- (void)startWriting {
+    // 开始写入。
+    __weak typeof(self) weakSelf = self;
+    dispatch_async(self.muxerQueue, ^{
+        dispatch_semaphore_wait(weakSelf.semaphore, DISPATCH_TIME_FOREVER);
+        [weakSelf _reset]; // 清�。
+        weakSelf.muxerStatus = KFMP4MuxerStatusRunning; // 标记状�。
+        dispatch_semaphore_signal(weakSelf.semaphore);
+    });
+}
+
+- (void)cancelWriting {
+    // �消写入。
+    __weak typeof(self) weakSelf = self;
+    dispatch_async(self.muxerQueue, ^{
+        dispatch_semaphore_wait(weakSelf.semaphore, DISPATCH_TIME_FOREVER);
+        if (weakSelf.muxWriter && weakSelf.muxWriter.status == AVAssetWriterStatusWriting) {
+            [weakSelf.muxWriter cancelWriting];
+        }
+        weakSelf.muxerStatus = KFMP4MuxerStatusCancelled; // 标记状�。
+        dispatch_semaphore_signal(weakSelf.semaphore);
+    });
+}
+
+- (void)appendSampleBuffer:(CMSampleBufferRef)sampleBuffer {
+    if (!sampleBuffer || !CMSampleBufferGetDataBuffer(sampleBuffer) || self.muxerStatus != KFMP4MuxerStatusRunning) {
+        return;
+    }
+
+    // 异步添加数�。
+
+    __weak typeof(self) weakSelf = self;
+    CFRetain(sampleBuffer);
+    dispatch_async(self.muxerQueue, ^{
+        dispatch_semaphore_wait(weakSelf.semaphore, DISPATCH_TIME_FOREVER);
+        
+        // 1�添加数�到队列。
+        [weakSelf _enqueueSampleBuffer:sampleBuffer];
+        
+        // 2�第一次添加数�时，创建 Muxer 实例并触�写数��作。
+        if (!weakSelf.muxWriter) {
+            // 检查数�是�正常。队列里�有数�则表示对应的数��带的音视频格�信�是正常的，这个在�始化 Muxer 的输入�时需�用到。
+            if (![weakSelf _checkFormatDescriptionLoadSuccess]) {
+                CFRelease(sampleBuffer);
+                dispatch_semaphore_signal(weakSelf.semaphore);
+                return;
+            }
+            
+            // 创建 Muxer 实例。
+            NSError *error = nil;
+            BOOL success = [weakSelf _setupMuxWriter:&error];
+            if (!success) {
+                weakSelf.muxerStatus = KFMP4MuxerStatusFailed;
+                CFRelease(sampleBuffer);
+                dispatch_semaphore_signal(weakSelf.semaphore);
+                [weakSelf _callBackError:error];
+                return;
+            }
+            
+            // 开始�装写入。
+            success = [weakSelf.muxWriter startWriting];
+            if (success) {
+                // �动�装会�，传入数�起始时间。这个起始时间是音视频 pts 的最�值。
+                [weakSelf.muxWriter startSessionAtSourceTime:[weakSelf _sessionSourceTime]];
+            }
+        }
+        
+        // 3�检查 Muxer 状�。
+        if (!weakSelf.muxWriter || weakSelf.muxWriter.status != AVAssetWriterStatusWriting) {
+            weakSelf.muxerStatus = KFMP4MuxerStatusFailed;
+            CFRelease(sampleBuffer);
+            dispatch_semaphore_signal(weakSelf.semaphore);
+            [weakSelf _callBackError:weakSelf.muxWriter.error];
+            return;
+        }
+
+        // 4��音视频数�交织。
+        [weakSelf _avInterLeavedSample];
+        
+        CFRelease(sampleBuffer);
+        dispatch_semaphore_signal(weakSelf.semaphore);
+    });
+}
+
+- (void)stopWriting:(void (^)(BOOL success, NSError *error))completeHandler {
+    // �止写入。
+    __weak typeof(self) weakSelf = self;
+    dispatch_async(self.muxerQueue, ^{
+        dispatch_semaphore_wait(weakSelf.semaphore, DISPATCH_TIME_FOREVER);
+        [weakSelf _stopWriting:^(BOOL success, NSError *error) {
+            weakSelf.muxerStatus = success ? KFMP4MuxerStatusCompleted : KFMP4MuxerStatusFailed;
+            dispatch_semaphore_signal(weakSelf.semaphore);
+            if (completeHandler) {
+                completeHandler(success, error);
+            }
+        }];
+    });
+}
+
+#pragma mark - Private Method
+- (BOOL)_setupMuxWriter:(NSError **)error {
+    if (!self.config.outputURL) {
+        *error = [NSError errorWithDomain:NSStringFromClass([KFMP4Muxer class]) code:40003 userInfo:nil];
+        return NO;
+    }
+    
+    // 1�清�写入路径的文件。
+    if ([[NSFileManager defaultManager] fileExistsAtPath:self.config.outputURL.path]) {
+        [[NSFileManager defaultManager] removeItemAtPath:self.config.outputURL.path error:nil];
+    }
+    
+    
+    // 2�创建�装器实例。
+    if (_muxWriter) {
+        return YES;
+    }
+    // 使用 AVAssetWriter 作为�装器，类型使用 AVFileTypeMPEG4。M4A 格�是�循 MPEG4 规范的一�音频格�。
+    _muxWriter = [[AVAssetWriter alloc] initWithURL:self.config.outputURL fileType:AVFileTypeMPEG4 error:error];
+    if (*error) {
+        return NO;
+    }
+    _muxWriter.movieTimeScale = 1000000000;
+    _muxWriter.shouldOptimizeForNetworkUse = YES; // 这个选项会将 MP4 的 moov box �置。
+    
+    // 3�当�装内容包�视频时，创建 Muxer 的视频输入。
+    if ((self.config.muxerType & KFMediaVideo) && !_writerVideoInput) {
+        // 从队列中的视频数�里获�视频格�信�，用于�始化视频输入�。
+        CMVideoFormatDescriptionRef videoDecscription = CMSampleBufferGetFormatDescription((CMSampleBufferRef)CMSimpleQueueGetHead(_videoQueue));
+        _writerVideoInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo outputSettings:nil sourceFormatHint:videoDecscription];
+        _writerVideoInput.expectsMediaDataInRealTime = YES; // 输入是�为实时数��，比如相机采集。
+        _writerVideoInput.transform = self.config.preferredTransform; // 画�是����。
+        if ([self.muxWriter canAddInput:self.writerVideoInput]) {
+            [self.muxWriter addInput:self.writerVideoInput];
+        } else {
+            *error = self.muxWriter.error ? self.muxWriter.error : [NSError errorWithDomain:NSStringFromClass([KFMP4Muxer class]) code:KFMP4MuxerAddOutputError userInfo:nil];
+            return NO;
+        }
+    }
+    
+    // 4�当�装内容包�音频时，创建 Muxer 的音频输入。
+    if ((self.config.muxerType & KFMediaAudio) && !_writerAudioInput) {
+        // 从队列中的音频数�里获�音频格�信�，用于�始化音频输入�。
+        CMAudioFormatDescriptionRef audioDecscription = CMSampleBufferGetFormatDescription((CMSampleBufferRef)CMSimpleQueueGetHead(_audioQueue));
+        _writerAudioInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeAudio outputSettings:nil sourceFormatHint:audioDecscription];
+        _writerAudioInput.expectsMediaDataInRealTime = YES; // 输入是�为实时数��，比如麦克风采集。
+        if ([self.muxWriter canAddInput:self.writerAudioInput]) {
+            [self.muxWriter addInput:self.writerAudioInput];
+        } else {
+            *error = self.muxWriter.error ? self.muxWriter.error : [NSError errorWithDomain:NSStringFromClass([KFMP4Muxer class]) code:KFMP4MuxerAddOutputError userInfo:nil];
+            return NO;
+        }
+    }
+
+    return YES;
+}
+
+- (void)_enqueueSampleBuffer:(CMSampleBufferRef)sampleBuffer {
+    CFRetain(sampleBuffer);
+    // 音频�视频的格�信�正确�能入队。因为��创建 Muxer 实例的输入�时也需�从队列中的音视频数�中获�相关格�信�。
+    if (CMFormatDescriptionGetMediaType(CMSampleBufferGetFormatDescription(sampleBuffer)) == kCMMediaType_Audio) {
+        CMSimpleQueueEnqueue(_audioQueue, sampleBuffer); // 音频数�入队列。
+    } else if (CMFormatDescriptionGetMediaType(CMSampleBufferGetFormatDescription(sampleBuffer)) == kCMMediaType_Video) {
+        CMSimpleQueueEnqueue(_videoQueue, sampleBuffer); // 视频数�入队列。
+    }
+}
+
+- (void)_flushMuxer {
+    // 将队列数�消费掉。
+    [self _appendAudioSample];
+    [self _appendVideoSample];
+}
+
+- (void)_appendAudioSample {
+    // 音频写入�装。
+    while (self.writerAudioInput && self.writerAudioInput.readyForMoreMediaData && CMSimpleQueueGetCount(_audioQueue) > 0) {
+        CMSampleBufferRef audioSample = (CMSampleBufferRef)CMSimpleQueueDequeue(_audioQueue);
+        [self.writerAudioInput appendSampleBuffer:audioSample];
+        CFRelease(audioSample);
+    }
+}
+
+- (void)_appendVideoSample {
+    // 视频写入�装。
+    while (self.writerVideoInput && self.writerVideoInput.readyForMoreMediaData && CMSimpleQueueGetCount(_videoQueue) > 0) {
+        CMSampleBufferRef videoSample = (CMSampleBufferRef)CMSimpleQueueDequeue(_videoQueue);
+        [self.writerVideoInput appendSampleBuffer:videoSample];
+        CFRelease(videoSample);
+    }
+}
+
+- (void)_avInterLeavedSample {
+    // 当�时�装音频和视频时，需��好交织，这样�以��音视频播放时的体验。
+    if ((self.config.muxerType & KFMediaAudio) && (self.config.muxerType & KFMediaVideo)) { // �时�装音频和视频。
+        while (CMSimpleQueueGetCount(_audioQueue) > 0 && CMSimpleQueueGetCount(_videoQueue) > 0) {
+            if (self.writerAudioInput.readyForMoreMediaData && self.writerVideoInput.readyForMoreMediaData) {
+                // 音频�视频队列数��出队 1 个。
+                CMSampleBufferRef audioHeader = (CMSampleBufferRef)CMSimpleQueueGetHead(_audioQueue);
+                CMTime audioDtsTime = CMSampleBufferGetPresentationTimeStamp(audioHeader);
+                CMSampleBufferRef videoHeader = (CMSampleBufferRef)CMSimpleQueueGetHead(_videoQueue);
+                CMTime videoDtsTime = CMSampleBufferGetDecodeTimeStamp(videoHeader).value > 0 ? CMSampleBufferGetDecodeTimeStamp(videoHeader) : CMSampleBufferGetPresentationTimeStamp(videoHeader);
+                // 比较 dts 较�者写入�装。
+                if (CMTimeGetSeconds(audioDtsTime) >= CMTimeGetSeconds(videoDtsTime)) {
+                    CMSampleBufferRef videoSample = (CMSampleBufferRef)CMSimpleQueueDequeue(_videoQueue);
+                    [self.writerVideoInput appendSampleBuffer:videoSample];
+                    CFRelease(videoSample);
+                } else {
+                    CMSampleBufferRef audioSample = (CMSampleBufferRef)CMSimpleQueueDequeue(_audioQueue);
+                    [self.writerAudioInput appendSampleBuffer:audioSample];
+                    CFRelease(audioSample);
+                }
+            } else {
+                break;
+            }
+        }
+    } else if (self.config.muxerType & KFMediaAudio) { // ��装音频。
+        [self _appendAudioSample];
+    } else if (self.config.muxerType & KFMediaVideo) { // ��装视频。
+        [self _appendVideoSample];
+    }
+}
+
+- (BOOL)_checkFormatDescriptionLoadSuccess {
+    // 检查数�是�正常。
+    if (!_muxWriter) {
+        if ((self.config.muxerType & KFMediaAudio) && (self.config.muxerType & KFMediaVideo)) {
+            return CMSimpleQueueGetCount(_videoQueue) > 0 && CMSimpleQueueGetCount(_audioQueue) > 0;
+        } else if (self.config.muxerType & KFMediaAudio) {
+            return CMSimpleQueueGetCount(_audioQueue) > 0;
+        } else if (self.config.muxerType & KFMediaVideo) {
+            return CMSimpleQueueGetCount(_videoQueue) > 0;
+        }
+    }
+    
+    return NO;
+}
+
+- (CMTime)_sessionSourceTime {
+    // 数�起始时间：音视频 pts 的最�值。
+    CMSampleBufferRef audioFirstBuffer = (CMSampleBufferRef)CMSimpleQueueGetHead(_audioQueue);
+    CMSampleBufferRef videoFirstBuffer = (CMSampleBufferRef)CMSimpleQueueGetHead(_videoQueue);
+    if (audioFirstBuffer && videoFirstBuffer) {
+        Float64 audioPtsTime = CMTimeGetSeconds(CMSampleBufferGetPresentationTimeStamp(audioFirstBuffer));
+        Float64 videoPtsTime = CMTimeGetSeconds(CMSampleBufferGetPresentationTimeStamp(videoFirstBuffer));
+        return audioPtsTime >= videoPtsTime ? CMSampleBufferGetPresentationTimeStamp(videoFirstBuffer) : CMSampleBufferGetPresentationTimeStamp(audioFirstBuffer);
+    } else if (audioFirstBuffer) {
+        return CMSampleBufferGetPresentationTimeStamp(audioFirstBuffer);
+    } else if (videoFirstBuffer) {
+        return CMSampleBufferGetPresentationTimeStamp(videoFirstBuffer);
+    }
+    
+    return kCMTimeInvalid;
+}
+
+- (void)_stopWriting:(void (^)(BOOL success, NSError *error))completeHandler {
+    // 1�状��对，回调错误。
+    if (!self.muxWriter || self.muxWriter.status == AVAssetWriterStatusCompleted || self.muxWriter.status == AVAssetWriterStatusCancelled || self.muxWriter.status == AVAssetWriterStatusUnknown) {
+        if (completeHandler) {
+            completeHandler(NO, self.muxWriter.error ? self.muxWriter.error : [NSError errorWithDomain:NSStringFromClass(self.class) code:self.muxWriter.status userInfo:nil]);
+        }
+        return;
+    }
+    
+    // 2�消费掉队列中剩余的数�。
+    // 先�剩余数�的音视频交织。
+    [self _avInterLeavedSample];
+    // 消费剩余数�。
+    [self _flushMuxer];
+    
+    // 3�标记视频输入和音频输入为结�状�。
+    [self _markVideoAsFinished];
+    [self _markAudioAsFinished];
+    
+    // 4�结�写入。
+    __weak typeof(self) weakSelf = self;
+    [self.muxWriter finishWritingWithCompletionHandler:^{
+        BOOL complete = weakSelf.muxWriter.status == AVAssetWriterStatusCompleted;
+        if (completeHandler) {
+            completeHandler(complete, complete ? nil : weakSelf.muxWriter.error);
+        }
+    }];
+}
+
+- (void)_markVideoAsFinished {
+    // 标记视频输入�为结�状�。
+    if (self.muxWriter.status == AVAssetWriterStatusWriting && self.writerVideoInput) {
+        [self.writerVideoInput markAsFinished];
+    }
+}
+
+- (void)_markAudioAsFinished {
+    // 标记音频输入�为结�状�。
+    if (self.muxWriter.status == AVAssetWriterStatusWriting && self.writerAudioInput) {
+        [self.writerAudioInput markAsFinished];
+    }
+}
+
+- (void)_reset {
+    // �消写入�作。
+    if (_muxWriter && _muxWriter.status == AVAssetWriterStatusWriting) {
+        [_muxWriter cancelWriting];
+    }
+    
+    // 清�实例。
+    _muxWriter = nil;
+    _writerVideoInput = nil;
+    _writerVideoInput = nil;
+    
+    // 清�音频和视频数�队列。
+    while (CMSimpleQueueGetCount(_audioQueue) > 0) {
+        CMSampleBufferRef sampleBuffer = (CMSampleBufferRef) CMSimpleQueueDequeue(_audioQueue);
+        CFRelease(sampleBuffer);
+    }
+    while (CMSimpleQueueGetCount(_videoQueue) > 0) {
+        CMSampleBufferRef sampleBuffer = (CMSampleBufferRef) CMSimpleQueueDequeue(_videoQueue);
+        CFRelease(sampleBuffer);
+    }
+}
+
+- (void)_callBackError:(NSError *)error {
+    if (error && self.errorCallBack) {
+        dispatch_async(dispatch_get_main_queue(), ^{
+            self.errorCallBack(error);
+        });
+    }
+}
+
+@end
+```
+
+上�是 `KFMP4Muxer` 的实现，从代�上�以看到主�有这几个部分：
+
+- 1）创建�装器实例�对应的音频和视频数�输入�。第一次调用 `-appendSampleBuffer:` 添加待�装数�时�会创建�装器实例。
+
+- - 在 `-_setupMuxWriter:` 方法中实现。音频和视频的输入�分别是 `writerAudioInput` 和 `writerVideoInput`。
+
+- 2）用两个队列作为缓冲区，分别管�音频和视频待�装数�。
+
+- - 这两个队列分别是 `_audioQueue` 和 `_videoQueue`。
+  - �次当外部调用 `-appendSampleBuffer:` 方法�入待�装数�时，其实都是先调用 `-_enqueueSampleBuffer:` 把数�放入两个队列中的一个，以便根�情况进行�续的音视频数�交织。
+
+- 3）�时�装音频和视频数�时，进行音视频数�交织。
+
+- - 在 `-_avInterLeavedSample` 方法中实现音视频数�交织。当带�装的数�既有音频�有视频，就需�根�他们的时间戳信�进行交织，这样便于在播放该音视频时��体验。
+
+- 4）音视频数�写入�装。
+
+- - �时�装音频和视频数�时，在�完音视频交织�，�分别将交织�的音视频数�写入对应的 `writerAudioInput` 和 `writerVideoInput`。在 `-_avInterLeavedSample` 中实现。
+  - �独�装音频或视频数�时，则直接将数�写入对应的 `writerAudioInput` 和 `writerVideoInput`。分别在 `-_appendAudioSample` 和 `-_appendVideoSample` 方法中实现。
+
+- 5）�止写入。
+
+- - 在 `-stopWriting:` → `-_stopWriting:` 方法中实现。
+  - 在�止�，还需�消费掉 `_audioQueue` 和 `_videoQueue` 的剩余数�，�调用 `-_avInterLeavedSample` → `-_flushMuxer`。
+  - 并将视频输入�和音频输入�标记�结�，分别在 `-_markVideoAsFinished` 和 `-_markAudioAsFinished` 方法中实现。
+
+- 6）贯穿整个�装过程的状�机管�。
+
+- - 在枚举 `KFMP4MuxerStatus` 中定义了�装器的��状�，对于�装器的状�机管�贯穿在�装的整个过程中。
+
+- 7）错误回调。
+
+- - 在 `-callBackError:` 方法�外回调错误。
+
+- 8）清��装器实例�数�缓冲区。
+
+- - 在 `-dealloc` 方法中实现。需�调用 `-_reset` 方法清��装器实例�音频和视频输入��音频和视频缓冲区。
+
+更具体细节�上述代��其注释。
+
+## 4�采集音频数�进行 AAC 编�以� M4A �装和存储
+
+我们还是在一个 ViewController 中�实现采集音频数�进行 AAC 编��M4A �装和存储的逻辑。
+
+```
+KFAudioCaptureViewController.m
+#import "KFAudioMuxerViewController.h"
+#import <AVFoundation/AVFoundation.h>
+#import "KFAudioCapture.h"
+#import "KFAudioEncoder.h"
+#import "KFMP4Muxer.h"
+
+@interface KFAudioMuxerViewController ()
+@property (nonatomic, strong) KFAudioConfig *audioConfig;
+@property (nonatomic, strong) KFAudioCapture *audioCapture;
+@property (nonatomic, strong) KFAudioEncoder *audioEncoder;
+@property (nonatomic, strong) KFMuxerConfig *muxerConfig;
+@property (nonatomic, strong) KFMP4Muxer *muxer;
+@end
+
+@implementation KFAudioMuxerViewController
+#pragma mark - Property
+- (KFAudioConfig *)audioConfig {
+    if (!_audioConfig) {
+        _audioConfig = [KFAudioConfig defaultConfig];
+    }
+    
+    return _audioConfig;
+}
+
+- (KFAudioCapture *)audioCapture {
+    if (!_audioCapture) {
+        __weak typeof(self) weakSelf = self;
+        _audioCapture = [[KFAudioCapture alloc] initWithConfig:self.audioConfig];
+        _audioCapture.errorCallBack = ^(NSError* error) {
+            NSLog(@"KFAudioCapture error:%zi %@", error.code, error.localizedDescription);
+        };
+        // 音频采集数�回调。在这里采集的 PCM 数��给编�器。
+        _audioCapture.sampleBufferOutputCallBack = ^(CMSampleBufferRef sampleBuffer) {
+            [weakSelf.audioEncoder encodeSampleBuffer:sampleBuffer];
+        };
+    }
+    
+    return _audioCapture;
+}
+
+- (KFAudioEncoder *)audioEncoder {
+    if (!_audioEncoder) {
+        __weak typeof(self) weakSelf = self;
+        _audioEncoder = [[KFAudioEncoder alloc] initWithAudioBitrate:96000];
+        _audioEncoder.errorCallBack = ^(NSError* error) {
+            NSLog(@"KFAudioEncoder error:%zi %@", error.code, error.localizedDescription);
+        };
+        // 音频编�数�回调。这里编�的 AAC 数��给�装器。
+        // 与之�将编��的 AAC 数�存储为 AAC 文件��的是，这里编���给�装器的 AAC 数�是没有添加 ADTS 头的，因为我们这里�装的是 M4A 格�，�需� ADTS 头。
+        _audioEncoder.sampleBufferOutputCallBack = ^(CMSampleBufferRef sampleBuffer) {
+            [weakSelf.muxer appendSampleBuffer:sampleBuffer];
+        };
+    }
+    
+    return _audioEncoder;
+}
+
+- (KFMuxerConfig *)muxerConfig {
+    if (!_muxerConfig) {
+        _muxerConfig = [[KFMuxerConfig alloc] init];
+        NSString *audioPath = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) lastObject] stringByAppendingPathComponent:@"test.m4a"];
+        NSLog(@"M4A file path: %@", audioPath);
+        [[NSFileManager defaultManager] removeItemAtPath:audioPath error:nil];
+        _muxerConfig.outputURL = [NSURL fileURLWithPath:audioPath];
+        _muxerConfig.muxerType = KFMediaAudio;
+    }
+    
+    return _muxerConfig;
+}
+
+- (KFMP4Muxer *)muxer {
+    if (!_muxer) {
+        _muxer = [[KFMP4Muxer alloc] initWithConfig:self.muxerConfig];
+        _muxer.errorCallBack = ^(NSError* error) {
+            NSLog(@"KFMP4Muxer error:%zi %@", error.code, error.localizedDescription);
+        };
+    }
+    
+    return _muxer;
+}
+
+#pragma mark - Lifecycle
+- (void)viewDidLoad {
+    [super viewDidLoad];
+    
+    [self setupAudioSession];
+    [self setupUI];
+    
+    // 完�音频编��，�以将 App Document 文件夹下�的 test.m4a 文件拷�到电脑上，使用 ffplay 播放：
+    // ffplay -i test.m4a
+}
+
+#pragma mark - Setup
+- (void)setupUI {
+    self.edgesForExtendedLayout = UIRectEdgeAll;
+    self.extendedLayoutIncludesOpaqueBars = YES;
+    self.title = @"Audio Muxer";
+    self.view.backgroundColor = [UIColor whiteColor];
+    
+    
+    // Navigation item.
+    UIBarButtonItem *startBarButton = [[UIBarButtonItem alloc] initWithTitle:@"Start" style:UIBarButtonItemStylePlain target:self action:@selector(start)];
+    UIBarButtonItem *stopBarButton = [[UIBarButtonItem alloc] initWithTitle:@"Stop" style:UIBarButtonItemStylePlain target:self action:@selector(stop)];
+    self.navigationItem.rightBarButtonItems = @[startBarButton, stopBarButton];
+
+}
+
+- (void)setupAudioSession {
+    NSError *error = nil;
+    
+    // 1�获�音频会�实例。
+    AVAudioSession *session = [AVAudioSession sharedInstance];
+
+    // 2�设置分类和选项。
+    [session setCategory:AVAudioSessionCategoryPlayAndRecord withOptions:AVAudioSessionCategoryOptionMixWithOthers | AVAudioSessionCategoryOptionDefaultToSpeaker error:&error];
+    if (error) {
+        NSLog(@"AVAudioSession setCategory error.");
+        error = nil;
+        return;
+    }
+    
+    // 3�设置模�。
+    [session setMode:AVAudioSessionModeVideoRecording error:&error];
+    if (error) {
+        NSLog(@"AVAudioSession setMode error.");
+        error = nil;
+        return;
+    }
+
+    // 4�激活会�。
+    [session setActive:YES error:&error];
+    if (error) {
+        NSLog(@"AVAudioSession setActive error.");
+        error = nil;
+        return;
+    }
+}
+
+#pragma mark - Action
+- (void)start {
+    // �动采集器。
+    [self.audioCapture startRunning];
+    // �动�装器。
+    [self.muxer startWriting];
+}
+
+- (void)stop {
+    // �止采集器。
+    [self.audioCapture stopRunning];
+    // �止�装器。
+    [self.muxer stopWriting:^(BOOL success, NSError * _Nonnull error) {
+        NSLog(@"KFMP4Muxer %@", success ? @"success" : [NSString stringWithFormat:@"error %zi %@", error.code, error.localizedDescription]);
+    }];
+}
+
+@end
+```
+
+上�是 `KFAudioMuxerViewController` 的实现，其中主�包�这几个部分：
+
+- 1）在采集音频�需�设置 **AVAudioSession**[2] 为正确的采集模�。
+
+- - 在 `-setupAudioSession` 中实现。
+
+- 2）通过�动和关闭音频采集和�装�驱动整个采集�编���装�程。
+
+- - 分别在 `-start` 和 `-stop` 中实现开始和�止动作。
+
+- 3）在采集模� `KFAudioCapture` 的数�回调中将数�交给编�模� `KFAudioEncoder` 进行编�。
+
+- - 在 `KFAudioCapture` 的 `sampleBufferOutputCallBack` 回调中实现。
+
+- 4）在编�模� `KFAudioEncoder` 的数�回调中获�编��的 AAC 裸�数�，并将数�交给�装器 `KFMP4Muxer` 进行�装。
+
+- - 在 `KFAudioEncoder` 的 `sampleBufferOutputCallBack` 回调中实现。
+
+- 5）在调用 `-stop` �止整个�程�，如果没有出现错误，�装的 M4A 文件会被存储到 `muxerConfig` 设置的路径。
+
+## 5�用工具播放 M4A 文件
+
+完�音频采集和编��，�以将 App Document 文件夹下�的 `test.m4a` 文件拷�到电脑上，使用 `ffplay` 播放�验�一下音频采集是效果是�符�预期：
+
+```
+$ ffplay -i test.m4a
+```
+
+关于播放 M4A 文件的工具，�以�考[《FFmpeg 工具》第 2 节 ffplay 命令行工具](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484831&idx=1&sn=6bab905a5040c46b971bab05f787788b&scene=21#wechat_redirect)和[《�视化音视频分�工具》第 1.1 节 Adobe Audition](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484834&idx=1&sn=5dd9768bfc0d01ca1b036be8dd2f5fa1&scene=21#wechat_redirect)。
+
+上�我们讲过 M4A 格�是属于 MPEG-4 标准，所以我们这里还�以用[《�视化音视频分�工具》第 3.1 节 MP4Box.js](https://mp.weixin.qq.com/s?__biz=MjM5MTkxOTQyMQ==&mid=2257484834&idx=1&sn=5dd9768bfc0d01ca1b036be8dd2f5fa1&scene=21#wechat_redirect) 等工具�查看它的格�：
+
+![图片](https://mmbiz.qpic.cn/mmbiz_png/gUnqKPeSuejDJHRicNdoGX06V5TeO2y8kKRhgQmZzal2dlyNdiaVRalLv4KHU1BlpTFPX4aS7oKqCM0jG7hVjW1w/640?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1)Demo 生�的 M4A 文件结构
+
+## 6��考资料
+
+[1]CMSampleBufferRef: *https://developer.apple.com/documentation/coremedia/cmsamplebufferref/*
+
+[2]AVAudioSession: *https://developer.apple.com/documentation/avfaudio/avaudiosession/*
+
+
+
+
+
+原文链接：https://mp.weixin.qq.com/s/R86qnQAi2njr6k7tFvTF-w
\ No newline at end of file