視音頻數據處理入門：PCM音頻採樣數據處理

時間  2019-11-17
標籤 音頻 數據處理 入門 pcm 欄目 大數據 简体版
原文   原文鏈接

=====================================================html

視音頻數據處理入門系列文章：git

視音頻數據處理入門：RGB、YUV像素數據處理github

視音頻數據處理入門：PCM音頻採樣數據處理編程

視音頻數據處理入門：H.264視頻碼流解析函數

視音頻數據處理入門：AAC音頻碼流解析post

視音頻數據處理入門：FLV封裝格式解析ui

視音頻數據處理入門：UDP-RTP協議解析url

=====================================================spa


上一篇文章記錄了RGB/YUV視頻像素數據的處理方法，本文繼續上一篇文章的內容。記錄PCM音頻採樣數據的處理方法。音頻採樣數據在視頻播放器的解碼流程中的位置例如如下圖所看到的。.net


本文分別介紹例如如下幾個PCM音頻採樣數據處理函數：
  分離PCM16LE雙聲道音頻採樣數據的左聲道和右聲道
  將PCM16LE雙聲道音頻採樣數據中左聲道的音量降一半
  將PCM16LE雙聲道音頻採樣數據的聲音速度提升一倍
  將PCM16LE雙聲道音頻採樣數據轉換爲PCM8音頻採樣數據
  從PCM16LE單聲道音頻採樣數據中截取一部分數據
  將PCM16LE雙聲道音頻採樣數據轉換爲WAVE格式音頻數據

注：PCM音頻數據可以使用音頻編輯軟件導入查看。

好比收費的專業音頻編輯軟件Adobe Audition，或者免費開源的音頻編輯軟件Audacity。


函數列表


（1）分離PCM16LE雙聲道音頻採樣數據的左聲道和右聲道

本程序中的函數可以將PCM16LE雙聲道數據中左聲道和右聲道的數據分離成兩個文件。函數的代碼例如如下所看到的。 
/**
 * Split Left and Right channel of 16LE PCM file.
 * @param url  Location of PCM file.
 *
 */
int simplest_pcm16le_split(char *url){
	FILE *fp=fopen(url,"rb+");
	FILE *fp1=fopen("output_l.pcm","wb+");
	FILE *fp2=fopen("output_r.pcm","wb+");

	unsigned char *sample=(unsigned char *)malloc(4);

	while(!feof(fp)){
		fread(sample,1,4,fp);
		//L
		fwrite(sample,1,2,fp1);
		//R
		fwrite(sample+2,1,2,fp2);
	}

	free(sample);
	fclose(fp);
	fclose(fp1);
	fclose(fp2);
	return 0;
}

調用上面函數的方法例如如下所看到的。 
simplest_pcm16le_split("NocturneNo2inEflat_44.1k_s16le.pcm");

從代碼可以看出，PCM16LE雙聲道數據中左聲道和右聲道的採樣值是間隔存儲的。每個採樣值佔用2Byte空間。代碼執行後，會把NocturneNo2inEflat_44.1k_s16le.pcm的PCM16LE格式的數據分離爲兩個單聲道數據：

output_l.pcm：左聲道數據。

output_r.pcm：右聲道數據。

注：本文中聲音樣值的採樣頻率一概是44100Hz，採樣格式一概爲16LE。「16」表明採樣位數是16bit。由於1Byte=8bit，因此一個聲道的一個採樣值佔用2Byte。

「LE」表明Little Endian，表明2 Byte採樣值的存儲方式爲高位存在高地址中。

下圖爲輸入的雙聲道PCM數據的波形圖。

上面的波形圖是左聲道的圖形，如下的波形圖是右聲道的波形。圖中的橫座標是時間。總長度爲22秒。縱座標是取樣值，取值範圍從-32768到32767。


下圖爲分離後左聲道數據output_l.pcm的音頻波形圖。

 

下圖爲分離後右聲道數據output_r.pcm的音頻波形圖。

 

（2）將PCM16LE雙聲道音頻採樣數據中左聲道的音量降一半

本程序中的函數可以將PCM16LE雙聲道數據中左聲道的音量減小一半。函數的代碼例如如下所看到的。


/**
 * Halve volume of Left channel of 16LE PCM file
 * @param url  Location of PCM file.
 */
int simplest_pcm16le_halfvolumeleft(char *url){
	FILE *fp=fopen(url,"rb+");
	FILE *fp1=fopen("output_halfleft.pcm","wb+");

	int cnt=0;

	unsigned char *sample=(unsigned char *)malloc(4);

	while(!feof(fp)){
		short *samplenum=NULL;
		fread(sample,1,4,fp);

		samplenum=(short *)sample;
		*samplenum=*samplenum/2;
		//L
		fwrite(sample,1,2,fp1);
		//R
		fwrite(sample+2,1,2,fp1);

		cnt++;
	}
	printf("Sample Cnt:%d\n",cnt);

	free(sample);
	fclose(fp);
	fclose(fp1);
	return 0;
}

調用上面函數的方法例如如下所看到的。
simplest_pcm16le_halfvolumeleft("NocturneNo2inEflat_44.1k_s16le.pcm");

從源碼可以看出，本程序在讀出左聲道的2 Byte的取樣值以後，將其當成了C語言中的一個short類型的變量。將該數值除以2以後寫回到了PCM文件裏。下圖爲輸入PCM雙聲道音頻採樣數據的波形圖。


下圖爲輸出的左聲道通過處理後的波形圖。可以看出左聲道的波形幅度減小了一半。



（3）將PCM16LE雙聲道音頻採樣數據的聲音速度提升一倍

本程序中的函數可以經過抽象的方式將PCM16LE雙聲道數據的速度提升一倍。函數的代碼例如如下所看到的。


/**
 * Re-sample to double the speed of 16LE PCM file
 * @param url  Location of PCM file.
 */
int simplest_pcm16le_doublespeed(char *url){
	FILE *fp=fopen(url,"rb+");
	FILE *fp1=fopen("output_doublespeed.pcm","wb+");

	int cnt=0;

	unsigned char *sample=(unsigned char *)malloc(4);

	while(!feof(fp)){

		fread(sample,1,4,fp);

		if(cnt%2!=0){
			//L
			fwrite(sample,1,2,fp1);
			//R
			fwrite(sample+2,1,2,fp1);
		}
		cnt++;
	}
	printf("Sample Cnt:%d\n",cnt);

	free(sample);
	fclose(fp);
	fclose(fp1);
	return 0;
}

調用上面函數的方法例如如下所看到的。
simplest_pcm16le_doublespeed("NocturneNo2inEflat_44.1k_s16le.pcm");

從源碼可以看出。本程序僅僅採樣了每個聲道奇數點的樣值。處理完畢後。本來22秒左右的音頻變成了11秒左右。音頻的播放速度提升了2倍。音頻的音調也變高了很是多。下圖爲輸入PCM雙聲道音頻採樣數據的波形圖。


下圖爲輸出的PCM雙聲道音頻採樣數據的波形圖。

經過時間軸可以看出音頻變短了很是多。



（4）將PCM16LE雙聲道音頻採樣數據轉換爲PCM8音頻採樣數據

本程序中的函數可以經過計算的方式將PCM16LE雙聲道數據16bit的採樣位數轉換爲8bit。

函數的代碼例如如下所看到的。

/**
 * Convert PCM-16 data to PCM-8 data.
 * @param url  Location of PCM file.
 */
int simplest_pcm16le_to_pcm8(char *url){
	FILE *fp=fopen(url,"rb+");
	FILE *fp1=fopen("output_8.pcm","wb+");

	int cnt=0;

	unsigned char *sample=(unsigned char *)malloc(4);

	while(!feof(fp)){

		short *samplenum16=NULL;
		char samplenum8=0;
		unsigned char samplenum8_u=0;
		fread(sample,1,4,fp);
		//(-32768-32767)
		samplenum16=(short *)sample;
		samplenum8=(*samplenum16)>>8;
		//(0-255)
		samplenum8_u=samplenum8+128;
		//L
		fwrite(&samplenum8_u,1,1,fp1);

		samplenum16=(short *)(sample+2);
		samplenum8=(*samplenum16)>>8;
		samplenum8_u=samplenum8+128;
		//R
		fwrite(&samplenum8_u,1,1,fp1);
		cnt++;
	}
	printf("Sample Cnt:%d\n",cnt);

	free(sample);
	fclose(fp);
	fclose(fp1);
	return 0;
}

調用上面函數的方法例如如下所看到的。


simplest_pcm16le_to_pcm8("NocturneNo2inEflat_44.1k_s16le.pcm");

PCM16LE格式的採樣數據的取值範圍是-32768到32767。而PCM8格式的採樣數據的取值範圍是0到255。

因此PCM16LE轉換到PCM8需要通過兩個步驟：第一步是將-32768到32767的16bit有符號數值轉換爲-128到127的8bit有符號數值，第二步是將-128到127的8bit有符號數值轉換爲0到255的8bit無符號數值。在本程序中，16bit採樣數據是經過short類型變量存儲的，而8bit採樣數據是經過unsigned char類型存儲的。

下圖爲輸入的16bit的PCM雙聲道音頻採樣數據的波形圖。


下圖爲輸出的8bit的PCM雙聲道音頻採樣數據的波形圖。注意觀察圖中縱座標的取值範圍已經變爲0至255。

假設細緻聆聽聲音的話。會發現8bit PCM的音質明顯不如16 bit PCM的音質。

 

（5）將從PCM16LE單聲道音頻採樣數據中截取一部分數據

本程序中的函數可以從PCM16LE單聲道數據中截取一段數據。並輸出截取數據的樣值。函數的代碼例如如下所看到的。


/**
 * Cut a 16LE PCM single channel file.
 * @param url        Location of PCM file.
 * @param start_num  start point
 * @param dur_num    how much point to cut
 */
int simplest_pcm16le_cut_singlechannel(char *url,int start_num,int dur_num){
	FILE *fp=fopen(url,"rb+");
	FILE *fp1=fopen("output_cut.pcm","wb+");
	FILE *fp_stat=fopen("output_cut.txt","wb+");

	unsigned char *sample=(unsigned char *)malloc(2);

	int cnt=0;
	while(!feof(fp)){
		fread(sample,1,2,fp);
		if(cnt>start_num&&cnt<=(start_num+dur_num)){
			fwrite(sample,1,2,fp1);

			short samplenum=sample[1];
			samplenum=samplenum*256;
			samplenum=samplenum+sample[0];

			fprintf(fp_stat,"%6d,",samplenum);
			if(cnt%10==0)
				fprintf(fp_stat,"\n",samplenum);
		}
		cnt++;
	}

	free(sample);
	fclose(fp);
	fclose(fp1);
	fclose(fp_stat);
	return 0;
}

調用上面函數的方法例如如下所看到的。
simplest_pcm16le_cut_singlechannel("drum.pcm",2360,120);

本程序可以從PCM數據中選取一段採樣值保存下來，並且輸出這些採樣值的數值。上述代碼執行後，會把單聲道PCM16LE格式的「drum.pcm」中從2360點開始的120點的數據保存成output_cut.pcm文件。

下圖爲「drum.pcm」的波形圖。該音頻採樣頻率爲44100KHz，長度爲0.5秒，一共包括約22050個採樣點。


下圖爲截取出來的output_cut.pcm文件裏的數據。


如下列出了上述數據的採樣值。
  4460,  5192,  5956,  6680,  7199,  6706,  5727,  4481,  3261,  1993,
  1264,   747,   767,   752,  1248,  1975,  2473,  2955,  2952,  2447,
   974, -1267, -4000, -6965,-10210,-13414,-16639,-19363,-21329,-22541,
-23028,-22545,-21055,-19067,-16829,-14859,-12596, -9900, -6684, -3475,
  -983,  1733,  3978,  5734,  6720,  6978,  6993,  7223,  7225,  7440,
  7688,  8431,  8944,  9468,  9947, 10688, 11194, 11946, 12449, 12446,
 12456, 11974, 11454, 10952, 10167,  9425,  8153,  6941,  5436,  3716,
  1952,   236, -1254, -2463, -3493, -4223, -4695, -4927, -5190, -4941,
 -4188, -2956, -1490,   -40,   705,   932,   446,  -776, -2512, -3994,
 -5723, -7201, -8687,-10157,-11134,-11661,-11642,-11168,-10155, -9142,
 -7888, -7146, -6186, -5694, -4971, -4715, -4498, -4471, -4468, -4452,
 -4452, -3940, -2980, -1984,  -752,   257,  1021,  1264,  1032,    31,

（6）將PCM16LE雙聲道音頻採樣數據轉換爲WAVE格式音頻數據

WAVE格式音頻（擴展名爲「.wav」）是Windows系統中最多見的一種音頻。該格式的實質就是在PCM文件的前面加了一個文件頭。本程序的函數就可以經過在PCM文件前面加一個WAVE文件頭從而封裝爲WAVE格式音頻。函數的代碼例如如下所看到的。


/**
 * Convert PCM16LE raw data to WAVE format
 * @param pcmpath      Input PCM file.
 * @param channels     Channel number of PCM file.
 * @param sample_rate  Sample rate of PCM file.
 * @param wavepath     Output WAVE file.
 */
int simplest_pcm16le_to_wave(const char *pcmpath,int channels,int sample_rate,const char *wavepath)
{

	typedef struct WAVE_HEADER{  
		char         fccID[4];        
		unsigned   long    dwSize;            
		char         fccType[4];    
	}WAVE_HEADER;  

	typedef struct WAVE_FMT{  
		char         fccID[4];        
		unsigned   long       dwSize;            
		unsigned   short     wFormatTag;    
		unsigned   short     wChannels;  
		unsigned   long       dwSamplesPerSec;  
		unsigned   long       dwAvgBytesPerSec;  
		unsigned   short     wBlockAlign;  
		unsigned   short     uiBitsPerSample;  
	}WAVE_FMT;  

	typedef struct WAVE_DATA{  
		char       fccID[4];          
		unsigned long dwSize;              
	}WAVE_DATA;  


	if(channels==0||sample_rate==0){
    channels = 2;
    sample_rate = 44100;
	}
	int bits = 16;

    WAVE_HEADER   pcmHEADER;  
    WAVE_FMT   pcmFMT;  
    WAVE_DATA   pcmDATA;  
 
    unsigned   short   m_pcmData;
    FILE   *fp,*fpout;  

	fp=fopen(pcmpath, "rb");
    if(fp == NULL) {  
        printf("open pcm file error\n");
        return -1;  
    }
	fpout=fopen(wavepath,   "wb+");
    if(fpout == NULL) {    
        printf("create wav file error\n");  
        return -1; 
    }        
	//WAVE_HEADER
    memcpy(pcmHEADER.fccID,"RIFF",strlen("RIFF"));                    
    memcpy(pcmHEADER.fccType,"WAVE",strlen("WAVE"));  
    fseek(fpout,sizeof(WAVE_HEADER),1); 
	//WAVE_FMT
    pcmFMT.dwSamplesPerSec=sample_rate;  
    pcmFMT.dwAvgBytesPerSec=pcmFMT.dwSamplesPerSec*sizeof(m_pcmData);  
    pcmFMT.uiBitsPerSample=bits;
    memcpy(pcmFMT.fccID,"fmt ",strlen("fmt "));  
    pcmFMT.dwSize=16;  
    pcmFMT.wBlockAlign=2;  
    pcmFMT.wChannels=channels;  
    pcmFMT.wFormatTag=1;  
 
    fwrite(&pcmFMT,sizeof(WAVE_FMT),1,fpout); 

    //WAVE_DATA;
    memcpy(pcmDATA.fccID,"data",strlen("data"));  
    pcmDATA.dwSize=0;
    fseek(fpout,sizeof(WAVE_DATA),SEEK_CUR);

    fread(&m_pcmData,sizeof(unsigned short),1,fp);
    while(!feof(fp)){  
        pcmDATA.dwSize+=2;
        fwrite(&m_pcmData,sizeof(unsigned short),1,fpout);
        fread(&m_pcmData,sizeof(unsigned short),1,fp);
    }  

    pcmHEADER.dwSize=44+pcmDATA.dwSize;

    rewind(fpout);
    fwrite(&pcmHEADER,sizeof(WAVE_HEADER),1,fpout);
    fseek(fpout,sizeof(WAVE_FMT),SEEK_CUR);
    fwrite(&pcmDATA,sizeof(WAVE_DATA),1,fpout);
	
	fclose(fp);
    fclose(fpout);

    return 0;
}

調用上面函數的方法例如如下所看到的。


simplest_pcm16le_to_wave("NocturneNo2inEflat_44.1k_s16le.pcm",2,44100,"output_nocturne.wav");

WAVE文件是一種RIFF格式的文件。其基本塊名稱是「WAVE」，當中包括了兩個子塊「fmt」和「data」。從編程的角度簡單說來就是由WAVE_HEADER、WAVE_FMT、WAVE_DATA、採樣數據共4個部分組成。它的結構例如如下所看到的。

WAVE_HEADER

WAVE_FMT

WAVE_DATA

PCM數據

當中前3部分的結構例如如下所看到的。在寫入WAVE文件頭的時候給當中的每個字段賦上合適的值就可以了。

但是有一點需要注意：WAVE_HEADER和WAVE_DATA中包括了一個文件長度信息的dwSize字段。該字段的值必須在寫入完音頻採樣數據以後才幹得到。

所以這兩個結構體最後才寫入WAVE文件裏。


	typedef struct WAVE_HEADER{
		char fccID[4];
		unsigned long dwSize;
		char fccType[4];
	}WAVE_HEADER;

	typedef struct WAVE_FMT{
		char  fccID[4];
		unsigned long dwSize;
		unsigned short wFormatTag;
		unsigned short wChannels;
		unsigned long dwSamplesPerSec;
		unsigned long dwAvgBytesPerSec;
		unsigned short wBlockAlign;
		unsigned short uiBitsPerSample;
	}WAVE_FMT;

	typedef struct WAVE_DATA{
		char       fccID[4];
		unsigned long dwSize;
	}WAVE_DATA;

本程序的函數執行完畢後。就可將NocturneNo2inEflat_44.1k_s16le.pcm文件封裝成output_nocturne.wav文件。


下載


Simplest mediadata test

項目主頁

SourceForge：https://sourceforge.net/projects/simplest-mediadata-test/

Github：https://github.com/leixiaohua1020/simplest_mediadata_test

開源中國：http://git.oschina.net/leixiaohua1020/simplest_mediadata_test


CSDN下載地址：http://download.csdn.net/detail/leixiaohua1020/9422409


本項目包括例如如下幾種視音頻數據解析演示樣例：
 (1)像素數據處理程序。包括RGB和YUV像素格式處理的函數。


 (2)音頻採樣數據處理程序。

包括PCM音頻採樣格式處理的函數。
 (3)H.264碼流分析程序。可以分離並解析NALU。
 (4)AAC碼流分析程序。可以分離並解析ADTS幀。


 (5)FLV封裝格式分析程序。可以將FLV中的MP3音頻碼流分離出來。

 (6)UDP-RTP協議分析程序。

可以將分析UDP/RTP/MPEG-TS數據包。


雷霄驊 (Lei Xiaohua)leixiaohua1020@126.comhttp://blog.csdn.net/leixiaohua1020
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程