1  引  言

本文旨在研究基于ARM微處理器的MPEG-4視頻解碼技術，主要應用在手持移動設備中。利用嵌入式系統(tǒng)實現(xiàn)MPEG-4視頻解碼，處理器的選擇是關鍵。在嵌入式系統(tǒng)中常用的RISC處理器是ARM核，主要是因為它具有體積小，功耗低，成本低，性價比高的特點，這對于移動應用領域非常重要。ARM7系列微處理器為低功耗的32位RISC處理器，最適合于對價位和功耗要求較高的消費類應用。本解碼器定位于低分辨率和低幀率的應用場合，因此選擇在ARM7TDMI核上實現(xiàn)解碼功能。要實現(xiàn)更高幀率和分辨率的解碼，可將軟件直接應用在更高端的處理器上。

2  MPEG-4視頻解碼算法的優(yōu)化與實現(xiàn)

MPEG-4標準可以劃分為一套子標準，標準的每一部分都有各自最適合的應用場合。MPEG-4 SVP就是一種特殊的、簡單的MPEG-4實現(xiàn)，SVP代表Simple Visual Profile。這部分是專門針對手持式產品中無線視頻傳輸應用場合而制定的。由于本解碼器應用在手持移動設備視頻解碼的場合，因此選用MPEG-4 SVP作為解碼算法。

本文選用ARM7TDMI作為核心處理器進行MPEG-4視頻解碼器的開發(fā)。在實際開發(fā)過程中，針對ARM7TDMI的結構和MPEG-4的算法特點，做了大量優(yōu)化工作，保證了解碼的精度，大幅度提高了解碼的速度。解碼器的具體功能如表1所列。

表1  基于ARM7TDMI的MPEG-4視頻解碼器功能表

2.1 解碼器算法

解碼過程實際上就是從視頻編碼碼流中恢復出VOP數(shù)據(jù)的過程。圖1描述了一個視頻解碼過程。解碼器主要包含兩部分： 運動解碼和紋理解碼。I幀中只含有紋理信息，因此只須解碼紋理信息即可恢復I幀。而P幀中不僅包含紋理信息，還包含運動信息，所以須解碼運動信息，獲得運動矢量并進行運動補償。另外，還須進行紋理解碼獲得殘差值，將這兩部分組合起來才能重建P幀。

圖1  MPEG4 SVP的解碼過程

解碼器的實現(xiàn)主要是提供一個簡單的接口函數(shù)，供解碼時調用。該接口函數(shù)根據(jù)解碼的不同需要和不同階段提供了5個入口。5個接口函數(shù)中： 4個供初始化、預處理及后續(xù)處理時調用；剩余1個是幀解碼的實現(xiàn)函數(shù)。圖2為幀解碼主程序的流程圖。

圖2  幀解碼主程序的流程圖。

解碼過程的計算主要集中在如下幾個模塊：IDCT、運動補償MC、逆量化、逆掃描、逆預測以及變長解碼VLD。表2給出了優(yōu)化前解碼過程的特征信息。

從表2中可以看出，上述運算模塊在解碼過程中占有很大比例。對以上各模塊進行優(yōu)化的效果將直接反映在解碼器的實時效率上。

表2  優(yōu)化前解碼過程的特征信息

2.2 ARM平臺下算法的優(yōu)化

ARM結構是基于RISC原理的，指令集和相關的解碼機制都比CISC要簡單得多。它能高效地輸出指令，快速送出實時中斷響應；它還進行了管道設置，處理和存儲系統(tǒng)的所有部分可以持續(xù)地運轉。在典型的情況下，當一條指令被執(zhí)行時，其后續(xù)指令正在被解碼；而第三條指令便從存儲器中取出。ARM7TDMI并不具有指令或數(shù)據(jù)的高速緩存，主要被用于控制核心，而非數(shù)據(jù)處理。但通過對其特性的靈活運用，可以使其非常容易地應用于視頻解碼過程。對MPEG4視頻解碼器的算法優(yōu)化主要從以下幾方面入手：

（1） 算法的優(yōu)化
這里是指高級C語言轉化算法以簡化計算量, 用******算法實現(xiàn)解碼中的各模塊。

① IDCT算法的選擇
IDCT運行次數(shù)多，運算量很大，其變換的快慢直接影響解碼的速度。本文采用一種稱為AAN的快速算法。其一維8點的DCT變換通過16點DFT來實現(xiàn)，而16點DFT又可通過FFT實現(xiàn)；二維8×8的DCT運算僅需80次乘法和464次加法操作，大大減小了這部分的運算量。用AAN算法實現(xiàn)IDCT運算時，實際上是用IDFT取代IDCT，所以首先要得到DFT系數(shù)。方法是逆量化后直接將DCT系數(shù)分別乘以尺度因子，也就是說將尺度變換與逆量化結合。

② 除法運算的消除
一個除法操作須花費60～120個周期進行處理,而一個乘法操作最多需要4個周期。在除法可以被乘法代替而不喪失準確性的計算中,這樣做是非常有好處的。在反向DC系數(shù)預測過程中,DC系數(shù)重構后,立即對其進行逆量化,從而消除除法運算。

③ 存儲訪問的減少
在任何實現(xiàn)中盡可能減少存儲訪問都是非常有價值的。由于ARM7TDMI內沒有緩存，每次訪問都是對外部存儲器進行的，所以這樣做尤為重要。通過在任何可能的地方結合解碼過程，訪問的次數(shù)即可減少。I幀中反向DC系數(shù)預測與DC系數(shù)逆量化的結合、逆掃描與變長解碼的結合，以及逆量化與IDCT的結合，P幀中變長解碼、逆掃描與反量化的結合，對于每個非零系數(shù)只需一次讀入和一次存儲。同時，像素重建也在IDCT之后立即進行。這樣對每個系數(shù)來說，又減少了一次讀入和存儲。

（2） 根據(jù)ARM7TDMI芯片結構的優(yōu)化
這里的優(yōu)化主要體現(xiàn)在節(jié)約寄存器資源。任何一種芯片的寄存器資源都是有限的，ARM7TDMI的通用寄存器總數(shù)為31個，對于小規(guī)模應用程序是足夠了，但在MPEG4解碼過程中往往會用到較多的寄存器，所以仍須節(jié)儉。方法如下： 其一，在可能的情況下盡量少用寄存器，比如可對一個寄存器多次使用。其二，根據(jù)具體情況選擇最優(yōu)的變量類型，在局部變量中，使用int類型效率最高；而對于全局變量，使用short類型，則可減小Flash的使用量。

（3） 匯編/結構層的優(yōu)化
盡管編譯器可以產生匯編代碼，但為了使代碼效率更高，根據(jù)ARM7TDMI的特性對模塊IDCT、IQ、VLD、DC/AC預測和MC進行手工匯編編碼。下面詳細闡述不同的優(yōu)化方法及其所使用的模塊。

① 內部循環(huán)的解開
循環(huán)的解開其實也是為了增強程序中的并行處理能力。對于解循環(huán)，不能在解開的循環(huán)中保留線性過程，即指令在執(zhí)行過程中的結果不能作為后續(xù)指令的輸入數(shù)據(jù)；否則也就失去了并行處理能力，解循環(huán)也就失去了意義。
② 乘法和除法盡量用移位運算來完成
對于2的冪次乘法或除法使用移位將會提高不少效率，一條除法指令使用的周期數(shù)遠遠多于移位指令。
③ 盡可能將循環(huán)內部的負荷放到循環(huán)外面
這點很重要，因為許多循環(huán)內部包括一條或幾條運算語句，這些語句將被重復運算，因此如果事先設定一個變量，然后賦上那幾條運算語句的值，并替換到循環(huán)外部，則會極大地節(jié)省芯片資源，特別是對于循環(huán)中含有除法運算的情況。在逆量化循環(huán)運算中，存在著大量冗余計算，原因在于逆量化運算中參數(shù)的重復計算，而對于每幀解碼VOP，這些參數(shù)是唯一的。因此，可將這些參數(shù)的計算放到逆量化循環(huán)外面，則每幀只須計算一次。這樣即可節(jié)約大量的指令周期。
④ 功能參數(shù)的優(yōu)化數(shù)量
在ARM編譯的過程中，子程序的參數(shù)是通過寄存器R0～R3來傳遞的。如果所傳遞的參數(shù)多于4個，那么超出的參數(shù)將被壓入棧內；當它們在函數(shù)中被第一次訪問時，便會從棧中彈出。通過把參數(shù)的數(shù)量減少到4個或者少于4個，則可直接使用，而無需任何的調入，因為這些值都可從寄存器中獲得。
⑤ 利用LDM和STM減少存儲器的訪問
批量加載/存儲指令可以實現(xiàn)在一組寄存器和一塊連續(xù)的內存單元之間傳輸數(shù)據(jù)。LDM為加載多個寄存器；STM為存儲多個寄存器。這種特性非常有用，因為與單字加載/存儲相比，它在執(zhí)行周期上花費更少。因此它在IDCT中得到了有效的利用，用于同一時刻取出一行的所有系數(shù)。同樣在運動補償過程中，一組數(shù)據(jù)字在指令的一次執(zhí)行中獲得，并且暫時存儲在多個寄存器中以便日后使用。
⑥ 指令的有條件執(zhí)行
有條件執(zhí)行的特性被ARM7TDMI的所有算法和數(shù)據(jù)移位指令支持。這是一項可選的特性。它在指令被執(zhí)行時設置標記。有條件執(zhí)行通常用于循環(huán)退出條件和飽和條件，可以節(jié)省退出循環(huán)中的一個指令CMP。對于循環(huán)次數(shù)很多的情況，即使是一個指令的減少也有很大的好處。在變長解碼中就很好地利用了這種特性。
⑦ 一種用于運動補償?shù)挠行?yōu)化方法
解碼過程中處理的像素是8位。如果運動補償是在字節(jié)或像素的基礎上執(zhí)行，那么字節(jié)加載和存儲將被使用，它是存儲器訪問中代價最高的操作。因為ARM7TDMI是32位微處理器，存儲器可以按字讀取數(shù)據(jù)，因此設計出一種有效的運動補償方法，即在字數(shù)據(jù)的基礎上進行操作。利用這種方法，便可以用一種非常有效的方式同時對4像素進行運動補償。 
 下面以水平方向的半像素補償為例，講述補償?shù)倪^程。補償?shù)脑砣鐖D3所示。

首先讀入一個字到寄存器中，從低到高的數(shù)據(jù)依次對應的是像素0、像素1、像素2和像素3；然后將讀碼流指針增加1字節(jié)，再讀取下一個字到另一寄存器中，從低到高的數(shù)據(jù)依次對應的為像素1、像素2、像素3和像素4。示意圖如圖4所示。

      圖3  半像素內插示意圖                          圖4  4像素補償原理示意圖

半像素補償可由x=(A+B+1-rounding_control)/2來實現(xiàn)。式中： A和B為參考幀中兩個相鄰的像素數(shù)據(jù)；rounding_control可取0或1。

按照補償公式對上述兩個寄存器進行相加移位操作，但是對應像素兩兩相加時可能會產生進位。為了解決這個問題，須設置保護位，具體方法如下：

將上述兩個寄存器中的任意一個（如寄存器1）與0xFEFEFEFF相“與”，則寄存器1中像素1、2、3的最低位被清0，即將后一字節(jié)的最低位設置為前一字節(jié)的保護位。而對于第3字節(jié)，因為寄存器本身帶有進位狀態(tài)標志，所以無需另外設置。

•如果rounding_control為0，則將寄存器2與0x01010101相加，然后再和0xFEFEFEFF相“與”，設置進位保護位；如果rounding_control為1，則直接將寄存器2和0xFEFEFEFF相“與”。
•將以上兩步的結果相加，判斷進位狀態(tài)標志。若有進位，則將相加結果的最高位，即寄存器的第31位置1，最后右移1位。所得結果即補償后的4個像素值。
在同時對4像素進行補償?shù)倪^程中，只有當相鄰兩像素的最高位都為1時，才會有進位產生。使用這種補償方法其實犧牲了部分精度，但這里只是使所影響的像素值增加了1，所以影響并不大，而且可以使補償速度大大提升。同時對4像素進行補償?shù)倪^程中，寄存器加載需要3個周期，存儲需要2個周期，共有兩次加載和一次存儲操作，中間的加法和移位操作需要6個指令周期，共需14個周期。如果對上面4個像素分別進行補償，則需5次加載操作和4次存儲操作，共23個周期，另外中間計算還需12個周期，所以共需35個周期。可見，犧牲部分精度換取補償速度是很值得的。

對于垂直方向和水平垂直方向的半像素補償，其原理與水平方向相同。

3  實驗結果與數(shù)據(jù)分析

通過優(yōu)化，MPEG4的解碼性能有了較大的提升。在ADS1.2環(huán)境下分別對各模塊進行C算法優(yōu)化和ARM代碼優(yōu)化，結果如表3所列。按調用一次模塊函數(shù)所需周期數(shù)進行統(tǒng)計。

表3  仿真器上各模塊單獨統(tǒng)計（使用QCIF格式圖像news）

這些模塊是解碼過程中經常會調用的函數(shù)，因此，這些函數(shù)的優(yōu)化將使解碼速度有明顯的提高。

表4比較了不同序列的15幀QCIF格式視頻解碼優(yōu)化前后所需的帶寬。這些圖像具有不同的復雜度，因而結果也不一樣。

表4  對不同序列的優(yōu)化結果（15fps QCIF格式）

注： ① 為標準視頻測試序列。

解碼速度基本取決于圖像畫面的運動情況和顏色是否豐富。從上面的數(shù)據(jù)可以看出對于不同的序列，其解碼速度也不同。news、salesman和miss_am之所以很快，是因為圖像背景靜止，只有肩部和頭部有運動，所以P幀的編碼數(shù)據(jù)量較少，解碼速度較高。另外，如果圖像很簡單（單調），其能量集中到DC系數(shù)（直流分量）上，交流系數(shù)會出現(xiàn)多個零，因此變長解碼速度就會較高,從而節(jié)約了解碼時間。

從仿真速度分析