數(shù)字媒體技術(shù)艦船視頻處理系統(tǒng)研究
時(shí)間:2022-01-13 09:00:21
導(dǎo)語(yǔ):數(shù)字媒體技術(shù)艦船視頻處理系統(tǒng)研究一文來(lái)源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢(xún)客服老師,歡迎參考。
摘要:當(dāng)前的艦船視頻處理系統(tǒng)通過(guò)對(duì)視頻采用直接編解碼的方式來(lái)保證視頻質(zhì)量,應(yīng)用于高清大尺寸視頻處理時(shí),存在效率低、傳輸丟包率高的缺陷。為優(yōu)化上述缺陷,將研究設(shè)計(jì)數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng)。選用2片DSP和FPGA結(jié)合的方式,搭建處理系統(tǒng)硬件架構(gòu)。對(duì)艦船視頻圖像預(yù)處理,確定視頻處理邊界。依據(jù)HEVC編碼標(biāo)準(zhǔn),對(duì)艦船視頻進(jìn)行壓縮編碼,降低系統(tǒng)存儲(chǔ)傳輸壓力,完成系統(tǒng)設(shè)計(jì)。系統(tǒng)測(cè)試結(jié)果表明,設(shè)計(jì)的系統(tǒng)丟包率低于2.4%,壓縮比大于100∶1,視頻處理耗時(shí)短,性能明顯提升。
關(guān)鍵詞:數(shù)字媒體技術(shù);艦船視頻;視頻處理;系統(tǒng)設(shè)計(jì);DSP;HEVC
艦船航行時(shí)搭載的各項(xiàng)設(shè)備會(huì)實(shí)時(shí)采集不同的視頻圖像,用以對(duì)艦船航行環(huán)境、搭載設(shè)備運(yùn)行監(jiān)控、遠(yuǎn)程信息交流等。由此,對(duì)艦船視頻處理系統(tǒng)的設(shè)計(jì)性能也提出了更高的要求。當(dāng)前的視頻處理系統(tǒng)從視頻編碼角度處理視頻,雖然保證了視頻高清分辨率,但是無(wú)法滿(mǎn)足系統(tǒng)實(shí)時(shí)處理的要求[1]。在FPGA基礎(chǔ)上加入APU處理器能夠提升浮點(diǎn)操作造成的視頻失真,但是該系統(tǒng)對(duì)大量視頻同時(shí)處理時(shí),效率低,存在較為明顯的缺陷[2]。根據(jù)上述分析內(nèi)容,借助數(shù)字媒體技術(shù)的優(yōu)勢(shì),設(shè)計(jì)了基于數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng),以提高艦船視頻處理的效率、降低處理視頻時(shí)對(duì)視頻質(zhì)量的損壞程度,確保艦船視頻的正確傳輸與存儲(chǔ)。
1硬件部分設(shè)計(jì)
以DSP和FPGA為核心進(jìn)行硬件設(shè)計(jì),圖1為系統(tǒng)的整體框架。DSP處理器選用TMS320C6416芯片,該芯片的編解碼率為1080fps和多個(gè)接口,能夠以較低比特率處理視頻圖像。FPGA選用功耗低、I/O接口數(shù)量大的XC7K325T芯片[3]。DSP1的VP接口用以導(dǎo)入艦船視頻,由FPGA對(duì)視頻進(jìn)行編解碼處理。編解碼后的視頻數(shù)據(jù)通過(guò)VP接口傳輸至DSP2中進(jìn)行壓縮處理。DSP2將壓縮的視頻通過(guò)SATA接口傳輸至存儲(chǔ)模塊進(jìn)行存儲(chǔ)。各模塊之間通過(guò)RS232接口通信,DSP處理器通過(guò)VPX總線(xiàn)與存儲(chǔ)器進(jìn)行通信。
2軟件部分設(shè)計(jì)
2.1艦船視頻圖像預(yù)處理
艦船視頻采集器采集的視頻圖像在存儲(chǔ)前,需要進(jìn)行預(yù)處理。按照RGB通道轉(zhuǎn)換格式,由AD轉(zhuǎn)換器將視頻圖像統(tǒng)一轉(zhuǎn)換為RGB格式。采用Sobel算子對(duì)視頻進(jìn)行邊緣檢測(cè),以確定視頻處理的邊界。Sobel算子在x,y方向的卷積模板,如下式:使用上述模板對(duì)艦船視頻每一幀圖像的x和y方向進(jìn)行卷積運(yùn)算:IxIyA式中,和分別為視頻圖像x和y兩個(gè)方向邊緣檢測(cè)的灰度值;為圖像亮度通道矩陣,最終的邊緣檢測(cè)矩陣的每個(gè)灰度值計(jì)算公式如下:由上式確定艦船視頻處理的邊緣后,以檢測(cè)邊緣為界,利用數(shù)字媒體技術(shù)壓縮艦船視頻。
2.2數(shù)字媒體技術(shù)壓縮艦船視頻
以數(shù)字媒體技術(shù)中的HEVC視頻編碼標(biāo)準(zhǔn)為依據(jù),對(duì)艦船視頻進(jìn)行壓縮處理。cs為降低視頻壓縮時(shí),HEVC幀內(nèi)預(yù)測(cè)的復(fù)雜度,本文將以拉格朗日率失真值為HEVC幀內(nèi)預(yù)測(cè)模式的選擇標(biāo)準(zhǔn)。若壓縮時(shí),預(yù)測(cè)進(jìn)行重構(gòu)的視頻塊為,其對(duì)應(yīng)的原始視頻宏塊為,則該視頻塊的拉格朗日率失真值的計(jì)算公式如下。式中:M×N為原始視頻宏塊的大小。(i,j)為對(duì)應(yīng)視頻圖像的像素點(diǎn)坐標(biāo)。利用上述幀間預(yù)測(cè)結(jié)果去除視頻中的冗余信息后,生成原始視頻圖像像素值與預(yù)測(cè)壓縮重構(gòu)后視頻圖像像素值之間的殘差。按照下式計(jì)算視頻圖像中真實(shí)視點(diǎn)像素值對(duì)應(yīng)壓縮后的合成虛擬視點(diǎn)。C(x,y)kdcl(x1,y1)cr(x2,y2)式中:為壓縮后的合成虛擬視點(diǎn);為左右真實(shí)視點(diǎn)與虛擬視點(diǎn)之間的距離比值;為視點(diǎn)的深度;和分別為左右視點(diǎn)的坐標(biāo)。以視點(diǎn)像素為參考,對(duì)艦船視頻進(jìn)行分層處理。按照HEVC熵編碼過(guò)程對(duì)幀內(nèi)預(yù)測(cè)的殘差進(jìn)行變換,輸出壓縮后的艦船視頻碼流,即得到壓縮后的艦船視頻。將視頻按照通信協(xié)議傳輸至存儲(chǔ)位置,實(shí)現(xiàn)一次艦船視頻處理全過(guò)程。按照以上分析內(nèi)容,在系統(tǒng)軟件部分實(shí)現(xiàn)了利用數(shù)字媒體技術(shù)處理艦船視頻,以上文設(shè)計(jì)的系統(tǒng)硬件為架構(gòu)支撐,完成了對(duì)數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng)的設(shè)計(jì)研究。
3系統(tǒng)測(cè)試
3.1測(cè)試內(nèi)容
首先在開(kāi)發(fā)環(huán)境下對(duì)系統(tǒng)軟件部分進(jìn)行調(diào)試,確認(rèn)在當(dāng)前開(kāi)發(fā)環(huán)境下系統(tǒng)各模塊功能正常后,對(duì)系統(tǒng)進(jìn)行軟硬件聯(lián)合調(diào)試。將系統(tǒng)軟硬件聯(lián)合調(diào)試作為系統(tǒng)測(cè)試的第一環(huán)節(jié)。通過(guò)該環(huán)節(jié)的測(cè)試,來(lái)認(rèn)證系統(tǒng)整體運(yùn)行情況。系統(tǒng)測(cè)試的第二環(huán)節(jié)為對(duì)系統(tǒng)進(jìn)行功能性對(duì)比測(cè)試,以對(duì)比的形式驗(yàn)證系統(tǒng)是否在功能上實(shí)現(xiàn)優(yōu)化。選用基于APU+FPGA的視頻處理系統(tǒng)為對(duì)比,通過(guò)比較2個(gè)系統(tǒng)處理相同視頻時(shí),系統(tǒng)處理視頻圖像的耗時(shí)、系統(tǒng)處理視頻圖像的壓縮比、以及傳輸處理視頻時(shí)的丟包率3個(gè)指標(biāo),綜合驗(yàn)證系統(tǒng)的視頻處理系統(tǒng)的性能。
3.2測(cè)試結(jié)果及分析
圖2為系統(tǒng)在軟硬件聯(lián)合調(diào)試過(guò)程中,系統(tǒng)壓力測(cè)試結(jié)果。分析可知,隨著系統(tǒng)中處理視頻的線(xiàn)程數(shù)量增加,系統(tǒng)的平均響應(yīng)時(shí)間增加。但是整體上系統(tǒng)的平均響應(yīng)時(shí)間與系統(tǒng)處理線(xiàn)程的增長(zhǎng)幅度之間的關(guān)系波動(dòng)較為穩(wěn)定。同時(shí)系統(tǒng)處理的視頻無(wú)明顯失真情況出現(xiàn),表明本文設(shè)計(jì)的系統(tǒng)具有較好的穩(wěn)定性。選用具有不同分辨率的視頻數(shù)據(jù)集作為系統(tǒng)功能對(duì)比性測(cè)試的測(cè)試集,分別使用本文系統(tǒng)和傳統(tǒng)系統(tǒng)對(duì)測(cè)試集中的視頻進(jìn)行處理。圖3為2個(gè)系統(tǒng)處理視頻圖像時(shí)的耗時(shí)對(duì)比,圖中曲線(xiàn)分別代表系統(tǒng)處理視頻耗時(shí)、傳輸顯示視頻耗時(shí)情況。分析可知,本文系統(tǒng)的處理和傳輸顯示視頻的耗時(shí)要少于對(duì)比系統(tǒng)。并且隨著視頻尺寸的增加,對(duì)比系統(tǒng)的處理耗時(shí)增加幅度逐漸變大,而本文系統(tǒng)的處理耗時(shí)則以一種相對(duì)平穩(wěn)的狀態(tài)小幅度緩慢增加。從處理視頻的耗時(shí)來(lái)講,本文系統(tǒng)需要的時(shí)間更少,在對(duì)相同量視頻處理時(shí),本文系統(tǒng)的效率更高。同時(shí)從傳輸視頻耗時(shí)來(lái)講,本文系統(tǒng)仍少于對(duì)比系統(tǒng),其主要原因在于本文系統(tǒng)對(duì)視頻處理時(shí)有效壓縮了視頻尺寸,減少了傳輸耗時(shí),提高了系統(tǒng)的實(shí)時(shí)性。表1為2個(gè)系統(tǒng)對(duì)測(cè)試集中視頻進(jìn)行處理時(shí),系統(tǒng)的丟包率以及視頻的壓縮比數(shù)據(jù)。分析可知,對(duì)相同數(shù)量不同分辨率視頻進(jìn)行處理時(shí),本文系統(tǒng)的丟包率遠(yuǎn)低于對(duì)比系統(tǒng);視頻分辨率相同、數(shù)量不同條件下,對(duì)比系統(tǒng)的丟包率隨著視頻數(shù)據(jù)的增加而增加,而本文系統(tǒng)的丟包率則整體保持在低于2.4%的情況。系統(tǒng)對(duì)于不同分辨率的視頻進(jìn)行處理時(shí),本文系統(tǒng)處理的所有視頻壓縮比均大于100∶1,而對(duì)比系統(tǒng)則相反。本文系統(tǒng)對(duì)視頻處理的壓縮比高于100∶1,表明系統(tǒng)節(jié)省了視頻存儲(chǔ)的空間,同時(shí)也降低了系統(tǒng)處理視頻實(shí)時(shí)傳輸時(shí)對(duì)通信通道的壓力。
4結(jié)語(yǔ)
視頻處理系統(tǒng)對(duì)于艦船自動(dòng)化設(shè)備遠(yuǎn)程監(jiān)控、目標(biāo)識(shí)別等十分重要。隨著船舶自動(dòng)化水平的提升,對(duì)于艦船視頻處理系統(tǒng)的要求也越來(lái)越高。針對(duì)當(dāng)前視頻處理系統(tǒng)存在的問(wèn)題,本文設(shè)計(jì)了數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng),利用數(shù)字媒體技術(shù)在DSP和FP-GA的硬件支撐下,提升了系統(tǒng)的性能。
作者:王禾 單位:浙江長(zhǎng)征職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)與信息技術(shù)系