智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

時(shí)間:2018-12-14

來(lái)源:中國(guó)無(wú)人駕駛網(wǎng)

0

導(dǎo)語(yǔ):本文提出一種改進(jìn)的基于車(chē)載攝像機(jī)角度估計(jì)的方法,根據(jù)行人的尺寸大小減少待檢測(cè)窗口大量。采用類(lèi)Haar特征以及Real AdaBoost作為機(jī)器學(xué)習(xí)方法的分類(lèi)器設(shè)計(jì)方案。

1 概述

智能輔助駕駛系統(tǒng)致力于改善交通安全,計(jì)算機(jī)視覺(jué)起到極其重要的作用,它可以檢測(cè)到感興趣的交通物體,如車(chē)輛和行人。該系統(tǒng)需要在戶外場(chǎng)景下的移動(dòng)平臺(tái)上進(jìn)行實(shí)時(shí)處理,目前仍是計(jì)算機(jī)視覺(jué)研究領(lǐng)域中的前沿技術(shù)。由于行人外觀的多樣性,如不同的姿勢(shì)、衣服、距離、角度以及城市環(huán)境的復(fù)雜性,因此行人檢測(cè)要想取得理想的效果存在較大的困難。

大多數(shù)關(guān)于二維圖像中行人檢測(cè)的方法都是基于特征選擇和機(jī)器學(xué)習(xí)的。下面是一種簡(jiǎn)單的將分類(lèi)器用在二維圖像中的方法:在圖像中確定一條水平的地平線,在直線以下部分的像素都屬于路面,然后根據(jù)行人的尺寸大小在路面上所有可能存在行人的區(qū)域進(jìn)行檢測(cè)。但這種方法有一個(gè)前提,即攝像機(jī)的姿勢(shì)是固定的,攝像機(jī)與路面之間的夾角是不變的,也就是說(shuō),上述過(guò)程中在圖像中所確定的地平線是固定的,在每一幀圖像中都是同一個(gè)位置。顯然,由于車(chē)輛的運(yùn)動(dòng)和路平面的不規(guī)則性,這樣的假設(shè)與事實(shí)相距甚遠(yuǎn),特別是在城鎮(zhèn)交通環(huán)境中。因此為了減少攝像機(jī)角度變化所帶來(lái)的影響,在上述方法中需要增加大量可能存在行人的待檢測(cè)窗口。另外,行人本身的類(lèi)內(nèi)變化性比較大,分類(lèi)器需要用到幾千個(gè)特征。以上原因使得計(jì)算的時(shí)間開(kāi)銷(xiāo)非常大。本文參考文獻(xiàn)[1]中關(guān)于智能輔助駕駛系統(tǒng)中行人檢測(cè)的理論,提出一種改進(jìn)的基于車(chē)載攝像機(jī)角度估計(jì)的方法,根據(jù)行人的尺寸大小減少待檢測(cè)窗口大量。采用類(lèi)Haar特征以及Real AdaBoost作為機(jī)器學(xué)習(xí)方法的分類(lèi)器設(shè)計(jì)方案。

2 攝像機(jī)角度估計(jì)與區(qū)域提取

本節(jié)的主要目的是通過(guò)擬合路平面,對(duì)攝像機(jī)的角度進(jìn)行估計(jì),最后定義一系列的ROI區(qū)域,即待檢測(cè)窗口如圖1所示?;诹Ⅲw視覺(jué)的解決方案將問(wèn)題固定在攝像機(jī)的高度以及角度的變化上,高度和角度都是相對(duì)于路平面而言的。攝像機(jī)在yaw角度和roll角度的變化可以忽略[2]。本文方法與文獻(xiàn)[1]中的方法雖然相似,但是計(jì)算時(shí)間卻大為減少。

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

2.1 3D數(shù)據(jù)投影及數(shù)據(jù)塊的選擇

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法
 

2.2路平面方程的擬合

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

接下來(lái)將屬于路面的重心點(diǎn)投影到Y(jié)Z平面,然后對(duì)YZ平面上的這些點(diǎn)用最小二乘法進(jìn)行直線擬合。為了加快計(jì)算速度,下面采用10 cm誤差的范圍判斷重心點(diǎn)是否屬于路面,如果重心點(diǎn)不屬于路面,則不參與下面的計(jì)算。該過(guò)程如下:

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

最終,通過(guò)這個(gè)直線方程,正確估計(jì)出攝像機(jī)相對(duì)于路面的角度及高度。由最小二乘法線形擬合理論可知,這比文獻(xiàn)[3]中將所有重心點(diǎn)用來(lái)擬合路平面方程的方法在計(jì)算時(shí)間上大為減少。然后,在X方向上和z方向上每隔0.5m放置一個(gè)ROI區(qū)域,其大小為(0.75x1.5)m~(0.95×0.9)m。這些窗口共有2 000個(gè)左右,然后通過(guò)分析判斷這些待檢測(cè)區(qū)域的空間中包含的點(diǎn)數(shù)據(jù)是否大于閾值a,a為隨深度變化而線形變化的值。本文實(shí)驗(yàn)中,圖像大小為640x480像素,定義a=100x(50-x),x為目標(biāo)區(qū)域距離攝像機(jī)的垂直距離。實(shí)驗(yàn)中最遠(yuǎn)可以檢測(cè)到距離攝像機(jī)50 m的目標(biāo)。該過(guò)程可以將待檢測(cè)區(qū)域進(jìn)一步減少到200個(gè)-300個(gè)。然后將其投影到2D圖像中,這些待檢測(cè)窗口在接下來(lái)的步驟中用于對(duì)其是否是行人進(jìn)行判別分類(lèi),見(jiàn)圖3。由于引入了上述判斷過(guò)程,在接下來(lái)的分類(lèi)過(guò)程中計(jì)算時(shí)間將減少為原來(lái)的10%-15%。

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

3 行人分類(lèi)

得到在地面上的一系列ROIs后,將對(duì)其進(jìn)行判別分類(lèi),以判斷其是否為行人。本文采用類(lèi)Haar特征和RealAdaBoost學(xué)習(xí)方法。

3.1類(lèi)Haar特征

類(lèi)Haar特征是一種簡(jiǎn)單矩形特征,因類(lèi)似于Haar小波而得名[4]。矩形特征的值是指圖像上2個(gè)或多個(gè)形狀大小相同的矩形內(nèi)部所有像素灰度值之和的差值。黑色矩形和白色矩形在圖像子窗口中對(duì)應(yīng)區(qū)域的灰度級(jí)總和之差,它反映了圖像局部的灰度變化。文獻(xiàn)[5]在類(lèi)Haar特征原型的基礎(chǔ)上,通過(guò)旋轉(zhuǎn)變換增加了類(lèi)Haar特征的數(shù)量。

類(lèi)Haar特征分為3類(lèi):邊緣特征,線性特征,環(huán)形特征,組合成特征模板,見(jiàn)圖4。在確定特征形式后類(lèi)Haar特征的數(shù)量取決于訓(xùn)練樣本圖像的大小,特征模板在子窗口內(nèi)隨著尺度的不同任意放置,一種形態(tài)稱為一種特征,找出所有子窗口的特征是進(jìn)行弱分類(lèi)器訓(xùn)練的基礎(chǔ)。

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

3.2 Real AdaBoost機(jī)器學(xué)習(xí)方法

AdaBoost算法是利用大量的分類(lèi)能力一般的弱分類(lèi)器通過(guò)一定方法疊加起來(lái),構(gòu)成一個(gè)分類(lèi)能力很強(qiáng)的強(qiáng)分類(lèi)器。如果一個(gè)學(xué)習(xí)算法通過(guò)一組樣本的學(xué)習(xí)后,能夠達(dá)到理想的識(shí)別率,則稱它為強(qiáng)分類(lèi)器;如果一個(gè)學(xué)習(xí)算法的識(shí)別率僅好于隨機(jī)的猜測(cè),則稱其為弱分類(lèi)器[6]。通常,針對(duì)一個(gè)具體的識(shí)別問(wèn)題,很難找到一個(gè)理想的強(qiáng)分類(lèi)器,但是弱分類(lèi)器一般都會(huì)很多。一種簡(jiǎn)單的Boosting算法[7]是采用多數(shù)表決法(Boost—by-majority)將多個(gè)弱分類(lèi)器組合起來(lái),這種算法將所有的弱分類(lèi)器都同等看待,但是效果并不好。文獻(xiàn)[8]提出了一種通過(guò)權(quán)值調(diào)整而運(yùn)作的AdaBoost算法,解決了以前Boosting算法中存在的問(wèn)題,對(duì)于AdaBoost算法,每次只要加入一個(gè)識(shí)別率略好于隨機(jī)猜測(cè)的弱分類(lèi)器,就能提升所得強(qiáng)分類(lèi)器的識(shí)別率。

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)將從視頻序列中抽取一些結(jié)果來(lái)說(shuō)明改進(jìn)后的攝像機(jī)角度估計(jì)算法的效果。算法實(shí)現(xiàn)及測(cè)試中使用的計(jì)算機(jī)平臺(tái)CPU主頻為2.33 GHz,內(nèi)存大小為3.25 GB,在Visual C++6.0環(huán)境下編程實(shí)現(xiàn)。圖5所示是路面點(diǎn)的算法選擇過(guò)程中被標(biāo)志為屬于路面上的像素點(diǎn)。圖6是根據(jù)直線擬合后得到的路平面方程擬定的2 000個(gè)侯選窗口。圖7中根據(jù)空間信息進(jìn)行分析之后,排除大量不可能存在行人的區(qū)域,將窗121數(shù)量減少到200個(gè)左右,從圖中可以看出,分析結(jié)果準(zhǔn)確。這大量減少了分類(lèi)器進(jìn)行分類(lèi)的工作量,檢測(cè)速度得到了極大提高。

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法
智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

圖8~圖15給出了一些最后的行人檢測(cè)結(jié)果。表1給出了改進(jìn)后的方法與文獻(xiàn)[3]中所述自適應(yīng)路面擬合的方法在對(duì)每一幀圖像檢測(cè)行人目標(biāo)過(guò)程所需計(jì)算時(shí)間的比較,可以看出。本文方法在檢測(cè)速度上獲得了極大提高。

智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法
智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法
智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法


智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法
智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法
智能輔助駕駛系統(tǒng)中的行人檢測(cè)方法

5 結(jié)束語(yǔ)

本文提出車(chē)載行人檢測(cè)中2個(gè)非常重要的改進(jìn):

(1)通過(guò)直線擬合確定路平面的方程;(2)通過(guò)分析候選區(qū)域的空間信息使待檢測(cè)窗口大量減少,從而提高檢測(cè)速度?;跀z像機(jī)角度估計(jì)的自適應(yīng)圖像采集方案同樣適用于智能輔助駕駛系統(tǒng)的其他應(yīng)用,如交通車(chē)輛檢測(cè)、路平面分割,從而可以實(shí)現(xiàn)對(duì)其他目標(biāo)的快速檢測(cè)分類(lèi)。車(chē)載行人檢測(cè)還有很多方面需要提高和改進(jìn),如其他的特征表達(dá)方式及檢測(cè)方法。在以后的工作中將研究更有效和更有針對(duì)性的特征表達(dá)方式。

參考文獻(xiàn)

【1】Sappa A,Geronimo D,Dornaika F.On—board Camera Extrinsic Parameter Estimation[J].Electronics Letters,2006,42(1 3):745-747.

【2】Labayrade R,Aubea D.A Single framework for Vehicle Roll,Pitch,Yaw Estiestimation and Obstacles Detection by Stereovision[C]//Proc.ofthe IEEE Intelligent Vehicles Symposium Columbus,USA:Is.n.】,2003:31-36.

【3】Geronimo D,Sappa A,Lopez A,et a1.Adaptive Image Sampling and Windows Classification for On.board Pedestrian Detection[C]//Proc.of the I 5th Int’I Cone on Computer Vision Systems.Riode Janeiro,Brazil:【s.n.】,2007.

【4】Viola P,Jones M.Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.【S.I.】: IEEE Press,2001:511-518.

【5】Lienhart R,Maydt J.An Extcnded Set of Haarlike Features for Rapid Object Detection[C]//Proc.Of ICIP’02.【S.1.】:IEEE Press,2002:900.903.

【6】Valiant L G A Theory of the Learnable[J].Communication of the ACM 1984.27(1I):1134-1142.

【7】Schapire R E.The Strength of Weak Learnability[J].Machine Learning,1990,5(2):197-227.

【8】Freund Y.Schapire R E.A Decision-theoretic Generalization of On-line Learning and an Application to Boosting[J].Journal of Computer and System Sciences,1 997.55(I):11 9-139.

低速無(wú)人駕駛產(chǎn)業(yè)綜合服務(wù)平臺(tái)版權(quán)與免責(zé)聲明:

凡本網(wǎng)注明[來(lái)源:低速無(wú)人駕駛產(chǎn)業(yè)綜合服務(wù)平臺(tái)]的所有文字、圖片、音視和視頻文件,版權(quán)均為低速無(wú)人駕駛產(chǎn)業(yè)綜合服務(wù)平臺(tái)獨(dú)家所有。如需轉(zhuǎn)載請(qǐng)與0755-85260609聯(lián)系。任何媒體、網(wǎng)站或個(gè)人轉(zhuǎn)載使用時(shí)須注明來(lái)源“低速無(wú)人駕駛產(chǎn)業(yè)綜合服務(wù)平臺(tái)”,違反者本網(wǎng)將追究其法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明其他來(lái)源的稿件,均來(lái)自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請(qǐng)保留稿件來(lái)源及作者,禁止擅自篡改,違者自負(fù)版權(quán)法律責(zé)任。

如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。

關(guān)注低速無(wú)人駕駛產(chǎn)業(yè)聯(lián)盟公眾號(hào)獲取更多資訊

最新新聞