達(dá)摩院的研究人員提出一個(gè)通用、高性能的檢測(cè)器，在自動(dòng)駕駛領(lǐng)域權(quán)威數(shù)據(jù)集KITTI BEV(鳥(niǎo)瞰)上，檢測(cè)速度達(dá)到25FPS ，一舉占據(jù)榜首，與排名第二的方案相比，減少了一半多，同時(shí)精度也遠(yuǎn)超其他的單階段檢測(cè)器?？梢哉f(shuō)首次實(shí)現(xiàn)3D物體檢測(cè)精度與速度兼得。
達(dá)摩院研究團(tuán)隊(duì)表示：“檢測(cè)器是自動(dòng)駕駛系統(tǒng)的核心組件之一，但該領(lǐng)域一直缺少創(chuàng)新和突破，此次我們實(shí)現(xiàn)3D檢測(cè)精度和速度的提升，將有助于提高自動(dòng)駕駛系統(tǒng)的安全性。”
從實(shí)驗(yàn)結(jié)果來(lái)看，他們顯然取得了良好進(jìn)展，而且研究的主要完成人員(一作)，還是達(dá)摩院的實(shí)習(xí)生。
同時(shí)，該研究也得到了同行們的認(rèn)可，被計(jì)算機(jī)視覺(jué)領(lǐng)域頂級(jí)會(huì)議CVPR 2020收錄。他們是如何做到的呢?我們借助阿里達(dá)摩院提供的解讀，一一來(lái)看。
如何實(shí)現(xiàn)精度和速度兼得?
眾所周知，與普通2D圖像識(shí)別應(yīng)用不同，自動(dòng)駕駛系統(tǒng)對(duì)精度和速度的要求更高，不僅需要快速識(shí)別周?chē)h(huán)境的物體，還要對(duì)物體在三維空間中的位置做精準(zhǔn)定位。
僅靠傳感器和算法模型，通常無(wú)法平衡視覺(jué)識(shí)別的精度和速度。因此，檢測(cè)器成為提升自動(dòng)駕駛系統(tǒng)安全性的一個(gè)關(guān)鍵因素。
經(jīng)過(guò)多年研究，當(dāng)前業(yè)界主流的單階段檢測(cè)器在檢測(cè)速度上很好，但在檢測(cè)精度卻差強(qiáng)人意。
這就是達(dá)摩院研究的出發(fā)點(diǎn)：尋找一種能二者兼得的方法。
他們提出的思路是：將兩階段檢測(cè)器中對(duì)特征進(jìn)行細(xì)粒度刻畫(huà)的思想，移植到單階段檢測(cè)中。
在他們的模型中，用于部署的檢測(cè)器， 即推斷網(wǎng)絡(luò)， 由一個(gè)骨干網(wǎng)絡(luò)和檢測(cè)頭組成。
骨干網(wǎng)絡(luò)用3D的稀疏網(wǎng)絡(luò)實(shí)現(xiàn)，用于提取含有高語(yǔ)義的體素特征。檢測(cè)頭將體素特征壓縮成鳥(niǎo)瞰圖表示，并在上面運(yùn)行2D全卷積網(wǎng)絡(luò)來(lái)預(yù)測(cè)3D物體框。
他們?cè)谟?xùn)練中利用一個(gè)輔助網(wǎng)絡(luò)將單階段檢測(cè)器中的體素特征，轉(zhuǎn)化為點(diǎn)級(jí)特征并施加一定的監(jiān)督信號(hào)。
在實(shí)現(xiàn)上，他們將卷積特征中的非零信號(hào)映射到原始的點(diǎn)云空間中， 然后在每個(gè)點(diǎn)上進(jìn)行插值，來(lái)獲取卷積特征的點(diǎn)級(jí)表示。使得卷積特征也具有結(jié)構(gòu)感知能力，來(lái)提高檢測(cè)精度。
而在做模型推斷時(shí)，輔助網(wǎng)絡(luò)并不參與計(jì)算(detached)，保證單階段檢測(cè)器的檢測(cè)效率。
另外，他們還提出一個(gè)工程上的改進(jìn)：Part-sensitive Warping (PSWarp)，用于處理單階段檢測(cè)器中存在的 “框-置信度-不匹配” 問(wèn)題。
核心思路是：利用采樣器， 用生成的采樣網(wǎng)格在對(duì)應(yīng)的局部敏感特征圖上進(jìn)行采樣，生成對(duì)齊好的特征圖。最終能反映置信度的特征圖，是K個(gè)對(duì)齊好特征圖的平均。
單階段方法，能達(dá)到兩階段方法精度
阿里達(dá)摩院的研究人員，在KITTI數(shù)據(jù)集上評(píng)估了方法的有效性。下圖(PR Curve)中，實(shí)線(xiàn)為兩階段方法， 虛線(xiàn)為單階段方法。
可以看出，達(dá)摩院提出的單階段方法(黑色)能夠達(dá)到兩階段方法才能達(dá)到的精度。
可以看出，他們提出的方法，可以在不增加額外計(jì)算量的情況下，達(dá)到25FPS 的檢測(cè)速度，而且還能保持精度。具體的檢測(cè)效果如下：
兩位共同一作，都是達(dá)摩院研究實(shí)習(xí)生
研究論文，標(biāo)題為“Structure Aware Single-Stage 3D Object Detection from Point Cloud”，共有5名研究人員參與，分別來(lái)自阿里達(dá)摩院和香港理工大學(xué)。
第一作者是Chenhang He，是阿里達(dá)摩院的研究實(shí)習(xí)生，正在香港理工大學(xué)讀博，預(yù)計(jì)2022年畢業(yè)。
他的導(dǎo)師是達(dá)摩院高級(jí)研究員、香港理工大學(xué)電子計(jì)算學(xué)系講座教授、IEEE Fellow張磊，也是這一研究的通訊作者。
另一位第一作者Hui Zeng，也是是阿里達(dá)摩院的研究實(shí)習(xí)生，同樣是張磊的博士生，預(yù)計(jì)在今年畢業(yè)。
其他作者，分別是達(dá)摩院高級(jí)研究員、IEEE Fellow華先勝、達(dá)摩院資深算法專(zhuān)家黃建強(qiáng)等。
