車載攝像頭:自動駕駛之眼
車載攝像頭被譽為“自動駕駛之眼”,是ADAS系統(tǒng)、汽車自動駕駛領(lǐng)域的核心傳感設(shè)備。主要通過鏡頭和圖像傳感器實現(xiàn)圖像信息的采集功能,可實現(xiàn)360°視覺感知,并彌補雷達(dá)在物體識別上的缺陷,是最接近人類視覺的傳感器。
車載攝像頭在汽車領(lǐng)域應(yīng)用廣泛,從早期用于行車記錄、倒車影像、泊車環(huán)視逐步延伸到智能座艙內(nèi)行為識別和ADAS輔助駕駛,應(yīng)用場景日漸豐富。
當(dāng)前全球車載攝像頭行業(yè)CR3為41%,全球前十企業(yè)則占據(jù)了96%的市場份額,全球車載攝像頭行業(yè)集中度處于較高水平。
美國高速公路損失數(shù)據(jù)研究所(HLDI)預(yù)測,到2030年接近50%的汽車將配備ADAS技術(shù)。
根據(jù)ICVTank,到2025年中國車載攝像頭行業(yè)規(guī)模有望達(dá)到230億,5年CAGR為30%;全球車載攝像頭市場規(guī)模將有望從2019年的112億美元增長至2025年的至270億美元,5年CAGR 達(dá)15.8%。
自動駕駛包括感知、判斷和執(zhí)行,而感知是整個過程的源頭,是自動駕駛系統(tǒng)的重要模塊。在車輛行車過程中,感知系統(tǒng)會通過傳感器實時采集周邊環(huán)境的信息,相當(dāng)于自動駕駛汽車的「眼睛」,可以幫助汽車實現(xiàn)類似于人類駕駛員一樣效果的觀察能力。
在自動駕駛車輛中,感知系統(tǒng)主要由攝像頭、毫米波雷達(dá)、激光雷達(dá)(可選,這里主要是怕被特斯拉的粉絲杠)等傳感器構(gòu)成。攝像頭作為主要的環(huán)境感知傳感器起著非常重要的作用, 可以實現(xiàn) 360° 全面視覺感知,彌補雷達(dá)在物體識別上的缺陷,是最接近人類視覺的傳感器。因此是車載攝像頭是自動駕駛領(lǐng)域的關(guān)鍵設(shè)備之一。
什么是車載攝像頭?
車載攝像頭主要的硬件結(jié)構(gòu)包括光學(xué)鏡頭(其中包含光學(xué)鏡片、濾光片、保護膜等)、圖像傳感器、圖像信號處理器 ISP、串行器、連接器等器件。其結(jié)構(gòu)示意圖如圖所示:
車載攝像頭的結(jié)構(gòu)構(gòu)成(圖片來源:安森美半導(dǎo)體公司)
車載攝像頭的結(jié)構(gòu)如上圖所示,放置車身外面的,就需要組成完整的攝像頭,如果是在車內(nèi)DVR,不用考慮防水,就可以組裝成上面的那種攝像頭模組。
上圖是我們比較常見的汽車上使用的相機模組的解剖。除了最外側(cè)的鋁殼以及密封圈和鏡頭之外,其實中間就是比較簡單的幾層板的設(shè)計,通常包括傳感器的sensor板,圖像處理器的小板,還包括一個串行器的板。為什么需要串行器,是因為通常相機傳感器或ISP的圖像數(shù)據(jù)輸出總線是MIPI CSI標(biāo)準(zhǔn),其特點是高速穿行,但是傳輸總線距離較短,否則無法保證信號的完整性。
所以在車輛上,我們需要將其轉(zhuǎn)換成例如GMSL等適合在車上長距離傳輸?shù)母咚倏偩€標(biāo)準(zhǔn)進行傳輸,所以相機模組內(nèi)部通常會通過串行板進行總線的轉(zhuǎn)換。另外同軸電纜既可以用來為模組提供電源,也可以傳輸圖像數(shù)據(jù)。
光學(xué)鏡頭:負(fù)責(zé)聚焦光線,將視野中的物體投射到成像介質(zhì)表面,根據(jù)成像效果的要求不同,可能要求多層光學(xué)鏡片。濾光片可以將人眼看不到的光波段進行濾除,只留下人眼視野范圍內(nèi)的實際景物的可見光波段。
圖像傳感器:圖像傳感器可以利用光電器件的光電轉(zhuǎn)換功能將感光面上的光像轉(zhuǎn)換為與光像成相應(yīng)比例關(guān)系的電信號。主要分為 CCD 和 CMOS 兩種。
ISP 圖像信號處理器:主要使用硬件結(jié)構(gòu)完成圖像圖傳感器輸入的圖像視頻源 RAW 格式數(shù)據(jù)的前處理,可轉(zhuǎn)換為 YCbCr 等格式。還可以完成圖像縮放、自動曝光、自動白平衡、自動聚焦等多種工作。
串行器:將處理后的圖像數(shù)據(jù)進行傳輸,可用于傳輸RGB、YUV等多種圖像數(shù)據(jù)種類。
連接器:用于連接固定攝像頭。
車載攝像頭在制造工藝及可靠性要求方面也要高于工業(yè)攝像頭和商用攝像頭,由于汽車需長期工作在惡劣環(huán)境中,車載攝像頭需要在高低溫環(huán)境、強振動、高濕熱等復(fù)雜工況環(huán)境下穩(wěn)定工作,對于工藝制造方面的要求主要如下:
車載攝像頭的工藝需求
耐高溫 :車載攝像頭需在-40℃~85℃范圍內(nèi)都能正常工作,且能適應(yīng)溫度的劇烈變化;
抗震:車輛在不太平坦的路面行駛會產(chǎn)生較強的震動,因此車載攝像頭必須能抗各種強度的震動;
防磁 :車輛啟動時會產(chǎn)生極高的電磁脈沖,需要極高的防磁性能;
防水 :載攝像頭密封要非常嚴(yán)實,滿足在雨水中浸泡數(shù)日仍可正常使用;
使用壽命 :使用壽命至少為8~10年才能滿足要求;
超廣角:側(cè)視環(huán)視攝像頭必須是超廣角的,水平視角達(dá) 135°;
高動態(tài):車輛行駛速度快,攝像頭面對的光線環(huán)境變化劇烈且頻繁,要求攝像頭的CMOS 具有高動態(tài)特性;
低噪點:在光線較暗時能有效抑制噪點,特別是要求側(cè)視和后視攝像頭即使在晚上也能清楚的捕捉影像。
車載智能前視像頭關(guān)鍵參數(shù)
探測距離
水平視場角
垂直視場角
分辨率 -當(dāng)攝像機攝取等間隔排列的黑白相間條紋時,在監(jiān)視器(比攝像機的分辨率要高)上能夠看到的最多線數(shù),當(dāng)超過這一線數(shù)時,屏幕上就只能看到灰蒙蒙的一片,而不再能分辨出黑白相間的線條。
最低照度 -即圖像傳感器對環(huán)境光線的敏感程度,或者說是圖像傳感器正常成像時所需要的最暗光線。它是當(dāng)被攝物體的光照逐漸降低時,攝像機的視頻信號電平低于標(biāo)準(zhǔn)信號最大幅值一半時的景物光照度值。
信噪比 -輸出信號電壓與同時輸出的噪聲電壓的比值;
動態(tài)范圍 -攝像機拍攝的同一個畫面內(nèi),能正常顯示細(xì)節(jié)的最亮和最暗物體的亮度值所包含的那個區(qū)間。動態(tài)范圍越大,過亮或過暗的物體在同一個畫面中都能正常顯示的程度也就越大。
與雷達(dá)技術(shù)對比有哪些優(yōu)勢
1)相比于毫米波雷達(dá),目前攝像頭的主要優(yōu)勢在于:
目標(biāo)識別與分類 - 目前普通的3D毫米波雷達(dá)僅可以檢測到前方是否有障礙物,而無法精準(zhǔn)識別障礙物的大小和類別;例如:各類車道線識別、紅綠燈識別以及交通標(biāo)志識別等;
可通行空間檢測(FreeSpace) - 對車輛行駛的安全邊界(可行駛區(qū)域)進行劃分,主要對車輛、普通路邊沿、側(cè)石邊沿、沒有障礙物可見的邊界、未知邊界進行劃分;
對橫向移動目標(biāo)的探測能力 ,比如對十字路口橫穿的行人以及車輛的探測和追蹤;
定位與地圖創(chuàng)建 - 即視覺SLAM技術(shù),雖然目前也有用毫米波雷達(dá)做SLAM的,不過視覺SLAM技術(shù)更加成熟,也更有應(yīng)用前景;
2)在自動駕駛系統(tǒng)中,激光雷達(dá)與攝像頭感知作用比較類似,但相比激光雷達(dá),其優(yōu)勢為:
紅綠燈識別及交通標(biāo)示識別
成本優(yōu)勢,且算法及技術(shù)成熟度比較高
物體識別率高
車載攝像頭分布情況:
資料來源:CIOE中國光博會
目前車上搭載的車載攝像頭根據(jù)安裝位置主要分為車載攝像頭主要分為前視攝像頭、環(huán)視攝像頭、后視攝像頭、側(cè)視攝像頭以及內(nèi)置攝像頭五種類別。
前視攝像頭:主要安裝在前擋風(fēng)玻璃上,用于實現(xiàn)行車的視覺感知及識別功能,根據(jù)功能又可以分為前視主攝像頭、前視窄角攝像頭和前視廣角攝像頭。
前視主攝像頭:該攝像頭在 L2 的ADAS 系統(tǒng)中作為主攝像頭使用。其視場角的一般為 30°、50°、60°、100°、120°,檢測距離一般為 150- 170 m,攝像頭輸出的格式為 RCCB 或 RCCC。
前視廣角攝像頭:該攝像頭的作用主要是識別距離較近的物體,主要用于城市道路工況、低速行駛等場景,其視場角在 120° - 150°,檢測距離在 50 m 左右。在后續(xù) 8MP 鏡頭大規(guī)模裝車后,無需該攝像頭。
前視窄角攝像頭:該攝像頭的主要作用是進行紅綠燈、行人等目標(biāo)的識別,一般選用窄角鏡頭,可選擇 30 - 40° 左右的鏡頭。并且該鏡頭的像素一般和前視主攝像頭的鏡頭像素一致,該攝像頭采用窄角度,具有更高的像素密度和更遠(yuǎn)的檢測距離,一般可達(dá) 250 m 甚至可探測更遠(yuǎn)的距離。
在上了 8MP 攝像頭后,前視主攝像頭的 FOV 可達(dá) 120°,該攝像頭可能就不需要了。檢測距離在 60 m 左右。
環(huán)視攝像頭:主要安裝在車身四周,一般使用 4 - 8 個攝像頭,可分為前向魚眼攝像頭/左側(cè)魚眼攝像頭/右側(cè)魚眼攝像頭/后向魚眼攝像頭。用于全景環(huán)視功能的顯示,以及融合泊車功能的視覺感知及目標(biāo)檢測;常用色彩矩陣為 RGGB,因為有色彩還原的需求。
后視攝像頭:一般安裝在后備箱上,主要是實現(xiàn)泊車輔助。視場角在 120- 140° 之間,探測距離大概 50 m。
側(cè)前視攝像頭:安裝在 B 柱或者車輛后視鏡處,該攝像頭的視場角一般為 90°- 100°,探測距離大概在 80 m 左右,這個攝像頭的主要作用是檢測側(cè)向車輛及自行車。
側(cè)后視攝像頭:一般安裝在車輛前翼子板處,該攝像頭的視場角一般為 90°左右,探測距離也在 80 m 左右,主要用于車輛變道、匯入其它道路等場景應(yīng)用。
內(nèi)置攝像頭:主要用于監(jiān)測司機狀態(tài),實現(xiàn)疲勞提醒等功能。
其中,前視攝像頭價格相對較高,目前市場價格處在 300 - 500元水平;其余攝像頭價格在 150 - 200元左右。
主流廠商車載攝像頭搭載方案
從方案中我們可以看到,特斯拉的 8 個攝像頭均與行車系統(tǒng)有關(guān)聯(lián),這與其一直宣傳的不依靠激光雷達(dá)純視覺的自動駕駛方案是有較大關(guān)聯(lián)的,特斯拉的這一套方案的最大優(yōu)勢就是:高性價比。特斯拉用了成本非常低的自研 1.2MP 攝像機就實現(xiàn)了 L2+ 級別的自動駕駛。
小鵬 P7 使用了多個攝像頭,這一套方案的最大優(yōu)勢就是:可拓展性較強。前期方案在設(shè)計時需要提高硬件成本,但是在后期 OTA 升級后,其自動駕駛功能具有非常好的兼容性和可拓展性。
通過這套傳感器模型,小鵬實現(xiàn)了具有較好體驗的 L2+級別的自動駕駛功能,包括小鵬極具特色的高速自主導(dǎo)航駕駛(NGP)和停車場記憶泊車功能。
奔馳 S 級是傳統(tǒng)主機廠方案的代表,雙目立體攝像頭方案是奔馳 S 級最大的優(yōu)勢。相比于單目攝像頭,雙目攝像頭可以計算當(dāng)前檢測目標(biāo)在 X、Y、Z 坐標(biāo)下的運動情況,判斷檢測目標(biāo)的姿態(tài)及目標(biāo)類型,奔馳在 L2 級別的 ADAS 功能的體驗效果也比另外兩家好一些。
對已經(jīng)量產(chǎn)車型的攝像頭方案分析中,我們發(fā)現(xiàn)其都是使用中低像素攝像頭來實現(xiàn)自動駕駛功能。
車載攝像頭產(chǎn)業(yè)鏈
車載攝像頭產(chǎn)業(yè)鏈主要涉及上游材料、中游元件和下游產(chǎn)品三個主要環(huán)節(jié)。
上游材料中光學(xué)鏡片、濾光片和保護膜等用于制造鏡頭組,晶圓用于制造CMOS芯片和DSP信號處理器;在中游鏡頭組、CMOS芯片和膠合材料等組裝成模組,并和DSP信號處理器封裝成攝像頭產(chǎn)品。
在產(chǎn)業(yè)鏈的這一層,上游供應(yīng)商已經(jīng)可以向下游整車或一級供應(yīng)商客戶供應(yīng)完整的攝像頭產(chǎn)品。在車載攝像頭產(chǎn)業(yè)鏈中,攝像頭和軟件算法一起,構(gòu)成車載攝像頭解決方案,應(yīng)用于自動駕駛汽車中。
目前車載攝像頭市場份額較大的公司均是全球領(lǐng)先的一級零部件供應(yīng)商,下游客戶基本覆蓋了全球主要的整車公司。
CMOS在車載攝像頭價值量成本占比最高,達(dá)到52%;模組封裝占比20%、光學(xué)鏡頭占比19%。
CMOS芯片
CMOS(CIS傳感器)是主流的車載車載攝像頭感光元件方案。相比于CCD感光元件,CMOS的成像質(zhì)量略遜一籌,但成本低、更省電,因此在像素要求不高的車載攝像頭領(lǐng)域廣受青睞。
CMOS制造產(chǎn)業(yè)鏈主要細(xì)分為設(shè)計、代工和封裝測試三個環(huán)節(jié),最后由模組廠采購組裝,整合入攝像頭模組再出售給下游應(yīng)用廠商。
CMOS傳感器的構(gòu)成與關(guān)鍵參數(shù) 圖像傳感器的功能是光電轉(zhuǎn)換。關(guān)鍵的參數(shù)有像素、單像素尺寸、芯片尺寸、功耗。技術(shù)工藝上有前照式(FSI)、背照式(BSI)、堆棧式(Stack)等。
圖像傳感器從外觀看分感光區(qū)域(Pixel Array),綁線Pad,內(nèi)層電路和基板。感光區(qū)域是單像素陣列,由多個單像素點組成。每個像素獲取的光信號匯集在一起時組成完整的畫面。
CMOS芯片由微透鏡層、濾色片層、線路層、感光元件層、基板層組成。
CMOS芯片剖面圖 由于光線進入各個單像素的角度不一樣,因此在每個單像素上表面增加了一個微透鏡修正光線角度,使光線垂直進入感光元件表面。這就是芯片CRA的概念,需要與鏡頭的CRA保持在一點的偏差范圍內(nèi)。
電路架構(gòu)上,我們加入圖像傳感器是一個把光信號轉(zhuǎn)為電信號的暗盒,那么暗盒外部通常包含有電源、數(shù)據(jù)、時鐘、通訊、控制和同步等幾部分電路??梢院唵卫斫鉃楦泄鈪^(qū)域(Pixel Array)將光信號轉(zhuǎn)換為電信號后,由暗盒中的邏輯電路將電信號進行處理和一定的編碼后通過數(shù)據(jù)接口將電信號輸出。
由于CMOS芯片的像素層的設(shè)計工藝類似于模擬芯片,對制造工藝的要求較高,所以索尼、三星等龍頭企業(yè)均采用IDM模式,而豪威、格科微等中國企業(yè)多采用Fabless模式。
代工方面,臺積電、華力微、中芯國際、力晶、海力士等代工廠為全球CIS晶圓主要供應(yīng)商。
封測方面,目前全球CIS封測產(chǎn)能集中在中國臺灣,精材、勝麗、同欣電等廠商是主要CIS封測廠商,國內(nèi)晶方科技、華天科技等也具備CIS封測能力。
根據(jù)Yole數(shù)據(jù),2019年CIS下游市場增速中,汽車市場同比增長41%,遠(yuǎn)遠(yuǎn)超過手機、計算機、安防、工控等其余主要領(lǐng)域。
CMOS的生產(chǎn)制造技術(shù)含量高,從全球市場來看,目前主要被外資企業(yè)所占據(jù)。
從競爭格局來看,安森美以36%的市場份額占據(jù)第一,國內(nèi)企業(yè)豪威科技以22%位居第二,索尼、松下、三星緊隨其后,全球CIS Top3廠商供應(yīng)超過65%,行業(yè)集中度較高。國內(nèi)企業(yè)韋爾股份通過收購豪威科技切入CIS領(lǐng)域,一舉成為CIS領(lǐng)域領(lǐng)先企業(yè)。
攝像頭圖像處理ISP初步介紹
我們看一看車載攝像頭模組的關(guān)鍵參數(shù),是不是還有幾個沒有闡述,比如白平衡、自動增益控制、色彩還原等等,上述攝像頭描述就是主機控制,這里就有一個關(guān)鍵器件需要講解一下,圖像信號處理器ISP,這些活都是圖像處理器ISP需要干的活。
下圖展示了車載系統(tǒng)的基本組成:黃色的箭頭代表數(shù)據(jù)的傳輸,藍(lán)色的箭頭代表控制信號的傳輸。
相機的圖像處理流程大致是這樣的:
從相機感受到電荷之后,轉(zhuǎn)化成每個像素的數(shù)字信號,它的輸出我們可以叫做一個bayer pattern,當(dāng)bayer pattern進入到ISP之后,經(jīng)過一系列的圖像處理才會變成可以正常預(yù)覽或者拍照形成的圖像。
圖像處理中有一些比較關(guān)鍵的步驟,比如我們會做白平衡,因為人眼的視覺會對所看見的顏色做一定的糾正,比如看在黃光照射的范圍里,我們看到的黃光打亮白紙不再是白紙。所以很重要的是白平衡的矯正,白平衡的矯正之后會做demosaic,將每個像素的全部顏色通道全部還原回來。
然后每個Sensor的特性或者因為一些原因?qū)е碌钠枰ㄟ^顏色校正的矩陣乘法來做更正。再之后需要轉(zhuǎn)到y(tǒng)cbcr域去做例如針對亮度通道或顏色通道的降噪或者補償??傮w來說,這是一個非常簡單的流程,實際上在車載應(yīng)用中的流程非常復(fù)雜,涉及到更多的如HDR多幀曝光,合成,tone mapping等算法。
ISP 放置的位置非常關(guān)鍵:
這里有的是會放置ISP圖像處理芯片在攝像頭這邊,把處理后的信號傳輸給到主機,有的是不放置ISP芯片,由主機那邊的內(nèi)置ISP芯片進行圖像處理,這樣攝像頭端的散熱會好很多,輻射也小。
比如倒車后視攝像頭,攝像頭距離主機距離都是5-8米,根據(jù)車身長度決定,這部分一般是把ISP放置在攝像頭模組那端,這樣傳輸過來的信號都是ISP那邊進行降噪處理后的信號,抗干擾能力也更強,缺點就是體積會變大,散熱要求非常高。
譬如有的行車記錄儀DVR攝像頭,這部分?jǐn)z像頭距離控制主機CPU非常近,而且對于造型要求也比較高,就會把ISP放置在CPU這邊(很多DVR的CPU都內(nèi)置了ISP芯片),無論是成本還是設(shè)計都是最優(yōu)方案。
前面有提到了,攝像頭出來的信號一定要經(jīng)過ISP處理,那ISP要怎么處理這些信號,有哪些處理,這些其實都是涉及到色彩相關(guān)的內(nèi)容,首先我們進行色彩相關(guān)內(nèi)容的科普,然后再講解ISP怎么處理這些信號。
camera sensor效果的調(diào)整,涉及到眾多的參數(shù),如果對基本的光學(xué)原理及sensor軟/硬件對圖像處理的原理能有深入的理解和把握的話,對我們的工作將會起到事半功倍的效果。否則,缺乏了理論的指導(dǎo),只能是憑感覺和經(jīng)驗去碰,往往無法準(zhǔn)確的把握問題的關(guān)鍵,不能掌握sensor調(diào)試的核心技術(shù),無法根本的解決問題。
光學(xué)部件
鏡頭組中的光學(xué)器件(主要包括鏡片、濾光片、保護膜)對攝像頭所生成的圖像質(zhì)量方面起到了關(guān)鍵作用。
以一款車載DVR的隱藏式寬FOV角度的鏡頭為例子。
鏡筒的材質(zhì)一般都是金屬,但是也有塑膠的,金屬的鏡筒從質(zhì)量,耐高低溫等各項指標(biāo)都會更好,但是也有缺點,金屬的套筒在螺絲扭的時候會產(chǎn)生金屬機械粉末,會有掉入到COMS感光區(qū)域的風(fēng)險,而且金屬的套筒硬度比較硬,底板打螺絲的時候容易導(dǎo)致底板有COMS芯片的PCBA變形,從而導(dǎo)致成像后的解析度發(fā)生變化。
鏡頭的材質(zhì)主要是兩種,一種是玻璃,一種是塑膠。
玻璃鏡片:以G為縮寫,面型多為球面,玻璃研磨加工;
塑膠鏡片:以P為縮寫,面型多為非球面,注塑加工。
鏡頭的材質(zhì)車載里面一般都是使用的是玻璃,玻璃的耐高溫,耐擦掛性能都非常好,表面硬度玻璃會好于塑膠,當(dāng)然玻璃也有缺點,價格貴,而且攝像頭整體的厚度變厚了,但是在車載里面這些相對于性能要求而言,都必須要使用到玻璃鏡頭,所以這里可以看到6G,就是使用6個玻璃片。
鏡頭的光學(xué)參數(shù)講解
焦距(Focal Length或EFFL)
是指一個光學(xué)系統(tǒng)從起像方主面到焦點間的距離, 它反映了一個光學(xué)系統(tǒng)對物體聚焦的能力。
BFL 后焦
鏡頭最后一鏡片面到成像面的距離
這里的如上圖所示是 5.85mm;
Mechanical BFL法蘭距
鏡筒端(前/后)到成像面的距離
這里如上圖所示是 5.08mm±0.2mm
鏡頭總長和光學(xué)總長(TTL):
光學(xué)總長是指從系統(tǒng)第一個鏡片表面到像面的距離; 而鏡頭總長是指最前端表面(一般指Barrel表面)到像面(例如Sensor表面)的距離.一般來說, 鏡頭太長或太短其設(shè)計都會變得困難, 制造時對工藝要求較高,這個鏡頭的總長度是22.7mm±0.3mm。
相對孔徑(FNo.)
一個光學(xué)系統(tǒng)成像亮度指標(biāo), 一般簡稱F數(shù)(如傳統(tǒng)相機上所標(biāo)識), 在同樣的光強度照射下, 其數(shù)值越小, 則像面越亮, 其數(shù)值越大, 則像面越暗. 對于一般的成像光學(xué)系統(tǒng)來說, F2.0-3.2就比較合適, 如果要求F數(shù)越小, 則設(shè)計越難, 結(jié)構(gòu)越復(fù)雜, 制造成本就越高。這里的FNo為F2.1。
視場角(FOV):
一個光學(xué)系統(tǒng)所能成像的角度范圍. 角度越大, 則這個光學(xué)系統(tǒng)所能成像的范圍越寬, 反之則越窄. 在實際產(chǎn)品當(dāng)中, 又有光學(xué)FOV和機械FOV之分, 光學(xué)FOV是指SENSOR或膠片所能真正成像的有效FOV范圍, 機械FOV一般大于光學(xué)FOV, 這是有其他考慮和用途, 比如說需要用機械FOV來參考設(shè)計Module或者手機蓋的通光孔直徑大小。
這里的FOV角度理論上是越大越好,比如做隱藏式行車記錄儀DVR的攝像頭,這個時候就需要記錄到的兩邊的圖像越寬越好,越方便信息的完整性。當(dāng)然這個FOV的角度直接影響到最終攝像頭測距的距離,所以這個FOV角度也是最好根據(jù)攝像頭的實際應(yīng)用來選擇。
光學(xué)畸變(Opt distortion)和TV畸變(TV distortion):
畸變是指光學(xué)系統(tǒng)對物體所成的像相對于物體本身而言的失真程度.光學(xué)畸變是指光學(xué)理論上計算所得到的變形度。
TV畸變則是指實際拍攝圖像時的變形程度, DC相機的標(biāo)準(zhǔn)是測量芯片(Sensor)短邊處的變形.一般來說光學(xué)畸變不等于TV畸變, 特別是對具有校正能力的芯片來說. 畸變通常分兩種: 桶形畸變和枕形畸變,比較形象的反映畸變的是哈哈鏡,使人變得又高又瘦的是枕型畸變,使人變得矮胖的是桶型畸變。
這個一般都比較重視的是TV失真,越小越好,這樣對于后面芯片的處理也就越簡單,這里的鏡頭的TV失真是小于21%。
相對照度(Relative illumination又簡寫為RI):
它是指一個光學(xué)系統(tǒng)所成像在邊緣處的亮度相對于中心區(qū)域亮度的比值, 無單位. 在實際測量的結(jié)果中, 它不僅同光學(xué)系統(tǒng)本身有關(guān), 也同所使用的感光片(SENSOR)有關(guān). 同樣的鏡頭用于不同的芯片可能會有不同的測量結(jié)果.
這個車載鏡頭的RI指標(biāo)是≥53%。
CRA 主光線出射角通過光闌中心光線的成像面入射角
不同的視場具有不同的CRA值,將所有視場的CRA做成一條曲線,即
所謂的CRA曲線。圖紙中所示的CRA值為Sensor有效像高處的數(shù)值。
MTF:
它從一定程度上反映了一個光學(xué)系統(tǒng)對物體成像的分辨能力.一般來說, MTF越高, 其分辨力越強, MTF越低, 其分辨力越低.由于MTF也只是從一個角度來評價鏡頭的分辨率,也存在一些不足, 故在目前的生產(chǎn)中, 大多數(shù)還是以逆投影檢查分辨率為主。
IR Filter(濾光片):
它主要用于調(diào)整整個系統(tǒng)的色彩還原性. 它往往隨著芯片的不同而使用不同的波長范圍, 因為芯片對不同波長范圍的光線其感應(yīng)靈敏度不一樣.對于目前應(yīng)用較廣的CMOS和CCD感光片它非常重要, 早期的CCD系統(tǒng)中, 采用簡單的IRF往往還不能達(dá)到較好的色彩還原性效果。
IR-Cut:透過率為50%時的紅外光線頻率,650±10nm @ T=50%
所以這里可以看到車載攝像頭的鏡頭的紅外濾光片基本上都是650nm±10nm的濾光片。
IR鍍膜的規(guī)格對鏡頭的色彩還原性有較大的影響,另外結(jié)合sensor的特性,對鍍膜進行優(yōu)化,會改善鏡頭色彩還原能力,所以在有的攝像頭拍照出來的色彩還原效果比較差的時候,軟件優(yōu)化都無能為力的時候,可以考慮IR鍍膜來調(diào)整。
鏡頭主要用于將圖像聚焦到傳感器上,作為核心元件,其壁壘在于焦距、視場角、光圈、畸變、相對照度、分辨率等。由于室外環(huán)境嚴(yán)苛,車載鏡頭在形狀上要有良好的熱穩(wěn)定性,所以鏡頭主要使用玻璃而非塑膠材質(zhì)。
光學(xué)部件行業(yè)整體處于成熟期,行業(yè)集中度相對較高,大多是傳統(tǒng)的相機鏡頭生產(chǎn)商。根據(jù)Yole Development, 全球CR4約為40%~50%左右。
在全示車載攝像頭鏡頭組全球市場,舜宇光學(xué)占據(jù)第一的市場份額,2004年開始布局車載鏡頭市場,2012年開始做到了全球車載鏡頭出貨量的第一并保持,跟隨其后的主要產(chǎn)商包括日本世光、日本康達(dá)智、富士膠片等。
國內(nèi)光學(xué)鏡頭領(lǐng)域主要廠商主要有聯(lián)創(chuàng)電子、歐菲光、福光股份、力鼎光電等。
水晶光電(濾光片、保護膜)、歐菲光(濾光片)、海泰(保護膜)等企業(yè)正在向海外龍頭發(fā)起挑戰(zhàn),在國內(nèi)新勢力崛起的背景下,有望乘“車載”之東風(fēng),引領(lǐng)光學(xué)部件環(huán)節(jié)的國產(chǎn)替代。
攝像頭模組封裝
車載攝像頭模組的封裝工藝難度高于手機,首要需保障駕駛安全,對其在駕駛期間、不同工作環(huán)境下的使用穩(wěn)定性有較高的要求。因此,相比其他領(lǐng)域,車載攝像頭的產(chǎn)品安全標(biāo)準(zhǔn)更高,生產(chǎn)技術(shù)要求更高,工藝難度大。
從競爭格局來看,當(dāng)前全球車載攝像頭行業(yè)市場份額前三為松下、法雷奧和富士通:其中松下所占市場份額最大,達(dá)到20%;法雷奧和富士通的市占率分別為11%和10%。
全球主要攝像頭供應(yīng)商的客戶情況:
資料來源:東方證券
該領(lǐng)域主要玩家還包括:信利國際、??低?/u>、比亞迪、聯(lián)合光學(xué)、德賽西威等。
車載攝像頭的未來改善需求
攝像頭的像素大幅提升,帶來的不光光是對芯片算力等性能的要求,還帶來了對于功率、熱管理等層面的需求。為了實現(xiàn)更好的性能,攝像頭需要更大功率的電源,因此攝像頭熱管理也是一個需要考慮的大問題。傳統(tǒng)攝像頭基本都是使用內(nèi)置 ISP,但一些行業(yè)也在使用無 ISP 的攝像頭模組,數(shù)據(jù)直接傳輸?shù)接?a target="_blank">控制器,由外部 ISP 進行處理。
ISP 是攝像頭產(chǎn)生熱量和提升功耗的主要元器件,部分公司提出把 ISP 集成到控制器中進行熱管理。
例如安波福提出的解決方案是攝像頭保留光學(xué)鏡頭和圖像傳感器部分,將 ISP 移動到相應(yīng)的控制器主板中,通過以太網(wǎng)來進行數(shù)據(jù)傳輸。很多圖像傳感器制造商在把 ISP 模塊從攝像頭模組中移除,來限制攝像頭的功耗和熱量產(chǎn)生。
與此同時,ISP 被集成到專用的視覺處理器(SoC)中,可以提高圖像的成像質(zhì)量,并且可以同時處理多個攝像頭的數(shù)據(jù),以此來降低成本。
相信未來單個高精度攝像頭的成本會出現(xiàn)大幅下降,后續(xù)當(dāng)高精度攝像頭成為標(biāo)配時,整體成本會有比較大的下降空間。
附:特斯拉圖像識別原理闡述
特斯拉利用8個攝像頭來識別現(xiàn)實世界中的物體。攝像頭獲取的圖像包括行人、其他車輛、動物或障礙物,這不僅對特斯拉車輛駕駛員的安全很重要,對其他人也很重要。專利稱,重要的是,攝像頭能夠及時準(zhǔn)確地識別這些物體。
特斯拉專利框
特斯拉專利演示
從算法的代碼層面來說,特斯拉把它們的深度學(xué)習(xí)網(wǎng)絡(luò)稱為HydraNet。其中,基礎(chǔ)算法代碼是共享的,整個HydraNet包含48個不同的神經(jīng)網(wǎng)絡(luò),通過這48個神經(jīng)網(wǎng)絡(luò),就能輸出1000個不同的預(yù)測張量。理論上來說,特斯拉的這個超級網(wǎng)絡(luò),能同時檢測1000種物體。完成這些運算并不簡單,特斯拉已經(jīng)耗費了7萬個GPU小時進行深度學(xué)習(xí)模型訓(xùn)練。
雖然工作量很大,但由于大部分工作由機器承擔(dān),特斯拉的人工智能團隊僅由幾十人組成,與其他自動駕駛公司數(shù)百人甚至數(shù)千人的規(guī)模相比,確實規(guī)模不大。
完成2D的圖像還不算牛掰的,畢竟云端有超級計算機可以去訓(xùn)練,本地的芯片也是自己開發(fā)的,可以很好的匹配算法,特斯拉真正牛掰的地方,通過視覺完成3D的深度信息,并可以通過視覺建立高精度地圖,完成一些底下停車場的附件駕駛場景。
特斯拉全車共配備了8個攝像頭,一個毫米波雷達(dá)和12個超聲波雷達(dá),監(jiān)測外部環(huán)境,向自動駕駛電腦實時傳送信息。
特斯拉車外傳感器
簡單來看,特斯拉的攝像頭、毫米波雷達(dá)、超聲波雷達(dá)以及慣性測量單元記錄下當(dāng)前車輛所處的環(huán)境數(shù)據(jù),并將數(shù)據(jù)發(fā)送給特斯拉的自動駕駛電腦。自動駕駛電腦在進行算法的計算之后,將速度和方向信息傳遞給轉(zhuǎn)向舵以及加速、制動踏板,實現(xiàn)對車輛的控制。
不過,在日常行駛過程中,攝像頭作為傳感器捕捉的內(nèi)容都是二維圖像,并沒有深度信息。
也就是說,雖然二維圖像已經(jīng)可以區(qū)分公路和路旁的人行道,但并不知道現(xiàn)在車輛距離“馬路牙子”還有多遠(yuǎn)。由于缺失這樣一個重要信息,自動駕駛的運算可能并不準(zhǔn)確,操作可能出錯。因此,捕捉或者建立一個三維的圖景很有必要。
特斯拉使用三目相機的,它可以通過比較兩個攝像頭圖像的差異判斷物體的遠(yuǎn)近,獲得物體的深度信息。通過中央處理器對輸入圖像進行感知、分割、檢測、跟蹤等操作,輸出給導(dǎo)航網(wǎng)絡(luò)端進行語義建圖及匹配定位,同時通過目標(biāo)識別形成相應(yīng)的ADAS系統(tǒng)目標(biāo)屬性。
特斯拉還有更厲害的地方,那就是算法可以預(yù)測流媒體視頻中每一個像素的深度信息。也就是說,只要算法足夠好,流媒體視頻更加清晰,特斯拉的視覺傳感器所捕捉的深度信息甚至可以超過激光雷達(dá)。
在實際的自動駕駛應(yīng)用中,泊車入位和智能召喚兩個使用場景下就能充分利用這套算法。在停車場行駛時,車輛之間的距離很小,即使是駕駛員駕駛,稍不留神也很容易出現(xiàn)刮蹭事故。對于機器來說,停車場場景的行駛更加困難。在預(yù)測到深度信息之后,車輛可以在超聲波雷達(dá)的輔助之下,快速完成對周圍環(huán)境的識別,車輛泊車就會更加順利。
在完成深度信息的預(yù)測之后,這部分信息會顯示在車機上,同時也會直接參與控制轉(zhuǎn)向、加速、制動等駕駛動作。不過,轉(zhuǎn)向、加速、制動這些駕駛策略沒有固定的規(guī)則,有一定靈活性。因此,自動駕駛的駕駛策略沒有最佳,只有更好。
審核編輯 :李倩
-
adas
+關(guān)注
關(guān)注
309文章
2193瀏覽量
208858 -
車載攝像頭
+關(guān)注
關(guān)注
5文章
138瀏覽量
28140 -
自動駕駛
+關(guān)注
關(guān)注
785文章
13932瀏覽量
167009
原文標(biāo)題:一文了解車載攝像頭
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論