成像應用
首頁 >> 解決方案 > 成像應用
如何搭建基于室外的嵌入式視覺系統

當我們基于特定應用場景,來設計和搭建一個“智能”成像系統時的若干考慮

 


背景介紹

今天,萬物互聯和“所有皆一體化”給我們帶來日趨增多的便利,比如智能手機,智能手表,智能手環等,正在改變我們利用科技的方式。這種便利的預期也影響了視覺系統的創新目標:追求系統的方便易用,并且通過“所有皆一體化”的方式來賦予視覺系統更強大的性能。嵌入式視覺系統被應用到越來越多的領域,比如工業自動化、無人駕駛系統、智能交通、室外智能安檢系統、移動設備等,憑借其強大的處理性能和多樣化的功能取代傳統的人工來提高效率。采用分離的系統組成(相機和嵌入式計算機)允許系統設計者來選擇當前合適的系統部件,來滿足特定應用系統的要求。
 
這篇文件將帶你了解,當設計嵌入式視覺系統來滿足不同特定應用時,我們需要考慮的關鍵技術要點都有哪些?


系統組成一:嵌入式計算機

嵌入式計算機是系統的智能大腦,它使得系統能夠進行自動化的決策,在采集到的圖像基礎上進行分析,上傳圖像數據流,上傳數據到網絡指定位置,在本地存儲數據(如果網絡連接出現問題),以及其他特定的、專有化的應用任務。
 
自從有了編碼指令集和低階編程后,這些智能系統就發展了相當一段時間。許多系統可以運行完整的桌面式系統,比如Linux或者Windows,這種系統使得開發者在進行編程時,就像使用自己的臺式電腦或者筆記本電腦一樣方便。
 

考慮1:操作系統

 

當在搭建嵌入式視覺系統時,我們有幾個操作系統可以選擇。大多數的嵌入式系統不帶操作系統,但是會被預裝一個Linux系統或者可以升級到Windows系統的選項(只要硬件支持即可)。
 
另外一個主流的替代方案是安裝一個安卓操作系統,主要是因為安卓的開源特性和在線支持第三方軟件。當初始的安卓系統不能總是支持特定的嵌入式系統時,就可以采用第三方橋接軟件允許安卓軟件像APP一樣在LINUX操作系統內運行。

Odroid XU4

loT

D

Yes

Lattepanda

D

No

No

Nvidia TX2

No

D

No

Raspberry Pi 3

loT

D

No

Minnowboard

D

D

Yes

上表中符號含義
loT: Windows Internet of Things Version
D: Full Desktop Version
當選擇操作系統和嵌入式開發平臺時,可以多多瀏覽相應的在線社區,看看是否有足夠的“故障排除”支持,是否滿足開發者的要求。
 

考慮2: 運行窗口
在寫這篇文章時,我們選擇展示這樣一個系統:在Lattepanda上運行Windows。Lattepand是在預裝了完整便攜版的Windows10 家庭版中自帶的開發板。許多其他嵌入式系統支持不同版本的Windows(家庭版,loT, 嵌入式等等)。特定的嵌入式系統的網站或者社區需要多去瀏覽,來判斷是否適于運行Windows。
 


除了Lattepanda,我們還會采用Lumenera Lt545R這款嵌入式版本的相機。Lumenera相機需要Windows10, DirectX 和/或 DirectShow。有一些嵌入式系統沒有預裝架構,這就需要進行加裝。
加裝此類軟件比較簡單的方式,就是下載Visual Studios,然后在Visual Studios內單獨下載Windows SDK。,因為在安裝Lumenera 軟件過程中,就會創建設備和架構的鏈接,所以在安裝任何Lumenera軟件前,都必須安裝此類架構。如果在安裝Visual Studios前就安裝了Lumenera軟件,就需要卸載Lumenera軟件,然后重裝,以保證相機能夠正常工作。

提示:
在一些(更早)版本的Lattepanda上運行一個設備,且是USB3.0模式時,需要進行BIOS升級。詳情參見支持頁的更多細節

考慮3:軟件
運行Windows的嵌入式系統的好處就是有大量的兼容性軟件可以在嵌入式設備上進行運行。除了前面提到的Visual Studios ,也有其他的大型的開發環境。比較受嵌入式系統開發者歡迎的就是QT(www.Qt.io)。這是一個跨平臺的架構,允許你開發一段代碼,在基于Windows,Linux,MacOS,Android, iOS的不同系統中都可以應用。
Qt和Visual Studios, 以及其他的開發環境,都支持使用OpenCV。OpenCV是一個開源計算機可視庫,多達47000多名的貢獻者形成了這個可視庫的強大社區。它支持Windows, Linux, MacOS, Android, 以及iOS, 同時它也有供C,C++,Python和Java的開發接口。
盡管之前的章節偏重于Windows操作系統,我們還是需要強調一下,不管選擇什么樣的操作系統,Qt和OpenCV的跨平臺本質使得它們依然是重要的開發選項。它們可以允許解決方案更加便攜,幾乎不用修改代碼,就可以同步在不同的操作系統下進行開發。
 

考慮4:產品升級便利性
選項一:??榛撲慊–oM)

 
當我們在規劃一個有瞬間大量計算的系統時,就需要考慮??榛撲慊–oM)。??榛撲慊歉齙グ寮撲慊?,它沒有類似USB,網口或者HDMI等計算機接口。它只有運算需要的基本組成,比如CPU/GPU, RAM, 以及SSD。??榛撲慊俸馱靨灝辶?,這個載體板上包含系統所需要的接口。這樣的設計,經濟性更好,體積更小,應用于室外場景時,需要更小的外殼和防雨水設計。在進行產品集成過程中,設計者就要統籌考慮??榛撲慊?,這樣當嵌入式系統制造商在幾年之內升級或者修改產品時,避免每次都不得不重新設計系統。
 
如果圖像是:
· 用單個相機來采集的

· 被OpenCV 來進行實時處理
· 處理結果被發送到現場之外的位置
 
   對于相機而言,唯一需要的接口是USB,并且需要Wifi發射器被用來下載連接。既然Wifi連接允許遠程進入,那就不需要額外的USB接口連接周邊設備,比如鍵盤,鼠標,或者用于顯示的HDMI接口。這就允許設計一個很小的定制載體板,載體板只要帶了一個USB接口,天線用于Wifi,和輸入電源接口即可。
 

選項二: Yocto Project 幫你創建定制的 Linux 系統和嵌入式產品                   
那些在開發具備實用功能的裸機系統的設計師,Yocto Project值得你注意。在所需要的工程基礎上,該軟件初始的幫助指令采用樣板、工具、方式等來創建Linux的自定義分布。它提供一些免費工具,比如評估環境,調試器,以及應用工具包產生器,并提供大量的信息和文件可以給新用戶或者高級開發者以參考。
Yocto Project同樣也支持其他幾種架構的開發,比如ARM, x86,x86-64, PPC, 以及MIPS。此外,它還提供Eclipse IDE插件和圖形用戶接口(GUI)來構建系統。
 

系統組成二:相機
室外用相機不得不工作在挑戰性的照明環境下。改變光照是其中挑戰性的工作之一,甚至于在采集單幀圖像時也會有變化。伴隨這個挑戰的,室外圖像還有幾個其他因素需要考慮。這個章節將會介紹,在根據應用選擇相機時,相機的哪些方面需要進行優化。更多的和應用相關的信息,在具體的應用解決方案中有詳細介紹,比如“智能交通系統(ITS)”,“無人操控系統”,以及“室外智能安檢系統”。
 

考慮1:快門類型
大部分的數字相機都有如下一種快門,卷簾(Rolling)快門和全局(Global)快門。卷簾快門是按照時序逐行對像素進行曝光來實現圖像采集,而全局快門是同一時刻同時對所有像素進行曝光來實現圖像采集。這一點在“如何設計一個視覺系統”文章中有所介紹。



理解快門的重要性在于,采用卷簾快門時,如果目標或者相機在移動時,圖像會產生假象或者畸變。速度越高,畸變的程度就越高。
全局快門是消除這一現象的偉大方式,付出的代價就是幀頻,噪聲和靈敏度的下降。不出意外的話,卷簾快門的采集幀頻要比全局快門要高,有更低的噪聲,而且靈敏度更高。設計者需要參考相機的實際參數來對比幀頻,噪聲和靈敏度這些指標。
 

考慮2:采集幀頻
有些相機的應用,受益于不斷提高的采集幀頻。更高的傳輸幀頻,可以允許更高的采集頻率,這在高速探測和分析中非常關鍵。同樣,對于通過嵌入式計算系統來探測特定條件和觸發一個事件時,高的采集頻率也是很重要的。一般來說,比起硬件觸發,軟件觸發更容易實現且成本更低。

提示:
根據奈奎斯特定理,相機的采集至少要兩倍于實際幀頻,而這個實際幀頻是要保證事件被正確地采集和記錄的最低幀頻。


考慮3:A/D(Bit)深度
Bit深度明確說明了每個像素能夠采集信號的數量。大多數人都熟悉分辨率的原理,分辨率越高,細節被重現的程度就越精細。Bit深度和分辨率相比并無不同,但是卻能夠幫助更好的分辨像素中的強度變化,這一點是通過更高的Bit深度而非看到圖像中更多的細節來實現的。
換句話來說,選擇某個特定的bit深度,決定了你用什么樣的精度來測量像素中的電荷。更高的Bit深度是非常關鍵的。當在探測極端微小的顏色變化,而且恰恰這種這種顏色變化對于人類又是感覺不到的,那么更高的Bit深度就變得非常關鍵。
許多室外應用不需要Bit深度超過8 bit,除非這是一種精確的測量,比如照相測量法或者顏色分析應用。
*更多關于Bit深度的完整介紹,請參見網站www.lumenera.com,或者
河北排列7开奖公告 
 

考慮4:動態范圍

動態范圍決定相機的這樣一種能力,假如同一張圖像中既有很強的光,又有很弱的光,這種能力同樣能夠區分出強弱細節。室外成像中明暗差異是一種常見的挑戰,比如圖像中的太陽光部分以及遮擋后的陰影部分所造成的巨大差異。
這種挑戰可以通過采用動態范圍更大的相機來克服。提高增益或者曝光時間會使得圖像中的明亮部分飽和,反之會降低陰暗部分的清晰度。通過查表或者調整相機的Gamma曲線也可以得到陰暗處和明亮處的部分細節,但是這并不能和更高動態范圍的相機來相提并論。


*對于動態范圍和信噪比的差別有疑問?請參見我們的網站www.lumenera.com, 或者 河北排列7开奖公告 www.cwukl.com
 

考慮5:噪聲
在昏暗照明下的景色中,噪聲的沖擊更大,因為信噪比被大幅降低了。作為補償,曝光時間和增益一起,通常都被增加了。在測試運動物體時,因為曝光時間在達到某個點以后就不能增加了,所以一般就用調整增益的方式來加亮景色中的暗處圖像。然而,在增加增益時,圖像中的噪聲也同樣被增加了,圖像中會增加很多噪點。對比曝光時間和增益這一點,在我們網站中也有論述。

上表中,綠色框內標注為:讀出噪聲值
 
在弱光背景下要實現實現穩定可靠的圖像采集,選擇一臺低噪聲的相機是非常重要的。需要特別關注的噪聲就是讀出噪聲。因為相對較短的曝光時間,暗電流噪聲(單位:電子/秒)和讀出噪聲(單位:電子)相比,沖擊要小得多。不管你曝光時間長短,讀出噪聲在每次采集圖像時都會發生。讀出噪聲越高,針對陰暗目標的采集圖像,就會有越高的噪聲,采用高增益時,噪聲就會更加明顯。
 

系統組成三:鏡頭,照明,和濾光片
除了相機和嵌入式系統之外,還有幾個圖像組成也需要整體考慮一下。第一并且是重要的:相機需要鏡頭。其次,有些應用,當太陽光不充足時,需要外部照明光源來補光?;褂幸恍┯τ彌?,有些特定波長的光強過大,就需要濾光片來消除這些特定波長的光。
這個章節會逐次說明介紹這些部件,來幫助您決定哪些是更優選擇。您也可以重新訪問網站www.lumenera.com, 或者河北排列7开奖公告 www.cwukl.com, 再次了解關于這些部件的介紹。
 

考慮1:鏡頭
選擇鏡頭時,有幾個重要的考慮因素,比如:工作距離,視場角,相機的芯片尺寸,以及分辨率。要決定你的應用需要哪些鏡頭,我們推薦您參考我們的“用于視覺系統的鏡頭技術白皮書”。它會幫助您決定鏡頭需要的焦距,分辨率,芯片尺寸通用性。下面這些鏡頭選項,在進行室外視覺系統設計時需要進行考慮。

選項一:晝/夜鏡頭
選擇鏡頭時主要需要考慮的因素就是系統工作的時間是白天中的哪個時間段。如果系統在白天的所有時段都要使用,很有可能就需要晝/夜鏡頭。晝夜鏡頭做了紅外光矯正,使得鏡頭可以在晚上也可以使用。另外,多光譜應用中,也是需要可見光和紅外光,所以也需要紅外矯正的鏡頭。

選項二:可變光圈鏡頭
室外應用中,挑戰性的就是光強的變化幅度大并且不可以預估。采用光圈可變的鏡頭,就引入了另外一個參數,通過它的配置可以實現對圖像亮度的調節。
在機器視覺市場,大家所熟知的精確的光圈光圈鏡頭,就是P-光圈鏡頭。他們采用非常精確的步進電機來準確的設置有效通光口徑。這種鏡頭,他們遠比上一代產品(DC-光圈鏡頭)準確的多,并且不會因為其光圈不能保持設定而引起困擾,雖然這種光圈保持在DC-光圈鏡頭中也非常常見。
 

考慮2:照明
之前曾經提到,如果采用IR照明光源,如果在整個波長范圍內都要采集到分辨清晰的圖像,很關鍵的就是需要采用紅外矯正的光學元件。如果不需要紅外照明光源,晝夜鏡頭這個章節的介紹可以忽略。

 
不管照明是哪個波長的光,重要的是要有個穩定的觸發信號,來確保相機在曝光時,閃光燈被觸發打開。相比較而言,更希望采用基于相機的觸發方式而非嵌入式系統的觸發,因為后者觸發會有一點點延遲。如果嵌入式系統同時觸發相機和閃光燈時,會有一定的延遲,主要是因為嵌入式系統的計算處理過程需要時間,從而導致對圖像的照明不佳。
再次強調,當我們需要晝夜都進行圖像采集而需要矯正光源和相機時,P-光圈鏡頭和DC-光圈鏡頭相比,我們推薦前者。在持續保持正確的光圈設置時,P-光圈鏡頭在可靠性方面要高的多。所需圖像會持續進行曝光,減少甚至消除后期處理的需要。
 

考慮3:濾光片
在進行視覺系統設計時,要減少強光效應或者隔絕特定某個波長的影響時,濾光片是一個非常有效的方式。這種方式能夠幫助提升相對的信噪比,這樣嵌入式計算系統就更容易對圖像進行分析。
在都市應用中,在降低太陽的強光方面,偏振濾光片也是非常有用的。它允許相機透過相機進行觀測并降低強光,從而更容易進行顏色觀測。從下面的照片可以看到,當采用偏振濾光片后,汽車外部的紅色更加均勻,也更容易看的到汽車內部。在采用偏振濾光片時,我們也要意識到,因為偏振去掉了50%的光線,所以需要更強的光線或者采用更靈敏的相機。

 

其他的濾光片(比如雙波長或者三波長的帶通濾光片)也可以用在特殊的,多波長的應用。這里,幾個特定的波長被阻隔掉,然后通過數學公式對圖像進行分析。也有可見光+近紅外的濾光片,允許閃光燈中很窄波段的近紅外光線進入相機來進行夜間操作。相機中的近紅外截止濾光片將會被這樣一種濾光片所替代,它允許彩色相機和近紅外的閃光燈一起使用。然而,重要的是也要注意到,這種方式會降低顏色方面的準確性,因為白天太陽光中的近紅外光,會反向沖擊相機的顏色響應。
室外嵌入式視覺系統中,需要考慮嵌入式計算機,相機,鏡頭,照明以及濾光片的重要性。
采用嵌入式計算機和相機的視覺系統,和中心計算系統相比有明顯的幾個優勢,所以變得越來越收歡迎,同時嵌入式系統的價格也在逐漸下降。嵌入式系統能夠實現接近實時的分析,采用神經網絡進行決策,傳輸最終結果,而不是僅僅把原始數據傳回到中心數據中心。
當設計一個有嵌入式計算機的系統時,需要認真考慮如何選擇軟件和硬件。OpenCV 這樣的開源社區正變得不可思議的可靠,因為這種開源軟件和注冊軟件變得一樣好,任何購買注冊軟件的決定都變得越來越難。
 
為室外應用的嵌入式系統來選擇相機時,下面這些因素需要考慮:
快門:如果是快速移動的應用,全局快門會消除成像畸變。
幀頻:如果是運動分析或者采用基于軟件的規則來觸發事件時,會需要到更高幀頻的相機。
Bit深度:如果應用是精確測量或者顏色分析,希望Bit深度盡可能大。
動態范圍:如果目標中同時有明亮的區域和陰暗的區域,那么就希望動態范圍越大越好。
最后,希望讀出噪聲盡可能小,這樣在弱光測試時就可以采用較大的增益。
 
圍繞著鏡頭,濾光片和照明等周邊部件,還有其他考慮:
· 當不同的曝光幀頻中照明光會改變時,可變光圈鏡頭會增加系統的自由度。

· 采用P-光圈鏡頭時,可以保證準確和可靠的通光設置。
· 當采用額外的近紅外照明或者多光譜應用且延展到近紅外時,必須選用晝夜鏡頭(IR矯正的)來避免色差,沒矯正過的鏡頭所帶來的色差會導致圖像的銳度下降。
· 在關鍵波長或者降低圖像的強光方面,濾光片也能幫助提升SNR(信噪比)。它允許相機透過玻璃觀察內部并得到更準確的顏色。
 
在選擇一個戶外嵌入式視覺系統時,上面所列,盡管并非一個獨家的考慮清單,但卻需要優先考慮這些內容,從而幫助你來進行第一步的正確選擇。
Lumenera理解你的成像所需,不管你的應用是什么,我們在這里都能幫助你得到所需要的相機。所有的Lumenera相機都是1年的質保期,由我們經驗豐富的技術團隊和專家來支援。
如果您在選擇相機或者部件時需要任何幫助,請隨時聯系我們的技術專家。


Copyright?2013  北京市海淀區中關村大街19號15層辦公B1703.京ICP備10047143號-1  |  SP DESIGN