安思疆不僅在3D結構光領域擁有業界領先的成熟產品,而且在經過近2年的持續潛心研發之后,發布了基于dToF單光子探測技術的全新3D Lidar產品。同時,安思疆也于近日完成了5000萬元A+輪的融資,由本源創投和鴻泰國微基金聯合投資。
深圳市安思疆科技有限公司(Angstrong Tech.)是一家專注于三維傳感及視覺AI技術的高科技公司。安思疆不僅在3D結構光領域擁有業界領先的成熟產品,而且在經過近2年的持續潛心研發之后,發布了基于dToF單光子探測技術的全新3D Lidar產品。同時,安思疆也于近日完成了5000萬元A+輪的融資,由本源創投和鴻泰國微基金聯合投資。
蘋果在2020年3月發布了新一代iPad Pro 2020,并在后置攝像頭模組中,搭載了其研發的全新3D LidarScanner,這是該技術首次在消費電子產品中實現規模化應用,而在此之前,該技術主要應用于車載自動駕駛領域。蘋果在其AR軟件生態開發套件AR Kit升級了3代之后,終于在后置攝像頭上也迎來了3D硬件的支持,受益于深度信息的引入,Lidar Scanner大大增強了AR應用的體驗。蘋果在AR領域的野心和實力已經“昭然若揭”,因此新iPhone以及未來的“Apple Glass”搭載Lidar幾乎已成必然。
iPad Pro激光雷達 安思疆激光雷達
安思疆科技CTO魯亞東博士表示,將車載領域使用的Lidar移植到消費級電子產品上難度巨大,必須滿足小型化、低功耗、低成本等要求。其中,僅小型化就對光學設計以及光電器件的制造與集成提出了新的且極高的要求。此外,雖然Lidar使用的也是ToF技術,但蘋果和安思疆Lidar產品中使用的是基于SPAD(單光子雪崩二極管)的dToF技術,而目前市面上還主要是基于普通CMOSPD的iToF技術,兩者存在著非常大的差別。
安思疆首席科學家、浙江大學光電學院副院長、AR/VR及三維傳感領域專家,鄭臻榮教授對dToF前景非常看好,并表示相對于iToF技術,dToF技術有眾多優勢,可理解為技術的升級。近年來圖像傳感器的迅速發展,使得SPAD的技術已經相對成熟,而且各項性能指標的發展路徑也非常清晰。從安思疆最新的產品來看,其在手機、平板、掃地機器人、行業機器人、AR/VR眼鏡等領域的應用前景非常廣闊,相信很快就能實現落地應用。
公司聯合創始人、SVP、衍射光學頂級專家,蔣建華博士則表示,蘋果在其最新的Lidar產品中同樣使用了與前置3D結構光類似的DOE衍射光學器件、VCSEL激光芯片以及Collimator準直光學透鏡,雖然增加了系統設計的難度和壁壘,但這對整個Lidar系統的小型化起了至關重要的作用。安思疆在上述器件及系統設計方面都有非常深厚的理論和產業積累,這也是為什么我們在當前時間點就能推出可量產產品的原因。
目前市場上已推出可應用于消費電子產品dToF方案的公司只有蘋果。因此,大多數人對dToF這項技術比較陌生,為了讓大家快速了解dToF產品、技術及應用,以下是由安思疆的專家團隊帶來的dToF技術解讀。
iToF和dToF技術解讀
ToF是時間飛行技術(Time of Flight)的簡稱,即時差測距技術,搭配面陣傳感器,可獲取現實三維場景完整的幾何信息,實現真實世界場景的3D數字化,在消費電子、汽車工業、智能家居等對3D感知有需求的行業擁有巨大的應用價值與市場前景。根據不同的時間測量方式,目前存在兩種ToF技術路線:iToF(間接飛行時間,indirect-ToF)和dTof(直接飛行時間,direct-ToF)。
基于低偏置PD的iToF技術
iToF顧名思義是間接測量時間的一種方法,大部分的間接測量方案都是通過sensor所采集不同時間窗口的接收光能量比值關系,進而解算出相位差,再換算出發射光波與接收光波的時間差Δt,根據光速值c,即可通過d=c*Δt/2得到距離深度。其發射光波的調試方式一般有正弦連續波調制和脈沖波調制兩種方式,對應探測器中每個像素都有兩個以上電荷積累區域來完成光信號的積分采集,探測器一般使用的是具有光電子積累作用的CMOS或CCD,一般偏置電壓3V~5V,其無法區分背景光子與有效信號光子,受光子噪聲影響很大,需要足夠高的信噪比才能提取出每個像素的有效深度信息,通常采用加大發射端的發射功率和提高接收端的曝光次數、曝光時長(降低幀率)來達到足夠高的信噪比要求,不可避免會帶來高功耗等問題。
連續波調試iToF示意圖
脈沖波調試iToF示意圖
在iToF技術中,系統的測距精度與調制光波的相位差解析精度成正比,系統的測距范圍與調制光波的頻率成反比。頻率越低,雖然測距范圍增大了,但會帶來相位差的解析精度下降,進而測距精度隨之下降,因此iToF的測距精度隨距離增加而下降。在一些產品中,為了平衡這一矛盾,采用了雙頻或者多頻的技術,即在不同距離采取不同的調制頻率,不過這就增加了系統復雜度,而且當場景中存在深度跨度比較大的情況下,仍然會出現問題。而dToF由于技術原理不同,則天然不存在此問題。
iToF距離與測距精度的矛盾關系
此外,iToF技術中的相位差本質上是通過iToF CMOS sensor所采集不同時間窗口的接收光能量比值關系得到的,因此屬于傳統的光子能量積分的信號采集方式,在像素的曝光時間內不斷收集接收光子的能量,而不去區分具體光子到達的時間,也就無法區分光子的具體飛行路徑所對應的飛行時間,則會存在多徑干擾問題。同理,在物體邊緣所對應的成像像素區域,會同時接收前景和背景反射回來的光線,所收集的光子能量疊加在一起,進而去解算一個平均的相位差,得到的是平均ToF值。因此,從技術原理上iToF一定會存在物體輪廓不清、棱角形狀失真、無法區分相鄰兩物體等問題,為了解決這類問題,需要對初始深度做比較重的后處理算法,但會增加AP負擔,且可能影響實時性。
多徑干擾:理想情況是按照藍色路徑進行測距,但是墻面等物體的反射光也會傳播到目標物上再經過反射回到相機(紅色光路),且實際會存在多條路徑
多徑干擾(Multi-Path)是iToF存在的嚴重的問題之一,這一問題目前很難解決,會導致比如深度錯誤,直角變圓角,鏡像等問題。而dToF受益于其測量原理,則沒有這一擔憂,非理想路徑的其他路徑能夠很容易地被濾除。
基于高偏置SPAD的dToF技術
SPAD工作原理及光電特性
dToF技術則實現了對飛行時間Δt的直接測量,采用脈沖信號方式,sensor內部的每一個像素都直接測量達到光子的往返時間,具有靈敏度高的優點,避開了測量往返信號的相位差所引入的各種問題,并且不存在光電子積累的過程,其測量精度受光噪聲的影響比較小,較低的信噪比要求有利于系統功耗的下降。dToF系統需要一個高速的光電探測器和高精度的時間數字轉換電路,即SPAD+TDC的組合,其中SPAD是單光子雪崩二極管Single Photon Avalanche Diode,這是一種能夠在ps(10-12s)級的時間內對微弱光信號產生強響應的器件,其原理是高偏置,深勢阱的結構可誘發單光子產生雪崩電流,這也是為什么自動駕駛中的Lidar系統必須使用雪崩二極管來探測遠距離反射回來的光信號,而一般CMOSsensor是很難做到的。TDC是時間數字轉換器TimeDigital Converter,類似于日常生活中的秒表,能夠記錄光子每次“折返跑”的時間。
dToF系統示意圖
dToF激光發射端采用極窄脈沖調制方式,單個發光脈寬可達數百皮秒級別,占空比可低至0.1%,因此發射端的平均功耗比iToF低很多。發射端通過高速信號連接與接收端的TDC進行精準時間同步,發射光經過前方目標折返后,處于接收端的SPAD sensor能對光信號進行ps級的超高速光電轉換,產生脈沖電流,這一脈沖電流會將計時‘掐斷’,此時TDC即可直接得到光信號的飛行時間Δt。由于是直接對飛行時間進行測量,不存在解析相位差精度與頻率的反比關系問題,因此dToF在信噪比能保證的情況下精度不隨距離增加而下降。
進一步,dToF系統還會采用時間相關單光子計數方法(Time-Correlated Single-Photon Counting,TCSPC)來最終準確計算目標與傳感器之間的距離。TCSPC因其能夠對時間信息進行準確測量而被廣泛應用于核物理及天文領域,在生命科學領域也有很大的應用空間,如熒光相關光譜、熒光壽命成像、熒光共振能量轉移技術等。
TCSPC基本原理簡單來說是在單幀成像周期內,會有N次的光脈沖發射與接收,TDC能夠記錄n次(n<N)光飛行時間,于是生成一個飛行時間關于計數次數的直方圖分布,采用極值求解算法可以計算出,出現次數最多的飛行時間值,即為最終目標值Δt。通過運用TCSPC技術,在滿足單光子入射條件下,dToF能夠有效的去除器件固有噪聲和環境光噪聲,它們引起的計數次數將遠低于有效信號的計數峰值,從直方圖上能很容易甄別出來,因此dToF對環境光的抗干擾能力遠大于iToF,這也是為什么dToF不存在多徑干擾問題的原因。同時TCSPC技術對目標物進行多次飛行時間的重復測量,會進一步提高系統的時間分辨率。在相同的光脈沖能量下,單幀成像周期的Tx光脈沖數量越多,也即SPAD的“曝光”次數越多,系統的測距精度、測距距離和抗干擾能力越優秀。
TCSPC計數原理
目前影響SPAD性能的因素主要有,光子探測率PDE、暗計數率DCR、時間抖動、像素串擾等[4][5][6][7],經過多年的發展,目前的工藝水平已經能夠很好的把這些問題都解決,比較成熟,不再贅述。影響系統精度和深度效果的因素主要有:
a.單位時間的光發射次數,即驅動頻率;
b.單脈沖寬度;
c.光脈沖峰值功率以及TDC響應速度
以上因素也指明了dToF技術的發展路徑,即SPAD,驅動電路,激光光源,光學系統等有比較明確的發展方向,而目前看來并沒有瓶頸。
dToF與iToF的對比
實測效果
Lidar Scanner及3D結構光iOS APP推薦
實拍安思疆Lidar 3D效果
CEO李安認為,dToF技術性能相比于iToF的提升是毋庸置疑的。團隊從理論研究,到概念設計、系統設計、樣品驗證、測試、改進、再改進…經歷了近2年的時間,數次迭代,花費近千萬,完成了從0到1再到10。從實測效果可以看出第一代產品已經能達到非常好的效果,目前最遠可測到~7m,FOV 78°,功耗~500mw 5m,精度~1%,提供QVGA和HQVGA兩種分辨率接口。dToF技術涉及到投影及成像光學設計、單光子檢測技術、高速模擬電路、數字電路、視覺標定算法、三維圖像處理算法等,技術壁壘很高。這一復雜的產品能在蘋果發布后,如此快的時間內推出,除了我們團隊扎實深厚的基礎之外,供應鏈合作伙伴的表現也非常優秀,目前VCSEL、SPAD、DOE/diffuser、光學鏡頭等核心器件基本實現國產化,并且全部達到可量產狀態,沒有瓶頸,并且成本完全可控。
同時李安也稱dToF產品在手機平板等移動終端、AR/VR眼鏡、掃地機器人、導航/避障等對功耗、體積、成本等要求較高,且精度、分辨率等要求不像3D結構光那么嚴格的場景中適用;而在FaceID、刷臉支付、智能門鎖、工業測量/3D建模等一些對精度要求比較嚴格的場景中,3D結構光目前則更為適用;未來dToF與結構光是共存互補的關系,安思疆將在這兩個方向上踏踏實實往前推進。
另外,就A+輪融資而言,本輪資金將投入于擴充已有3D結構光產品線,以及dToF的研發和落地。實際上,公司已經開始研發超小尺寸,超低功耗的Spot dToF產品。安思疆將繼續高效創新,持續給市場帶來驚喜,同時也歡迎更多人才加入安思疆。