對(duì)稱型
Huawei 華為 榮耀6 Plus 智能手機(jī) - 主攝像頭
Huawei 華為 P9 智能手機(jī) - 主攝像頭
華為榮耀6 Plus和P9,均采用了雙攝像頭設(shè)計(jì),兩枚攝像頭的光圈、感光器尺寸均一致,外觀上也沒有區(qū)別。P9相對(duì)特殊一點(diǎn),它的兩個(gè)攝像頭由一個(gè)彩色和一個(gè)黑白攝像頭組成,除此之外,像素?cái)?shù)、感光器尺寸等等都一樣。這樣的設(shè)計(jì),均被視為對(duì)稱型。
非對(duì)稱型
HTC One M8 智能手機(jī) - 攝像頭
LG G5SE 智能手機(jī) - 雙攝像頭
非 對(duì)稱型很容易理解,兩枚攝像頭并不相同,從外觀上就能看出差別,而鏡頭光圈、感光器參數(shù)也均不一樣。HTC M8雙攝像頭有主副之分,主攝像頭負(fù)責(zé)成像,而副攝像頭用于協(xié)助主攝像頭完成景深探測(cè),并不直接參與到畫質(zhì)改善當(dāng)中。而LG G5 SE則是很簡(jiǎn)單粗暴的將兩個(gè)焦距的攝像頭組合在一起,一個(gè)等效28毫米,一個(gè)約等效9毫米,結(jié)合長寬比的切換,提供了更多的焦距選擇。這種兩個(gè)攝像頭參數(shù) 明顯不一致的設(shè)計(jì),被稱作非對(duì)稱設(shè)計(jì)。
Amazon 亞馬遜 Fire Phone
亞馬遜Fire Phone是手機(jī)圈的一股泥石流,它正面一共有5個(gè)攝像頭,一個(gè)為標(biāo)準(zhǔn)前置攝像頭,而其他4個(gè)紅外攝像頭用于偵測(cè)體感以協(xié)助實(shí)現(xiàn)亞馬遜引以為榮的3D交互,但這款手機(jī)很失敗,但它也很好的證明了,攝像頭能做的事情不只是拍照。
雙攝像頭的功能
與單攝像頭不一樣的功能才是雙攝像頭存在的意義,關(guān)于雙攝像頭的應(yīng)用前景,業(yè)界的腦洞是相當(dāng)大的,但兌現(xiàn)靈感還需時(shí)間。
模擬淺景深
Huawei 華為 P9 智能手機(jī)-實(shí)拍-北京什剎海火德真君廟石獅[大光圈模式]
制 造商=HUAWEI;型號(hào)=EVA-AL00;焦距=5毫米;等效焦距=27毫米;光圈=F1.0;測(cè)光模式=模式;感光度=ISO50;白平衡=自動(dòng); 對(duì)比度=標(biāo)準(zhǔn);飽和度=標(biāo)準(zhǔn);銳度=標(biāo)準(zhǔn);曝光補(bǔ)償=0.0EV;曝光時(shí)間=2229000/1000000000秒;曝光程序=程序模式;場(chǎng)景類型=標(biāo) 準(zhǔn);日期=2016.05.04 12:21:57
國產(chǎn)手機(jī)無一例外的將淺景深模擬雙攝像頭的重要賣點(diǎn),但要做好真的很難,它依賴精確的算法,硬件上還需要進(jìn)一步的增強(qiáng)。
通過3D渲染來模擬雙攝像頭
我們用3D渲染軟件來模擬雙攝像頭是如何剝離主體的。模擬場(chǎng)景中,雙攝像頭同時(shí)注視一個(gè)點(diǎn),它們的焦點(diǎn)是重合的。因?yàn)閿z像頭的位置不同,所以有一定的機(jī)位差,從而導(dǎo)致像差。
左攝像頭看到的茶壺
右攝像頭看到的茶壺
然后我們分別渲染兩臺(tái)虛擬攝像頭看到的畫面,這么放在一起,很難看出大的不同。
左右圖像疊加
如 果將兩張圖疊加到一起,就看到玄機(jī)了。圖像并不是完全相同,疊加讓茶壺的左右側(cè)產(chǎn)生了重影,重影的部分就是相差。越靠外,重影越大,越居中,重影越小。而 這些重影,基本上也是茶壺的輪廓。這就是雙攝像頭剝離主體對(duì)象的基本原理。但你也很快發(fā)現(xiàn),這種剝離方法并得不到精確的輪廓,遠(yuǎn)比不上人肉摳圖的精度。不 管是華為還是小米,其雙攝像頭的淺景深模擬功能都很初級(jí),看看小圖可能還行,放大就發(fā)現(xiàn)漏洞百出了。
矩陣鏡頭
Pelican Imaging 3D攝像頭
說到這里,我們可以談起一個(gè)變態(tài)設(shè)計(jì)了,就是來自Pelican Imaging的鏡頭陣列。它始終沒商用化,還在試驗(yàn)階段。這個(gè)設(shè)計(jì)又演化出了新的版本,它的設(shè)計(jì)核心就是,靠更多的攝像頭來實(shí)現(xiàn)更多像差的采樣,從而得到更加精準(zhǔn)的輪廓。
LINX imaging 的攝像頭方案
無獨(dú)有偶,LINX Imaging 也有類似的陣列方案,它實(shí)現(xiàn)的功能也是剝離主體,背景分離,對(duì)被攝對(duì)象進(jìn)行3D化。比還在紙上談兵的Pelican Imaging幸運(yùn)的是,LINX已被蘋果收購,說不定iPhone 7上就會(huì)采用它們的技術(shù)。
圖像增強(qiáng)
圖像增強(qiáng)包括許多方面的應(yīng)用,例如雙攝像頭同時(shí)拍攝,然后進(jìn)行合成處理,包括降噪、HDR等等,圖像增強(qiáng)的應(yīng)用只適合對(duì)稱型的雙攝像頭設(shè)計(jì)。
Huawei 華為 P9 智能手機(jī)-實(shí)拍-野渡無人舟自橫
制 造商=HUAWEI;型號(hào)=EVA-AL00;焦距=5毫米;等效焦距=27毫米;光圈=F2.2;測(cè)光模式=模式;感光度=ISO50;白平衡=自動(dòng); 對(duì)比度=標(biāo)準(zhǔn);飽和度=標(biāo)準(zhǔn);銳度=標(biāo)準(zhǔn);曝光補(bǔ)償=0.0EV;曝光時(shí)間=1274000/1000000000秒;曝光程序=程序模式;場(chǎng)景類型=標(biāo) 準(zhǔn);日期=2016.05.16 14:45:01
對(duì)比場(chǎng)景-實(shí)拍-野渡無人舟自橫-三星Galaxy S7 Edge
制 造商=SAMSUNG;型號(hào)=SM-G9350;焦距=4毫米;等效焦距=26毫米;光圈=F1.7;測(cè)光模式=中央平均;感光度=ISO50;白平衡= 自動(dòng);曝光補(bǔ)償=0.0EV;曝光時(shí)間=1/2008秒;曝光程序=程序模式;場(chǎng)景類型=標(biāo)準(zhǔn);日期=2016.05.16 14:44:26
實(shí) 際使用會(huì)發(fā)現(xiàn),要做到真正意義上的顯著增強(qiáng),其實(shí)很難,因?yàn)閮擅稊z像頭所采集到的畫面并不是完全一樣,所以合成時(shí)或者要矯正,或者只能對(duì)重疊部分增強(qiáng)。不 管如何,是做不到1+1=2的效果,例如華為P9,雖然理論上它采用了類似的技術(shù)應(yīng)用,但比起優(yōu)秀的單攝像頭機(jī)型,畫質(zhì)上并沒有任何優(yōu)勢(shì)。圖像增強(qiáng)的核心 仍舊是算法,而雙攝像頭的意義是采樣倍率提高了一倍。
模擬變焦
由于手機(jī)本身體積的限制,實(shí)現(xiàn)光學(xué)變焦是比較困 難的事情,雖然有過不少光學(xué)變焦硬塞到手機(jī)的例子,但都變成了歷史的咸魚。所以出現(xiàn)了利用原生16:9和裁切到4:3的方法提供兩種焦距,也有Lumia 系列那樣通過感光器冗余設(shè)計(jì)實(shí)現(xiàn)兩個(gè)焦距的選擇,而用戶需要的是更多更多和更多。LG G5 SE干脆提供了2個(gè)焦距不一樣的攝像頭,結(jié)合原生16:9的設(shè)計(jì),提供了更多的焦距選擇。對(duì)稱型的雙攝像頭又如何提供不同的焦距呢?
雙眼和單眼小黃人
請(qǐng) 睜開你的雙眼,然后閉上其中的一只,發(fā)現(xiàn)了什么?你會(huì)發(fā)現(xiàn)視野是不是不一樣?雙眼的寬,而單眼的窄。是的,人就是對(duì)稱型雙攝像頭設(shè)計(jì),單眼焦距約等效50 毫米,雙眼則約等效于35毫米。那么,對(duì)稱型的雙攝像頭的變焦方案就出來了,單攝像頭采樣、雙攝像頭采樣、雙攝像頭的交集采樣、對(duì)交集部分進(jìn)行裁切采樣、 對(duì)交集部分進(jìn)行多幀裁切采樣等等,理論上可以實(shí)現(xiàn)部分的無損變焦,和部分損害相對(duì)小的有損變焦。理論要兌現(xiàn),依然少不了強(qiáng)力算法的支持。
變色龍
圖片來自網(wǎng)絡(luò)
如果你的眼珠子能像變色龍朝不同方向,那么你的視野范圍還可以更大。人做不到,但攝像頭可能做得到,利用對(duì)變色龍眼睛的仿生可以實(shí)現(xiàn)更大的采樣視野,這樣也就更方便模擬更大的廣角視野了。
3D視頻拍攝
3D 視頻拍攝設(shè)備
3D 視頻是一個(gè)可能項(xiàng)目,但目前還沒有手機(jī)廠商推出這個(gè)功能。3D視頻需要雙攝像頭支持,而且必須是對(duì)稱型設(shè)計(jì)的。但要拍出“真實(shí)的縱深感”,需要攝像頭保持 距離,多少合適?人眼的瞳距就是合適的,約6-7厘米。顯然,目前沒有一款雙攝像頭手機(jī)能滿足這一點(diǎn),不過難說以后腦洞大開的廠商用特殊的外殼加外置攝像 頭來協(xié)同主攝像頭來實(shí)現(xiàn)3D視頻拍攝。
人臉識(shí)別和體感
Microsoft 微軟 Surface Pro 4筆記本電腦
intel RealSense 技術(shù)裝備的手機(jī)
刷 臉已經(jīng)成為一種實(shí)用性生物認(rèn)證技術(shù),但目前還沒有出現(xiàn)在手機(jī)上,但也是遲早的問題,微軟Surface Pro4 和 Surface book上采用了該項(xiàng)技術(shù),識(shí)別是一方面,硬件支持少不了,這些是通過雙攝像頭實(shí)現(xiàn)的,一枚普通的前置攝像頭加上一顆紅外攝像頭,實(shí)現(xiàn)對(duì)人臉包括瞳孔的信 息進(jìn)行3D化建模,依靠相片是無法欺騙認(rèn)證的。除了微軟的兩款Surface設(shè)備之外,其他采用了英特爾Realsense 技術(shù)的Windows10設(shè)備,也可以通過刷臉來完成驗(yàn)證。
英特爾也正在致力于將Realsense 推廣到手機(jī)平臺(tái),利用英特爾的算法包,Realsense可以實(shí)現(xiàn)類似于Kinect的體感應(yīng)用或者3D建模,蘋果也在體感應(yīng)用方面暗自發(fā)力。這些技術(shù)可 以用于AR、VR、運(yùn)動(dòng)拍攝等應(yīng)用場(chǎng)景,用手機(jī)配套的VR頭盔配合手機(jī)實(shí)現(xiàn)類似于HoloLens那樣的體驗(yàn)也是有可能的。而Google的 Project Tango,也是這么一個(gè)類似的開發(fā)項(xiàng)目。
雙攝像頭背后的算法研發(fā)
要讓雙攝像頭真正發(fā)揮到明 顯優(yōu)于單攝像頭,需要強(qiáng)勁的算法支持,而這恰恰是目前極為匱乏的,硬件反而不算什么,有錢能解決硬件問題解決不了軟件問題。芯片廠商都在開發(fā)自己的方案, 包括高通、聯(lián)發(fā)科以及華為海思。感光器廠商也在努力,包括索尼、三星和OmniVision。對(duì)于大金主,就是買買買,例如蘋果收購LINX。一些傳統(tǒng)的 圖像算法提供商或者業(yè)界老司機(jī)也在向第三方提供算法,例如Acrsoft和Altek。微軟和英特爾這樣資深科技公司,在體感、3D建模等方面有著的先人 一步甚至幾步的技術(shù)優(yōu)勢(shì),它們會(huì)影響到畫質(zhì)以外的雙攝像頭應(yīng)用領(lǐng)域。
真正重要的是算法,算法優(yōu)秀,才能顯出雙攝像頭的硬件優(yōu)勢(shì),這樣的觀 點(diǎn),我們反復(fù)提及,因?yàn)椋瑖a(chǎn)手機(jī)比起洋手機(jī)更熱衷于雙攝像頭,并不是因?yàn)閲a(chǎn)手機(jī)的技術(shù)先進(jìn),而是大部分人消費(fèi)者簡(jiǎn)單的認(rèn)為2個(gè)就比1個(gè)強(qiáng),你來我往, 互相迎合。在這種認(rèn)識(shí)基礎(chǔ)上,出現(xiàn)各種漫無邊際的吹噓,甚至神化,居然不小心單反都被滅了,居然還有人信,居然還被點(diǎn)燃了愛國心。
雙攝像頭的前景
對(duì) 于雙攝像頭[包括多攝像頭]的前景,Soomal非常看好,雙攝像頭如果應(yīng)用得當(dāng),手機(jī)將不只是卡片相機(jī)殺手的角色了,它將走出一條具有智能手機(jī)特色的拍 攝體驗(yàn)之路。攝像頭的功能也不再是簡(jiǎn)單的拍照工具,而是更為豐富的測(cè)量和交互的輔助傳感器,它將成為智能設(shè)備的眼睛,這將是一次真正意義上的進(jìn)步,它不但 影響智能手機(jī)行業(yè),還會(huì)深刻的影響到智能機(jī)器人、安防等領(lǐng)域。
雙攝像頭機(jī)型如雨后春筍一樣出現(xiàn),但希望各路廠商珍惜市場(chǎng)機(jī)會(huì),不要透支信用,過度的夸大宣傳只會(huì)讓人對(duì)雙攝像頭生厭。別讓雙攝像頭變成商業(yè)營銷的附屬品,而是成為一次真正的技術(shù)革新。至于技術(shù),我們不擔(dān)心,突破是必然的,不浮躁能少走彎路,更快突破。