蘋果又一改變產(chǎn)業(yè)的黑科技揭秘!iPad Pro的激光雷達有什么玄機?
前天晚上,蘋果春季新品以官網(wǎng)直接上線的形式進行了亮相,沒有傳說中的iPhone 9,幾款新品大都是常規(guī)升級,包括iPad Pro、Mac mini和Macbook Air家族的產(chǎn)品。
但有一款產(chǎn)品卻不得不引起我們的關(guān)注,那就是2020版iPad Pro,不是因為其加入了“雙攝”,而是其首次引入的“激光雷達”組件。在蘋果官網(wǎng),對這部分做了相當(dāng)篇幅的介紹。蘋果公司認(rèn)為這是實現(xiàn)革命性AR應(yīng)用的重要一步。以往,蘋果曾多次激進采用的新技術(shù)都改變了整個行業(yè),Touch ID、FaceID結(jié)構(gòu)光鏡頭、AirPods的SiP封裝等等;為此有必要從技術(shù)本身到應(yīng)用及產(chǎn)業(yè)鏈深扒下這顆激光雷達背后的玄機。
▲蘋果官網(wǎng)對iPad Pro激光雷達組件的介紹
“激光雷達”這兩年更多被提到是在自動駕駛領(lǐng)域,所以看到蘋果把激光雷達裝到了iPad里的消息,很多人的疑問是,激光雷達不是長得“那么大”,多用在自動駕駛汽車、掃地機器人上的嗎?難道是蘋果偷換了概念?
▲用于自動駕駛的車載激光雷達
其實并不是一回事,在同多位業(yè)內(nèi)從業(yè)者交流中得知,iPad Pro激光雷達背后仍是ToF(Time of flight)三維視覺技術(shù)方案,其實華為、三星、OPPO、vivo等安卓廠雖然早就玩過,比如華為智能手機中出現(xiàn)過的隔空操控屏幕,即利用了ToF鏡頭實現(xiàn),但iPad Pro這里用的ToF鏡頭技術(shù)和這些廠商所用有很大不同。
注意,蘋果iPad Pro上用的ToF技術(shù)多了一個前綴“d”,dToF,這可能是一個革命性的提升。利用dToF(直接測量飛行時間法),iPad Pro有望將AR應(yīng)用效果的精確度、流暢性提高到新的級別,同時能耗大大降低。有人說,蘋果可能是第一個將dToF技術(shù)商用化的消費級硬件公司。
▲利用iPad Pro的雷達系統(tǒng)實現(xiàn)增強現(xiàn)實功能
據(jù)了解,應(yīng)用在iPad Pro上的dToF激光雷達,只是一個開始,iPhone或許很快也會用上,很有可能就在今年,早在兩年前蘋果就讓工程師研究后置三維深度相機。
從2017年首次推出ARKit,蘋果一直在探索AR在移動終端中的應(yīng)用,這次dToF激光雷達的加入是其繼結(jié)構(gòu)光鏡頭模組之后在硬件上圍繞AR應(yīng)用的又一次重要革新,蘋果的做法到底有什么不同,背后又牽涉到哪些技術(shù)和供應(yīng)鏈,通過與多位從業(yè)者的交流,我們來扒一扒iPad Pro激光雷達葫蘆里賣的什么藥,以及背后又蘊藏著蘋果怎樣的AR野心。
一、iPad Pro裝激光雷達,老賣點還是新變革?說到激光雷達,很多人會聯(lián)想到自動駕駛汽車。激光雷達以接近真實的方式構(gòu)建周圍的三維地圖,從而使汽車“看見”其它汽車、樹木、道路。
自動駕駛領(lǐng)域的激光雷達公司RoboSense聯(lián)合創(chuàng)始人兼COO Mark告訴智東西,完全是兩回事,車載激光雷達主要保障安全,識別距離遠,性能要求高;相比于男士錢包大小的車載激光雷達,iPad Pro上的激光雷達可識別數(shù)米,探測標(biāo)準(zhǔn)不同,成本也更低。
根據(jù)Mark的推測,新版iPad Pro背部的激光雷達大概率采用的是Flash方案。固態(tài)激光雷達目前大致形成了三種技術(shù)路線:MEMS(微機電系統(tǒng))、OPA(光學(xué)相控陣技術(shù))與Flash(快閃)。按照專業(yè)認(rèn)知,其中MEMS和OPA均為掃描式,而Flash為非掃描式。簡單說,F(xiàn)lash就是快速直接發(fā)射一大面光墻,從而通過飛行時間法獲知深度信息,某種意義上,它類似于夜視攝像機,不過光源是自己主動發(fā)射出去的。
既然沒機械式的“掃描”動作,那么蘋果官網(wǎng)上為什么宣傳“雷達掃描儀”?相比于其它兩種技術(shù)路線,F(xiàn)lash不靠活動的機械部件,而是靠電子部件發(fā)出的數(shù)字信號來控制激光發(fā)射角度。因此,蘋果宣傳頁面中的“掃描”可能是描述了具象的感知過程,而不是機械運轉(zhuǎn)。
那么,蘋果的激光雷達和華為、OV、三星、小米等推出的ToF深度相機有什么區(qū)別?其實,激光雷達是傳感器硬件,ToF則是激光測距的方法,指向的是一個事情。
▲OPPO R17 Pro的ToF模組
TOF(Time of Flight)譯為飛行時間法,是一個包羅萬象的術(shù)語,指的是通過光、氣體、液體等粒子的速度計算距離的一種技術(shù),已有一百多年歷史。早在1887年,邁克爾遜就首次提出將光波作為測量長度的尺子。20世紀(jì)60年代,激光的發(fā)明讓“以光測距”成為現(xiàn)實。
▲國內(nèi)推出的智能手機中TOF相機模組的部分應(yīng)用情況
▲用三星Note10系列手機進行三維建模
除此之外,蘋果只說了測量距離達五米,這不是很遠,同時5m內(nèi)的識別效果怎么樣,抗干擾性怎么樣?都還不知道,相信產(chǎn)品開賣后,用戶會有直觀體驗。
由此我們可以看到,蘋果iPad Pro上的dToF方案和之前安卓手機上用過的iToF方案以及車載激光雷達有這些異同:
1、三者都用到了光學(xué)傳感和ToF距離計算方法。2、iPad Pro的dToF方案相比車載激光雷達,前者是固定的平面3D傳感器,后者是旋轉(zhuǎn)的單線或多線;同時Flash這一方式在車載應(yīng)用中有感知距離短的問題,在蘋果設(shè)定的場景中則正合適。3、iPad Pro的dToF方案相比安卓機的iToF方案,發(fā)射的脈沖信號不同,因而傳感器組件、算法也都有差異。
下面我們對dToF和iToF的差異做進一步的拆解。
二、一顆進化版的ToF相機,有何技術(shù)玄機?雖然都是ToF測量方法,但是蘋果這次用的是dToF 直接測量飛行時間法(direct time of flight),有別于華為Mate30、Vivo NEX等機型中的iToF 間接測量飛行時間法(indirect time of flight)。
▲dToF與iToF的主要區(qū)別
▲iToF與dToF的測量法示意圖
從圖表可以看出來,dToF相比于iToF在性能上要好很多,但在生產(chǎn)工藝上也更復(fù)雜。
由于采用dToF方法,iPad Pro背部的激光雷達將能解決直接測距面臨的低時間分辨率難題,達ps(皮秒)級時間分辨率,精度也不會隨距離拉遠有大的衰減。換句話說,iPad Pro的ToF相機性能將提升的不是一點半點,它帶來了一顆進化版的ToF鏡頭,AR體驗的精準(zhǔn)度、流暢度將大大提高,功耗也會大大降低。
▲視覺效果更真實、流暢的AR游戲體驗
同時,dToF大多依托陣列SPAD(single photon avalanche diode,單光子雪崩二極管)等元件,而SPAD工藝非常復(fù)雜,世界上能做的廠家較少,集成難度高,這也是為什么先前一直沒有廠家將dToF方案塞進手機平板累產(chǎn)品中的一大原因,不過現(xiàn)在逐漸有廠家開始將dToF技術(shù)引入到掃地機器人這樣的產(chǎn)品中,不過模組體積要比iPad Pro上大很多。
這里引用一位知乎達人Zhang Eric對dToF關(guān)鍵部件SPAD的科普:
雪崩二極管是dToF的關(guān)鍵,下圖左起第一個是一般成像使用的PD(光電二極管),第二是APD(雪崩二極管),第三個是SPAD(單光子雪崩二極管),其主要差別APD和SPAD在通過增加偏置電壓,在光子到光電二極管的時候會產(chǎn)生雪崩效應(yīng),就是產(chǎn)生大量的電子。這對成像不利,但是對于檢測脈沖則很好.而SPAD比PAD更敏感,也就是只需要很少的光子就能產(chǎn)生雪崩效應(yīng)。
SPAD的小型化是dToF難以在手機等小型消費電子上使用的技術(shù)瓶頸之一,Zhang Eric認(rèn)為,其實dToF并不是第一次在消費類設(shè)備上使用。最早在手機的后攝激光對焦和蘋果Face ID測距也用到dToF sensor。但優(yōu)于SPAD的難以小型化的限制導(dǎo)致sensor的的分辨率很難提高。這次iPad Pro的激光雷達在這方面是有所突破的,分辨率比之前設(shè)備上的dToF都要高,他預(yù)估蘋果這次的激光雷達分辨率應(yīng)該能達到QVGA~VGA(320*240像素~640*480像素)之間。
▲SPAD單光子雪崩二極管元件的功能特點示意
既然關(guān)鍵零件的小型化這么難,蘋果又是如何做到的呢?有分析人士認(rèn)為蘋果是將專門用于感光的雪崩二極管和數(shù)字電路部分完全獨立制造后進行晶圓級縫合而成,看來這極有可能又是蘋果倒逼供應(yīng)鏈技術(shù)進步的一個例子。
三、誰會是iPad Pro激光雷達背后的贏家?那么iPad Pro的激光雷達背后的產(chǎn)業(yè)鏈供應(yīng)商是誰?會是為蘋果提供Face ID技術(shù)的Lumentum嗎?Face ID同樣采用三維視覺技術(shù)獲取人臉深度信息,但其采用的是結(jié)構(gòu)光三維視覺技術(shù),與ToF、RGB雙目視覺是三種不同的技術(shù)方向,與iPad Pro上的激光雷達-ToF方案也有區(qū)別。
同時,據(jù)外媒Fast Company上周報道,Lumentum公司表示還沒有和蘋果探討在未發(fā)布設(shè)備中使用其三維視覺技術(shù)。
為iPhone 7 Plus提供傳感器的意法半導(dǎo)體(ST)參與了嗎?該公司是全球首家提供基于SPAD技術(shù)的公司,目前也沒有回應(yīng)。
另據(jù)了解,蘋果公司曾在2019年獲得了一項“Light Detection and Ranging Sensor”的授權(quán),其中提到的Trilumina也可能參與了iPad Pro的激光雷達設(shè)計。
一位激光雷達產(chǎn)業(yè)鏈資深專業(yè)人士分析認(rèn)為,iPad Pro背部雷達SPAT傳感器的供應(yīng)商無外乎索尼(Sony)、意法半導(dǎo)體(ST)、LG innotek等幾家公司。據(jù)推測,新版iPad Pro很有可能采用了索尼的背照式堆疊技術(shù),采用LG在韓國大邱的攝像頭模組工廠制造,才將激光雷達濃縮到如此小的空間里。
有沒有國產(chǎn)玩家在內(nèi)呢?該專業(yè)人士稱,國產(chǎn)Sensor還要很長一段路要走,國產(chǎn)模組、鏡頭則在準(zhǔn)備一段時間后會陸續(xù)進入。還有業(yè)內(nèi)人士透露,之前聽產(chǎn)業(yè)鏈消息說蘋果到2021年才可能推出dToF,目前來看,國產(chǎn)手機可能要兩年后才能做到這種程度。
▲華為Mate 30 Pro中的ToF方案供應(yīng)商中有許多國產(chǎn)廠家
四、營銷賣點背后,蘋果的AR生態(tài)應(yīng)用大廈如果說iPad Pro的激光雷達是一顆進化版的ToF相機,那么我們又要回到老生常談的話題。
為什么是蘋果第一個吃螃蟹,應(yīng)用生態(tài)有沒有準(zhǔn)備好?
從市面上已有產(chǎn)品來看,后置深度傳感器的應(yīng)用主要有三大方向。
一是相機拍照優(yōu)化,能使景深虛化、美顏等效果更好;二是AR體驗,比如人物識別(比如視頻直播中的應(yīng)用)、MR游戲、體型測量、AR尺子、Emoji表情、三維建模、AR導(dǎo)航等;三是人臉解鎖、手勢操作等更復(fù)雜的功能。
▲利用AR進行導(dǎo)航
總體來說,這些應(yīng)用都不夠硬。而在人臉解鎖、手勢識別相對硬核一些的應(yīng)用上,ToF激光雷達方案其實很容易被毫米波雷達、結(jié)構(gòu)光三維視覺等方案替代。
“應(yīng)用乏力”問題直擊ToF三維視覺技術(shù)的“切入點”和“落腳點”。如果三維視覺應(yīng)用需求“硬”不起來,激光雷達也好,ToF相機也好,都是科技圈換了馬甲、一年一更新的營銷賣點罷了。
但是,跳出來看,蘋果會不會是在醞釀什么別的驚喜呢?很有可能。
蘋果為什么選擇在Pad上最新推出ToF相機?有人說,可能模組還沒發(fā)小到能集成到手機上。
但是,上周,外媒Fast Company報道今年至少有一款iPhone會在背后安裝ToF三維深度攝像頭。據(jù)稱,iPhone的工程師們已經(jīng)花了至少兩年的時間研究后置三維深度相機,而更輕巧便攜的AR眼鏡也已經(jīng)在路上。
除了技術(shù)上,蘋果自身也在推進AR應(yīng)用的開發(fā)和賦能。早在三年前,蘋果就推出了AR開發(fā)平臺ARKit,但一直以來略顯低調(diào)。蘋果的AR布局已久,可謂“軟硬兼施”,還有一種放長線釣大魚的樣子。
醉翁之意不在酒,蘋果眼下在傳感器硬件上進行新嘗試,看中的卻是將AR應(yīng)用程序和軟件生態(tài)帶向新的高度。在蘋果推動AR的三年時間里,沒有“殺手級”應(yīng)用出現(xiàn)。而激光雷達傳感器的進展,就是要望解決這個難題。
在iPad Pro激光雷達傳感器應(yīng)用展示中,蘋果已經(jīng)在努力展現(xiàn)其AR應(yīng)用的強大。例如,其Apple Arcade Hot Lava游戲,可以使用數(shù)據(jù)更快更準(zhǔn)確地為客廳建模以生成游戲表面;有一個CAD應(yīng)用程序,可以掃描房間的3D模型并查看其外觀;另一個演示可以準(zhǔn)確確定手臂的運動范圍。
▲利用AR玩逼真的在線游戲
▲利用AR模擬生態(tài)系統(tǒng)
▲利用iPad Pro實現(xiàn)更多學(xué)習(xí)、工作方面的功能
據(jù)9to5Mac的Benjamin Mayo報道,蘋果公司目前正在為iOS 14系統(tǒng)開發(fā)一款A(yù)R應(yīng)用,用戶可以將iPhone對準(zhǔn)蘋果商店和星巴克的商品,從而在手機屏幕上看到商品的更多信息,以AR疊層形式顯現(xiàn)。
夏蟲不可語冰,蘋果的眼光,遠不在沖營銷賣點,而是在消費級AR的新風(fēng)口,是一座平地而起的AR大廈。到時候,手機會不會變成了AR設(shè)備,蘋果會不會成了AR公司?
結(jié)語:一顆攝像頭背后,蘋果的AR野心蘋果iPad Pro推出激光雷達,乍見驚奇,細看不足為奇。它更像一顆進化版的ToF相機,雖然這個賣點早在去年被各大安卓廠商玩過了,但蘋果的到來,可能會再次引燃這一技術(shù)應(yīng)用。
早在2016年蘋果推出AirPods耳機的時候,并未引起行業(yè)的關(guān)注,但此后幾年的發(fā)展,直接催生了一個年出貨量過億臺的TWS耳機市場,而蘋果也因此創(chuàng)造了一個超過Mac電腦的營收新品類,立訊精密、歌爾股份等供應(yīng)鏈公司更是跟隨TWS的東風(fēng),股價水漲船高。這次,由iPad Pro開端的dToF技術(shù)應(yīng)用,如果能夠廣泛使用,勢必會給上游供應(yīng)鏈帶來新的機遇。
在應(yīng)用層則有可能催生真正的AR殺手級應(yīng)用,畢竟蘋果為AR方向,已經(jīng)打了三四年的地基。從2017年首推ARKit,到推動開發(fā)者在AR應(yīng)用上的開發(fā),比如宜家公司的家具選購App等等,蘋果公司一直是AR領(lǐng)域最積極的探索者。
跳出這一層來看,蘋果在iPad布設(shè)激光雷達背后還凸顯了更深遠的謀慮。隨著帶有后置ToF相機的iPhone也面世,那么AR眼鏡、輕量級的MR設(shè)備還會遠嗎?再加持蘋果AR應(yīng)用生態(tài)的雙管齊下,蘋果的AR大廈會不會越筑越高?還有很多想象空間。