ついにiPad Proの新モデルが登場しました。iPad Proの詳しい仕様についてはこの記事を参考にしていただければと思いますが、この記事では新しく搭載された「裏面照射型センサー」についてあまり触れていません。
そこで今回、新型iPad Proに搭載された「裏面照射型センサー」の実態、仕組みとその使い道について説明していきます。
この記事を2文で説明すると
- 新型iPad Proの裏面照射型センサーでは赤外線等を使って目の前の空間を把握することができる
- AR機能などを通して活用することができる
裏面照射型センサーとは？
Appleは変わりやすいように、iPad Proの仕様では「裏面照射型センサー」というように専門用語をあまり使わないで説明しています。
しかしセンサーと一口に行っても色々な種類があります。一体このセンサーは何のセンサーなのでしょうか？
LiDARスキャナ
新型iPad Proに搭載されているのは「LiDARスキャナ」というものになります。
このスキャナは対象物までの距離を計測することができ、それを組み合わせることで物体の形状までも認識することができます。加えて通常の外カメラも活用することによって、新型iPad Proは「目の前の空間を把握」できるようになりました。
では一体このセンサはどのような仕組みになっているのでしょうか。
仕組み
そもそも、その裏面照射型センサーとやらはどこに搭載されているのでしょうか。 それは文字通り裏面で、カメラレンズが収納されているフィールドに紛れ込んでいます。
センサーの位置
左二つはiPhone 11 Proシリーズでも見られた外カメラ用のレンズなのですが、右側にある丸い部分はカメラレンズっぽくありません。 ここにセンサーが埋め込まれているのです。
そしてこのフィールドの中に赤外線を投じる「投光イルミネーター」（正式名称はわからないが） と、赤外線を受け取る「ToFセンサー」が埋め込まれています。 つまり単にセンサーというわけではなく、光を発するものもついているということです。
計測方法
そして主にこの二つの装置の働きによって目の前の物体までの距離を測ることができます。 その手順としては、まず最初に投光イルミネーターから一瞬だけ赤外線が発射されます。（光パルス） この赤外線は通常私たちが見えるような光（可視光線）よりも波長が長くなっていて、機械はその光を可視光線と明確に区別することができます。
ただ、可視光線のように物体の色を認識することはできないようです。
ここではかなり簡素化していますが、光パルス自体は非常に細かいものなので物体が複雑な形状だとしてもうまく計測することができます。
そしてこの光パルスがあらゆる方向に、絶え間なく発射されます。
続いて、赤外線が物体に当たると反射し、iPad Proの方向に帰ってきます。
赤外線も普通の光と同じように反射するので中には変な方向に反射してしまう光パルスもあると思いますが、無数のパルスが出ているのでデータ量は十分です。
そしてここで反射してきた光パルスを「ToFセンサー」が受け取り、センサに届くまでにかかった時間を計測して物体までの距離を測ります。 当然赤外線は光の速さで戻ってくるので、わずかな距離差を測るのは難しいだろうと思いますが、これがかなり正確に測ることができるのです。
そしてこの動作を短時間で数千・数万と繰り返します。
するとほぼすべての方向に赤外線を飛ばすことができるので、物体の境目や形状がはっきりとわかるようになるのです。
機械上の認識では下のようになっているそうです（Appleより）
これを見ると、無数の点のようなものが存在しているのがわかります。これが各投光における深度のようなものを表していて、それが集まることによって物体の形状を認識することができます。
これは椅子でしょうか？ ぱっと見は椅子に見えますが、色が無いのでよくわかりませんね。しかしiPad Proには普通のRGBカメラが、しかも2レンズも搭載されていますので、これら二つを組み合わせることでより空間を認識することができるようになります。
ただし暗闇の中では基本的にRGBカメラは使い物にならないので、どこまでRGBカメラを活用しているかはよくわかりません。
何ができるようになるのか
新型iPad Proの裏面照射型センサー。何となくすごいということが分かったと思いますが、これだけでは一体何に使えるのかよくわからないと思います。
実はX以降のiPhoneにも同じようなセンサーが内側に搭載されていて、Face ID（顔認証）の仕組みを支えています。 しかし新型iPad Proに搭載されているのは裏面ですので、顔認証は関係ありませんね。
むしろ顔認証以上のものに活用することができます。
AR機能
ARAugmented Reality（拡張現実）の略。人が近くする現実環境をコンピュータにより拡張する技術。これによって目の前に実際には無いものをあたかも存在するかのように見せることができる。
VRとは異なり、現実に描写するのが特徴。
AppleのARといったらAppleホームページから、新製品等をあたかも自分の部屋に置いているかのように見せることができる機能が思い出されます。
これは私が持っているiPhone 7で試したものです。
あれ、iPhone 7には裏面照射型センサーは搭載されてないよね？
その通りです。しかし目の前に広がる物体の平面パターンや、本体についている加速度センサー等を活用することによって空間の軸をある程度認識することができています。そのため、上の画像のように自然に見せることができます。
しかしこの機能を使うにあたって下の動作が必要です。
iPhoneに平面を見せて、本体を横に揺らさないとAR機能を始めることができないようです。これはどのAR機能でも必要でした。
しかし新型iPad Proには物体の形状や距離を正確に測ることができるセンサーが付いていますのでこのような儀式を行う必要はありません。 また、常に目の前の空間を取得できますので、少し本体を動かしたらズレたなんて事件は発生しません。
つまりAR機能をより速く、精密に利用することができるのです。
進化したAR機能で何ができる？
AR機能が進化するのはわかりましたが、では何ができるのでしょうか。公式サイトでは以下のような例が紹介されていました。
単なる3Dゲームのように見えますが、実はここは家なのです。目の前に広がっている家の後継を、あっという間にゲームワールドに変貌させているのです。
リアルすぎて一体どのパーツが合成されたものなのかよくわかりませんが、いつも見ている景色がこんな風になるのですからきっと楽しいでしょう。
ちなみにこの進化したAR機能は、このように3D描写に使われることが頻繁にありますので、新型iPad ProではGPU（グラフィック処理）の性能が10%程度向上しています。
このMacBook顔負けの「A12Zチップ」で高速に処理をしてしまうわけですね。
他にもAR機能を使う様々なゲームは既存していると思いますが、そういったゲームのAR機能をさらに速く、精密に利用することができるようになるのです。
測量
裏面照射型センサーは「物体までの距離を測る」のですから、当然物体の長さや大きさ、遠さを知ることができます。
このような機能は既存のiPhone等で利用できますが、正直そこまで精度はよくありませんでした。私も今使ってみましたが、21.5インチ（54 cm程度）のモニターを測ろうとしたら48 cmと表示されました。
しかし新型iPad Proでは±1 cmのズレさえ抑えることができそうです。
モーションセンサー
iPhone X以降では「ミー文字」という、自分の表情を仮想のキャラクターに移すことができる機能がありましたが、新型iPad Proではあの機能を裏面で使えるようになるということでしょう。
実際に使えるのかはよくわかりませんが、使えるとしたら顔を隠したいYoutuberとかに愛用されそうですね。 そのため、VTuberが更に流行りそうな予感もします。
以上のように、既に活用できることはたくさんありますが、これからさらに活用することができるようになるでしょう。時代は間違いなく「VR」「AR」の方向へ進みつつあるので、未来が楽しみですね。
それにAR機能が発達したら歩きスマホしてもちゃんと前が見れてるみたいなことになりそうですね。
また、今Appleが開発していると言われている「ARグラス」にもつながっていくでしょう。
ちなみにこの記事に載せた3Dの図は、CADソフトとか持ってなかったのでWindows標準の「3Dペイント」で作ったものです。意外と出来良いのでは？笑
