インダイレクトビジョンによる潜在的映像の可視化

概要

私たちの研究グループでは，インダイレクトビジョンと名付けた可視化技術の研究開発を進めている。本稿では，インダイレクトビジョンの一環として時間同期式プロジェクタ・カメラシステムと呼ばれているレーザ走査式のプロジェクタによる照明とローリングシャッタ方式のカメラによる同期的な撮影手法によって，シーンの光伝播を選択的に観測する取り組みを紹介する．これにより，皮下血管のリアルタイムで鮮明な可視化が可能となり医用画像への応用が期待されるほか，濃霧における路面映像の鮮明化（デフォグ）では荒天時の自動運転への応用や，プロジェクタ映像へのタッチセンシングが可能となるなど，その幅広い応用事例について解説する．

技術詳細

シーン中の光の伝播（ライトトランスポート）は，反射や屈折，表面下散乱や相互反射など様々な要素から構成されており，ライトトランスポートの計測を通じてシーンの様々な性質を推定，可視化することが可能である．そこで私たちの研究グループでは，インダイレクトビジョンと名付けた可視化技術の研究開発を通じて様々な目に見えない映像の可視化技術の開発に取り組んでいる. 私たちの研究グループでは，シーン中の光の伝播（ライトトランスポート）をインダイレクトビジョンによって計測するために，様々な光学計測装置を開発してきた． まず，光源はレーザー走査式のプロジェクタを用いる．このプロジェクタは，水平なライン状の照明を内蔵のMEMS(Micro Electro Mechanical System)ミラーによって上から下まで繰り返しスイープすることで画角全体に光を照射することが可能である．また，撮影装置としてローリングシャッターカメラを用いる． グローバルシャッター方式のカメラは一度に画角内全体の映像を撮影するのに対し， ローリングシャッター方式のカメラはある時刻から水平に1行ずつ露光を開始し， 上から下までスイープすることで画角内の映像を順次，撮影する． さらに，プロジェクタとカメラの照明および撮影のタイミングを 専用の同期回路によって制御している[O'Toole et al., 2015]．さらに，ローリングシャッターカメラをラインスキャン方式のハイパースペクトルカメラに置き換えることで，シーン中の光の伝播を波長ごとに計測することが可能となる．以下では、インダイレクトビジョンを利用した潜在的映像の可視化技術の一例を紹介する．

応用例

皮下血管の可視化

装置の説明文

比較

(a) 腕（写真）

(b) 腕（本手法）

(c) 頭部（写真）

(d) 頭部（本手法）

本手法で特定の遅延時間で腕や頭部を撮影した例．撮影はテーブルトップで可能であり(a)，通常の映像(b), (d)と比較して皮下の血管が明らかに鮮明に可視化されている(c), (e)．

H. Kubo, S. Jayasuriya, T. Iwaguchi, T. Funatomi, Y. Mukaigawa, S. G. Narasimhan, "Programmable Non-Epipolar Indirect Light Transport: Capture and Analysis", IEEE Transactions on Visualization and Computer Graphics, IEEE Transactions on Visualization and Computer Graphics, doi: 10.1109/TVCG.2019.2946812, 2019.10.

濃霧による視認性低下の改善

(a) 霧がない場合の通常画像

(b) 霧がある場合の通常画像

(c) 路面の映像の鮮明化．

(d) 標識の映像の鮮明化．

濃霧や降雪などの悪天候下では、水滴や雪によって光が散乱されるため視界が非常に悪くなるため，自動運転などの安全性に大きな影響を及ぼす． 本技術を適用することにより，散乱光による影響を除去して鮮明な映像を獲得することで，悪天候下における視認性の改善が可能である． 上図(a)には霧が無いときの道路の様子を，(b)には濃霧が発生したときの様子を示してある．本手法ではシーンの特定の領域を鮮明化することが可能であり，例えば路面を鮮明化した様子を(c)、標識を鮮明化した様子を(d)に示す。(b)と比較すると明らかに映像がクリアになっており、視認性が向上されたことがわかる．本技術は，自動車における自動運転のためのカメラシステムへの応用が考えられる．

S. Chandran, H. Kubo, T. Ueda, T. Funatomi, Y. Mukaigawa and S. Jayasuriya, "Slope Disparity Gating: System and Applications," in IEEE Transactions on Computational Imaging, vol. 8, pp. 317-332, 2022, doi: 10.1109/TCI.2022.3162259.

プロジェクタ映像へのタッチセンシング

タッチセンシングの概念図

実際のタッチセンシングの様子

プロジェクション映像へのタッチセンシング．撮像領域を映像の投影面より僅かに上に設定し(a)使用者が投影面にかざした指(b)だけを可視化することで，結果として指の位置をリアルタイムに推定し，タッチセンシングとして応用することが可能である．

M. Tsuji, H. Kubo, S. Jayasuriya, T. Funatomi and Y. Mukaigawa, "Touch Sensing for a Projected Screen Using Slope Disparity Gating," in IEEE Access, vol. 9, pp. 106005-106013, 2021, doi: 10.1109/ACCESS.2021.3099901.

ハイパースペクトル・光伝搬計測による内部状態の可視化

比較

矢野海結, 岩口尭史, 川崎洋, 久保 尋之, "分光カメラのスキャンラインと平行な照明ラインの距離に応じた表面下散乱光の選択的な獲得", 第26回画像の認識・理解シンポジウム(MIRU2023) Extended Abstract, 2023.7.

受賞歴

• IEEE CS Tokyo/Japan Local Award (2021)
• 画像電子学会 画像電子技術賞 (2021)
• 情報処理学会 CGVI研究会 優秀研究発表賞 (2020)
• 映像情報メディア学会 優秀研究発表賞 (2020)
• 画像センシングシンポジウム優秀学術賞 (2019)
• IEEE International Conference on Computational Photography Demo Award (2019)

イベント出展歴

• CES2020
• Maker Faire Kyoto 2019
• NEDO/JSTイノベーション・ジャパン 2019

メディア報道

• 日本経済新聞 2019年11月4日 朝刊 11面, "皮膚の下の血管 より鮮明に映す"
• 朝日新聞， 2020年3月13日, "肌の下を走る血管が丸見えに　米国の展示会で話題呼ぶ"
• 読売新聞 2019年10月30日 29面, "血管の透視撮影 鮮明に"
• 日本経済新聞 2019年10月29日, "皮下の血管を鮮明に撮影、奈良先端大などが新技術",