High Definition Large Screen Image Representation using 250 M-pixel-19K Ultra-High-Resolution Camera

Abstract

近年,映像機器の高解像度化が進み,パブリックビューイ ング,ディジタルサイネージ,ディジタルアート表現等に高 精細大画面映像が利用されている.8Kスーパーハイビジョ ン映像機器1)~3)による大規模イベントのパブリックビュー イング4)5)が成功を収める中,3台の4Kプロジェクタ映像を ブレンド表示した12K2K大型ワイドスクリーン6),576個の マイクロLEDユニットをタイル状に敷詰めた15K4K LED ディスプレイ7)等の8K以上の超高解像度画面による高精細 映像視聴サービスが行われている. 一方,カメラの解像度は,動画では8K4K,静止画では, ディジタル一眼レフカメラの普及で8K6K(≒5,000万画素) と高解像度化が進んでいるが,8Kを超える高精細大画面映 像の撮影は,既存のカメラ1台では解像度が不足する. そこで,複数のカメラで分割撮影した映像を,後処理で 合成し所望の解像度映像を生成するマルチカメラが使用さ れる.マルチカメラによる超高解像度映像撮影事例として, 8K4Kカメラ3台で撮影した12K8K空撮映像8),4K2Kカメ ラ27台で撮影した16K4Kサラウンド映像9)等がある.マル チカメラ撮影では,複数のカメラで分割撮影したオーバ ラップ領域のある画像を張り合わせるイメージスティッチ ング処理10)11)によって,1枚の高解像度画像を生成する. しかしながら,マルチカメラによる撮影には,カメラ台数 増加に伴う撮影システムの大規模化,撮影の手間,イメー ジスティッチングによる映像処理時間の増加といった実用 面での課題がある. また,映像撮影・制作の省力化手段として,カメラ位置固 定で撮影した高解像度映像の一部をトリミングし,新しい構 図の低解像度映像を制作する仮想カメラワーク手法12)~14)が 提案されている.撮影済み映像から新しい映像コンテンツを 制作する有力な手段だが,高精細大画面映像制作に,仮想カ メラワークを利用する場合,表示画面解像度以上の映像を撮 影できる超高解像度カメラが必要になる.トリミング画像の 解像度が表示画面解像度より低い場合,拡大処理が必要で, 画素等倍表示とはならず,画質が劣化する.画質を落とさな い仮想カメラワーク高精細映像を制作するためには,表示画 面解像度以上の撮影済み映像が必要である.8K映像からト リミングにより新しい4K映像を制作する提案15)はあるが, 8K以上の表示画面では使用できない.マルチカメラを使用 した仮想カメラワーク手法16)17)の提案があるが,マルチカ メラ撮影には,前述した実用面での課題がある.特に,高 精細大画面に対応した仮想カメラワークで使用する超高精 細映像をマルチカメラで撮影することは,非常に困難であ る.そこで,筆者らは,8K以上の大画面でも仮想カメラ ワークが行えるように16K以上の超高解像度カメラの実現 に向け,超高解像度撮像コンポーネントである撮像素子と レンズの研究を行った. 本論文では,高精細大画面映像撮影を可能にする19K超 高解像度カメラレコーダを提案する.撮像素子には,2.5億 あらまし 近年,解像度12K以上の高精細大画面映像視聴環境が整い,映像制作の現場では8K解像度以上の超高 解像度映像撮影・制作のニーズが存在する.本論文では,カメラ1台で,高精細大画面映像撮影可能な19K超高解像 度カメラレコーダを提案する.撮像素子に,2.5億画素CMOSイメージセンサを使用,本センサ解像限界の空間周波 数333[lp/mm]で,被写体コントラストを再現する超高解像度広角レンズを開発した.「タイムラプス」と「秒5コマ 連写」モードで撮影した19K13K-RAW非圧縮連番画像から仮想カメラワーク手法を用いて12K2K映像を制作し,試 写評価を行った.画質劣化のないズーム,パン,ティルト効果を加えた臨場感の高い高精細大画面映像が,本カメラ 撮影映像から制作できることを,12K2Kマルチディスプレイ・高精細ワイド画面で確認した.