- Xperia
ISO 12800の超高感度動画撮影や、ISO 51200の超高感度静止画撮影が可能な点や、4K HDR動画撮影が可能な点等、充実したカメラ機能も大きな特徴となっています。そのダブルレンズカメラを利用したカメラ機能の開発が完了した事を受けて、報道陣に技術解説を行ないました。
↑背面にXperiaシリーズ初のダブルレンズカメラを搭載
まずはじめに、Xperia XZ2 Premiumに搭載されるダブルレンズカメラの仕様のおさらいとなります。メインカメラとなるダブルレンズカメラは、本体背面に搭載されています。上下にレンズが並んでいて、上が有効画素数約1,200万画素の1/2.3型モノクロセンサーを採用したカメラ、下が有効画素数約1,920万画素の1/2.3型カラーセンサーを採用したカメラとなっています。
モノクロセンサー、カラーセンサーともに裏面照射型CMOSイメージセンサー「Exmore RS for Mobile」で、カラーセンサー側のみメモリ積層タイプとなっています。レンズの焦点距離はいずれも25mm(35mm換算)で、F値はモノクロ側がF1.6、カラー側がF1.8となります。
↑Xperia XZ2 Premiumに搭載されるダブルレンズカメラモジュール
↑Xperia XZ2 Premiumのダブルレンズカメラの仕様。画像処理専用プロセッサ「AUBE」も搭載する
説明会では、何故このダブルレンズカメラで高感度撮影を実現したのかという点について説明。
SONYの調べたところによると、スマホを利用して写真を撮影する場合、その50%ほどが暗所で撮影されたもので、しかも、そのうちの5%は通常では何も撮影出来ない程の極暗所だったとしています。この様に、暗所での撮影ニーズが潜在的に存在している事を受けて、Xperia XZ2 Premiumでは暗所撮影性能を追求したカメラを実現したと説明しました。
↑SONYの調査によると、スマホでの写真撮影環境は50%程が暗所
ただ、スマホの様にスペースが限られる機器では、通常のデジカメの様に大型のイメージセンサーを採用する事で高感度撮影を実現するのが難しくなります。そこでXperia XZ2 Premiumのダブルレンズカメラでは、モノクロセンサーで輝度情報を取得、カラーセンサーで色情報を取得し、双方の情報を合成する事によって高感度撮影を実現しています。
↑モノクロセンサーとカラーセンサーの組み合わせで高感度撮影を実現
↑モノクロセンサーで輝度情報、カラーセンサーで色情報を取得し、超高感度撮影を実現
更に、画像処理を行なう専用プロセッサ「AUBE」も独自開発して、搭載。SONYには、半導体等を開発するデバイス部門やソフトウェアの技術開発を行なうR&D部門、カメラ開発部門等があり、それぞれが協力して先進的なデュアルレンズカメラシステムを開発できる点が大きな強みだと説明しました。
↑SONYの半導体やソフトウェア、カメラの開発部門が協力してダブルレンズカメラシステムを開発
ダブルレンズカメラでは、2つのイメージセンサーで捉えた情報を合成して写真を撮影しますが、2つのイメージセンサーは設置位置が離れている為、双方が捉える画像は微妙にズレが生じます。人間の目でも、両目で見る時と、右と左の片目で見る時とで、物体が微妙にずれて見えますが、それと同じ現象が起きます。その為、双方のセンサーで捉えた情報を合成する場合には、そのズレを考慮する必要が有ります。
そこで、Xperia XZ2 Premiumのダブルレンズカメラでは、個体毎にダブルレンズカメラの光軸ズレを計測して光軸ズレの情報を内部に記録し、その情報を利用して正確な光軸ズレ補正を行ない写真を合成する仕組みになっているとの事。
↑個体毎に光軸ズレを計測し調整値を記録している
更に、被写体迄の距離によって生じる画像上のズレを画像処理によって検出し、ピクセル毎にズレを補正。その後、ピクセルごとにモノクロセンサーの輝度情報とカラーセンサーの色情報を合成する事によって最終的な画像が完成します。
↑モノクロセンサーとカラーセンサーで得た情報を、画像処理プロセッサ「AUBE」で処理
↑個体ごとに記録されている光軸ズレ調整値を利用してズレを補正
↑次に、画像解析で被写体までの距離によって発生する画像上の局所的なズレを補正
↑2つのセンサーから得られた画像の情報をピクセルごとに解析してズレを補正する
↑最後に輝度情報と色情報を合成し高感度画像が出来上がる
但し、ダブルレンズを利用した撮影時には、被写体迄の距離が近ければ近いほど画像上のズレが大きくなってしまい、補正が難しくなります。その為、被写体まで1m以上離れて撮影する事を推奨しているとの事です。
↑1m以上離れた被写体の撮影を推奨している
この一連の画像処理は、すべて専用プロセッサ「AUBE」で行なわれます。同様の処理を行なうだけであれば、SoCに搭載されるGPUでも出来ますがが、Xperia XZ2 Premiumのダブルレンズカメラであえて専用プロセッサを用意したのは、高速な処理を行なわせる為だとしています。
SoCのGPUで同様の処理を行なう場合には、処理が完了する迄に100ms以上の時間がかかってしまうとの事。しかしそれでは、30fpsの動画撮影で利用不可能。
↑SoCのGPUでは処理が遅い
そこで、光軸ズレ補正などの処理を高速に行なえる専用プロセッサのAUBEを用意搭載する事で、60fpsでの撮影でも間に合う高速な処理が行なえる様になり、フルHD/60fpsでISO 12800の超高感度動画撮影を可能にしているとしています。
↑ダブルレンズカメラとAUBEによって高感度撮影が可能なだけでなくS/Nも良くなった
↑Xperia XZ1との比較
尚、Xperia XZ2 Premiumのカメラ機能では、ボケ調整機能やモノクロ撮影機能も用意される事になっていますが、そちらは8月下旬のアップデートで対応する予定となっています。
↑ボケ調整機能やモノクロ撮影機能は8月下旬のアップデートで対応予定
次に、4K HDR動画撮影機能について説明。従来モデルのXperia XZ PremiumではHDR表示対応の4Kディスプレイを搭載すると共に、SoCもHDR映像のデコードに対応。もちろんXperia XZ2 Premiumのディスプレイも4K表示対応でHDR表示にも対応しています。
↑世界初の4K HDR動画撮影に対応し、撮影から再生まで行なえる
その上で、ダブルレンズカメラのカラーセンサーにはメモリー積層型イメージセンサーを新たに採用する事で、従来よりも高速な画像信号の読み出しが可能となり、1フレーム内で長時間露光と短時間露光の情報を合成した4K HDR動画の撮影に対応。これによりXperia XZ2 Premiumでは、単体で4K HDR動画の撮影から再生までをこなせる様になっています(Xperia XZ2でも同様の4K HDR動画撮影が可能)。
↑メモリ積層型イメージセンサーを採用する事で、4K HDR撮影が可能となった
しかも、撮影可能な4K HDR動画は、色情報の階調が10bit、色域がBT.2020に対応。HDRによる優れたダイナミックレンジだけでなく、色表現も大きく進化しているとの事です。尚、撮影できる4K HDR動画のフォーマットは、HEVC/10bit/HLG/BT.2020となります。
↑階調は10bit、色域はBT.2020に対応。撮影できる4K HDR動画のフォーマットはHEVC/10bit/HLG/BT.2020
↑メモリ積層型イメージセンサーの採用によって、1フレーム内で短時間露光と長時間露光の画像処理が可能となり、HDR動画の撮影に対応
HDR動画の撮影に適したシーンとしては、日向と日陰が混在する場所やスポットライトが当たる被写体、イルミネーション、ステンドグラス等。
また、YouTubeとの協業によって、Xperia XZ2 Premiumで撮影したHEVC形式の4K HDR動画をそのままYouTubeにアップロードした場合でも、YouTubeサーバー側でVP9形式の4K HDR動画形式に自動的に変換されるとの事。
ただ、アップロードした4K HDR動画は、サムネイルからはHDRの表示が確認出来ない為、画像選択後のプロファイルメニューからHDRとなっているか確認して欲しいとの事。
↑撮影した4K HDR動画をYouTubeに直接アップロードするだけで、YouTubeサーバー上でVP9フォーマットの4K HDRデータへと変換される
ソニモバが製品全体では無く、一機能に特化した説明会を開催するのは珍しい事でしたが、内容を知るとソニモバの並々ならぬカメラ機能へのこだわりが分かるので、なるほどと思いました。
HDR撮影に関しては、CineAlta等とは異なりRAWデータからデジタル現像の工程で作り上げるのではなく、一昔前のデジイチやiPhoneのHDR（SDRディスプレイの中でダイナミックレンジの広い画を撮影する）の様に、ハイライト側とシャドウ側を合成して作り出すんですね…。初めてしりました。
また、4K HDR動画を変換せずにYouTubeにアップ出来るというのはかなり便利だと思います。αで撮影したHDR動画等をYouTubeにアップするにはPCでフォーマット変換する必要が有りますし、そこはXZ2に軍配が上がりそうです。
今の所、XZ2シリーズのカメラはセンサーサイズが小さい為、どうしてもパンフォーカス気味になってしまい、明るいところで撮影するとその深度の広さからスマホ撮影というのが顕著に分かってしまいますが、ひょっとしたら8月のアップデートのボケ機能でフォーカスが来ている被写体以外を大幅にボケさせるといった機能も追加されるかもしれませんね。
↑背面にXperiaシリーズ初のダブルレンズカメラを搭載
まずはじめに、Xperia XZ2 Premiumに搭載されるダブルレンズカメラの仕様のおさらいとなります。メインカメラとなるダブルレンズカメラは、本体背面に搭載されています。上下にレンズが並んでいて、上が有効画素数約1,200万画素の1/2.3型モノクロセンサーを採用したカメラ、下が有効画素数約1,920万画素の1/2.3型カラーセンサーを採用したカメラとなっています。
モノクロセンサー、カラーセンサーともに裏面照射型CMOSイメージセンサー「Exmore RS for Mobile」で、カラーセンサー側のみメモリ積層タイプとなっています。レンズの焦点距離はいずれも25mm(35mm換算)で、F値はモノクロ側がF1.6、カラー側がF1.8となります。
↑Xperia XZ2 Premiumに搭載されるダブルレンズカメラモジュール
↑Xperia XZ2 Premiumのダブルレンズカメラの仕様。画像処理専用プロセッサ「AUBE」も搭載する
説明会では、何故このダブルレンズカメラで高感度撮影を実現したのかという点について説明。
SONYの調べたところによると、スマホを利用して写真を撮影する場合、その50%ほどが暗所で撮影されたもので、しかも、そのうちの5%は通常では何も撮影出来ない程の極暗所だったとしています。この様に、暗所での撮影ニーズが潜在的に存在している事を受けて、Xperia XZ2 Premiumでは暗所撮影性能を追求したカメラを実現したと説明しました。
↑SONYの調査によると、スマホでの写真撮影環境は50%程が暗所
ただ、スマホの様にスペースが限られる機器では、通常のデジカメの様に大型のイメージセンサーを採用する事で高感度撮影を実現するのが難しくなります。そこでXperia XZ2 Premiumのダブルレンズカメラでは、モノクロセンサーで輝度情報を取得、カラーセンサーで色情報を取得し、双方の情報を合成する事によって高感度撮影を実現しています。
↑モノクロセンサーとカラーセンサーの組み合わせで高感度撮影を実現
↑モノクロセンサーで輝度情報、カラーセンサーで色情報を取得し、超高感度撮影を実現
更に、画像処理を行なう専用プロセッサ「AUBE」も独自開発して、搭載。SONYには、半導体等を開発するデバイス部門やソフトウェアの技術開発を行なうR&D部門、カメラ開発部門等があり、それぞれが協力して先進的なデュアルレンズカメラシステムを開発できる点が大きな強みだと説明しました。
↑SONYの半導体やソフトウェア、カメラの開発部門が協力してダブルレンズカメラシステムを開発
ダブルレンズカメラでは、2つのイメージセンサーで捉えた情報を合成して写真を撮影しますが、2つのイメージセンサーは設置位置が離れている為、双方が捉える画像は微妙にズレが生じます。人間の目でも、両目で見る時と、右と左の片目で見る時とで、物体が微妙にずれて見えますが、それと同じ現象が起きます。その為、双方のセンサーで捉えた情報を合成する場合には、そのズレを考慮する必要が有ります。
そこで、Xperia XZ2 Premiumのダブルレンズカメラでは、個体毎にダブルレンズカメラの光軸ズレを計測して光軸ズレの情報を内部に記録し、その情報を利用して正確な光軸ズレ補正を行ない写真を合成する仕組みになっているとの事。
↑個体毎に光軸ズレを計測し調整値を記録している
更に、被写体迄の距離によって生じる画像上のズレを画像処理によって検出し、ピクセル毎にズレを補正。その後、ピクセルごとにモノクロセンサーの輝度情報とカラーセンサーの色情報を合成する事によって最終的な画像が完成します。
↑モノクロセンサーとカラーセンサーで得た情報を、画像処理プロセッサ「AUBE」で処理
↑個体ごとに記録されている光軸ズレ調整値を利用してズレを補正
↑次に、画像解析で被写体までの距離によって発生する画像上の局所的なズレを補正
↑2つのセンサーから得られた画像の情報をピクセルごとに解析してズレを補正する
↑最後に輝度情報と色情報を合成し高感度画像が出来上がる
但し、ダブルレンズを利用した撮影時には、被写体迄の距離が近ければ近いほど画像上のズレが大きくなってしまい、補正が難しくなります。その為、被写体まで1m以上離れて撮影する事を推奨しているとの事です。
↑1m以上離れた被写体の撮影を推奨している
この一連の画像処理は、すべて専用プロセッサ「AUBE」で行なわれます。同様の処理を行なうだけであれば、SoCに搭載されるGPUでも出来ますがが、Xperia XZ2 Premiumのダブルレンズカメラであえて専用プロセッサを用意したのは、高速な処理を行なわせる為だとしています。
SoCのGPUで同様の処理を行なう場合には、処理が完了する迄に100ms以上の時間がかかってしまうとの事。しかしそれでは、30fpsの動画撮影で利用不可能。
↑SoCのGPUでは処理が遅い
そこで、光軸ズレ補正などの処理を高速に行なえる専用プロセッサのAUBEを用意搭載する事で、60fpsでの撮影でも間に合う高速な処理が行なえる様になり、フルHD/60fpsでISO 12800の超高感度動画撮影を可能にしているとしています。
↑ダブルレンズカメラとAUBEによって高感度撮影が可能なだけでなくS/Nも良くなった
↑Xperia XZ1との比較
尚、Xperia XZ2 Premiumのカメラ機能では、ボケ調整機能やモノクロ撮影機能も用意される事になっていますが、そちらは8月下旬のアップデートで対応する予定となっています。
↑ボケ調整機能やモノクロ撮影機能は8月下旬のアップデートで対応予定
次に、4K HDR動画撮影機能について説明。従来モデルのXperia XZ PremiumではHDR表示対応の4Kディスプレイを搭載すると共に、SoCもHDR映像のデコードに対応。もちろんXperia XZ2 Premiumのディスプレイも4K表示対応でHDR表示にも対応しています。
↑世界初の4K HDR動画撮影に対応し、撮影から再生まで行なえる
その上で、ダブルレンズカメラのカラーセンサーにはメモリー積層型イメージセンサーを新たに採用する事で、従来よりも高速な画像信号の読み出しが可能となり、1フレーム内で長時間露光と短時間露光の情報を合成した4K HDR動画の撮影に対応。これによりXperia XZ2 Premiumでは、単体で4K HDR動画の撮影から再生までをこなせる様になっています(Xperia XZ2でも同様の4K HDR動画撮影が可能)。
↑メモリ積層型イメージセンサーを採用する事で、4K HDR撮影が可能となった
しかも、撮影可能な4K HDR動画は、色情報の階調が10bit、色域がBT.2020に対応。HDRによる優れたダイナミックレンジだけでなく、色表現も大きく進化しているとの事です。尚、撮影できる4K HDR動画のフォーマットは、HEVC/10bit/HLG/BT.2020となります。
↑階調は10bit、色域はBT.2020に対応。撮影できる4K HDR動画のフォーマットはHEVC/10bit/HLG/BT.2020
↑メモリ積層型イメージセンサーの採用によって、1フレーム内で短時間露光と長時間露光の画像処理が可能となり、HDR動画の撮影に対応
HDR動画の撮影に適したシーンとしては、日向と日陰が混在する場所やスポットライトが当たる被写体、イルミネーション、ステンドグラス等。
また、YouTubeとの協業によって、Xperia XZ2 Premiumで撮影したHEVC形式の4K HDR動画をそのままYouTubeにアップロードした場合でも、YouTubeサーバー側でVP9形式の4K HDR動画形式に自動的に変換されるとの事。
ただ、アップロードした4K HDR動画は、サムネイルからはHDRの表示が確認出来ない為、画像選択後のプロファイルメニューからHDRとなっているか確認して欲しいとの事。
↑撮影した4K HDR動画をYouTubeに直接アップロードするだけで、YouTubeサーバー上でVP9フォーマットの4K HDRデータへと変換される
ソニモバが製品全体では無く、一機能に特化した説明会を開催するのは珍しい事でしたが、内容を知るとソニモバの並々ならぬカメラ機能へのこだわりが分かるので、なるほどと思いました。
HDR撮影に関しては、CineAlta等とは異なりRAWデータからデジタル現像の工程で作り上げるのではなく、一昔前のデジイチやiPhoneのHDR（SDRディスプレイの中でダイナミックレンジの広い画を撮影する）の様に、ハイライト側とシャドウ側を合成して作り出すんですね…。初めてしりました。
また、4K HDR動画を変換せずにYouTubeにアップ出来るというのはかなり便利だと思います。αで撮影したHDR動画等をYouTubeにアップするにはPCでフォーマット変換する必要が有りますし、そこはXZ2に軍配が上がりそうです。
今の所、XZ2シリーズのカメラはセンサーサイズが小さい為、どうしてもパンフォーカス気味になってしまい、明るいところで撮影するとその深度の広さからスマホ撮影というのが顕著に分かってしまいますが、ひょっとしたら8月のアップデートのボケ機能でフォーカスが来ている被写体以外を大幅にボケさせるといった機能も追加されるかもしれませんね。