2019年2月8日金曜日

iPhone XS Maxでスマスコ - 4 〜スマートHDR〜

HDRはHigh Dynamic Rangeの略です。
シャッターを切ると同時に露出の異なる複数枚の写真を瞬時に撮影し、それらを合成することにより、白飛びした部分や黒くつぶれた暗所が再現された写真を生成します。

振り返ってみると、iPhone 4(iOS 4.1)から使えるようになったHDR撮影ですが、iPhone XSでは『スマートHDR』という名称になり、さらに進化したようです。
では、どのように変わったのでしょうか。
Appleのサイトで説明を見てみると、

「スマートHDRは、より高速なセンサー、強化されたISP、高度なアルゴリズムといった複数のテクノロジーを活用し、あなたの写真の明部と暗部により精細なディテールをもたらします。」

と、あります。
単にダイナミックレンジを広げるというわけではないようです。


実際に撮影してみると、このスマートHDR、これまでのHDRとは、やはり違うようです。
※以下はスコープを装着した状態で撮影した場合においての検証です。
通常のiPhone単体での撮影とは傾向が違う可能性があります。

カメラの設定は以下の通りで使用しています。
フォーマットは『高効率』(HEIF)


●白飛び
まずはHDRらしいところで、白飛びについて。その代表例、シジュウカラのほっぺ。
白い頬のディテールを再現しようとしているようですが、完璧ではありません。
その他、空抜けの逆光なども試しましたが、ダイナミックレンジを無理に広げるような合成処理はしないようです。
これは、スマートHDRに限らず、近年のAppleのHDRに対する傾向のように思います。


●どんな時にHDRになるのか
設定で『スマートHDR』をオンにしておくと、ISP(Image Signal Processor)の判断で必要な時にHDR合成がなされるとのことです。
ダイナミックレンジを広げるということなら、このような逆光時にもHDR撮影されてもいいようなものですが、飛行機の撮影では、ほとんどの場合HDRになりません。

逆に、野鳥の撮影では、光の加減に関係なくHDRになることが多いです。
シャッタースピードの違いからそうなるのでしょうか?飛行機撮影では通常1/1000以上ですが、野鳥撮影では二桁〜1/100台がほとんどです。

確実にHDR撮影がしたい場合は、設定で『スマートHDR』をオフにしておくと、カメラアプリの画面にHDRボタンが表示され、手動で切り替えられるようになります。


●バーストモード時のスマートHDR
これまでバーストモードでは、HDR撮影はできませんでした。
それが、XSのスマートHDRでは、バーストモードでもHDR撮影されるようになります。といっても、連写のすべてがHDR撮影されるわけではなく、『iPhone XS Maxでスマスコ - 2 〜撮影と準備〜』で書いた通り、連写がはじまる前の単写がHDR撮影になります。
ですから、バーストモードでHDRになった場合、
標準露出(HEIF)、HDR(HEIF)、連写(JPEG)
と3種の写真が撮影されるわけです。


●撮影の瞬間の違い
通常、HDR撮影では、複数枚を撮影して合成をする分、HDRで撮影される瞬間は標準露出の写真よりも後になります。
それがスマートHDRでは、シャッターを切った瞬間より前なのでは?といった場合があります。

・標準露出

・HDR

・連写

どうして、このようになるのか?
まず、スマートHDRの仕組みから。

「iPhone XS/XS Max/XRのカメラでは、動作中、常に画像を取り込み続け、レリーズを切った瞬間だけではなく前後の4フレームを保持し続けます。そしてさらに、1フレームの撮影で2枚分の映像情報を取り込んでいるのです。」
iPhone XSのカメラはどう進化したのか。いち早く実機に触れてわかったこと(本田雅一)』より

そして、
「Smart HDR(露出が異なる2つのセンサーデータを元に広ダイナミックレンジの写真を自動生成する機能)や、撮影した失敗フレームと思われる場合、前後のフレームから適切な写真を選択して記録する」
まだ語られていないiPhoneの謎--アップル、フィル・シラー氏が明かす“秘伝のタレ”』より

とあります。
どうやら、スマートHDRは、単にダイナミックレンジを広げるだけでなく、その瞬間のもっとも最高な一枚をつくりだそうとするもののようです。


●ディテールの差
では、スマートHDRで合成された写真は、標準露出の写真より優れているのか?
標準露出とスマートHDRのディテールを比較してみました。

拡大して比較すると、やはり合成する分、スマートHDRは細部の輪郭のシャープさが劣り、標準露出の写真よりぼやけてしまいます。

動いていて、なおかつディテールが求められるような被写体には向いていないようです。
もっとも、ここまで拡大表示しなければ、それほど気になるものではないのですが。

では、オフにすればいいのかというと、そうとも言えなくて。
先述の通り、シャッターを切った瞬間は外していても、スマートHDRが救ってくれることも……。

・標準露出

・スマートHDR

これすなわち、シャッターを切った瞬間の前後1.5秒を記録できるLive Photosに似た働きをしてくれる場合もあるのです。
XS Maxのレベルからすると、若干、ほんの少しだけ甘いのですが、Live Photosで抽出した写真よりはいいです。


**********

今のところ、スマートHDRの写真が標準露出やバーストモードのJPEG写真を上回ることは、ごく稀です。
でもこれって、ニューラルエンジン=機械学習ということですし、使い続ければ賢くなっていくんですかね?

余談ですが、スマートHDRで撮った野鳥の写真、有機ELの性質なのでしょうか、iPhone XS Maxの画面では羽根に光が当たっている部分が輝いて見えて、すごく綺麗なんです。
ところが、この写真をPCや他のディスプレイで見ると、標準露出の写真と変わらない普通の写真になってしまいます。
それならばと、iPhoneの画面を写真に撮ってみるのですが、それでも輝いて見えません。
なんだか不思議な写真です。


iPhone XS Maxでスマスコ - 1 〜フォトアダプターを作る〜
iPhone XS Maxでスマスコ - 2 〜準備と撮影〜
iPhone XS Maxでスマスコ - 3 〜写真〜