グローバルシャッターは全画素を同時に読み出すのか――露光・保持・出力を分ける

画像の時刻は、出力端子を通る時刻ではない

フォトダイオードでは、入射した光に応じて電荷が発生し、露光中に蓄積される。その信号を電圧へ変え、A/D変換してデータとして取り出す。フロリダ州立大学の公開解説も、電荷の蓄積、電圧への変換、デジタル化を分けている。露光は一瞬の点ではなく、光を積算する時間の窓である。

グローバルシャッターで一致させるのは、原則として全画素の露光開始と終了である。Baslerの製品文書には、その後の読み出しは行ごとに進むと明記されている。したがって、最後の行のデータが遅く届くこと自体は、最後の行だけ遅い時刻の光を撮ったことを意味しない。撮像した時間と伝送した時間を分ければ、この見かけの矛盾はなくなる。

ローリング方式では、短い露光でも行の時刻差が残る

ローリングシャッターは、行ごとに露光の開始と終了をずらして走査する。各行の露光時間が同じでも、画面の上と下が同じ時間帯を見ているとは限らない。動く被写体や動いているカメラでは、異なる時刻の像を一枚へ並べることで形が傾いたり曲がったりする。これは、露光中の移動を積算して生じる動体ブレとは別の問題である。

編集部の単純な時間例を考える。三行がそれぞれ0、10、20μsに露光を始め、各行の露光時間が5μsなら、終了は5、15、25μsとなる。露光をさらに短くしても、開始時刻の差20μsはそのままである。これは製品値ではない。行間隔を縮める操作と、各行の露光を短くする操作が別であることを示す計算例である。

一方、三行とも0から5μsまで露光し、その信号を5μs時点で保持したとする。二行目、三行目の読み出しが後になっても、蓄えたのは同じ時間窓の情報である。グローバル方式は読み出し順を消すのでなく、読み出し待ちの間に撮影結果が変わらないようにする。図では、この待ち時間を露光とは別の色で示した。

信号を待たせる場所が、二つの時刻を切り離す

グローバル方式では、共通の露光終了時点の信号を保持し、読み出し回路の順番を待たせる。ソニーのPregius解説は、受光部とは別にメモリー部を設け、各フォトダイオードの電荷を一斉に転送する構成を示している。画面全体の情報を同じ時刻で確定させるために、画素側へ待機場所を持たせる発想である。

保持するのが電荷か、変換後のアナログ電圧かは実装による。Axisの公開資料は両者を区別し、保持後に行単位でA/D変換する流れを説明する。ここでいうメモリーは、撮影済みJPEGを保存するSDカードや、必ずSRAMセルを使うという意味ではない。フォトダイオード、保持部、A/D変換器の境界を確認する必要がある。

メモリーを足すと、面積と光の通り道も変わる

保持部や転送用の素子を加えても、画素の面積は無限には増やせない。キヤノンの開発者インタビューは、受光部とメモリーを同じ画素内へ収めると、それぞれの容量を確保することが課題になると説明する。同社の設計課題を示す事例であり、『全グローバルセンサーのダイナミックレンジが必ず低い』という製品横断の順位ではない。

もう一つは、保持中の信号へ余計な光が加わらないようにすることである。Teledyneは、保持ノードへ光が到達して生じる不要な信号を寄生光感度として説明している。受光部には光を届け、保持部は光から守るという異なる要求を隣で満たす必要がある。裏面照射で光の入口を変える場合も、単に配線を裏返せば終わりではなく、画素構造と遮光を一緒に考える。

積層はシャッター方式の名前ではなく、配置の選択肢である

受光と信号処理を別の層へ配分すれば、一つの平面だけで場所を取り合わずに済む。ソニーはPregius Sの構造として、画素領域と信号処理領域を重ねる積層を説明している。またKondoらの2016年論文の公開要旨には、上側基板のフォトダイオードから下側基板の保持ノードへ信号を渡す構成が示されている。積層による機能配置の具体例である。

ただし、積層型という表示だけでグローバルシャッターとは判断できない。積層は回路をどこへ置くか、シャッター方式は光をいつ取り込むかという別の軸である。接続部の作り方を知りたい場合はハイブリッドボンディングの解説へ進むとよいが、積層センサーがすべて同じ接合方式や保持回路を使うわけではない。方式名から内部の実装を一足飛びに決めないことが大切である。

仕様は、露光・走査・出力の三つの時間で読む

資料を読むときは、まず露光の開始と終了が全行でそろうか、次に信号をどこで保持するか、最後に読み出しと外部出力にどれだけ時間が必要かを確認する。全画素の露光が同時でも、A/D変換や出力帯域が無限になるわけではない。複数列の並列処理は高速化の手段だが、露光の同時性と同義ではない。次の露光と読み出しを重ねられるかも、機種と動作モードによる。

名前が似たグローバルリセットも区別したい。Baslerが説明するGlobal Reset Releaseは、全行で露光を同時に始めても、終了を行ごとにずらす方式である。また、グローバルシャッターでも長い露光中に被写体が動けばブレは残る。『同時』の対象を開始だけ、開始と終了、データ出力のどれかまで言葉にすれば、カメラの宣伝文句から画素・回路・システムの設計判断へ読み進められる。

帯域も独立に計算できる。編集部の仮定で100万画素、1画素12bit、毎秒100枚を非圧縮で送るなら、画素データだけで毎秒12億bitとなる。これは通信のヘッダーや余白を含まない下限であり、特定製品の仕様ではない。露光を同時に終えても、このデータ量を外へ運ぶ仕事は残る。フレームレート、露光時間、転送レートを同じ『速さ』として扱ってはならない。

用途側では、対象が画像の中をどれだけ動くかと、その形を時間的にそろえる必要があるかを考える。搬送物の輪郭を読む場面と、静止した対象を十分な光で撮る場面では優先順位が違う。前者の要求は保持回路や同期へ、後者の要求は受光やノイズへつながるが、方式名だけで最適解は決まらない。画素を作る仕事と、カメラを組み込む仕事が接するのは、この要求の翻訳である。