(figure credit:
Zhang et al. 2022,
link to paper)
前回に引き続き以下の論文について紹介する．
Zhang, L. Q., Cottaris, N. P., & Brainard, D. H. (2022). An image reconstruction framework for characterizing initial visual encoding. Elife, 11, e71132.
https://elifesciences.org/articles/71132
ISETBioを用いた画像再構成を用いて，この研究ではセンシングパラメータによって再構成精度がどのように変化するかを検討している．
画像再構成には，MAP(最大事後確率)推定を用いている．MAP推定はベイズの定理を利用して事後確率を最大化するもので，本研究においては，ISETBioによる入力画像から錐体刺激値の計算を尤度関数とし，自然画像の独立成分分析によって得られる基底関数を事前分布として用い，画像の再構成を行う．
はじめに述べたように，人間のセンシングを厳密にシミュレーションすることで，人間のセンサの機能的意義について考察することができる．ここでは，論文のシミュレーション結果をいくつか紹介しながら，センシングをシミュレーションすることの重要性について考えていく．例えば，センサ配列におけるL錐体・M錐体・S錐体の空間比率を操作することによる画像再構成の影響を調べている．人間の錐体の空間比率には興味深い個人差があることが知られていて，定型色覚型としてカテゴライズされる色覚タイプの同じ個人であっても，L錐体とM錐体の網膜上での比率は大きく異なる．このことは，補償光学という手法を用いて，生きた人間の網膜上の各錐体の分光特性を計測することで明らかになっている（）．一方で，比率が偏っているのではなく，L錐体しかない（もしくはM錐体しかない）個人は，１型（２型）２色覚者と呼ばれる色覚多様性であり，例えば赤と緑の識別が困難であることが知られる．Zhangらのシミュレーションでは，S錐体の密度を一定にしたまま，L錐体とM錐体の比率を変えることで，自然画像の画像再構成誤差がどのように影響を受けるかを探った．その結果，L錐体が全くないセンシング，もしくはM錐体が全くないセンシングの場合には，画像再構成誤差が大きくなる一方で，わずかでもL錐体・M錐体の両方が存在していれば，その比率が極端に偏っていても自然画像の再構成誤差は大きく変わらないことを示した（論文図4A）．また，この比率に依らない再構成の頑健性は，自然画像の冗長性と関連することを別のシミュレーションで示している．具体的に，自然画像で見られる空間的な相関とセンサのチャネル間の相関が高い条件のノイズにおいては，L錐体とM錐体の比率に依らない精度の高い再構成が可能であったが，それらの相関が低いと比率が偏る場合に再構成誤差が大きくなった（論文図5）．これらの結果は，自然画像を効率的に符号化する上でのL錐体・M錐体の密度配列に許容があることを示唆している．
(figure credit:
Zhang et al. 2022,
link to paper)
また，中心窩にはS錐体はまばらにしか存在しないことが知られている．この密度が変わると自然画像の情報処理がどう変わり得るかについてもシミュレーションを用いて検討している(論文図4B)．具体的には，L錐体・M錐体の比率を一定に保ったまま，S錐体の空間的な比率を大きくする操作をした際の画像再構成誤差を探った．結果は，わずかにS錐体の比率を増やすだけで，画像再構成誤差が大きくなった．この結果の理由のひとつは，S錐体が感度を強く持つ短波長光の光学特性にある．短波長光は長波長光よりも眼球光学系における色収差の影響を大きく受け，網膜像に投影される像がぼけやすくなる．この短波長光に感度を持つS錐体を密度高く配置してしまうと，画像再構成における誤差が増えてしまう．このことから，効率的に自然画像を符号化するためには，L錐体とM錐体に多くの密度を使って，なおかつ短波長光の信号を取りこぼさないようなS錐体のまばらな配置が効率的であることがわかる．
(figure credit:
Zhang et al. 2022,
link to paper)
この他にも，ISETBioと画像再構成手法を用いることによる色覚多様性のシミュレーションやコントラスト感度のシミュレーションなどを検討した結果をZhangらの研究では示しており，我々人間の知覚がセンサ特性とどう関係しているかを明らかにし，知覚を考える上でのセンサ特性の重要性についてこの論文は提案している．