(figure credit:
Zhang et al. 2022,
link to paper)
以下の論文について今回と次回の記事で紹介する．
Zhang, L. Q., Cottaris, N. P., & Brainard, D. H. (2022). An image reconstruction framework for characterizing initial visual encoding. Elife, 11, e71132.
https://elifesciences.org/articles/71132
この論文では，視覚のセンシング過程をISETBioによって厳密にシミュレーションすることで，視覚の実際の入力信号（錐体信号）から画像コンテンツがどのように再構成できるかを検討している．ISETBioでシミュレーションしているものについては，記事上部の図（論文・図１）で模式的に示している．AからDのブロックに別れているうち、AからCがISETBioの出力で，Dのプロセスが今回の論文で新しく検討した部分を意味する。ここでは，モニタに提示されたRGB画像を入力としている．視覚の入力は波長の関数として考えるので，モニタのRGB信号の分光特性を考慮して，波長ごとの空間パターンをまずは計算している（A）．
次に，眼球のレンズに入射した光が網膜（センサ）に届くまでのプロセスがBである．ここでは，光は眼球の角膜とレンズで，収差や屈折の歪みの影響を受けて，各波長ごとに異なる広がり方で網膜に投影される．この眼球光学系の影響をISETBioでは波長依存の単純な点広がり関数でシミュレーションすることもできるし，実際の標準被験者の波長ごとの計測データを使用することもできる．この過程Bを経て出力されるものは，光が網膜に届く直前の情報を意味する．
次に，Cがセンシングの過程を示している．網膜にはいくつかのタイプの光受容器があるが，ここでは視野の中心に分布していて，明るい光環境下で機能する3種類のL錐体、M錐体、S錐体の反応をシミュレーションしている．それぞれ長波長・中波長・短波長の光に感度を持つ光受容器である．図中に示されているのは，中心窩1度くらいの狭い範囲の錐体分布で，中心ほど高密度になっていて，周辺にいくほど少し密度がまばらになっている．それぞれの錐体は波長ごとに異なる分光吸収感度を持っていて，その分光吸収分布や配列密度を操作することで色覚多様性のシミュレーションをすることもできる．こうしてできあがったものがCの出力で，視覚の実際の入力信号，錐体画像ということになる．
このように，視覚にとっての実際の錐体画像は，もとのRGB画像から眼球特性によってある種のノイズが乗ったものと捉えることができる．この錐体画像に対して，この論文で検討したDの過程というのは，錐体画像というのは元の画像からどれくらいの情報を失っているのだろうということを探ろうとしている．具体的に，Dというプロセスでは，MAP推定(最大事後確率推定)を使って，視覚の実際の錐体画像から元のRGB画像を復元することをしている．その際に，人間の個人ごとのセンサ特性の多様性を考慮すると，どんなセンサを持つ場合に元の画像が復元しにくくなるのか，または復元できるのか，ということをこの研究では探っている．
さらに詳細な検討の内容と明らかになった結果については次回．