- 著者
-
板垣 正敏
河野 一隆
藤田 晴啓
Masatoshi ITAGAKI
Kazutaka KAWANO
Haruhiro Fujita
- 出版者
- 考古文化財ディープラーニング研究会
本研究では高精細の文化財画像に無相関ストレッチおよび機械学習による図像解析を加え、褪色して見えなくなった文字や文様などのモチーフを鮮明化する、文化財に特化した画像解析技術の理論構築と実践を目的とする.デジタル画像の利用が一般化してからは、画像の鮮明化には画像編集ソフトウェアを用いてトーンカーブを修正するなどの手法や、ヒストグラム平坦化などによるコントラスト強調の手法が採られてきた.手動によるトーンカーブ修正などの方法は、経験や試行錯誤による職人的なもので一般化は困難な一方、ヒストグラム平坦化では一定の効果は得られるものの、鮮明な復元は困難である. 本研究では、人工衛星による資源探索などの領域で開発され、考古学でもロックアートなどの分野で活用されている無相関ストレッチと呼ばれる手法を用いて画像の鮮明化を行うとともに、深層学習技術を活用したCycleGANと呼ばれる手法で無相関ストレッチ手法によって生じた色相の変化の復元を試みた. 無相関ストレッチは,主成分変換とKarhunen-Loeve変換という2つの密接に関連したデータ変換技術を適応,拡張したものである.Karhunen-Loeve変換は,多次元空間における線形変換(回転)であり,変換ベクトルは元のデータの共分散行列の固有ベクトルとして定義される.本研究では、オープンソースの画像編集ソフトImageJのプラグインDStretchを利用する.DStretchでは画像のRGB色空間を別の色空間に変換してから無相関ストレッチを適用することで画像の鮮明化の効果を強化しているが、結果として色空間に変化が生じるため、画像復元の目的にはそのまま用いることができない.そこで我々は深層学習を用いた画像生成技術であるCycleGANに注目した.深層学習による画像生成は、画像の高精細度化や白黒画像のカラー化などにも活用されているが、pix2pixなどこれまで利用されている技術では、その学習に変換元の画像と変換後の画像のペアが必要であった.しかしながら、文化財復元の目的では、褪色前後の画像をペアで用意することはほぼ不可能である.CycleGANは順方向と逆方向の変換器を同時に学習させることで、学習に1対1の対応画像を不要にしたものである. 最初の対象物としては木簡を使用した.汚れや褪色などによって判読不可能となっている木簡から文字を判読可能な状態に復元できれば意義が大きいだけではなく、本研究の手法の有効性を判断するのに適していると考えたからである.今回は、少量の木簡画像を用いて、無相関ストレッチによる画像鮮明化の効果を確認し、CycleGANによって色相の復元が可能かどうかの実験を行い、その効果と課題を検証した.