［プロフィール］
京都工芸繊維大学大学院工芸科学研究科修士課程修了。同大学工芸学部助教授と情報科学センター助教授を経て、2004年10月より龍谷大学理工学部情報メディア学科へ、現職に至る。画像処理工学において、画像確率モデルを基礎とした劣化画像復元および鮮明化を研究、現在は、主にディジタル画像の鮮明化処理・画質改善処理の研究を行っている。

確率的な数学モデルを用いた
復元・鮮明化の画像処理アルゴリズムを研究

• 焦点ずれ画像や運動劣化画像の復元を研究
• 劣化JPEG画像の鮮明化を研究
• 布の汚れの鮮明化画像処理を研究

研究の特徴は、数学モデルに基づいた画像処理アルゴリズムを開発するところにある。劣化画像復元では、劣化画像の劣化パラメータを推定し、劣化画像が満たすべき評価基準を考案し、その評価基準を最大化する復元画像を、劣化画像から求める。いかにして原画像に近い復元画像を求めるかがカギとなる。この劣化画像復元の研究は、防犯ビデオにおける被疑者画像の解析など、社会で実際に用いられている。近年は、ディジタルカメラの普及などにより、ディジタル画像が多方面で利用されるようになった。また、アナログからディジタルへの移行により、防犯・防災はもとより品質管理や遠隔監視・観測ほか、さまざまな事業分野で、ディジタル画像は、飛躍的に活用のフィールドを拡大しつつある。このような背景において、画像処理技術が担う役割にも新たな可能性が広がっている。
これまで各方面から依頼を受け復元処理に携わってきた経験と実績を元に、画像の鮮明化の研究を発展させ、多くのパートナーとの連携によって、広く社会で機能する画像処理技術を研究している。

数学的な理論に基づく劣化パラメータ推定と復元処理
エッジなどの画像の特徴を考慮して、原画像を推定

劣化画像の復元技術は決して新しい分野ではなく、1960年代からすでに研究されてきた。画像は、決して一様なものでなく、平坦な部分やさまざまな角度のエッジがあったりする。そのような画像の局所的な性質を用いて、劣化画像を復元する。この手法に、確率過程を発展させた画像数学モデルを活用しているのが大きな特徴である。

劣化画像では、画素(「点」)が、焦点ずれによって「円」になったり、カメラと被写体との相対的な運動によって「線」に延びたりしている。これを数学的な方法で「点」に復元していくのであるが、劣化画像つまり出力しかわからないために、原画像つまり入力を推定しなければならない。数学の中でも、入力から出力を求める順問題とは反対の逆問題という難しい問題を解くことになる。もうひとつ問題となるのが、焦点ずれで点が円状に広がっている場合、その円の半径をいかに正確に求めるかである。復元処理に用いる半径の誤差は0.1画素未満でなければならないが、本当の値が分からないため、精度よく推定しなければならない。従来は、復元処理をする技術者が、経験により復元処理に用いる半径を設定していた。

ここに数学モデルに基づく手法として、劣化画像の劣化パラメータを推定する方法を研究し、コンピュータにより自動化することに成功した。これまでこのような処理を自動化する研究はほとんど例がなかったが、最も可能性の高い半径を、画像処理アルゴリズムとしてプログラムで求めることに成功した。運動による劣化も「点」がどれほどの長さの線になっているかを、同様に推定することで復元できる。

例えば、サーキットでの運動劣化^※画像の復元例では、劣化していない地面はそのままに、時速100km以上で走行し横に流れているマシンの部分を復元する。運動劣化部分を取り出して、1画素あたり何画素横にずれているかを推定し復元することで、原画像を求めることができる。また、部分的焦点劣化^※画像の復元例では、奥の建物にピントが合っていて手前の人形は焦点ずれをおこしている。これも焦点ずれ領域を抽出し、復元処理を行っていく。

実際に復元処理を求められる劣化画像は、さらに条件が悪いことも多い。そこで、復元処理の研究では、復元画像の画質を向上させるために、画像を構成する画素を、平坦部とエッジ部に分けて、復元処理を行うことにより、平坦部はよりなめらかに、エッジ部はよりシャープに復元することも実現した。これによって、画素ごとの特徴を考慮できるようになり、復元処理自体の精度を高めることができた。

※ 運動劣化
被写体とカメラとの相対的な運動による劣化

※ 部分的焦点劣化
例えば被写体に焦点が合ってなく、背景に焦点が合っているような劣化

難易度の高い劣化JPEG画像の鮮明化
焦点ずれや運動劣化とJPEGの符号化・復号化による複合的な劣化画像

現在、ディジタルカメラの記録は、ほとんどJPEG形式である。早期よりこのJPEG画像に取り組み始めたが、アナログ画像と比べて難易度の高いものであった。当初は、研究者の間からも、従来のような復元画像を得ることは不可能とする声もあった。焦点ずれ、手振れというアナログ同様の物理的な劣化が入るほか、JPEG形式で圧縮・復号すると、高い周波数など細かい成分が落ち、ブロック状にノイズが入るといった問題が加わったことで、問題が複雑になっている。より高度な劣化過程のモデルを要するとともに、より高度な信号処理なども必要となる。

現在、焦点ずれ、手振れなどの物理的な劣化とデジカメのJPEGの複合的な劣化を受けた劣化画像を、ある程度鮮明化できる段階にきている。シミュレーションでは有効性が確認でき、学会発表できるようになった。今後、これにパラメータ推定の研究を行っていくことで、ここでもやはり画像処理の技術者の判断を必要とせず、計算機による自動化処理を目指している。

京都の地元産業に技術支援
技術者向けセミナーでさらにニーズを収集

地元への技術支援のひとつに、京都府中小企業技術センターとの取り組みがある。現在、数少なく貴重な存在となった京都の着物クリーニング店で、全国から送られてくる着物などの汚れを、鮮明化する画像処理の研究を行っている。 シミや汗などの汚れを判別しやすくするため、照明にブラックライトを使って、預かった着物を撮影し、コンピュータ上でRGB画像に対して主成分分析を行う。これによって、肉眼では判別しにくい汚れ部分を鮮明化することができる。

また、私は毎年夏と冬の時期に数回、企業の技術者向けのセミナーで講演を行っている。そこでは、各種メーカーの技術者が多数参加し、直接、技術的な話ができる。今やさまざまな分野で画像が利用されており、実際に具体的な問い合わせを受ける。また、カメラ技術に関する興味深い話などいち早く耳にすることができるので、今後もこのような機会を大切にしていきたい。

これまで私は、防犯ビデオ画像処理システムの構築、コンピュータ・セキュリティー・インシデントの対応に関する研究、不正アクセス解析装置の研究開発など、多くの産学連携の機会を得てきた。さらに、前述の着物クリーニング店の例は、これまでの劣化画像処理とは、全く鮮明化の意味合いが違うものであるが、数学モデルに基づく研究を、さらに幅広いニーズに応用し展開させていくひとつのきっかけとなった。

布の汚れの鮮明化

原画像

第2成分