Research Topics

Cultural Heritage Preservation and Protection

Currently, a large number of ancient literatures have not been understood, and lots of potential knowledge has been hidden in these literatures. We aim to preserve and protect these cultural heritages by understanding the ancient characters and unlock the potential knowledge. The ancient documents include oracle bone inscriptions, cursive style, and soon on. The technologies include image processing, machine learning, deep learning, database, visualization, and so on.

AI based IoT systems

Recently, the Internet of Things (IoT) has attracted the interest of researchers all over the world. We try to realize the IoT systems for overcoming the current social issues such as aging society problem, environmental problem etc. In these researches, we apply machine learning and deep learning into IoT systems for detecting the danger and protecting the elderly persons in real-time, and design underwater drone for protecting the lake environment by detecting and observing exotic fish. The research of IoT systems also includes the field of edge computing and fog computing.

Processor Architecture and High-performance Computing

These topics include the research field of designing high-performance processor architectures such as superscalar processor, multi-core processor etc. In term of high-performance computing, we aim to design high-performance computing of image processing and other algorithms by FPGA.
研究テーマ1 深層学習を用いたアジア古代文献の解読と整理
                                  Keyword: 深層学習、ビックデータ解析、画像処理 

未解読な古代文献がたくさん存在しているが、劣化などの原因で解読が難しい。また、これらの古代文献には、たくさんの潜在的な知識が隠されている。 本研究は、深層学習・ビックデータ解析・画像処理を用いて、日本の古典籍・中国の古代文献・インドの古代文献を解読し、アジア古代文化の再整理を行う。以下のサブテーマで構成される。

1. 深層学習を用いた甲骨文字の認識
甲骨文字は3000年以上前に中国殷代の象形文字であり、漢字の祖形とも言われている。甲骨文字の解読は、文字の起源、歴史の研究に対して非常に重要であるが、劣化などが原因で認識しにくいという問題がある。 我々は画像処理・深層学習などの手法を用いた甲骨文字の認識を目指している。下図は、ハフ変換を用いた甲骨文字の線分特徴量を抽出し、対象とする甲骨文字とテンプレート間の線分特徴の類似度計算し、認識する手法である。 また、深層学習では、CNNの手法とSSDの手法が含まれている。CNNの手法は、一文字ずつを切り取ってから認識する手法である。またSSDでは、文字のセグメンテーション(抽出)とクラシフィケーション(分類)を同時に行うことである。 それぞれの短所と短所があるので、皆さんの力で最適な手法を実現しましょう!



2. 深層学習とビックデータ解析を用いた拓本文字の認識と潜在的な知識の抽出
古代文献の解読、解析と知識の抽出は、歴史の整理、気候変動、および自然災害の予測対応などの研究に役立 つ。紙のない時代に、人々は石、金属、などの上に文章などを刻んで、重要イベント・事件・人などを記録する。この風習は長い間続けられてきた。 拓本は、これらものに紙を張って、墨で写し取ったもである。つまり、拓本は、一 番長い歴史を持つ重要な古代文献である。 しかし、拓本は年代に応じて様々な字体をもち、劣化が激しく、認識できないケースが多く存在する。また、現在拓本から潜在的な知識抽出の研究があまり進んでいない。 本研究では、拓本の文字を認識した上で、拓本のキーワードの時空間データベースを作成し、潜在的な知識を発見することにより、様々な分 野の研究に役立てることを目標とする。 下図は、深層学習とビックデータ解析技術を用いた、拓本文字の認識例である。左の未知拓本は、処理により右のように正しく認識できたことを示す。


       
3. 深層学習を用いたくずし文字の認識
日本古典籍は多くの情報を記録し、これらの古典籍の解読が、歴史、政治、文化の研究に非常に役に立つ。しかし、解読されていない日本古典籍は多く存在している。 近年、人工知能技術の急速な発展に伴い、研究者は日本古典籍に記録された情報を解読するために、深層学習を通じて日本古典籍の文字の認識を目指している。 しかし、日本古典籍にはくずし文字で記録されているケースが多く、これらの文字のバリエーションが多いため、文字の認識が非常に困難である。さらに、文字と文字が繋がっていることにより、古典籍の自動解読の難しさを増している。 本研究は複数の深層学習モデルを用いて、日本古典籍の自動認識を目指す。下図は、提案手法の一つである。 まず初めに、ARU-Netを用いて文章ラインを抽出する。そして、抽出された文章のラインに対して、文字大きさを推定し、ストライドして、文字の候補を切り取る。 最後に、LeNetを用いて、文字の候補から信頼度の高い文字を認識結果とする。

研究テーマ2 深層学習を用いたIoTシステム
                          Keyword: 深層学習、画像処理、IoT、組込みシステム 

1. 水中ドローンによる魚の調査
近年、無人航空機(ドローン)技術が発展し、応用領域も拡大され、「空の産業革命」とも称されている。我々は水中ドローンも幅広く応用されると考え、水中ドローンの研究開発、及び応用を目指している。 琵琶湖の外来魚を調査するため、深層学習を用いた魚の自動認識も行い、80%の認識精度を達成した。下図に水中ドローンの動作の様子と魚画像及び深層学習での魚画像の拡張を示す。


2. 画像処理と深層学習による高齢化社会の見守り
著しく進んでいる高齢社会では高齢者の見守りが重要な課題となる。我々は画像処理と機械学習及び深層学習を用いて、高齢者の転倒をリアルタイムに検出し、親族や病院に通達することを目的とした高齢者の見守りシステムを研究しています。 また、本研究は、高齢者のみならず、社会インフラなどの劣化診断などにも応用できる。 下図には高齢者見守りシステムの構成と関連する検出例、及びコンクリート劣化の診断である。

研究テーマ3 高性能計算とプロセッサアーキテクチャ
    Keyword: FPGA、高性能計算、プロセッサアーキテクチャ、深層学習

1. FPGAを用いた深層学習の高速化
深層学習において、複数回の畳み込み層により構成され、特徴マップを作成している。また、畳み込み層の間に、プーリング層を用いて特徴マップの次元を削除する。しかし、これらの処理時間がないため、高速化する必要がある。 本研究では、FPGAでのパイプライン処理を実装し、畳み込みとプーリングの高速化を目指す。下図は、各処理文字のパイプラインと全体のパイプラインの実行フォローと、ハードウェア構成を示す。
2. プロセッサアーキテクチャ
本研究は、プロセッサアーキテクチャであり、下図には、分岐予測・値予測・分岐予想ペナルティの緩和などを示す。