現在、AI技術は邁進し、自動運転、画像認識、音声認識、自然言語処理、文化遺産の保護などの様々な分野で応用され、
人々に安全安心豊かな生活をもたらしてきた。一方、AI技術でよく使われている深層学習において、大量な計算が必要となるため、
膨大なパラメータにより、膨大なパラメータが生じてしまう。
それにより、深層学習において、冗長計算が多く、メモリ不足、電力消費、時間消費などの問題は、AIの応用を制限されている。
本研究は、ソフトウェアとハードウェアを協調した高性能AIの実現を目指す。
1. AIが、AIをよりコンパクトし、より賢くする
本研究は、学習データを自動的に拡張し、そして、適切な学習データを選択し、モデルの学習を行う。
学習中には、モデルの冗長計算を自動的に掃き出してから、モデルのプルーニングを自動的に行う。
それにより、AIがAIをよりコンパクトし、より賢くする、よりコンパクトにする。下図は研究のイメージを示す。
2. FPGA-DPUによる深層学習の高速化/FPGA-HLSによる深層学習の高速化
DPU (Deep Learning Processor Unit) は、たたみ込みニューラル ネットワーク用のプログラマブル エンジンである。
複数の既存モデルは、FPGA DPU上での実装が実現した。
本研究は、既存のモデルをプルーニングを行い、更なるコンパクト化を行うことにより、深層学習をDPU上での高速化を図る。
HLS コンパイラとは、FPGA に対して最適化された高位合成ツールである。
HLSは、C や C++ 言語のソフトウェア・プログラミング言語から FPGA へ実装するための回路を作成する。
本研究は、高位合成を使用し、FPGA上では深層学習のハードウェアデザインを実装することにより、AIの高速化を図る。
下記のビデオは、モデルの枝刈りからFPGAを用いた画像認識までの行程を示す。
3. プロセッサアーキテクチャ
プロセッサアーキテクチャはコンピュータサイエンスの基盤技術である。技術の進化と応用範囲拡大のため、更なる速度の向上が必要である。
我々は、アーキテクチャレベルでのプロセッサ高速化を図ってきた。プロセッサの高速化に悪影響するデータ依存と制御依存に対して、
データ依存と分岐依存を提案し、それらの問題の緩和を実現してきた。また、予測ミスにより生じたペナルティに対して、複数の提案を行ってきた。
アーキテクチャ技術は伝統的な基盤技術であるが、理解しにくい技術で、尚且つ、ソフトウェア技術のように幅広く使われていると言えないため、
重視しされていないケースが多い。しかし、より良いソフトウェアより良いシステムの構築のために必要である。
下図は、今まで提案してきたアーキテクチャの構成を示す。
未解読な古代文献がたくさん存在しているが、劣化などの原因で解読が難しい。また、これらの古代文献には、たくさんの潜在的な知識が隠されている。
本研究は、深層学習・ビックデータ解析・画像処理を用いて、日本の古典籍・中国の古代文献・インドの古代文献を解読し、アジア古代文化の再整理を行う。以下のサブテーマで構成される。
1. 深層学習を用いた甲骨文字の認識
甲骨文字は3000年以上前に中国殷代の象形文字であり、漢字の祖形とも言われている。甲骨文字の解読は、文字の起源、歴史の研究に対して非常に重要であるが、
劣化などが原因で認識しにくいという問題がある。我々は画像処理・深層学習などの手法を用いた甲骨文字の認識を目指している。
下図は、ハフ変換を用いた甲骨文字の線分特徴量を抽出し、対象とする甲骨文字とテンプレート間の線分特徴の類似度計算し、認識する手法である。
また、深層学習では、CNNの手法とSSDの手法が含まれている。CNNの手法は、一文字ずつを切り取ってから認識する手法である。
またSSDでは、文字のセグメンテーション（抽出）とクラシフィケーション（分類）を同時に行うことである。
それぞれの短所と長所があるので、皆さんの力で最適な手法を実現しましょう！
2. 深層学習とビックデータ解析を用いた拓本文字の認識と潜在的な知識の抽出
古代文献の解読、解析と知識の抽出は、歴史の整理、気候変動、および自然災害の予測対応などの研究に役立
つ。紙のない時代に、人々は石、金属、などの上に文章などを刻んで、重要イベント・事件・人などを記録する。この風習は長い間続けられてきた。
拓本は、これらものに紙を張って、墨で写し取ったもである。つまり、拓本は、一 番長い歴史を持つ重要な古代文献である。
しかし、拓本は年代に応じて様々な字体をもち、劣化が激しく、認識できないケースが多く存在する。また、現在拓本から潜在的な知識抽出の研究があまり進んでいない。
本研究では、拓本の文字を認識した上で、拓本のキーワードの時空間データベースを作成し、潜在的な知識を発見することにより、様々な分
野の研究に役立てることを目標とする。
下図は、深層学習とビックデータ解析技術を用いた、拓本文字の認識例である。左の未知拓本は、処理により右のように正しく認識できたことを示す。
3. 深層学習を用いたくずし文字の認識
日本古典籍は多くの情報を記録し、これらの古典籍の解読が、歴史、政治、文化の研究に非常に役に立つ。しかし、解読されていない日本古典籍は多く存在している。
近年、人工知能技術の急速な発展に伴い、研究者は日本古典籍に記録された情報を解読するために、深層学習を通じて日本古典籍の文字の認識を目指している。
しかし、日本古典籍にはくずし文字で記録されているケースが多く、これらの文字のバリエーションが多いため、文字の認識が非常に困難である。さらに、文字と文字が繋がっていることにより、古典籍の自動解読の難しさを増している。
本研究は複数の深層学習モデルを用いて、日本古典籍の自動認識を目指す。下図は、提案手法の一つである。
まず初めに、ARU-Netを用いて文章ラインを抽出する。そして、抽出された文章のラインに対して、文字大きさを推定し、ストライドして、文字の候補を切り取る。
最後に、LeNetを用いて、文字の候補から信頼度の高い文字を認識結果とする。
4. GANを用いた古代文献の修復
我々は今まで、深層学習というAI技術を用いて、甲骨字、拓本、日本古典籍の解読のために、古文字の自動認識を目指してきた。
しかし、虫食い、劣化、汚れなどでの文字欠損を生じているため、自動認識の難しさを増している。
本研究は、AI技術を用いて、古典籍などの文化財の文字欠損の修復を目指している。
詳細には、まず、斬新なAI技術である敵対的生成ネットワーク（GAN: Generative Adversarial Networks）を用いて、
甲骨字トレースから甲骨への復元を実現する。そして、その敵対的生成ネットワークを応用し、虫食い、劣化、汚れなどにより劣化された
日本古典籍の修復に試みる。それにより、より効率な文化遺産の保護と整理に貢献する。
1. 深層学習を用いた表情認識IoTシステム
超強度ワークに伴い、現代人は体調管理特に、疲れやメンタルヘルス管理が重要となる。
本研究は、 深層学習を用いた表情認識IoTシステムを実現し、表情認識から、疲れやメンタルの問題を早期に発見すること目指す。
それにより、安全安心快適なな社会作りの実現に貢献することを目指す。
詳細には、エッジ側に、人感センサーによる人を検出し、顔の抽出と人物の認識を行う。認識された人物情報と顔画像をクラウト（サーバー）に転送し、深層学習による顔の表情を識別。
蓄積された表情を用いて、表情の変化を定量に評価し、疲れやメンタルの状況を予測する。
深層学習を用いた表情認識のIoTシステム構成図.
深層学習を用いｄた表情認識のIoTシステム構成図.
2. どこでも、いつでも、認識できる（古代文献）
日本古典籍は多くの情報を記録し、これらの古典籍の解読が、歴史、政治、文化の研究に非常に役に立つ。
どこでも、いつでも、認識できることは、より簡単に整理できることになる重要な手法である。
また、多くの人々に関心してもらうことができると思う。
本研究は、IoT技術を活用し、どこでも、いつでも、古代文献を認識できることを目標とする。
主に、サーバーに深層学習の認識モデルを作成する。そして、認識ターゲットとする文献画像を、Webを通じて、サーバーに転送し、認識を行う。
また、アドロイトアプリケーションを作成し、タブレットなどの移動端末に、アンドロイドアプリケーションを用いた 。
webベースの認識システムとアンドロイドベースの認識システムにより構成する。
Webベース認識システム
1. AIとロボットによる下膳
労働人口減少している日本には、ロボットやAIを用いて、労働人口を代替することが重要課題となる。
本研究は、モバイルマニュピレータによる食器自動回収を目指す。
本研究は、移動ロボットのアームの先端にカメラを取り付け、撮影を行い、AIを用いた食器を認識し、食器の自動回収を自動的に実現する。
最後に、食器を厨房まで搬送します。
下膳デモ動画(Youtube)
食器識別アプリ
2. 医療診断支援への応用
我々は、AI技術を用いて、医療診断支援への応用を目指す。
本研究は、AI技術を用いて、高齢者のApathyの診断支援に貢献する。
Apathyとは、感情がなくなった状態で、うつやパーキンソン病にも生じることがあるため、早期の発見が非常に重要である。
本研究は、機械学習によりDoppler Radarのデータを分割し、機械学習により正常・非正常の判別を行ってきた。下図は、本研究のイメージを示す。
3. Covid-19に向けたソーシャルディスタンスとマスク着用チェックシステム
時代と産業の要請に応じて、敏感に発見し、迅速に対応でき、安全安心の社会の実現を目指す。
ここでは、私はCOVID-19のためのマスクとソーシャルディスタンスのチェックシステムの構築を行ってきた。
現在、実用化に向けた検討を行っている。
4. 金属劣化の予測
金属劣化の早期予測は、産業のリスク回避などに非常に重要である。本研究は機械学習を用いて、金属劣化を予測することを目指す。
