logo_nn2.png

研究トピック紹介

logo_tens2.png

深層学習の数理

現代的複雑データ解析

logo_gauss_edited.png

高次元ガウス近似

深層学習の数理

 近年、人工知能(AI)が大いに発展し、基礎研究から実社会の至る所で、AIによる変革が起こっています。この革新を可能にしたのは、深層学習と呼ばれる情報処理技術の発明です。深層学習によるデータ予測精度は既存技術を大きく上回り、その性能に基づく信頼性が、自動運転や医療診断と言った新しい技術を可能にしています。

 しかし、なぜ深層学習がここまで高い性能を発揮できるのかは、未だ多くの謎が残されています。実際に用いられる深層学習は、数千万個のパラメータを持つ大規模な数理モデル(多層ニューラルネットワーク)を用います。しかし、深層学習が登場する前の統計・機械学習の理論は、このような大規模モデルはデータの不確実性に対して脆弱で性能は悪化するとされ、中・小規模の数理モデルを使うことが正当化されてきました。このように、深層学習は既存の理論と矛盾する方法で、高い性能を達成しているのです。

 本研究室では、この深層学習の原理を記述する新しい理論体系の構築を行っています。成果の例としては、データが特異性と呼ばれる性質を持つとき深層学習のみ性能を劣化させないことや、損失関数の極限の性質が深層学習の不安定性の解消を説明できることを数学的に示しています。しかし深層学習に関わる謎は未だ多く、研究課題はまだまだ尽きません。

論文

記事等

深層学習と
非​滑らかさ
深層学習と
​固有次元
汎化誤差と
​不変性
朝日新聞
​GLOBE+記事
IBIS2019
​講演スライド
ISM75周年
​講演スライド
 

現代的複雑データ解析

 複雑データと呼ばれる新しい形式のデータ解析手法の研究開発を行っています。古典的な統計解析は、データがベクトル(ユークリッド空間の要素)であることを前提に開発されてきました。しかしビッグデータ時代では、データの収集・保存のための情報技術が飛躍的に進化した結果、ベクトルでは表現しきれないデータが多く登場にするようになりました。例えば、センサーから得られる生物の行動ログは無限次元の関数データとみなされ、複数のセンサーから得られた脳波は立体行列状のテンソルデータとして取り扱われ、どちらも通常のベクトルとして扱うと解析上の不都合が発生します。

 これらのデータを扱うには、まずデータの構造を適切に捉える数学的概念を整理した上で、理論的に自然な手法を開発する方法があります。本研究室では、テンソルの線形構造や関数の確率過程としての構造を用いて、高精度・低コストで複雑データを解析する手法を開発しています。

論文

関数データと
​作用素推定
高次テンソルの
特殊分解と補完​
グラフ極限と
​密度関数推定
 

高次元ガウス近似の応用

 高次元ガウス近似とは、数理統計分野で近年開発された、高次元・無限次元ベクトルに関する統計量の近似方法です。通常、統計的推論(検定やp値を計算して統計分析の結果の信頼性を評価すること)は極限分布を用いることが多いですが、この分布を得ることが困難な場合は推論そのものが出来ない場合がありました。しかし、高次元ガウス近似を用いると、極限分布を用いることなく統計量の不確実性を計算することができ、結果的に従来よりもかなり広い状態で推論を行うことが可能になります。

 本研究室では、この高次元ガウス近似の利点を用いて、これまで実現が難しかった統計的検定・推論手法の開発を行っています。例えば、特殊な距離関数の元での適合度検定や、規準関数最大化(最小化)で定義される推論法の開発を進めています。 

論文

Wasserstein距離の
​統計的推論
 

© 2020 by Imaizumi Lab. Proudly created with Wix.com.