横田研究室ホームページより引用
研究室の概要
東京工業大学大学院情報理工学院の横田研究室は、世界最大級のスーパーコンピューターを活用して、深層学習や自然言語処理のような最先端の研究を行う研究室です。
研究室を運営する横田教授は高性能計算、深層学習の研究者で、スパコン界のノーベル賞とも称されるACMゴードンベル賞の受賞歴もある日本でも有数の研究者です。
メディアへの出演歴もあり、2023年にはガイアの夜明けへの出演歴もあります。
研究室の特色
日本でも有数の深層学習の研究室である、横田研究室の特色を紹介します。
豊富な研究資源
横田研究室の特色として、豊富な計算資源を有していることがあります。
横田研究室では、東工大のTSUBAME、東大のWisteria BDEC、産総研のABCI、理研の富岳など国内最大級のスーパーコンピューターを利用できます。
これらのスーパーコンピューターを用いることで、通常の研究室の計算機環境では何週間もかかる計算を横田研究室では数時間で行うことが可能になります。
横田研究室ホームページより引用
横田研究室ではこのような豊富な計算資源を生かした、大規模分散並列計算を様々な分野に応用する研究を行っています。
大規模計算を深層学習に生かすためのアルゴリズムや実装方法の開発はその研究内容の一つです。
多くの共同研究プロジェクト
横田研究室には深層学習や科学技術計算に留まらず、様々な研究分野でスパコンの膨大な計算資源とノウハウを活かすことができる強みがあります。
そのため幅広い分野における共同研究を行っています。
具体的には、学内外の研究室や企業と共同で、Neural Architecture Search、継続学習、自己教師あり学習、逆強化学習など多岐にわたるテーマでプロジェクトに参加しています。
自分で新しい研究テーマを見つけた場合にも、共同研究者と連携することで適切なサポートが得ることが出来るでしょう。
研究内容
幅広いテーマの研究を行う横田研究室の、代表的な研究テーマを紹介します。
大規模言語モデル(LLM)の事前学習
横田研では世界最大級のスパコンを活用した、大規模言語モデルの事前学習に取り組んでいます。
言語モデルの事前学習とは、大量のテキストデータを使って、モデルが言語の基本的な構造、文法、単語の意味などを学習するプロセスのことです。
このプロセスを通じて、モデルは文章を生成したり、テキストに関する様々なタスクを解決する能力を獲得します。
LLMの事前学習には膨大な計算資源が必要になるため、このようなスパコンの利用が不可欠となります。
自然言語処理研究の共通の基盤となるMegatron-DeepSpeed、GPT-NeoXなどのフレームワークを異なるスパコンで効率的に動作させ、環境構築や大規模学習の安定化の橋渡しできるグループがいることは非常に重要です。
人工画像による大規模画像モデルの事前学習
横田研究室では言語モデルだけでなく、大規模画像モデルの事前学習にも取り組んでいます。
画像データは現在、大規模事前学習に用いられているJFTやLAIONなどの大規模実画像データセットにおいて、法令遵守と共に倫理面が重要課題となっています。
しかし、数式から生成されるフラクタル画像のような人口画像はこのようなリスクは皆無です。
これまで産総研との共同研究において、このような人工画像を用いてもImageNet-21kなどの実画像によるVision Transformerの事前学習と比べて、同等事前学習効果が観測されています。
横田研究室ホームページより引用
ベイズ双対理論を応用した継続学習
現在の言語モデルの事前学習の問題点として、最新のデータを用いて継続的に学習することが出来ないということがあります。
この課題を解決する理論としてベイズ双対理論があります。ベイズ双対理論は、ベイズ統計学の枠組みの中で、特定の統計的推定問題において異なる方法で得られる結果がどのように相関しているか、または「双対」関係にあるかを記述する理論です。
ベイズ双対理論を応用することで継続学習の研究を大きく進展させることができる可能性があります。
理研AIPとの共同研究では、忘却の起きにくい継続学習について数学的な観点と高性能計算の観点の両方から検討をおこなっています。
この他にも高性能計算を機械学習、深層学習に応用する様々な研究が行われています。
詳しい研究内容や過去の論文を閲覧したい方は横田研究室のホームページの研究内容紹介のページをご覧ください。
配属希望の方向け情報
横田研究室に配属希望の方向けの情報をまとめました。
入試関連情報
横田研究室に参加するには、東京工業大学工学院情報工学系情報工学コースを受験する必要があります。
詳しい入試情報に関しては東京工業大学工学院情報工学系情報工学コースを確認することをお勧めします。
参加インターンシップ
横田研究室ではインターンシップへの参加を積極的に推奨しています。これまで所属してた学生のインターン先の代表例を紹介します。
- サイバーエージェント
- メルカリ
- 野村総合研究所
- Yahoo! Japan
国内有数のIT、およびメガベンチャー企業内定者を数多く輩出しています。
このような有名企業のインターンシップに参加するチャンスをつかめることも横田研究室の魅力だと言えます。
アクセス
横田研究室の所在地は東京工業大学大岡山キャンパス石川台9号館2F 212号室となっています。
最寄り駅である大岡山駅からはやや離れているため注意してください。
まとめ
この記事では東京工業大学工学院情報工学系情報工学コースの横田研究室について、研究室の研究内容や配属希望の方向け情報、研究室教授からのメッセージを紹介しました。
スーパーコンピューターの高性能計算技術を活用した、深層学習や画像処理技術と、その応用システムに興味がある方に横田研究室がおすすめだと言えます！
横田研究室への参加を考えている方や、より詳しい情報が知りたい方は、研究室やは東京工業大学工学院情報工学系ホームページを参照ください。
