2024-05-20

岡崎研究室【東京工業大学大学院情報理工学院】

岡崎研究室

研究室の概要

東京工業大学大学院情報理工学院の岡崎研究室は、自然言語処理（Natural Language Processing、NLP）、すなわち言葉を操るコンピュータの研究を中心に行っています。

言語学、統計学、機械学習の知識を用いながら、コンピュータによって人間の言語を理解、生成する大規模言語モデルを開発することを目指し、さらにビッグデータ解析による社会観測など、研究成果の実社会での応用も展開しています。

主な研究分野を下記にご紹介します。

岡崎研究室の代表的な研究内容として、大規模言語モデル 「Swallow」 の開発があります。

Llama、Swallow

日本語に強い大規模言語モデル 「Swallow」 を公開した、日本の自然言語処理のおけるトップの研究室です。
Swallowは英語に特化したLlama 2モデル（7B, 13B, 70Bバージョン）の日本語能力を拡張することを目的としています。

岡崎研究室の研究チームは新たに開発した日本語データによる学習を実施しました。
2023年12月時点で、日本語に関して最高性能を達成したとされ、baseバージョンと指示チューニングを施したinstructバージョンの合計6種類のモデルが公開されています。

岡崎研究室では自然言語処理技術そのものに対する研究も行っています。

自然言語処理技術は大きく、コンピュータによる言語の理解を目指す自然言語理解と、コンピュータによる文章の生成を実現する自然言語生成の2分野に分けられています。

自然言語理解
岡崎研究室では主に固有表現認識や関係抽出、語義曖昧性解消、感情分析などのタスクに取り組みながら、コンピュータがテキストデータを自動的に分析する研究を進めています。
自然言語生成
岡崎研究室では、機械翻訳や自動要約、文法誤り訂正、広告文生成などのタスクに取り組んでいます。

マルチモーダル処理は、テキストデータだけでなく、画像、音声、ビデオなど複数の異なる形式のデータを組み合わせて分析や予測を行う技術のことを指します。
例えば画像に自動でキャプションをつける技術がマルチモーダル処理にあたります。

岡崎研究室では、主に画像と言語を対応付けた機械翻訳や説明文生成などのタスクに取り組みながら、マルチモーダル処理の研究を進めています。

マルチモーダル処理
岡崎研究室ホームページより引用

岡崎研究室ではセミナーが定期的に開催されます。セミナーでは総合研究会、論文輪読、基礎勉強会が主に行われます。

総合研究会
発表者の各自の研究について内容の紹介を行い、その内容について議論、情報交換を行います。
論文輪読
発表担当者が見つけた興味ある論文を発表、紹介する会です。
基礎勉強会
自然言語処理や機械学習など，研究に必要な知識を身に着けるための勉強会です。具体的な教材として言語処理100本ノックというのがあります。
これによって自然言語処理の課題に取り組みながら、プログラミングやデータ分析などの基礎的な能力を身に着けます。