この記事のポイント
この記事は、MITのJonathan Ragan-Kelley助教授が開発に関わっている次世代プログラミング言語について詳しく紹介しています。- 新しいプログラミング言語「Exo」は、最新ハードウェアの性能を引き出すための自動化と最適化を図る取り組みです。
- 「Halideプログラミング言語」は、ニューラルネットワークの計算に適しており、産業界で広く用いられています。
- 研究グループは、大規模言語モデルをより効率的に動作させる方法を探求しており、それがコスト削減や性能向上に寄与する可能性があります。
監修者プロフィール
坂本 将磨
Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。
コンピュータグラフィックスや画像処理技術は日進月歩で進化しており、それをサポートするプログラミング言語の重要性もまた高まっています。
本記事では、MITのJonathan Ragan-Kelley助教授が推進する次世代プログラミング言語の開発にフォーカスし、視覚AIシステムを効率的に動かすための言語「Exo」や、産業界で広く使用される「Halide」などの取り組みを詳細に解説します。
彼のチームが目指すのは、最新ハードウェアの性能を最大限に引き出し、肥大化するAIモデルをスリム化し、コスト削減や性能向上を実現することです。
本稿を通じて、プログラミング言語の進化がハードウェアの活用にいかに寄与しているかをご紹介します。
MIT助教授、視覚AI向けプログラミング言語の開発に着手
MITのJonathan Ragan-Kelley教授は、コンピュータグラフィックスやイメージの処理を、最新のハードウェアで効率良く行うためのプログラミング言語を開発しています。
彼が開発に関わったHalideプログラミング言語は、写真の編集や処理において業界で広く使用されています。
この言語は、特に数値の密集した配列（テンソル）を迅速に扱うために設計されており、ニューラルネットワークの計算にも適しています。
彼のチームは、プログラムがハードウェア上で効率的に動作するようにするために、新しいプログラミング言語やコンパイラマッピングの自動化に取り組んでいます。
新たなプログラミング言語Exoによる最適化と自動化
Ragan-Kelley教授率いる研究グループは、プログラミングの自動化と最適化を推進しています。彼らは「Exo」と呼ばれるプログラミング言語を開発しました。
この言語は、コンパイラのパフォーマンスを向上させるために、機械学習と現代のAI技術を使用して最適化されたスケジュールを自動生成します。
また、「エクソコンパイル」という手法を用いて、コンパイラを「内側から外側に反転させる」ような方法で、人間の指導とカスタマイズによる制御を可能にしています。
彼のチームは特殊なハードウェアに対応するためのスケジューラーを追加できるので、IBM Researchの機械学習アクセラレータのような特殊なハードウェアをターゲットにできます。
大規模言語モデルの効率化に向けた研究
Ragan-Kelley教授の研究は、AIハードウェア上での大規模言語モデル(LLMs)をより効率的に動かす方法を探求しています。
彼のチームは、「トランスフォーマーベースのモデルの計算とプログラムのアーキテクチャをわずかに変更することで、精度を犠牲にせずに効率良く運用する方法」を研究しています。
この研究は、コスト削減、能力向上、またはLLMsを小型化して、小さなコンピュータ上で動作させることに大きな利益をもたらす可能性があります。
教授は、計算効率とハードウェアに関して、長期的に価値があると考えています。
また、彼はMITでソフトウェアパフォーマンスエンジニアリングに関するコースを教えており、学生に最新のハードウェアシステムを最大限に活用する方法について指導しています。
出典:MIT
