楽天、2024年3月に新AIモデル「Rakuten AI 2.0」をオープンソースで公開予定

楽天が発表した新たなAIモデルについて

楽天グループ株式会社は、2024年12月18日に新しいAIモデルを発表しました。この新モデルには、日本語に最適化された大規模言語モデル「Rakuten AI 2.0」と、楽天初の小規模言語モデル「Rakuten AI 2.0 mini」が含まれています。これらのモデルは、AIアプリケーションの開発を促進し、企業や技術者を支援することを目的としています。

両モデルは、来春を目途にオープンソースコミュニティに向けて公開される予定です。これにより、より多くの開発者が楽天のAI技術を利用できるようになり、様々なアプリケーションの創出が期待されています。

「Rakuten AI 2.0」の特長

「Rakuten AI 2.0」は、8x7BのMixture of Experts（MoE）アーキテクチャを採用した新しい日本語大規模言語モデルです。このモデルは、8つの70億パラメータから構成されるサブモデル「エキスパート」を持ち、トークンはルーターによって選定された最も適した2つのエキスパートによって処理されます。

このアーキテクチャにより、計算効率と性能が最適化され、8倍規模の高密度モデルに匹敵する性能を発揮しますが、消費計算量は1/4程度に抑えられています。これにより、効率的なAIアプリケーションの開発が可能となります。

パフォーマンス向上の取り組み

楽天は、LM-Harnessを使用して日本語と英語の能力測定を行い、モデル評価を実施しました。この評価では、「Rakuten AI 2.0」の平均日本語性能が「Rakuten AI 7B」と比較して8つのタスクで62.93から72.29に向上したことが確認されています。

このような性能向上は、楽天の技術者たちが日々取り組んでいるAI技術の革新によるものであり、今後のAIアプリケーションの発展に寄与することが期待されています。

「Rakuten AI 2.0 mini」の特長

楽天が初めて開発した小規模言語モデル「Rakuten AI 2.0 mini」は、15億パラメータの基盤モデルです。このモデルは、内製の多段階データフィルタリングおよびアノテーションプロセスを通じて、広範な日本語と英語のデータセットで学習されています。

「Rakuten AI 2.0 mini」は、コンパクトな設計によりモバイル端末への導入が可能で、データをリモートサーバーに送信することなく自社運用することができます。この特性により、プライバシーの保護や低遅延、コスト効率が求められる特定のアプリケーションにおいて、非常に有用なモデルとなっています。

実用的なアプリケーションへの活用

「Rakuten AI 2.0 mini」は、汎用アプリケーションに使用される大規模モデルと比べ、特定のニーズに応じた形で利用できるため、様々な業界での導入が期待されています。これにより、企業が独自のAIソリューションを開発する際の選択肢が広がります。

楽天グループのAIエンジニアリング統括部のジェネラルマネージャーであるリー・ション氏は、「『Rakuten AI 2.0』はMoEアーキテクチャを活用することで、従来モデルと比較して大幅にコストを削減しながら高性能な処理を行うという大きな進化を遂げました」と述べています。

今後の展望とオープンソースへの貢献

楽天は、最新のLLMおよびSLMをオープンなモデルとして提供することで、オープンソースコミュニティへの貢献を目指しています。これにより、日本語LLMのさらなる発展に寄与し、企業や技術者がより良いAIアプリケーションを開発できる環境を整えていく方針です。

また、楽天はAI化を意味する造語「AI-nization」をテーマに掲げ、ビジネスのあらゆる面でAIの活用を推進する取り組みを行っています。これにより、豊富なデータと最先端のAI技術を活用し、世界中の人々へ新たな価値を提供することを目指しています。

まとめ

楽天が発表した新たなAIモデル「Rakuten AI 2.0」と「Rakuten AI 2.0 mini」は、日本語に特化した高性能なAI技術を基盤としており、企業や技術者にとって非常に有用なツールとなることが期待されています。これらのモデルは、オープンソースとして公開される予定であり、多くの開発者が利用できるようになります。

これらの情報を通じて、楽天の新たなAIモデルの特長や活用方法について理解が深まることを期待します。