ELYZA、2024年10月25日に日本語性能を強化した新モデルを発表

ELYZAが開発した最新の日本語モデル「Llama-3.1-ELYZA-JP-70B」について

2024年10月25日、株式会社ELYZA（代表取締役：曽根岡侑也）は、同社が提供する大規模言語モデル「ELYZA LLM for JP」シリーズの最新モデルとして、Meta社の「Llama 3.1」をベースにした700億パラメータの「Llama-3.1-ELYZA-JP-70B」を発表しました。このモデルは、日本語の追加学習を行い、日本語性能を大幅に向上させたことが特徴です。

さらに、従前から公開していた「ELYZA LLM for JP｜デモ版」の基盤モデルも、この新しいモデルに差し替えられています。これにより、ユーザーはより高性能な日本語モデルを体験することが可能となります。

新モデルの特徴と技術的背景

「Llama-3.1-ELYZA-JP-70B」は、Meta社の「Llama-3.1-70B」を基に、日本語の追加事前学習と指示学習を行ったモデルです。このモデルは、元の「Llama-3.1-70B」からの性能向上が図られており、特に長文の処理能力が向上しています。

また、指示追従能力の改善も実施されており、これにより日本語での自然な会話や応答が可能となっています。以下は、このモデルの主な技術的特徴です：

• 700億パラメータを持つ大規模モデル
• 日本語による追加学習を実施
• 長文の処理能力の向上
• 指示追従能力の改善

「ELYZA LLM for JP」シリーズの概要

「ELYZA LLM for JP」は、株式会社ELYZAが提供する大規模言語モデル群の総称です。このシリーズは、グローバルモデル以外の選択肢を提供し、主にセキュリティやカスタマイズ性を重視する企業に向けて開発されています。

具体的には、企業が自社サービスや事業にLLMを組み込むための安全なAPIサービスや共同開発プロジェクトを通じて、様々な形態で提供されています。最新モデルである「Llama-3.1-ELYZA-JP-70B」は、このシリーズの一環として位置付けられています。

デモ版の利用について

「ELYZA LLM for JP｜デモ版」は、ユーザーが新しいモデルを体験できるプラットフォームです。ただし、アクセスが集中することがあるため、リクエストが処理されるまで待ち時間が発生する場合があります。これにより、ユーザーは実際の使用感を体験し、モデルの性能を確認することができます。

今後の展望と研究開発の方向性

株式会社ELYZAは、これまでの「ELYZA-japanese-Llama-2-7b」から継続して「Llama」シリーズの日本語化に取り組んでおり、今後も海外のオープンなモデルの日本語化や独自のLLMの開発に投資を続けていく方針です。

これらのモデルの公開と提供を通じて、国内におけるLLMの社会実装の推進や研究開発の発展を支援していくことを目指しています。特に、企業との共同研究やクラウドサービスの開発を通じて、先端技術の研究開発を進め、企業成長に貢献することが期待されています。

株式会社ELYZAの企業概要

株式会社ELYZAは、2018年9月に設立され、東京都文京区に本社を置いています。代表取締役は曽根岡侑也氏であり、企業の理念は「未踏の領域で、あたりまえを創る」というものです。主な事業内容は、AIリサーチ＆ソリューション事業およびAI SaaS事業です。

同社は、企業との共同研究やクラウドサービスの開発を通じて、大規模言語モデルの導入実装を推進しています。

まとめ

株式会社ELYZAが開発した「Llama-3.1-ELYZA-JP-70B」は、日本語性能を大幅に向上させた大規模言語モデルであり、企業向けに様々な形態で提供される予定です。このモデルの導入により、国内におけるLLMの社会実装が進むことが期待されます。

以下に、今回の発表内容をまとめた表を示します。

このように、ELYZAの取り組みは今後のAI技術の発展に大きく寄与することが期待されています。