ByteDanceは2025年8月20日、画期的なオープンソース大規模言語モデル（LLM）であるSeed-OSS-36Bを発表しました。このモデルは、512,000トークンという驚異的なコンテキストウィンドウと、推論の深さを柔軟に制御できる「思考予算」メカニズムを特徴としています。これにより、プロプライエタリモデルに代わる高性能な選択肢を提供し、AI分野におけるイノベーションを加速させることを目指しています。
Seed-OSS-36Bは、ByteDanceのSeedチームによって開発され、Hugging FaceとGitHubでApache-2.0ライセンスの下で公開されました。このライセンスにより、研究および商用目的での無料利用、改変、再配布が可能になります。モデルは、合成データを使用したバージョンと使用しないバージョンの2つのベースモデル、および指示チューニングされたモデルの3つのバリアントで提供されます。合成データを使用したバージョンは、より高いベンチマークスコアを示していますが、研究の純粋性を重視するユーザーのために、合成データを使用しないバージョンも用意されています。
このモデルの最も注目すべき点は、ネイティブな512Kトークンコンテキストウィンドウです。これは、DeepSeek V3.1などの主要なオープンソースモデルの128Kコンテキストウィンドウの4倍に相当します。この拡張されたコンテキスト処理能力により、Seed-OSS-36Bは、法律文書のレビュー、長文レポートの分析、複雑なコードベースの理解など、大量の情報を処理する必要がある専門的なシナリオに容易に対応できます。さらに、この512Kコンテキストは、後から人工的に拡張されたものではなく、事前学習段階でネイティブに構築されたものです。
「思考予算」機能は、ユーザーが推論の深さをトークン数で制御できる革新的なアプローチです。これにより、特定のタスクに合わせてモデルの動作を調整し、推論効率を高めることができます。例えば、簡単なタスクには短い思考予算を設定して応答を速くし、複雑な数学的推論やコード生成にはより大きな予算を割り当てることで、モデルにより深く考えさせることが可能です。ByteDanceは、モデルがこれらの間隔で広範にトレーニングされているため、512の整数倍（512、1K、2K、4K、8K、または16K）の値を使用することを推奨しています。
ベンチマークテストでは、Seed-OSS-36Bは、同規模のAlibaba Cloud、Google、OpenAIのモデルと同等またはそれ以上のパフォーマンスを示しました。特に、BBHベンチマークでの推論能力においては、オープンソースモデルの新記録を樹立しました。MMLU-Proスコアは65.1（Alibabaの58.5を上回る）、TriviaQAスコアは82.1、GSM8Kスコアは90.8、MATHベンチマークスコアは81.7、HumanEvalスコアは76.8を記録しています。
Seed-OSS-36Bのリリースは、ByteDanceがAI分野における主要プレイヤーとしての地位を確立し、特に長コンテキスト推論とエージェントベースのAIにおいて、イノベーションと競争を促進することが期待されています。オープンソースコミュニティへのこの強力なツールの提供は、AI技術へのアクセスを民主化し、さまざまな分野での進歩を加速させる可能性があります。このモデルは、効率性と高性能を両立させることで、AI開発の新たな方向性を示唆しています。