科技巨頭字節跳動（ByteDance）於 2025 年 8 月 20 日發布了其最新的開源大型語言模型（LLM）Seed-OSS-36B，此舉標誌著人工智能領域的一項重大進展。該模型擁有驚人的 512,000 個詞元（token）上下文窗口，並引入了創新的「思考預算」（thinking budget）機制，旨在為開發者提供一個靈活且高效能的替代方案，以應對專有模型並推動 AI 創新。
Seed-OSS-36B 的發布展現了字節跳動在 AI 領域的雄心，使其能夠與 OpenAI、Google 和 Alibaba 等行業領導者競爭。根據字節跳動發布的基準測試結果，Seed-OSS-36B 在 MMLU-Pro、TriviaQA、BBH、GSM8K、MATH 和 HumanEval 等多項關鍵指標上，均能與同等規模的競爭對手模型相媲美，甚至有所超越。特別是在 BBH 推理能力基準測試中，Seed-OSS-36B 創下了開源模型的新紀錄，展現了其卓越的技術實力。
該模型提供三種變體：seed-36b-base（合成數據版）、seed-36b-base（非合成數據版）以及 seed-36b-instruct。其中，合成數據版本在基準測試中表現更為強勁，這歸功於其在預訓練階段納入了合成指令數據。字節跳動的 Seed 團隊特別提供了兩種基礎模型版本，以滿足研究社群對模型純淨度和性能的不同需求。
Seed-OSS-36B 採用 Apache-2.0 許可證發布，這意味著它允許免費用於研究和商業目的，包括修改和再分發。此舉不僅降低了開發者和企業使用先進 AI 技術的門檻，也促進了 AI 生態系統的開放與協作。開源模式的採用，也與中國科技公司在全球 AI 競爭中，透過開放性來擴大影響力的戰略方向一致。研究顯示，採用開源 AI 工具的企業，其投資回報率（ROI）通常高於使用專有模型的企業。
Seed-OSS-36B 的 512K 詞元上下文窗口是其最引人注目的特點之一。這使得模型能夠處理和理解極大量的資訊，對於法律文件審閱、長篇報告分析、複雜程式碼庫理解等需要深度語境的應用場景至關重要。相較於當時主流開源模型的 128K 詞元上下文，Seed-OSS-36B 的上下文能力是其四倍之多。此外，「思考預算」機制允許用戶根據任務的複雜性來控制模型的推理深度，從而優化推理效率和計算資源的使用。例如，對於簡單任務可設定較小的預算以快速獲得回應，而對於複雜的數學推理或程式碼生成，則可分配更大的預算以獲得更深入的分析。
字節跳動此舉不僅鞏固了其在 AI 領域的地位，也為整個開源 AI 社群注入了新的活力。透過提供這樣一個功能強大且易於獲取的模型，字節跳動有望加速 AI 技術的普及和創新應用，為各行各業帶來變革性的影響。