Datadog 开源 Toto 2 时序预测模型:首次在时序领域验证 Scaling Law
Datadog 近日发布开源时序预测模型家族 Toto 2,包含 4M、22M、313M、1B 和 2.5B 五个参数规模版本,全部采用 Apache 2.0 协议开源。这是首个在时间序列领域验证了缩放定律(Scaling Law)的基座模型家族——即单纯扩大模型规模即可稳定提升预测能力,且在 2.5B 参数节点仍未见能力饱和。
在此之前,时序领域长期缺乏像语言大模型那样明确的规模效应规律,研究者往往需要针对具体任务和数据特性进行复杂的模型设计与调优。Toto 2 的出现标志着时序预测进入了"规模化驱动"的新阶段。
性能表现:三大基准测试榜首
在 BOOM、GIFT-Eval 和 TIME 三大主流预测基准测试中,Toto 2 均占据榜首位置。尤其值得注意的是,其 22M 参数版本的性能已经在所有核心测试中超越了初代 Toto 1.0——参数量仅为其七分之一,却实现了全面超越,展现出极高的参数效率。
技术突破:连续图块掩码 + 单次前向传递
精度提升之外,Toto 2 还引入了连续图块掩码机制(continuous patch masking),将传统的自回归生成方式改为单次前向传递(single forward pass)预测。这一改变大幅加快了推理速度,据官方数据,313M 参数版本的推理延迟已与 120M 参数的同类模型 Chronos-2 基本持平。
跨领域泛化能力
Toto 2 的预训练语料仅由系统监控指标和合成数据构成,并未使用任何公开的通用时序数据(如金融、气象等领域的公开数据集)。尽管如此,它依然在涵盖广泛领域的通用预测榜单上夺冠,展示了强大的零样本跨领域泛化能力。
这一特性对于可观测性场景(如 IT 监控、应用性能分析)具有重要实际意义:企业可直接将模型部署于自身监控数据,无需额外训练即可获得高质量预测。
行业意义
Toto 2 的发布为时序预测领域树立了新的里程碑。它不仅证明了时序模型同样存在类似语言模型的规模效应,还以完全开源的方式降低了行业应用门槛。随着 2.5B 参数版本仍未达到能力饱和,后续更大规模的迭代值得期待。