首个次二次方大模型SubQ登场,瞄准超长上下文处理
AI基础设施初创公司SubQ于近日宣布推出基于完全次二次方稀疏注意力架构(Sub-Quadratic Sparse Attention, SSA)的大模型SubQ,同时发布代码智能体SubQ Code。这是业界首个宣称原生支持1200万token超长上下文的前沿级大模型。
核心技术突破
传统Transformer架构在处理文本时需计算所有词元间的关联,导致算力消耗随上下文长度呈平方级增长,成为大模型扩展的主要瓶颈。SubQ表示,其稀疏注意力架构通过仅提取少数关键联系来解决这一问题。
根据官方披露的数据,在1200万token规模下,新架构将计算量削减近1000倍;在100万token长度时,处理速度是FlashAttention的52倍。
基准测试表现亮眼
SubQ同时公布了与当前主流高端模型的对比测试结果:
- MRCR V2评测(100万token):SubQ准确率达83%,超越Claude Opus 4.6(76%)和GPT-5.4(约36%)
- SWE Bench Verified测试:SubQ取得82.1%,同样高于两家竞品
- 1200万token极限「大海捞针」测试:官方称SubQ维持92%的准确率
商业化策略
SubQ API兼容OpenAI格式,定价为每百万token 0.08美元。SubQ表示,这一极具竞争力的定价旨在快速抢占企业市场。
关于SubQ公司
SubQ由Alexander Whedon担任联席创始人兼CTO。目前SubQ已开放早期访问,具体商业细节和模型权重开放时间尚未公布。