PrismML发布Bonsai Image 4B:体缩小8倍的端侧图像生成新方案
总部位于帕萨迪纳的AI初创公司PrismML(核心团队来自加州理工学院)近日开源了专为端侧设备优化的图像生成模型Bonsai Image 4B。该模型基于Black Forest Labs的FLUX.2 Klein 4B扩散Transformer打造,通过创新的1-bit与三值化(Ternary)量化技术,首次将高端图像生成能力带入笔记本电脑与智能手机等资源受限设备。
两种量化版本:极致压缩与性能平衡
Bonsai Image 4B提供两个压缩版本:
- 1-bit版本:核心Transformer仅0.93 GB,相比全精度版本(7.75 GB)缩小8.3倍。采用二元权重{-1, +1}配合FP16分组缩放因子,在Apple Silicon设备上的完整部署包为3.42 GB,专为低内存硬件设计。
- Ternary版本:核心Transformer为1.21 GB,缩小6.4倍。引入{-1, 0, +1}三值化权重,在保持低存储占用的同时提供更高的表达灵活性。完整部署包为3.88 GB。
性能表现:压缩后仍具竞争力
根据PrismML公布的评测数据,Bonsai Image 4B在大幅压缩体积后,在物体构图、人眼偏好、美学指标及复杂提示词遵循能力上,仍能与参数量大得多的主流图像生成模型抗衡。1-bit版本保留了全精度模型88%的性能,Ternary版本则保留了95%,展现出极低的精度损失。
对比同系列的大语言模型Bonsai 8B此前在iPhone上实现的44 token/s推理速度,图像生成模型的端侧部署难度更高,此次Bonsai Image 4B的实现标志着PrismML在「把大模型塞进消费级设备」这一方向上迈出了重要一步。
iOS应用Bonsai Studio:完全离线运行
PrismML同步推出了配套移动端应用Bonsai Studio,用户可在iPhone上实现全离线图像生成,运行过程完全在本地完成。该应用无需订阅,也不向云端发送任何API请求,真正实现了隐私保护的本地推理。
开源与许可
Bonsai Image 4B的1-bit与Ternary两个版本已以Apache 2.0开源协议发布,模型权重可在Hugging Face上获取。此举为开发者提供了在边缘设备上部署高质量图像生成能力的完整解决方案。
PrismML此前已开源1-bit大语言模型Bonsai 8B,该模型仅占用1.15 GB内存,在M4 Pro芯片上功耗相比标准16位模型降低约80%。公司正持续推进1-bit量化技术的边界,目标是将更多AI能力下沉至端侧设备。