arXiv cs.AI 发布于 09/07 12:00

When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference

(翻译)当量化破坏记忆:低精度时间推理中的循环状态写回

查看原文

资讯摘要

Abstract page for arXiv paper 2609.04490: When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference

AI 摘要

该论文研究低精度循环推理中量化状态存储的影响,提出“循环状态写回”概念。针对荧光寿命成像的GRU模型,固定权重下用4比特状态存储替代连续传播,使τ1和τ2误差增加约70倍和300倍;误差反馈、残差记忆和方向记忆可在不重训时恢复精度。LSTM实验重现该现象,且细胞状态比隐藏状态对量化更敏感,说明状态存储接口是量化循环推理设计的关键。

AI 问答

什么是循环状态写回(recurrent-state write-back)?

指循环网络低精度推理中存储量化状态并在下一步返回时采用的规则;该规则会影响后续计算。

论文中4比特状态存储导致GRU模型参数估计误差增加多少?

在固定模型中,确定性4比特状态存储使短寿命分量τ1和长寿命分量τ2的估计误差分别增加约70倍和300倍。

不重新训练的情况下,哪些机制能恢复精度?

误差反馈、残差记忆和方向记忆可以携带被抑制更新的信息跨时间传递,从而恢复精度。

打开原文

更多资讯

长期利率为何不愿下跌?金色财经 · 09/15 18:04AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00缓存不该困在一台服务器里InfoQ 中文 · 09/16 07:00从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43手机替我跑了一整套流程!我就说了一句话,AI执行了100步量子位 · 09/15 20:47前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了量子位 · 09/15 13:39圆桌:落地·量子计算的场景涌现——如果量子算力明天就可用,谁会第一个买单 | 36氪 2026产业未来大会36氪 · 09/15 18:08“阿宝”交新朋友:携手比亚迪“迪迪虾”,实现车机端一句话办事雷峰网 · 09/15 16:45How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI FactoriesNVIDIA Technical Blog · 09/16 00:55圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:39奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36「沃什时代」首次加息要来了?华尔街算好了三种剧本金色财经 · 09/16 20:25商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发36氪 · 09/16 10:00HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00AI 写了几十页 PPT,“经营分析”报告仍被批不够深入?人人都是产品经理 · 09/15 11:32Build a serverless PII redaction pipeline with Amazon Bedrock Data AutomationAWS Machine Learning Blog · 09/16 23:179月21日,深圳前海!聊聊工业AI与生态共创的下一步量子位 · 09/15 13:20iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…爱范儿 / APPSO · 09/16 20:20AI for everyone in every languageGoogle AI Blog · 09/16 00:00派早报:Steam Frame 开启预购、WPS 多端支持 Markdown 等少数派 · 09/16 08:3958秒出杯,能拉花的咖啡机器人,在全球70国卖出600万杯36氪 · 09/15 10:21英伟达开始限制Claude使用了金色财经 · 09/15 12:378点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高36氪 · 09/16 08:01谁在给我们制造 AI 焦虑金色财经 · 09/15 20:3836氪首发 | 国内头部硅电容IDM企业融资亿元,切入AI芯片与高端光模块36氪 · 09/16 14:35被英伟达点名的杭州团队,补上了AI for Science的「最后一公里」量子位 · 09/16 11:40就业率砍半,年轻人靠什么翻盘?AI时代,这三点越早做越好人人都是产品经理 · 09/15 16:12Fedora 45 Beta 释出Solidot · 09/16 15:26从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04