什么是循环状态写回(recurrent-state write-back)?
指循环网络低精度推理中存储量化状态并在下一步返回时采用的规则;该规则会影响后续计算。
(翻译)当量化破坏记忆:低精度时间推理中的循环状态写回
Abstract page for arXiv paper 2609.04490: When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference
该论文研究低精度循环推理中量化状态存储的影响,提出“循环状态写回”概念。针对荧光寿命成像的GRU模型,固定权重下用4比特状态存储替代连续传播,使τ1和τ2误差增加约70倍和300倍;误差反馈、残差记忆和方向记忆可在不重训时恢复精度。LSTM实验重现该现象,且细胞状态比隐藏状态对量化更敏感,说明状态存储接口是量化循环推理设计的关键。
指循环网络低精度推理中存储量化状态并在下一步返回时采用的规则;该规则会影响后续计算。
在固定模型中,确定性4比特状态存储使短寿命分量τ1和长寿命分量τ2的估计误差分别增加约70倍和300倍。
误差反馈、残差记忆和方向记忆可以携带被抑制更新的信息跨时间传递,从而恢复精度。
长期利率为何不愿下跌?
AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能
Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARE
缓存不该困在一台服务器里
从担心AI失控 到AI造福人类:比尔盖茨怎么想手机替我跑了一整套流程!我就说了一句话,AI执行了100步前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了圆桌:落地·量子计算的场景涌现——如果量子算力明天就可用,谁会第一个买单 | 36氪 2026产业未来大会
“阿宝”交新朋友:携手比亚迪“迪迪虾”,实现车机端一句话办事
How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI Factories圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会
奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉
「沃什时代」首次加息要来了?华尔街算好了三种剧本商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发
HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”
AI 写了几十页 PPT,“经营分析”报告仍被批不够深入?Build a serverless PII redaction pipeline with Amazon Bedrock Data Automation9月21日,深圳前海!聊聊工业AI与生态共创的下一步
iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…
AI for everyone in every language
派早报:Steam Frame 开启预购、WPS 多端支持 Markdown 等58秒出杯,能拉花的咖啡机器人,在全球70国卖出600万杯
英伟达开始限制Claude使用了8点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高
谁在给我们制造 AI 焦虑36氪首发 | 国内头部硅电容IDM企业融资亿元,切入AI芯片与高端光模块被英伟达点名的杭州团队,补上了AI for Science的「最后一公里」
就业率砍半,年轻人靠什么翻盘?AI时代,这三点越早做越好Fedora 45 Beta 释出从前沿技术到产业资本,2026产业未来大会看见「深水之上」