Hugging Face Blog 发布于 09/03 08:00

Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps

(翻译)用100步GRPO微调350M模型以获得更好的结构化输出

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

本文介绍使用TRL库对LFM2.5-350M模型进行GRPO微调,结合约500条样本和100个训练步骤来提升结构化输出能力,在IFStruct基准上从22.6%提升至29.7%。内容涵盖LoRA配置、三项奖励函数的设计、训练参数、模型合并及GGUF转换评估流程。

AI 问答

该微调方法主要提升模型的什么能力?

主要提升模型对结构化输出的格式与模式符合能力,使LFM2.5-350M在IFStruct基准上的通过率从22.6%提高到29.7%。

训练中使用了哪些奖励函数?

使用了三个奖励函数:json_format_reward、field_count_reward和schema_validation_reward,权重分别为1.0、0.5和2.0。

运行这项微调需要多少资源?

大约使用500条训练样本和100个训练步骤,模型规模适合在免费版Colab或Kaggle GPU上运行。

打开原文

更多资讯

Agent开始调用基础设施,Kubernetes准备好了吗?InfoQ 中文 · 09/16 04:38OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09DeepSeek-V4.1-Flash 的最佳 Harness 搭档,我觉得可能是 Claude Code人人都是产品经理 · 09/16 17:23超越代币化:让RWA在链上发挥实用价值金色财经 · 09/15 12:112人团队0融资,用AI搓的复古相机APP霸榜韩国总榜第4,还做到了3个月10亿销售额?人人都是产品经理 · 09/16 10:20从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04二次元“赛博分身”撬动日本市场:玩家“沉默”的AI陪伴产品,凭什么次留60%?人人都是产品经理 · 09/15 08:53科学家演示水下太阳能电池Solidot · 09/15 15:30英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22AI没有泡沫 只有割裂金色财经 · 09/15 21:38和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪 · 09/16 15:5836氪研究院 | 2026年北京市OPC创业者研究报告36氪 · 09/15 16:30Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15推特创始人谈“AI减速”论:前沿不属于任何一家公司金色财经 · 09/15 17:30关于项目交付的思考:部署是最后两公里,验收才是最后一公里人人都是产品经理 · 09/16 09:54基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用量子位 · 09/16 16:09iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…爱范儿 / APPSO · 09/16 20:20王强宇履新百望:从发票SaaS工具,到财税垂直大模型,再到企业的Palantir雷峰网 · 09/16 10:13从接住告警到自我进化:快手智能运维助手实践|QCon上海InfoQ 中文 · 09/16 18:00“裁判”不想给阿莫迪吹暂停金色财经 · 09/15 13:07XCancel 服务再次下线Solidot · 09/15 14:20YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39川普让步了 为何Clarity法案还遭到全体民主党人反对金色财经 · 09/16 10:43我和我的 AI 手机吃了 3 顿饭爱范儿 / APPSO · 09/16 12:04读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了人人都是产品经理 · 09/15 12:14实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招量子位 · 09/16 10:58Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29AMC 炮轰 Robinhood:股票归谁做主?金色财经 · 09/15 21:18特朗普“一再让步”:美国加密法案仍未过关金色财经 · 09/16 17:18