arXiv cs.AI 发布于 09/14 12:00

WinSyn: An Automated Pipeline for Realistic Enterprise Question-Answering Evaluation

(翻译)WinSyn:面向真实企业问答评估的自动化流水线

查看原文

资讯摘要

Abstract page for arXiv paper 2609.12171: WinSyn: An Automated Pipeline for Realistic Enterprise Question-Answering Evaluation

AI 摘要

该论文提出 WinSyn,一个自动生成企业问答评估数据集的流水线:模拟历时数月、最多 25 名不同角色员工参与的项目,合成包含邮件、聊天与文档等存在歧义、信息分散特征的职场数据,并配套长问答、短问答及基于数据的标准答案。作者用前沿模型评测若干智能体基线,各数据集聚合得分均低于 80%,说明企业级深度研究系统仍有较大提升空间。

AI 问答

WinSyn 主要解决什么问题?

它针对现有企业问答基准真实复杂度不足、答案偏短、提问不自然的问题,提供自动生成贴近真实职场场景的合成数据集与问题、标准答案的流水线。

该数据集是如何构造的?

通过模拟持续数月、涉及最多 25 名不同角色员工的企业项目,生成包含歧义和分散信息的邮件等数据,并据此产出长文本与短文本问题及有数据支撑的标准答案。

评测结果说明了什么?

在最新前沿模型上运行若干智能体基线,各数据集所有查询的平均聚合得分均低于 80%,表明企业场景的深度研究系统仍有明显改进余地。

打开原文

更多资讯

CLARITY法案未通过程序性表决 OpenAI拟IPO前融资金色财经 · 09/16 07:53YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39圆桌:智能向实,产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会36氪 · 09/15 18:00实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招量子位 · 09/16 10:58HIP-3:昂贵的入场券 买不来的护城河金色财经 · 09/15 09:48牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04Robinhood的财富效应金色财经 · 09/16 12:472nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02Building AI to accelerate science and improve livesGoogle AI Blog · 09/16 00:00月下载暴增366%,上海真人社交公司切入东南亚AI陪伴,AI角色也能“奔现”人人都是产品经理 · 09/16 14:44How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI FactoriesNVIDIA Technical Blog · 09/16 00:55AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20Firefox 156 释出Solidot · 09/16 14:2558秒出杯,能拉花的咖啡机器人,在全球70国卖出600万杯36氪 · 09/15 10:21耐克和lululemon双双失速,运动品牌进入碎片化时代人人都是产品经理 · 09/15 11:40AI 写了几十页 PPT,“经营分析”报告仍被批不够深入?人人都是产品经理 · 09/15 11:32今晚「鸽派加息」?金色财经 · 09/16 16:08产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格36氪 · 09/16 10:40英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22探秘柬埔寨,千年吴哥窟少数派 · 09/16 17:33华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点雷峰网 · 09/16 17:27从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08时光机器遭遇大规模机器流量Solidot · 09/16 16:32企业案例分享:伊辛智能|36氪2026产业未来大会36氪 · 09/15 16:388点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高36氪 · 09/16 08:01129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00自主团队被捧过头了?Simon Rohrer 直言:你们交付的根本不是产品InfoQ 中文 · 09/16 21:23AI 负责创造,人来干脏活,这事儿能否停一下?InfoQ 中文 · 09/15 08:08百度做了一堆AI产品,却没有一个能代表百度?人人都是产品经理 · 09/15 18:31大促GMV猛涨500%:激光雕刻设备靠"创意落地"出海东南亚雷峰网 · 09/16 15:57