量子位 发布于 09/02 14:20

还在为大模型洗数据熬夜?蚂蚁拿下VLDB工业最佳论文,一套宽表搞定35PB语料,效率狂飙5.6倍

查看原文

资讯摘要

蚂蚁集团推出统一宽表系统OmniTable,论文获评VLDB 2026工业赛道最佳论文

AI 摘要

蚂蚁集团推出统一宽表系统OmniTable,论文获评VLDB 2026工业赛道最佳论文。系统以逻辑宽表统一管理PB级大模型训练数据的解析、清洗、特征计算与导出,实现逻辑统一、物理分离。生产环境已管理超35PB、3050亿条数据,真实SFT数据准备任务端到端周期从约14天缩短至2.5天,提速5.6倍,手工步骤减少73.3%。

AI 问答

OmniTable 是什么?

OmniTable 是蚂蚁集团研发的统一宽表系统,用于 PB 级大模型训练数据的准备和探索,核心理念是逻辑统一、物理分离,论文获评 VLDB 2026 工业赛道最佳论文。

OmniTable 带来了哪些实际效果?

在真实 SFT 数据准备任务中,端到端周期从约 14 天缩短到 2.5 天,手工操作从 45 步降至 12 步;生产环境已管理超 35 PB、3050 亿条训练数据。

OmniTable 如何处理异常数据?

系统将常见 UDF 故障隔离到记录级,遇到 OOM、超时或异常时记录样本信息并写为 NULL,其余记录继续处理,避免单条坏数据拖垮整批任务。

打开原文

更多资讯

川普让步了 为何Clarity法案还遭到全体民主党人反对金色财经 · 09/16 10:43HIP-3:昂贵的入场券 买不来的护城河金色财经 · 09/15 09:48读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了人人都是产品经理 · 09/15 12:14派早报:Steam Frame 开启预购、WPS 多端支持 Markdown 等少数派 · 09/16 08:39OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20Java新闻汇总:Simple JSON API、GlassFish、Jakarta EE、JNoSQL和Open Liberty、LangChain4jInfoQ 中文 · 09/16 19:06清晰法案有概率通过?市场可能并未定价金色财经 · 09/15 13:50前高通算法研发经理跨界AI算力板检测,获近亿元战略投资丨36氪首发36氪 · 09/15 09:30以太坊 2026 年第二季度报告金色财经 · 09/15 17:06早报|iOS27正式推送/比亚迪高管:燃油车在中国没有未来/iPhone 18 Pro渠道降价900元,苹果称不干预爱范儿 / APPSO · 09/15 08:0836氪首发 | 国内头部硅电容IDM企业融资亿元,切入AI芯片与高端光模块36氪 · 09/16 14:35担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23号称人类造的最后一个 AI 要来了,刷屏全网的 RSI 是什么爱范儿 / APPSO · 09/15 17:43Building AI to accelerate science and improve livesGoogle AI Blog · 09/16 00:00高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:18上市前交易市场:永续合约化的Pre-IPO资产金色财经 · 09/16 09:21字节将发布独立智能网盘“ADrive”,腾讯网盘先已布局,网盘AI大战打响人人都是产品经理 · 09/15 18:27New insights from Google’s AI & Economy ATLASGoogle AI Blog · 09/15 21:00Anew Labs已完成 2.9 亿美元融资,红杉中国、高瓴、IDG、五源、高榕等参与雷峰网 · 09/16 14:28英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07GPT-6 Astra 之后,产品经理需要重新设计人在流程中的位置人人都是产品经理 · 09/16 09:10场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58Fedora 45 Beta 释出Solidot · 09/16 15:26企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降人人都是产品经理 · 09/16 11:48当黄仁勋和Dario遇上休谟:火鸡、台球与AI末日论金色财经 · 09/15 22:18时光机器遭遇大规模机器流量Solidot · 09/16 16:32Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台InfoQ 中文 · 09/16 17:10