AWS Machine Learning Blog 发布于 09/09 00:23

Automated agent evaluation with Amazon Bedrock AgentCore and GitHub Actions

(翻译)使用 Amazon Bedrock AgentCore 与 GitHub Actions 的自动化智能体评估

查看原文

资讯摘要

Wire Amazon Bedrock AgentCore Evaluations into a GitHub Actions pipeline: deploy an AI agent and an OAuth-protected MCP server to AgentCore runtime, invoke the agent with test prompts, score the responses, and automatically block pull requests when agent behavior regresses.

AI 摘要

AWS 官方博客介绍如何将 Amazon Bedrock AgentCore Evaluations 集成到 GitHub Actions CI/CD 流程,作为智能体质量门禁。管道自动部署智能体和采用 OAuth 与基于角色的访问控制的 MCP 服务器,使用测试提示调用智能体、通过 LLM 评估器对响应打分,并在评分下降时阻止 PR 合并。文中还说明了 CDK 基础设施、M2M 客户端凭证认证、评估器类型及参考实现。

AI 问答

AgentCore Evaluations 的评估模式有哪些?

支持按需评估、在线评估和批量评估。按需评估适合 CI/CD 质量门禁,在线评估持续监控生产流量,批量评估用于基线测试和回归测试。

CI 管道如何在没有用户上下文时访问 OAuth 保护的 MCP 服务器?

博客采用 M2M 认证方式,CI 使用客户端凭证流获取仅含作用域、不含用户角色的令牌;无角色检查时 MCP 工具全部开放。也可通过缓存测试用户的刷新令牌或评估已存储的 trace 来规避 OAuth。

质量门禁如何阻止拉取请求?

GitHub Actions 部署智能体后,用评估数据集调用智能体,通过 AgentCore Evaluate API 获取评分;如果整体评分低于设定阈值(如 0.8),拉取请求保持阻止状态,防止性能回退进入生产。

打开原文

更多资讯

贝森特回购落空与通胀重压 美联储加息或全面开启金色财经 · 09/15 11:06数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”雷峰网 · 09/15 15:14AI不断进步 不得不把才华埋葬在昨天金色财经 · 09/15 10:14Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台InfoQ 中文 · 09/16 17:10Anthropic CEO自爆行业黑幕金色财经 · 09/15 19:37自主团队被捧过头了?Simon Rohrer 直言:你们交付的根本不是产品InfoQ 中文 · 09/16 21:23Firefox 156 释出Solidot · 09/16 14:25GPT-6 Sol要来了?OpenAI本周或迎“发布狂潮”金色财经 · 09/16 13:17差 11 票:币圈和华盛顿的蜜月期结束了金色财经 · 09/16 17:20一款在浏览器里运行、部署在自己服务器上的 SQL 客户端Solidot · 09/15 16:43二次元“赛博分身”撬动日本市场:玩家“沉默”的AI陪伴产品,凭什么次留60%?人人都是产品经理 · 09/15 08:53英国殖民之前的澳大利亚原居民人口约 222 万Solidot · 09/15 23:17YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39微信桌面端变“三折叠”,可能是在给小微腾位置人人都是产品经理 · 09/15 09:46圆桌:中国之光成为新共识| 36氪 2026产业未来大会36氪 · 09/15 17:15一边喊停一边敲钟:硅谷AI巨头到底在怕什么金色财经 · 09/16 10:53西门子不造机器人,为什么机器人进厂的故事里总有它?量子位 · 09/16 15:38今晚「鸽派加息」?金色财经 · 09/16 16:08在金融支付系统中实施混沌工程:来自企业级 ECS 部署的经验教训InfoQ 中文 · 09/15 17:04HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:0036氪项目新势榜:不看包装,只看项目真实进展36氪 · 09/15 19:18Announcing instance preference lists for Amazon SageMaker AI training jobsAWS Machine Learning Blog · 09/16 00:0119.98 万元起,吉利银河战舰 700 开启预售,最高 1129 匹马力,还有三电机四驱爱范儿 / APPSO · 09/15 21:04派早报:豆包发布手机助手消费者版,绿联发布首款雷电 5 显卡坞等少数派 · 09/15 08:06OpenAI 发布适用于编程和计算机应用的 GPT-6 AstraInfoQ 中文 · 09/16 00:52无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA量子位 · 09/15 18:43奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用雷峰网 · 09/16 16:20读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了人人都是产品经理 · 09/15 12:14号称人类造的最后一个 AI 要来了,刷屏全网的 RSI 是什么爱范儿 / APPSO · 09/15 17:43