课程总览DAY 07
预计 180 分钟 · 软顺序学习
评估、成本优化、可观测性与面试包装
未开始
能把 AI 功能从主观体验变为可回归评估,并描述延迟、成本、质量和安全的上线监控。
必看资料0/5
知识小测0/5
AI 作业待提交
01 / 学习
先建立正确的判断框架
逐项打开资料并在看完后打卡。选看不影响本日通过,但适合在有余量时补充。
01
Model optimization OpenAI Developers
02
Getting started with datasets OpenAI Developers
03
Evaluation best practices OpenAI Developers
04
Evaluate agent workflows OpenAI Developers
05
Evaluate Gen AI agents Google Cloud
选看资料 · 不影响通过条件
01
Building and Evaluating Advanced RAG DeepLearning.AI
02
LangSmith LangChain
03
Production best practices OpenAI Developers
04
Batch API OpenAI Developers
05
Streaming responses OpenAI Developers
02 / 产出
写下可以被检查的答案
当天任务
## Day 7 学习作业 为你的 RAG 项目设计一套 20 条 golden dataset。请至少给出 8 条具体样例,覆盖: 普通问题、细节问题、多跳问题、无答案、冲突、prompt injection、权限问题。 每条至少包含 question、expected_answer、expected_sources、must_refuse、risk_type。 再定义评估指标,并解释每个指标如何帮助做上线决策: retrieval recall@k、context relevance、answer relevance、groundedness、citation correctness、no-answer accuracy、latency、token cost、user satisfaction、prompt injection success rate。 最后用 150 字以内写一段面试项目介绍。
验收标准
能说明 AI 功能需要 golden dataset、自动评估、人工抽检、日志追踪与用户反馈;改模型、Prompt、chunk 或 top-k 都要回归。
03 / 考核
五题概念检查
答完后立即查看解释。可以不限次数重做,系统保留最高分。
01golden dataset 的主要用途是?
02groundedness / faithfulness 关注什么?
03agent 评估除了最终回答,还常评估什么?
04为什么改 top-k 或 chunk 策略也要回归?
05哪组指标同时反映生产质量与效率?
本日完成定义
完成资料、通过小测、拿到 70 分以上作业评分。
不需要一次完成。进度与草稿会留在此浏览器,之后可从设置页导出备份。