预计 180 分钟 · 软顺序学习

评估、成本优化、可观测性与面试包装

未开始

能把 AI 功能从主观体验变为可回归评估,并描述延迟、成本、质量和安全的上线监控。

必看资料0/5
知识小测0/5
AI 作业待提交

01 / 学习

先建立正确的判断框架

0/5 已完成

逐项打开资料并在看完后打卡。选看不影响本日通过,但适合在有余量时补充。

01
Model optimization OpenAI Developers
02
03
04
Evaluate agent workflows OpenAI Developers
05
选看资料 · 不影响通过条件
01
02
LangSmith LangChain
03
04
Batch API OpenAI Developers
05
Streaming responses OpenAI Developers

02 / 产出

写下可以被检查的答案

需 ≥ 70 分

当天任务

## Day 7 学习作业

为你的 RAG 项目设计一套 20 条 golden dataset。请至少给出 8 条具体样例,覆盖:
普通问题、细节问题、多跳问题、无答案、冲突、prompt injection、权限问题。

每条至少包含 question、expected_answer、expected_sources、must_refuse、risk_type。

再定义评估指标,并解释每个指标如何帮助做上线决策:
retrieval recall@k、context relevance、answer relevance、groundedness、citation correctness、no-answer accuracy、latency、token cost、user satisfaction、prompt injection success rate。

最后用 150 字以内写一段面试项目介绍。
验收标准

能说明 AI 功能需要 golden dataset、自动评估、人工抽检、日志追踪与用户反馈;改模型、Prompt、chunk 或 top-k 都要回归。

0/12000

03 / 考核

五题概念检查

通过线 4/5

答完后立即查看解释。可以不限次数重做,系统保留最高分。

  1. 01golden dataset 的主要用途是?

  2. 02groundedness / faithfulness 关注什么?

  3. 03agent 评估除了最终回答,还常评估什么?

  4. 04为什么改 top-k 或 chunk 策略也要回归?

  5. 05哪组指标同时反映生产质量与效率?

本日完成定义

完成资料、通过小测、拿到 70 分以上作业评分。

不需要一次完成。进度与草稿会留在此浏览器,之后可从设置页导出备份。