Skip to main content

8.5.1 项目路线图:构建带引用的知识助手

这个综合项目证明你能把知识、模型调用、应用流程和工程证据连接成一个可复现的大模型应用。

先看项目证据闭环

大模型应用综合项目路线图

大模型应用项目学习顺序图

大模型应用项目交付闭环图

项目不是“连上向量数据库”。它是一个可追踪闭环:文档、分块、检索、上下文、回答、引用、日志、评估和改进。

跑一个项目就绪检查

提交项目前先用这张检查表。

project = {
"project_type": "knowledge-base assistant",
"documents": 5,
"eval_questions": 10,
"citations": True,
"empty_retrieval_handled": True,
"failure_cases": 3,
}

ready = (
project["documents"] >= 3
and project["eval_questions"] >= 10
and project["citations"]
and project["empty_retrieval_handled"]
and project["failure_cases"] >= 1
)

print("ready:", ready)
print("project_type:", project["project_type"])
print("evidence:", "docs, eval, citations, failures")

预期输出:

ready: True
project_type: knowledge-base assistant
evidence: docs, eval, citations, failures

如果 readyFalse,先不要继续加功能。先补完证据闭环。

按这个顺序学

步骤项目真正训练的能力
1企业或课程知识库检索、权限、引用和可追踪回答
2智能助手把检索、会话状态和工具调用做成产品功能
3RAG + 微调系统区分知识缺失和行为不稳定
4课件生成助手文档解析、结构化输出和模板渲染
5完整实操工作坊在真实 API 或数据库前先跑最小可复现闭环

如果需要带着做的基线,从 8.5.6 实操:完整第 8 章 RAG 应用工作坊 开始。

项目交付物标准

交付物最低要求更强的作品集版本
README目标、运行命令、依赖和示例增加架构图、设计取舍、成本和复盘
知识库样本原始文档、chunks、metadata 和 source 字段增加权限规则、文档版本和更新说明
检索日志匹配片段、分数和排序增加失败类型统计和前后对比
回答引用最终回答显示支撑来源增加引用忠实度检查
失败案例至少 1 个记录下来的失败增加 3 个以上案例,包含原因、修复和回归检查
评估固定问题和通过/失败规则增加基线、指标和回归测试
部署说明如何运行和需要哪些环境变量增加 Docker、监控和降级说明

通过标准

如果项目能带引用回答、展示检索日志、处理空检索、保留评估案例,并解释至少一个失败,就通过了本章。

最强作品集版本不一定最大。更重要的是,另一个开发者能复现运行、查看证据,并理解你下一轮会怎样改进。