Pain Point
要解决的问题
不知道该选微调、RAG 还是提示词工程；数据清洗、评测、部署和成本监控链路复杂。
Workflow
执行流程
- 先判断是否真的需要训练
- 清洗训练集、知识库和评测集
- 选择微调、RAG 或混合方案
- 上线后记录命中率、成本和失败样本
Stack
推荐组合
LLaMA-Factory
Unsloth
Axolotl
vLLM
llama.cpp
Open WebUI
LangSmith
Phoenix
自建评测集
Selection
怎么判断工具是否适合
优先选择能返回原文引用、段落来源和更新时间的方案，避免答案无法核验。
上线前按部门、角色和文档密级测试，确认敏感资料不会被无权限用户检索到。
记录没有答上来的问题，每周补充文档、同义词和标准答案，知识库才会越用越准。
先接入飞书、企业微信、网页客服或内部系统中最常被提问的位置，减少用户切换。
Rollout
7 天落地节奏
选择 1 个真实任务样本，按本页流程跑通从输入、生成、人工修正到最终交付的完整链路。
把提示词、素材规格、工具组合、命名规则和检查清单固定下来，形成可复用的 模型训练 / 微调方案 模板。
让 2-3 个真实项目复用模板，记录耗时、返工点、质量问题和工具卡点。
根据效率提升、质量稳定性、成本和团队接受度，决定继续扩大、换工具或只保留部分流程。
Review
复盘指标与站内搜索词
复盘指标
- 命中率：用户问题能从知识库找到可靠答案的比例。
- 引用率：答案能够给出原文来源和可追溯引用的比例。
- 未命中问题：每天新增且需要补库的真实问题数量。
- 人工节省：客服、售前或内部支持减少的重复答复时间。
可继续搜索
模型训练 / 微调方案
模型训练 AI 工具推荐
模型训练 工作流
模型训练 提示词模板
模型训练 开源方案
模型训练 落地方案
模型训练 成本与选型
微调 工具
RAG 工具
Delivery
交付物与检查点
交付物
- 训练路线判断表
- 清洗后数据集
- 评测集
- 灰度上线记录
- 成本报表
上线检查
- 能用 RAG 解决的不要先微调
- 训练数据要去重、脱敏和标注来源
- 上线前必须做反例评测
Open Source