Open Mic #2 — LLM 实战经验

日期: 2026-07-01

开场

上次我们聊了 AI 入门，这次来点实战 —— 用 LLM 做真实项目踩过的坑。

Prompt Engineering 心得

系统提示词的重要性

你是一个专业助手。回答要：
1. 简洁
2. 基于事实
3. 如果不确定，明确说不知道

一个好的系统提示词比几百字的追问更有效。

结构化输出

{
  "response": "让 AI 输出 JSON，比你想象中更有用",
  "reasoning": "方便程序化处理下游任务"
}

成本控制

LLM API 调用成本容易失控，几个建议：

1. 缓存重复请求 — 同样的输入直接返回缓存结果
2. 使用更小的模型 — 简单任务用 gpt-4o-mini 或同类小型模型
3. 设置预算上限 — 每个用户/每天的上限

实际案例

案例一：AI 客服助手

一个小电商站集成了 AI 客服，遇到的问题：

• 幻觉问题：AI 会编造不存在的退货政策
• 解决方案：用 RAG（检索增强生成）将知识库作为上下文

案例二：内容摘要工具

自动总结长文档：

• 分块处理（Chunking）策略很重要
• 500-1000 token 每块效果最佳
• 重叠 100 token 避免切断裂

Q&A

问: 如何处理 AI 输出的安全性？
答: 输出过滤 + 人工审核兜底，永远不要完全信任模型输出。

问: 本地模型值得尝试吗？
答: 如果你的场景需要数据不出网或高频调用，值得。但维护成本不低。