构建评估：优化Claude准确性的实用指南
在AI工程实践中，评估是模型迭代和上线前的关键环节。开发者常面临两个核心问题：提示修改是否真正提升了模型性能？模型是否达到生产标准？离线评估系统通过量化指标回答这些问题，避免依赖主观感受或在线A/B测试的高成本。本教程聚焦Claude模型，但方法论适用于任何LLM。评估的主要挑战在于：构建高质量数…
阅读教程 →官方AI技术教程 · 中文精选
模型评估与微调
评估体系、安全测试、数据构造与模型微调实践。
共 17 篇教程
为提示模板生成合成测试数据
在开发基于大语言模型（LLM）的应用时，提示模板的质量直接影响模型输出。测试提示模板通常需要大量真实输入，但真实数据可能稀缺、涉及隐私或难以获取。合成测试数据生成技术应运而生，它利用LLM本身来生成逼真的测试用例，从而在不依赖真实数据的情况下评估和改进提示。该技术适用于提示调优、模型评估…
阅读教程 →在 Messages API 中复现 Claude 的智能体搜索基准分数
随着 AI 智能体在复杂任务中的广泛应用，准确评估其性能变得至关重要。Anthropic 发布的智能体搜索基准分数（如 DeepSearchQA、BrowseComp）为衡量智能体在深度研究任务中的能力提供了标准。然而，第三方评估分数往往偏低，主要原因在于测试框架配置不当。许多 API 参数在短对话中无关紧要，但在智能体运行数十次工具…
阅读教程 →使用Evals API处理图像输入：OpenAI评估框架实战指南
在AI应用开发中，评估模型性能至关重要，尤其是涉及图像输入的任务（如视觉问答、图像描述）。传统人工评估耗时且主观，自动化评估成为刚需。OpenAI Evals API提供标准化评估框架，支持采样和模型评分，可高效评估模型对图像和提示的响应质量。本教程解决如何利用该框架进行图像任务评估的问题，适用于模型迭…
阅读教程 →函数调用微调指南：提升AI模型工具使用能力
随着大语言模型在复杂任务中的应用，函数调用成为连接模型与外部工具的关键桥梁。然而，当函数数量增多、任务复杂度提升时，模型在零样本或少样本场景下的函数调用准确性显著下降，出现幻觉调用、错误调用等问题。函数调用微调通过针对特定领域数据调整模型参数，能有效提升模型对函数签名、参数语义和…
阅读教程 →构建受治理的AI代理：代理脚手架实用指南
企业在采用AI时面临巨大压力与风险，原型成功但生产部署受阻，核心问题是缺乏治理。传统治理方式（手动审查、事后审计）成为瓶颈，导致项目停滞。本教程提出'治理驱动交付'的理念，将治理作为基础设施的一部分，通过策略即代码、自动护栏、评估驱动等模式，实现安全与速度兼得。适用于金融、医疗等强监…
阅读教程 →使用Braintrust构建LLM作为裁判检测幻觉的评估方法
在生成式AI应用中，评估模型输出质量至关重要，尤其是检测幻觉（生成与事实不符的内容）。传统方法如字符串匹配（Levenshtein距离）无法理解语义，而人工评估成本高且不可扩展。LLM-as-a-judge利用大语言模型的语义理解能力，自动评估答案质量，适用于客服机器人、内容生成等场景。但该方法依赖模型判断，存在偏…
阅读教程 →使用自定义数据集评估网络搜索质量：Evals API 用例
网络搜索是用户获取信息的主要途径，搜索质量直接影响用户体验和留存率。传统评估依赖人工标注，成本高且难以扩展。随着 LLM 的发展，利用 LLM 自动评估搜索结果成为高效方案。OpenAI Evals 框架提供标准化评估流程，支持自定义数据集和评分器，使开发者能够快速、可重复地评估模型在信息检索任务上的表现。本…
阅读教程 →如何实现LLM护栏：输入与输出防护指南
LLM具有固有的随机性，在从原型转向生产时，提高可操控性成为关键需求。护栏作为检测性控制，旨在引导应用行为，防止有害内容进入或输出。常见场景包括主题偏离、越狱攻击、提示注入、幻觉、不当内容等。护栏的多样性使其可部署到LLM出错的任何场景，但设计时需权衡准确性、延迟和成本。 护栏的核心原理…
阅读教程 →使用自定义数据集评估基于MCP的答案
随着AI模型与外部工具（如MCP服务器）的集成日益普遍，评估这些交互的答案质量变得至关重要。MCP允许模型动态获取外部数据，但如何确保答案的准确性和相关性成为挑战。自定义数据集评估提供了一种针对特定用例的量化测试方法，帮助开发者识别模型在工具使用、上下文理解等方面的不足，从而优化系统配置和…
阅读教程 →微调技术指南：如何在SFT、DPO和RFT之间选择（附DPO详解）
大型语言模型（LLM）在通用任务上表现优异，但在特定领域或风格要求下往往需要定制化调整。微调（Fine-tuning）通过在领域数据上继续训练，优化模型在特定任务上的性能与效率。OpenAI平台提供四种微调方法：SFT适用于结构化输出与指令遵循，视觉微调处理多模态数据，DPO通过偏好对对齐主观标准，RFT利用强化学习…
阅读教程 →OpenAI Evals 入门指南
在开发基于 LLM 的应用时，模型升级或提示调整可能引入回归，缺乏系统评估将难以追踪性能变化。OpenAI Evals 提供标准化框架，通过定义评估任务、运行测试并分析结果，帮助开发者量化模型在特定用例上的表现。它支持两种评分方式：确定性代码检查（如字符串匹配、JSON 解析）和模型评分（利用 GPT-4 等模型判断答…
阅读教程 →使用Evals API评估音频输入：OpenAI音频评估指南
随着多模态AI的发展，音频交互在客户支持、语音助手等场景中日益重要。传统评估方法需将音频转录为文本，丢失了语气、情感等关键信息，无法准确反映真实交互质量。OpenAI Evals API原生支持音频输入，允许直接使用原始音频进行采样和评分，更贴近实际应用。本教程旨在帮助开发者掌握这一新能力，构建高效的音…
阅读教程 →智能体系统的宏观评估：从海量轨迹到可操作模式
多智能体系统在复杂业务场景中日益普及，但评估其整体性能面临巨大挑战。传统评估仅关注最终输出，忽略了系统内部复杂的交互和决策过程。当系统出现问题时，往往不是单一错误，而是重复出现的模式，如交接延迟、专家遗漏信号或审查流程不当。宏观评估旨在通过分析大量轨迹，识别这些重复模式，从而指导…
阅读教程 →如何微调聊天模型：GPT-4o mini 微调实战指南
大型语言模型（LLM）在通用任务上表现优异，但在特定领域或格式要求下，通过提示工程可能无法达到理想效果。微调（Fine-tuning）通过在大量领域相关示例上继续训练模型，使其适应特定任务，提升准确性和一致性。GPT-4o mini 作为高效模型，微调成本较低，适合开发者快速迭代。本教程以 RecipeNLG 数据集为例，展示…
阅读教程 →利用模型蒸馏微调模型：从GPT-4o到GPT-4o-mini的实践指南
大型语言模型（如GPT-4o）在复杂任务上表现优异，但推理成本高、延迟大。模型蒸馏通过使用大模型的输出来微调小模型，使小模型在特定任务上接近大模型的性能，同时降低部署成本。本教程针对分类任务，利用结构化输出确保模型输出符合预定义枚举，提高可靠性。 蒸馏的核心是使用教师模型（GPT-4o）在数据集…
阅读教程 →评估驱动的系统设计：从原型到生产
在构建LLM应用时，开发者常面临数据稀缺、需求模糊和性能评估主观等问题。传统开发依赖直觉和猜测，难以客观衡量系统质量。评估驱动的开发方法通过定义量化指标，将工程严谨性引入AI系统构建，使团队能基于数据做出决策，优化成本与性能。本教程以收据解析为例，展示如何从少量标注数据出发，逐步构建并…
阅读教程 →