LiveAPI 绘图与地图绘制教程
Gemini 2 多模态实时 API 是 Google 推出的新一代模型接口，支持文本、音频、图像等多种模态的实时流式交互。传统 API 采用请求-响应模式，延迟较高，难以满足实时对话、语音助手等场景。Live API 基于 WebSocket 全双工通信，允许客户端与模型持续交换消息，实现低延迟、多轮、多模态的交互体验。本教程聚焦于工具调用…
阅读教程 →官方AI技术教程 · 中文精选
语音与实时 API
语音识别、语音合成与实时多模态交互。
共 13 篇教程
Gemini Live API教程：构建实时语音AI应用
传统 API 采用请求-响应模式，延迟高且无法支持实时交互。Live API 基于 WebSocket 提供低延迟双向流式通信，适用于语音助手、实时翻译、交互式教学等场景。其核心优势在于支持音频、视频帧和文本的多模态输入，并实时输出音频，实现自然的人机对话。主要限制包括：需要稳定的网络连接，且当前处于预览阶段，功…
阅读教程 →LiveAPI 工具快速入门指南
Live API 是 Gemini 模型提供的实时多模态交互接口，支持音频、文本和工具调用。在早期模型中，工具使用受限，每次请求只能使用一个工具。Gemini 2.5 在 Live API 中引入了重大变化：所有工具（如 Google 搜索、代码执行、函数调用）都可以通过代码执行统一处理，并支持在单个 API 调用中组合多个工具。这解决了开发者需…
阅读教程 →Live API - Websockets 快速入门
Gemini Live API 提供了低延迟的双向流式交互能力，支持文本、音频、视频等多种模态。官方 SDK 封装了底层细节，但理解 WebSocket 协议对于调试、性能优化和构建非 Python 客户端至关重要。本教程通过直接连接 WebSocket，揭示了 API 的消息结构、握手流程和事件驱动模型，使开发者能够深入掌握实时 AI 系统的构建原理。 Liv…
阅读教程 →使用ElevenLabs和Claude构建低延迟语音助手
随着大语言模型（LLM）能力的提升，语音交互成为AI应用的重要入口。然而，传统语音助手通常采用“录音-转写-生成-合成-播放”的串行流程，导致端到端延迟高，用户体验差。本教程旨在解决这一痛点，通过流式处理和并行化技术，将感知延迟降至最低。适用场景包括实时对话系统、语音客服、智能助手等。主要限…
阅读教程 →实时API数据密集型应用实用指南
OpenAI Realtime API支持低延迟多模态交互，如语音到语音对话。在构建智能体时，常需调用外部API获取数据，但这些API返回的数据量大，若不优化会压垮Realtime API，导致响应缓慢。本指南解决实时对话中处理大量数据的挑战，适用于金融分析、体育数据查询等场景。 核心原理是减少模型处理的token数量，保持上下文精简…
阅读教程 →使用GPT-4o将音频文件语音翻译成不同语言
传统音频翻译流程涉及多个独立步骤：先使用语音识别（ASR）将音频转为文本，再通过机器翻译（MT）将文本翻译为目标语言，最后使用语音合成（TTS）生成目标语言的音频。这一流程不仅复杂，而且每一步都可能引入误差，导致最终结果质量下降。GPT-4o的音频模态支持直接输入音频并输出音频，实现了端到端的语音…
阅读教程 →使用Realtime API进行上下文摘要：构建实时语音机器人
实时语音交互是AI应用的重要方向，但长对话会迅速填满模型上下文窗口，导致性能下降和成本增加。OpenAI Realtime API支持语音到语音的流式交互，但上下文窗口有限（32k tokens），且音频token消耗远高于文本。因此，需要一种机制在对话过长时自动压缩历史，保留关键信息，同时维持对话连贯性。本教程通过上下文摘要…
阅读教程 →使用独立实时请求转录用户音频
在实时语音代理应用中，准确转录用户语音至关重要，尤其当转录用于触发下游操作或展示给用户时。传统方案依赖独立的ASR模型（如gpt-4o-transcribe），但不同模型可能导致转录与响应不一致，例如用户说“I had otoo accident”，ASR可能错误转录，而Realtime模型能正确理解。此外，独立ASR模型受限于1024 token输入上限，无法…
阅读教程 →使用OpenAI API比较语音转文本方法
语音转文本（STT）是构建语音助手、实时字幕、会议记录等应用的基础能力。OpenAI提供了多种STT接口，从简单的文件上传到实时流式处理，每种方法在延迟、复杂度、功能上差异显著。开发者常面临选择困难：是追求低延迟还是简单集成？是处理离线文件还是实时音频流？本教程旨在通过对比分析，帮助开发者理解各…
阅读教程 →基于MCP的智能语音代理框架
随着LLM应用的普及，代理（Agent）成为编排复杂工作流的关键。然而，工具碎片化、集成复杂性和后端系统编排需求使得构建健壮、可扩展的语音代理充满挑战。MCP作为开放协议，标准化了AI模型与外部工具、数据源和上下文提供者的交互，解决了代理逻辑与工具实现的耦合问题，支持安全、模块化、可组合的架构。…
阅读教程 →构建带说话人识别的会议智能流水线：音频说话人分离实战指南
在会议记录场景中，单纯的转录文本无法满足业务需求，因为缺少说话人归属信息，导致无法准确追踪谁说了什么。带说话人标签的转录文本能够支持销售发现、客户成功、支持升级、招聘面试等场景，帮助团队减少信息流失，提高交接和审查的完整性。传统方法仅将转录文本发送给模型总结，会丢失关键上下文，因…
阅读教程 →从Whisper迁移到GPT-Transcribe和GPT-Live-Transcribe指南
Whisper是OpenAI早期推出的语音识别模型，广泛应用于文件转录和实时语音处理。然而，随着应用场景的复杂化，开发者对转录的准确性、多语言支持、上下文理解以及低延迟流式处理提出了更高要求。GPT-Transcribe和GPT-Live-Transcribe作为新一代模型，针对文件转录和实时流式转录分别优化，引入了结构化关键词、多语言数…
阅读教程 →