使用GPT-4o将音频文件语音翻译成不同语言

技术背景

传统音频翻译流程涉及多个独立步骤：先使用语音识别（ASR）将音频转为文本，再通过机器翻译（MT）将文本翻译为目标语言，最后使用语音合成（TTS）生成目标语言的音频。这一流程不仅复杂，而且每一步都可能引入误差，导致最终结果质量下降。GPT-4o的音频模态支持直接输入音频并输出音频，实现了端到端的语音到语音翻译，简化了流程，减少了中间环节的信息损失。该技术适用于播客本地化、视频配音、多语言会议翻译等场景，但存在对API依赖性强、实时性受限、成本较高等限制。

核心原理

GPT-4o的音频模态基于多模态Transformer架构，能够同时处理文本和音频。在语音翻译任务中，模型接收音频输入，通过内部编码器提取声学特征，并利用其语言理解能力进行跨语言转换，最终生成目标语言的音频输出。关键设计决策包括：使用gpt-4o-audio-preview模型，通过modalities参数指定输出类型（文本或音频），并通过audio参数配置语音（如alloy）和音频格式（如wav）。系统提示（system prompt）指导模型行为，例如指定翻译语言、保留特定术语等。数据流为：音频文件→base64编码→API请求→模型处理→返回JSON响应（包含转录文本和/或音频数据）。

架构分析

系统架构基于客户端-服务器模式，客户端（Python脚本）负责音频编码、API调用和响应解析。核心组件包括：1) 音频预处理模块：读取WAV文件并转换为base64编码；2) API请求模块：封装process_audio_with_gpt_4o函数，构建请求头和数据负载，发送至OpenAI的/v1/chat/completions端点；3) 响应处理模块：解析JSON响应，提取转录文本和音频数据；4) 评估模块：使用sacrebleu和rouge_score计算BLEU和ROUGE分数。设计思想强调模块化，便于替换音频源、调整提示词和集成不同评估指标。可扩展点包括支持更多音频格式、添加缓存机制、实现异步处理等。

完整实战教程

使用GPT-4o将音频文件语音翻译成不同语言

你是否曾想把播客翻译成你的母语？翻译和配音音频内容可以使其更易于全球观众访问。借助GPT-4o新的音频输入和输出模式，这一过程现在比以往任何时候都更加简单。

本指南将引导你使用OpenAI的GPT-4o音频模态API，将英文音频文件翻译成印地语。

GPT-4o简化了音频内容的配音过程。以前，你必须先将音频转换为文本，然后将文本翻译成目标语言，再将其转换回音频。现在，借助GPT-4o的语音到语音能力，你可以通过音频输入和输出一步完成。

关于本Cookbook中使用的语言和书面文字的语义说明。这些词通常可以互换使用，但鉴于当前任务，理解它们的区别很重要。

- 语言指口头或书面的交流系统。例如，印地语和马拉地语是不同的语言，但都使用天城文。同样，英语和法语是不同的语言，但都用拉丁字母书写。

- 文字指用于书写语言的字符或符号集。例如，塞尔维亚语传统上用西里尔字母书写，但也用拉丁字母书写。

GPT-4o的音频输入和输出模式使得通过一次API调用将音频从一种语言配音到另一种语言变得更加容易。

1. 转录：使用GPT-4o将源音频文件转录为源语言文字。这是一个可选步骤，如果你已有源音频内容的转录文本，可以跳过。

2. 配音：将音频文件从源语言直接配音为目标语言。

3. 获取翻译基准：使用BLEU或ROUGE。

4. 解释和改进：根据需要调整步骤1-3中的提示参数来改进分数。

在开始之前，请确保你已将OpenAI API密钥配置为环境变量，并按照下面代码单元格中的说明安装了必要的包。

步骤 1：使用 GPT-4o 将音频转写为源语言文本

首先，我们创建一个函数，将音频文件发送到 OpenAI 的 GPT-4o API 进行处理，使用聊天补全 API 端点。

函数 process_audio_with_gpt_4o 接收三个输入：

1. 一个 base64 编码的音频文件（base64_encoded_audio），将发送给 GPT-4o 模型。
2. 期望的输出模态（例如，文本，或文本和音频两者）。
3. 一个系统提示，指示模型如何处理输入。

该函数向 OpenAI 的 chat/completions 端点发送 API 请求。请求头包含用于授权的 API 密钥。数据负载包含模型类型（gpt-4o-audio-preview）、选定的输出模态以及音频细节，例如语音类型和格式（在此情况下为“alloy”和“wav”）。它还包括系统提示和 base64 编码的音频文件作为“user”消息的一部分。如果 API 请求成功（HTTP 状态 200），则响应以 JSON 形式返回。如果发生错误（非 200 状态），则打印错误代码和消息。

此函数通过 OpenAI 的 GPT-4o API 实现音频处理，允许根据提供的输入执行配音、转录或翻译等任务。

# Make sure requests package is installed
import requests
import os
import json

# Load the API key from the environment variable
api_key = os.getenv("OPENAI_API_KEY")


def process_audio_with_gpt_4o(base64_encoded_audio, output_modalities, system_prompt):
    # Chat Completions API end point
    url = "https://api.openai.com/v1/chat/completions"

    # Set the headers
    headers = {
        "Content-Type": "application/json",
        "Authorization": f"Bearer {api_key}"
    }

    # Construct the request data
    data = {
        "model": "gpt-4o-audio-preview",
        "modalities": output_modalities,
        "audio": {
            "voice": "alloy",
            "format": "wav"
        },
        "messages": [
            {
                "role": "system",
                "content": system_prompt
            },
            {
                "role": "user",
                "content": [
                    {
                        "type": "input_audio",
                        "input_audio": {
                            "data": base64_encoded_audio,
                            "format": "wav"
                        }
                    }
                ]
            }
        ]
    }

    request_response = requests.post(url, headers=headers, data=json.dumps(data))
    if request_response.status_code == 200:
        return request_response.json()
    else:
        print(f"Error {request_response.status_code}: {request_response.text}")
        return

使用函数 process_audio_with_gpt_4o，我们首先获取源音频的英文转录。如果您已经有源语言的转录，可以跳过此步骤。

在此步骤中，我们：

1. 读取 WAV 文件并将其转换为 base64 编码。
2. 将输出模态设置为 ["text"]，因为我们只需要文本转录。
3. 提供系统提示，指示模型专注于转录语音，并忽略背景噪音（如掌声）。
4. 调用 process_audio_with_gpt_4o 函数处理音频并返回转录。

import base64
audio_wav_path = "./sounds/keynote_recap.wav"

# Read the WAV file and encode it to base64
with open(audio_wav_path, "rb") as audio_file:
    audio_bytes = audio_file.read()
    english_audio_base64 = base64.b64encode(audio_bytes).decode('utf-8')

modalities = ["text"]
prompt = "The user will provide an audio file in English. Transcribe the audio to English text, word for word. Only provide the language transcription, do not include background noises such as applause. "

response_json = process_audio_with_gpt_4o(english_audio_base64, modalities, prompt)

english_transcript = response_json['choices'][0]['message']['content']

print(english_transcript)

这份英文转录稿将作为我们在第3步中对音频进行印地语配音基准测试时的基准真值。

步骤 2. 使用 GPT-4o 将音频从源语言配音到目标语言

借助 GPT-4o，我们可以直接在一次 API 调用中将音频文件从英语配音为印地语，并获得音频的印地语转录。为此，我们将输出模态设置为 ["text", "audio"]。

glossary_of_terms_to_keep_in_original_language = "Turbo, OpenAI, token, GPT, Dall-e, Python"

modalities = ["text", "audio"]
prompt = f"The user will provide an audio file in English. Dub the complete audio, word for word in Hindi. Keep certain words in English for which a direct translation in Hindi does not exist such as  ${glossary_of_terms_to_keep_in_original_language}."

response_json = process_audio_with_gpt_4o(english_audio_base64, modalities, prompt)

message = response_json['choices'][0]['message']

在下面的代码片段中，我们将从 GPT-4o 的响应中同时获取印地语转录和配音音频。以前，这将是一个多步骤的过程，涉及多次 API 调用，首先转录，然后翻译，最后生成目标语言的音频。现在，使用 GPT-4o，我们可以通过一次 API 调用完成这一任务。

# Make sure pydub is installed
from pydub import AudioSegment
from pydub.playback import play
from io import BytesIO

# Get the transcript from the model. This will vary depending on the modality you are using.
hindi_transcript = message['audio']['transcript']

print(hindi_transcript)

# Get the audio content from the response
hindi_audio_data_base64 = message['audio']['data']

转录文本是印地语和英语的组合，分别使用各自的文字表示：印地语用天城文，英语用拉丁字母。这种方法确保了更自然的语音，并正确发音两种语言的单词。我们将使用 pydub 模块来播放音频，如下面的代码所示。

# Play the audio
audio_data_bytes = base64.b64decode(hindi_audio_data_base64)
audio_segment = AudioSegment.from_file(BytesIO(audio_data_bytes), format="wav")

play(audio_segment)

步骤 3：获取翻译基准（例如 BLEU 或 ROUGE）

我们可以通过将翻译文本与参考翻译进行比较，使用诸如 BLEU 和 ROUGE 之类的评估指标来评估翻译质量。

BLEU（双语评估替补）：衡量候选翻译与参考翻译之间 n-gram 的重叠。分数范围从 0 到 100，分数越高表示质量越好。

ROUGE（面向召回率的摘要评估替补）：常用于摘要评估。衡量候选文本与参考文本之间 n-gram 和最长公共子序列的重叠。

理想情况下，需要原始文本的参考翻译（人工翻译版本）才能进行准确评估。然而，开发这样的评估可能具有挑战性，因为它需要精通两种语言的双语人员投入时间和精力。

另一种方法是使用 GPT-4o 将目标语言的输出音频文件转录回原始语言，以评估翻译质量。

# Translate the audio output file generated by the model back into English and compare with the reference text
modalities = ["text"]
prompt = "The user will provide an audio file in Hindi. Transcribe the audio to English text word for word. Only provide the language transcription, do not include background noises such as applause. "

response_json = process_audio_with_gpt_4o(hindi_audio_data_base64, modalities, prompt)

re_translated_english_text = response_json['choices'][0]['message']['content']

print(re_translated_english_text)

将印地语音频转录回英语文字脚本后，我们可以通过将其与原始英语转录进行比较来运行评估指标。

# Make sure scarebleu package is installed
import sacrebleu
# Make sure rouge-score package is installed
from rouge_score import rouge_scorer

# We'll use the original English transcription as the reference text
reference_text = english_transcript

candidate_text = re_translated_english_text

# BLEU Score Evaluation
bleu = sacrebleu.corpus_bleu([candidate_text], [[reference_text]])
print(f"BLEU Score: {bleu.score}")

# ROUGE Score Evaluation
scorer = rouge_scorer.RougeScorer(['rouge1', 'rougeL'], use_stemmer=True)
scores = scorer.score(reference_text, candidate_text)
print(f"ROUGE-1 Score: {scores['rouge1'].fmeasure}")
print(f"ROUGE-L Score: {scores['rougeL'].fmeasure}")

步骤 4. 根据需要调整步骤 1-3 中的提示参数，解释并改进分数

在此示例中，BLEU 和 ROUGE 分数均表明语音翻译质量介于非常好和优秀之间。

解释 BLEU 分数： 虽然没有普遍接受的量表，但一些解释建议：

0 到 10：翻译质量差；存在重大错误且缺乏流畅性。

10 到 20：质量低；部分可理解但包含许多错误。

20 到 30：质量一般；传达了大致意思但缺乏精确性和流畅性。

30 到 40：质量良好；可理解且相对准确，有少量错误。

40 到 50：质量非常好；准确流畅，错误极少。

50 及以上：质量优秀；非常接近人工翻译。

解释 ROUGE 分数： “良好” ROUGE 分数的解释可能因任务、数据集和领域而异。以下指南表明结果良好：

ROUGE-1（一元组重叠）：对于抽象摘要任务，0.5 到 0.6 之间的分数通常被认为是良好的。

ROUGE-L（最长公共子序列）：0.4 到 0.5 左右的分数通常被认为是良好的，反映了模型捕获参考文本结构的能力。

如果您的翻译分数不令人满意，请考虑以下问题：

1. 源音频是否被准确转录？

如果转录包含错误，例如混淆发音相似的单词，您可以在步骤 1 的系统提示中提供此类术语的词汇表。这有助于模型避免误解，并确保特定术语的准确转录。

2. 源音频是否没有语法错误？

如果源音频包含语法错误，请考虑使用 GPT 模型进行后处理步骤，通过删除语法错误并添加适当的标点来优化转录。之后，不要使用 GPT-4o 的音频输入和音频输出模式，而是使用修正后的转录文本与 GPT-4o 的文本输入和音频输出模式来生成目标语言的音频。

3. 是否有保留原语言更有意义的单词？

某些术语或概念可能在目标语言中没有合适的翻译，或者以原始形式出现更容易理解。重新审视您的 glossary_of_terms_to_keep_in_original_language，并包含任何此类术语以保持清晰度和上下文。

结论

总而言之，本指南提供了一套清晰、逐步的音频翻译和配音流程，使内容能够更便捷地面向全球受众。借助 GPT-4o 的音频输入和输出能力，将音频文件从一种语言翻译并配音成另一种语言变得简单得多。我们的示例专注于将音频文件从英语翻译成印地语。

该过程可分解为以下步骤：

1. 转录： 使用 GPT-4o 的文本模态，将源语言音频转录为源语言文本。

2. 配音： 使用 GPT-4o 的音频模态，直接将音频文件配音为目标语言。

3. 基准翻译质量： 使用 BLEU 或 ROUGE 分数与参考文本进行比较，评估翻译的准确性。

4. 优化流程： 如有需要，调整提示参数以改进转录和配音效果。

本指南还强调了“语言”和“文字”之间的关键区别——这两个术语经常被混淆，但在翻译工作中至关重要。语言指的是交流系统，无论是口语还是书面语，而文字是用于书写语言的字符集。理解这一区别对于有效的翻译和配音至关重要。

通过遵循本指南中的技巧，您可以将各种内容（从播客、培训视频到完整电影）翻译并配音成多种语言。该方法适用于娱乐、教育、商业和全球交流等行业，使创作者能够将作品传播给不同的语言受众。

常见问题

常见错误及排查方法：1) API密钥未配置：确保环境变量OPENAI_API_KEY已设置；2) 音频格式不支持：确保输入为WAV格式，或调整format参数；3) 请求超时：检查网络连接，或增加超时设置；4) 响应中缺少音频数据：确认modalities包含"audio"；5) 转录不准确：在系统提示中提供术语表，或优化提示词；6) 评估分数低：检查源音频质量，考虑后处理转录文本，或调整保留原语言的术语列表。生产环境优化：使用异步请求处理并发任务，实现音频缓存以减少API调用，采用流式处理以降低延迟，并监控API使用量以控制成本。

企业应用扩展

本教程可扩展至多语言翻译、实时语音翻译、批量处理等场景。可结合其他OpenAI模型（如Whisper）进行预处理，或使用微调模型提升特定领域翻译质量。此外，可集成语音活动检测（VAD）以处理长音频，或使用WebSocket实现实时翻译。评估方面，可引入更多指标如METEOR、TER，或使用人工评估。生产部署时，可考虑使用容器化技术（如Docker）封装应用，并利用云服务（如AWS Lambda）实现无服务器架构。

总结

本教程面向有编程基础的开发者，深入讲解如何利用GPT-4o的音频输入输出模态，通过一次API调用实现音频的语音翻译与配音。文章从技术背景出发，解释GPT-4o如何简化传统多步骤流程，并详细剖析核心原理、系统架构及关键代码。通过实践步骤，读者将学会转录、配音、评估翻译质量（BLEU/ROUGE）及优化提示词。同时，文章提供常见错误排查与生产环境优化建议，帮助开发者高效落地AI音频翻译应用。

• --

内容来源与验证

• 内容等级：PREMIUM_A
• 质量等级：A
• 难度：中级
• 验证等级：V1
• 原文作者：msingh-openai
• 原文日期：2024-10-21
• 来源许可：MIT
• 来源版本：7062bd430ea6ae65368f0c4da0ada4b5efd7c503
• 查看原文