SuperDuperDB测试覆盖率实战:从数据层到AI模型的全链路质量保障指南
2026/6/29 4:36:56
想要本地运行、开源免费的视频语音提取转文字方案,这类方案完全可控、无隐私泄露风险,还能自定义适配不同语言和场景。
这是目前最成熟的开源组合:
# 创建独立python环境conda create--name whisper python=3.12# 激活创建的独立python环境conda activate whisper# 基础安装(包含轻量模型)pip install openai-whisper# 在安装了nvidia的Windows或Linux机器上:安装PyTorch GPU版本(提速5-10倍,需显卡支持),指明了具体CUDA版本121pip3 install torch torchvision torchaudio--index-url https://download.pytorch.org/whl/cu121# 如果是MacBook,无法使用 CUDA,默认使用苹果的Apple Silicon (M系列芯片)# PyTorch专门为苹果开发了MPS(Metal Performance Shaders) 后端。PyTorch会自动识别你的硬件并准备好 MPS 支持。pip3 install torch torchvision torchaudio以下代码可直接运行,实现「视频→提取音频→转写文字→导出 TXT/SRT 字幕」全流程:
#!/usr/bin/env python3importwhisperimportsubprocessimportosimportargparseimporttorch# 导入 torch 以便检查 MPS/CUDAfromwhisper.utilsimportget_writer# 导入官方写入工具defextract_audio_from_video(video_path,audio_path="temp_audio.wav"):""" 从视频中提取音频(使用FFmpeg) :param video_path: 输入视频路径(支持MP4/MOV/AVI等所有格式) :param audio_path: 输出音频路径(默认WAV格式) :return: 提取后的音频路径 """ifos.path.exists(audio_path):os.remove(audio_path)# 删除旧的临时音频# FFmpeg命令:提取音频,忽略视频流,输出WAVcmd=["ffmpeg","-i",video_path,"-vn",# 禁用视频流"-acodec","pcm_s16le",# 音频编码(保证兼容性)"-ar","16000",# 采样率16kHz(Whisper推荐)"-ac","1",# 单声道audio_path,"-y"# 覆盖已有文件]try:subprocess.run(cmd,check=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)print(f"✅ 音频提取完成:{audio_path}")returnaudio_pathexceptsubprocess.CalledProcessErrorase:raiseException(f"❌ 音频提取失败:{e.stderr.decode()}")defvideo_to_text(video_path,output_dir=".",model_size="base"):""" 视频转文字主函数 :param video_path: 输入视频路径 :param output_dir: 输出路径 :param model_size: Whisper模型大小(tiny/base/small/medium/large,越大越准但越慢) """# 0. 设备检测逻辑 (保持兼容性)iftorch.backends.mps.is_available():device="mps"print("🚀 检测到 Apple Silicon GPU,使用 MPS 加速")eliftorch.cuda.is_available():device="cuda"print("🚀 检测到 NVIDIA GPU,使用 CUDA 加速")else:device="cpu"print("⚠️ 未检测到 GPU 加速,使用 CPU 运行")# 1. 提取音频audio_path=extract_audio_from_video(video_path)# 2. 加载Whisper模型(首次运行会自动下载对应模型,约1GB-6GB)print(f"📥 加载Whisper{model_size}模型...")model=whisper.load_model(model_size,device=device)# 3. 语音转文字(支持自动识别语言)print("🔊 正在转写音频...")result=model.transcribe(audio_path,language="zh",# 手动指定语言(可选,不指定则自动识别)word_timestamps=False,# 如需单词级时间戳设为Trueverbose=False,fp16=False# 注意:MPS 目前对 fp16 支持不稳,设为 False 使用 fp32 兼容性更好)# 4. 使用官方工具导出结果# 获取输出目录路径output_dir=os.path.dirname(os.path.abspath(output_dir))ifos.path.dirname(output_dir)else"."# 导出 SRTsrt_writer=get_writer("srt",output_dir)srt_writer(result,video_path,{"max_line_width":None,"max_line_count":None,"highlight_words":False})# 导出 TXTtxt_writer=get_writer("txt",output_dir)txt_writer(result,video_path,{"max_line_width":None,"max_line_count":None,"highlight_words":False})print(f"📝 纯文本已导出")print(f"🎬 字幕文件已导出")# 清理临时音频os.remove(audio_path)print("✅ 全部完成!")# ====================== 运行示例 ======================if__name__=="__main__":# 1. 创建解析器parser=argparse.ArgumentParser(description="使用 Whisper 提取视频字幕")# 2. 添加参数# 必填参数:视频路径parser.add_argument("video_path",type=str,help="输入视频文件的路径 (例如: test.mp4)")# 可选参数:模型大小 (默认 base)parser.add_argument("--model",type=str,default="base",choices=["tiny","base","small","medium","large"],help="Whisper 模型大小,默认是 base")parser.add_argument("--output_dir",type=str,default=".")# 3. 解析参数args=parser.parse_args()# 4. 将解析出的参数传递给你的函数video_to_text(video_path=args.video_path,output_dir=args.output_dir,model_size=args.model)代码关键部分解释
python3 video2text.py test_video.mp4批量处理:修改代码,遍历文件夹下所有视频:
# 批量处理示例importglobforvideo_fileinglob.glob("videos/*.mp4"):# 遍历videos文件夹下的所有MP4video_to_text(video_file,output_dir=".")