huggingface/speech-to-speech 的 C# 行为等价重写。
一个完全跑在本地的低延迟语音智能体:一条命令就开始对话——没有 API key,没有云服务。 默认管线是 Silero VAD → SenseVoice → TensorSharp(本地 GGUF LLM) → Qwen3-TTS, 每一段都可替换。服务端讲 OpenAI Realtime 协议(WebSocket 与 WebRTC 双传输), 所以为 OpenAI Realtime API 写的应用可以把地址指向你自己的机器。
本仓库不是上游的官方移植。 它是一份独立的 C# 重写,验收标准是可观察行为与上游一致, 而不是源码相似。参照物锁定在
0835002(上游main,2026-10-22,pyproject版本1.1.0)。 每一处不一致都登记在porting/differences.jsonl(75 条:已解决 58 / 已接受 17 / 缺口 0), 并由差分语料与单元测试双向锁住。
| 项 | 要求 |
|---|---|
| .NET SDK | 10.0(net10.0,Nullable 启用) |
| 音频后端 | Windows:WASAPI + WinMM;Linux:ALSA;macOS:PortAudio |
| 模型权重 | 用下载脚本一键准备,约 6.86 GB,见下节 |
Linux 上需要 libasound2(NAudio.Alsa 的原生依赖):
sudo apt-get install libasound2git clone https://github.com/geffzhang/speech-to-speech-dotnet.git
cd speech-to-speech-dotnet
dotnet build SpeechToSpeech.slnx在仓库根目录执行一条命令,下载清单中的全部七组模型(包含 Whisper、SenseVoice、Paraformer 与可选 Smart Turn):
# Windows PowerShell 5.1+ / PowerShell 7
.\download-models.ps1# Linux / macOS / Git Bash
bash ./download-models.sh脚本需要 curl(Windows 使用 curl.exe,避免 PowerShell 的同名别名);Bash 另需
sha256sum 或 macOS 自带的 shasum。不需要 Python、Hugging Face CLI 或 API key。
如果 Windows 的执行策略阻止脚本,可以使用
powershell -NoProfile -ExecutionPolicy Bypass -File .\download-models.ps1(仅本次进程生效)。
默认下载到脚本所在仓库的 models/,不依赖当前工作目录;权重不入库。
完整 URL、固定提交版本、字节数与 SHA-256 在
tools/models/models.tsv,不在运行时解析 main / master:
默认直接从清单中的来源下载。网络无法访问 Hugging Face 时,可设置 S2S_MODEL_MIRROR
为镜像基地址(例如 https://hf-mirror.com),脚本会优先从镜像下载 Hugging Face 文件;
镜像下载失败时自动回退到原始 huggingface.co 地址。ModelScope 等非 Hugging Face URL 不会被改写。
$env:S2S_MODEL_MIRROR = 'https://hf-mirror.com'
.\download-models.ps1S2S_MODEL_MIRROR=https://hf-mirror.com bash ./download-models.sh手动下载时可按模型组筛选(serve 和 local 启动时也会使用此筛选,只准备本地后端需要的组):
.\download-models.ps1 -Groups vad,sense-voicebash ./download-models.sh --groups vad,sense-voice可用组为 vad、whisper、sense-voice、paraformer、llm、tts、smart-turn;省略筛选仍下载全部七组。
serve 和 local 都会在构建后端和开始监听前检查内置本地后端需要的模型,只下载缺失或校验不通过的模型组;
默认管线会自动准备五组模型(含 SenseVoice,不包括未选中的 Whisper 和 Paraformer)。自定义模型路径始终由用户管理,不会被替换;若文件缺失,命令会在启动监听前报错。SHA-256 校验通过后会把文件元数据记在
models/.model-verification-cache.json,未变化的权重后续启动无需重复读取数 GB 文件;删除该记录会触发重新校验。
talk 不需要模型,启动行为不变。
| 段 | 参数 | 下载目标(相对 models/) |
来源 |
|---|---|---|---|
| VAD | --vad_model_dir |
vad/silero_vad.onnx(v5) |
Silero v5 ONNX |
| STT(默认) | --sense_voice_model_dir |
sense-voice/(多语种 INT8 ONNX + tokens;约 228.5 MiB) |
SenseVoice |
| STT(可选) | --stt whisper --whisper_model_dir |
whisper/(多语种 base INT8 encoder + decoder + conf.json) |
ManySpeech Whisper |
| STT(可选) | --stt paraformer --paraformer_model_dir |
paraformer/(INT8 ONNX + config + tokens + am.mvn) |
Paraformer |
| LLM | --llm_model_path |
llm/Qwen3.5-0.8B-Q4_K_M.gguf |
Unsloth GGUF |
| TTS | --qwen3_model_dir |
tts/(0.6B CustomVoice ONNX + 外部数据 + embeddings + tokenizer) |
ElBruno Qwen3-TTS |
| 端点判定 | --smart_turn_model_path |
smart-turn/smart-turn-v3.2-cpu.onnx |
Pipecat Smart Turn |
- 全量清单共 45 个文件,7,095,766,482 字节;预留至少 7.5 GB 可用空间,替换旧模型时还需临时文件空间。默认管线实际准备 5 组,约 6.84 GB。
- 已有文件每次都校验大小和 SHA-256,正确的直接跳过;损坏的重新下载,旧文件在新文件校验成功前保留。
- 下载写入同目录的
.part文件;断网或 Ctrl+C 后重跑原命令即可续传。服务端不支持 Range 时明确告警并从头下载。 - 校验成功才改为正式文件名;校验失败返回非零退出码并删除坏的
.part,下次重新下载;网络失败则保留.part。 - 清单中大文件的 SHA-256 来自发布方 LFS / ModelScope 元数据,小文件按固定版本内容计算。 下载不代表接受额外授权,使用前仍应核对各模型原始许可。
- SenseVoice 模型受 FunASR Model Open Source License 约束;Paraformer、Whisper 等模型分别遵循各自来源的许可。使用前请核对原始许可。
- 这些脚本也提供 Paraformer 和 Whisper 资产;不包含说话人分离、声纹或口型等可选组件; 不要同时对同一个目录运行多个下载进程。
默认使用 SenseVoice;如需选择其他 STT 后端,可显式指定后端与对应模型组:
.\download-models.ps1 -Groups vad,whisper
dotnet run --project src/SpeechToSpeech.Cli -- serve --stt whisperbash ./download-models.sh --groups vad,paraformer
dotnet run --project src/SpeechToSpeech.Cli -- serve --stt paraformer自定义模型根目录(起服务时相应修改 S2S):
.\download-models.ps1 -ModelsDir D:\s2s-modelsbash ./download-models.sh --models-dir /path/to/models维护或选择其他模型时,两个入口还分别支持 -Manifest <清单路径> / --manifest <清单路径>;
TSV 每行依次为 SHA-256、正数字节数、相对目标路径、HTTP(S) URL(tab 分隔,# 行为注释)。
应使用可信清单并锁定源版本,必须同时更新校验值与大小,不能用普通 Hugging Face Whisper 导出替代
ManySpeech 所需格式;TTS 的 .onnx.data 等配套文件也不能遗漏。
dotnet run --project src/SpeechToSpeech.Cli -- serve \
--port 8765serve 会自动准备所选本地后端需要的默认模型;传入自定义模型路径时仍由你自行准备。
如需使用自定义模型根目录,可在启动时显式传入对应模型路径。
看到这行就算起来了:
listening on ws://127.0.0.1:8765/v1/realtime
模型文件会在 local 监听前准备好,但 Whisper、LLM、TTS 权重仍是懒加载的——首个转写/生成才触发加载,
所以第一轮延迟偏高(数秒到数十秒),热态后正常。
打包的音频客户端(麦克风 + 扬声器):
# 连一个已经在跑的 serve
dotnet run --project src/SpeechToSpeech.Cli -- talk --url ws://127.0.0.1:8765/v1/realtime
# 或者:服务端 + 客户端在同一个进程里(一条命令开聊)
dotnet run --project src/SpeechToSpeech.Cli -- local用耳机,否则助手会听见自己。
talk/local支持--block-mic-during-playback在播放期间闭嘴。
真跑必读:
talk必须对着可用的serve用。serve/local会在开始监听前自动准备所需的默认模型组; 缺失的自定义模型会明确报错,不会被自动替换。
管线是四段级联,每段在自己的线程上跑,用队列连接:
- 语音活动检测(VAD) — Silero VAD v5 判定说话边界与轮次起止。
- 语音转文本(STT) — 转写用户这一轮,可选实时逐字转写。
- 语言模型(LLM) — 生成回复,流式文本与工具调用。
- 文本转语音(TTS) — 合成音频并流式回给客户端。
三段可选扩展:
- Smart Turn 端点判定 — 用本轮的内容与韵律校验 Silero 的收口判断,决定投机宽限与处理延迟。
- 流式说话人分离 — 在 VAD 之前分轨,给转写补上
[speaker_N]标签。 - 口型提取(STV) — TTS 之后给出带时间戳的口型区间,供 avatar / robot 客户端渲染。
每一段都有多个可替换后端,用 CLI 开关选;不可用的后端会带着原因明确报错,不静默降级。
| 命令 | 行为 | 什么时候用 |
|---|---|---|
serve |
跑管线服务端,OpenAI Realtime 协议 over WebSocket + WebRTC。 | 你要基于这个 API 做应用或设备。 |
talk |
跑打包的麦克风/扬声器客户端,连一个已有的 Realtime 服务端。 | 你要跟一个已经在跑的服务端说话。 |
local |
进程内同时跑 serve 与 talk(环回)。 |
你想一条命令就开聊。 |
list-backends |
列出全部后端名字与可用状态。 | 想知道这个构建能跑什么、不能跑什么、为什么。 |
serve 默认绑 127.0.0.1;要暴露到网络请显式 --host 0.0.0.0。
local 永远绑回环。
# 看后端清单(32 个名字:11 可用 / 21 不可用,每个不可用都带原因)
dotnet run --project src/SpeechToSpeech.Cli -- list-backends| 段 | 后端 | 说明 |
|---|---|---|
| STT | sense-voice(默认) |
ManySpeech 的 SenseVoice ONNX,离线整段识别 |
| STT | whisper |
ManySpeech 的 Whisper ONNX,离线整段识别 |
| STT | paraformer |
ManySpeech 的 Ali Paraformer |
| STT | sense-voice |
ManySpeech |
| STT | openai |
OpenAI 兼容 /v1/audio/transcriptions |
| STT | openai-realtime |
流式:说话过程中逐段发 transcription.delta |
| STT | vllm-realtime |
流式,16 kHz 直通 |
| LLM | tensorsharp(默认) |
本地 GGUF(.gguf) |
| LLM | transformers |
本地 HF 权重 |
| LLM | chat-completions |
OpenAI 兼容 /v1/chat/completions(llama.cpp / vLLM / LM Studio) |
| TTS | qwen3(默认) |
Qwen3-TTS(ElBruno.QwenTTS ONNX) |
| TTS | openai |
OpenAI 兼容 /v1/audio/speech |
上游有 31 个后端名字,本实现的注册表把它们全部保留、另加 C# 专属的 tensorsharp(本地 GGUF),
共 32 个。其中 11 个可用,其余 21 个保留名字但不可用——选它们会得到一条
明确的 BackendUnavailableException 与原因(差异账 D010),不会静默换一条路。典型的几类:
- Apple Silicon 专属:MLX 系(
mlx-lm/whisper-mlx/mlx-audio-whisper)——C# 侧无对应运行时。 - NVIDIA 工具链专属:NeMo 系(
parakeet-tdt/parakeet-unified/nemotron-streaming/orukeet)、qwen3-asr、CTranslate2 的faster-whisper。 - G2P / 独立运行时缺失:
kokoro(需 Misaki)、chatTTS、kitten、pocket、phonon、omnivoice、facebookMMS、supertonic。 - 需要外部服务端:
drama3(SGLang Omni)、minimax(hosted API)。 - 协议面未接:
responses-api(OpenAI Responses API 的流式事件)、none(直连音频输入)。
转写后端怎么选——分三类,差别在是否流式:
| 类别 | 后端 | 采样率 | 行为 |
|---|---|---|---|
| 离线整段 | sense-voice(默认)/ whisper / paraformer |
16 kHz | 每个 VAD 段结束才发 transcription.completed,没有 transcription.delta |
| 离线整段(远程) | openai |
16 kHz | 同前,走 /audio/transcriptions |
| 流式实时 | openai-realtime / vllm-realtime |
24 kHz / 16 kHz | 说话过程中逐段发 transcription.delta |
要「边说边出字」的实时感、或对中文/方言质量要求更高 → 流式;要完全本地、离线、无外部端点 →
默认 sense-voice。
transcription.delta不需要客户端订阅,流式后端在说话过程中就推。speech_to_speech.input_audio_transcription.snapshot是另一条通道,需要在session.update的extensions里订阅(缺省关)。两者别混淆:delta 是边说边出的增量,snapshot 是已提交片段的一句话快照。
协议与 OpenAI Realtime 兼容,但跑在你自己的进程里——模型、语料、延迟都归你。 无鉴权:只应监听本地回环或受控内网。
| 端点 | 方法 | 说明 |
|---|---|---|
/healthz |
GET | 存活探针,返回 ok |
/v1/realtime |
WebSocket 升级 | 实时对话主通道(事件流) |
/v1/realtime/calls |
POST | WebRTC 信令:提交 offer,返回 answer + Location |
/v1/realtime/calls/{callId} |
DELETE | 挂断 WebRTC 通话,释放槽位 |
var ws = new ClientWebSocket();
await ws.ConnectAsync(new Uri("ws://127.0.0.1:8765/v1/realtime"), CancellationToken.None);
// 服务端立刻推 session.created(含 session.id,形态 session_<32hex>)与 session.updated
// 上行:{ "type": "input_audio_buffer.append", "audio": "<base64 PCM16>" }
// { "type": "input_audio_buffer.commit" }
// PCM 16-bit 单声道,默认 16000 Hz客户端→服务端事件:session.update、input_audio_buffer.append/commit/clear、
conversation.item.create/delete/truncate、response.create、response.cancel、
output_audio_buffer.clear(仅 WebRTC)、function_call_output(工具结果)。
服务端→客户端事件:会话(session.created / session.updated)、VAD
(input_audio_buffer.speech_started / speech_stopped / committed)、用户转写
(conversation.item.input_audio_transcription.completed)、生成(response.created +
output_item.added/done + response.content_part.added/done)、音频
(response.output_audio.delta / output_audio.done)、文本(transcript / output_text 的 delta/done)、
收尾(response.done,含 status_details 终态)、错误(error / type_error)。
服务端事件覆盖 26/26 = 100%(上游 26 种事件全部可构造,含扩展事件
speech_to_speech.output_audio.visemes)。审计脚本:python tools/refprobe/protocol_coverage.py。
JSON 编码口径与上游一致:UTF-8 不转义、base64 的 + / 不转义、BMP 外字符不转义——
转义集合只含引号 / 反斜杠 / 控制字符。
浏览器前端用 RTCPeerConnection 创建 offer(Opus 48 kHz,sendrecv),POST /v1/realtime/calls
(Content-Type: application/sdp),服务端回 201 + answer SDP + Location,
音频走媒体轨、控制事件走 datachannel oai-events。
const pc = new RTCPeerConnection({ iceServers: [] });
pc.addTransceiver("audio", { direction: "sendrecv" });
const dc = pc.createDataChannel("oai-events");
const offer = await pc.createOffer();
await pc.setLocalDescription(offer);
const resp = await fetch("http://127.0.0.1:8765/v1/realtime/calls", {
method: "POST", headers: { "Content-Type": "application/sdp" }, body: offer.sdp,
});
await pc.setRemoteDescription({ type: "answer", sdp: await resp.text() });- 槽位数 =
num_pipelines(默认 1),打满时POST /calls返回 503。 - 非
application/sdp内容类型返回 415;DELETE未知 callId 返回 404。 - 本项目没有 OpenAI 的
POST /sessions(临时令牌)。前端直接发 offer 即可。 - ICE 服务器走环境变量
SPEECH_TO_SPEECH_ICE_SERVERS。
完整接入文档见 docs/api-guide.md。
demo/ 是上游自带的浏览器语音对话 UI(走 OpenAI Realtime GA 协议,WebSocket / WebRTC 双传输,
前端用 @openai/agents 适配器 + 浏览器端 @ricky0123/vad-web)。
它默认以 ws://127.0.0.1:8765/v1/realtime 为后端——正是本项目 serve 的端点。设
SPEECH_TO_SPEECH_URL 后,demo 的服务端会禁用加载均衡 / 排队 / 计量 / 登录等 Space 专属逻辑,
浏览器直连我们的 serve,免鉴权。
npm ci --prefix demo
pip install -r demo/requirements.txt
export SPEECH_TO_SPEECH_URL=ws://localhost:8765/v1/realtime
uvicorn --app-dir demo server:app --port 7860同一套前端也可以由本仓库的 ASP.NET Core 10 服务端托管(src/SpeechToSpeech.Demo.Web):
dotnet run --project src/SpeechToSpeech.Demo.Web --urls http://127.0.0.1:7860它复刻上游 demo/server.py 的直连/本地模式:静态前端 + /api/config + /api/me +
/api/calls + /api/search + /vendor/*,裁掉 Space 专属的 auth / limiter / session / queue。
行为对齐由对拍保证——tools/smoke/demo_server_parity.py 起 Python uvicorn 与 ASP.NET 双侧,
同批 45 条 key 端点请求比对 status / content-type / body,零差异。
其中 PythonJson.cs 是刻意写的行为等价层:按 CPython json 模块语义解析与序列化
(NaN/Infinity、int/float 区分、大整数、浮点 repr 1.0 / 1e+16、错误 msg/pos),
因为 pydantic v2 的 422 校验形状要把这些原样回显。
行为等价不是「读懂了就重写」,是建基线、对拍、记账。四本账在 porting/:
| 账 | 文件 | 作用 |
|---|---|---|
| 参照物锁定 | 00-reference.md |
钉死上游版本与指纹文件;同域参考只取工程形态 |
| 行为基线 | 01-baseline.md |
把上游行为变成可执行证据(移植的测试 + 差分语料) |
| 差异登记 | 02-differences.md |
机器可读源 differences.jsonl;此文件由 render 生成,不手改 |
| 验收 | 03-acceptance.md |
构建 / 测试 / 语料 / 真跑 / 公开面审计的体检报告 |
语料只能由参照实现生成,不能手写。corpus/ 下六类,每类都由一对探针驱动
(Python 参照探针 tools/refprobe/ ↔ 本实现探针 tools/):
| 目录 | 守护的行为 | 条数 |
|---|---|---|
text/ |
文本规范化与分句 | 15 |
protocol/ |
线路协议事件的形状与编码 | 43 |
turns/ |
投机轮次状态迁移(虚拟时钟逐值比对) | 13 |
lang/ |
助手输出语言识别(lingua-py ↔ lingua-rs 互证) | 15 |
smart-turn/ |
端点判定到宽限/处理延迟的映射 | 13 |
latency/ |
响应时延账的状态迁移与 metadata 字符串 | 16 |
python ~/.workbuddy/skills/cross-lang-porting/scripts/diff_corpus.py verify --corpus corpus/protocol --json-canonical \
--cmd "dotnet tools/ProtocolProbe/bin/Debug/net10.0/ProtocolProbe.dll"--json-canonical 是必须的:探针输出紧凑、基线带空格,不归一化会整片误报。
上面命令里的
~/.workbuddy/skills/...是 cross-lang-porting skill 的脚本路径,Windows 下用完整路径(C://Users//<你>//.workbuddy//skills//cross-lang-porting//scripts//diff_corpus.py)。
- 状态翻 resolved 必须同步改四本账的正文,不只改账本那一行。两个方向都危险:
正向让人低估实现(以为不支持,实际能用),反向让人高估实现(以为已解决,实际还是缺口)。
一致性由
python tools/ledger/check_doc_sync.py --strict守着。 - 差异编号一律写账本形态
D001/C009/E001。 - 「accepted 的理由」也要核:理由常建立在「这不影响可观察行为」的假设上, 而假设的依据(哪个字段真出线、语料到底覆盖没覆盖)本身可能是错的。
75 条差异(resolved 58 / accepted 17 / gap 0)。accepted 的意思是已知、刻意接受,
不是「还没做」。几条值得先知道的:
| ID | 差异 | 影响 |
|---|---|---|
D001 |
Qwen3-TTS 整句合成而非逐帧流式 | 打断无法中断在途合成——真权重下被打断那一轮仍会合成完(实测 82–104 s),下一轮首包被它顶住。已按句切分 + 代际检查补偿,但 CPU 上消不掉 |
D010 |
上游多数后端无 C# 运行时 | 注册表 32 个名字里 21 个不可用——名字保留、选择即报明确原因,不静默降级 |
D008 |
ManySpeech 本地 STT 无增量转写 | 走 whisper / paraformer 时没有 transcription.delta;流式路径由 openai-realtime / vllm-realtime 承担 |
D036 |
STT 参数命名统一 {backend}_* 模板 |
上游是 vllm_realtime_stt_*;映射表在 docs/vllm-realtime-d005-integration.md §5.1 |
E003 |
serve 在监听前准备本地默认模型,权重仍懒加载 |
serve 与 local 都会在监听前准备所选后端的默认模型并校验自定义路径;模型权重仍在首次推理时加载 |
C005 |
分句器由 Punkt 改为确定性规则 | 刻意改进:上游 Punkt 用英文模型,中文标点完全不切;本实现按全角标点切,中文长回复的首段音频不拖到最后 |
完整清单见 porting/02-differences.md(机器可读源 porting/differences.jsonl)。
- 真人麦克风听感(音色、全双工回声)——协议与时延账已闭合,剩听感。
- Linux / macOS 真机——代码与绑定冒烟已过(macOS 走 PortAudio,与上游 sounddevice 同引擎), 但真机未实跑。
- 流式 STT 真实服务端联调——47 例测试全基于 fake WebSocket;手册在
docs/vllm-realtime-d005-integration.md,拿到 GPU 或 key 后按节执行。
# 1. 账本与文档一致性
python tools/ledger/check_doc_sync.py --strict
# 2. 构建(0 警告 0 错误是硬要求)
dotnet build SpeechToSpeech.slnx --no-incremental
# 3. 单元测试(当前 713 例)
dotnet test tests/SpeechToSpeech.Tests/SpeechToSpeech.Tests.csproj
# 4. 差分语料(六类)
python ~/.workbuddy/skills/cross-lang-porting/scripts/diff_corpus.py verify --corpus corpus/text --json-canonical --cmd "dotnet tools/TextProbe/bin/Debug/net10.0/TextProbe.dll"
python ~/.workbuddy/skills/cross-lang-porting/scripts/diff_corpus.py verify --corpus corpus/protocol --json-canonical --cmd "dotnet tools/ProtocolProbe/bin/Debug/net10.0/ProtocolProbe.dll"
python ~/.workbuddy/skills/cross-lang-porting/scripts/diff_corpus.py verify --corpus corpus/turns --json-canonical --cmd "dotnet tools/TurnsProbe/bin/Debug/net10.0/TurnsProbe.dll"
python ~/.workbuddy/skills/cross-lang-porting/scripts/diff_corpus.py verify --corpus corpus/lang --json-canonical --cmd "dotnet tools/LanguageProbe/bin/Debug/net10.0/LanguageProbe.dll"
python ~/.workbuddy/skills/cross-lang-porting/scripts/diff_corpus.py verify --corpus corpus/smart-turn --json-canonical --cmd "dotnet tools/SmartTurnProbe/bin/Debug/net10.0/SmartTurnProbe.dll"
python ~/.workbuddy/skills/cross-lang-porting/scripts/diff_corpus.py verify --corpus corpus/latency --json-canonical --cmd "dotnet tools/LatencyProbe/bin/Debug/net10.0/LatencyProbe.dll"
# 5. 协议覆盖审计(当前 26/26)
python tools/refprobe/protocol_coverage.py
# 6. 模型下载脚本集成测试(本地 HTTP,不下载真实权重;自动测试可用的 PowerShell / Bash)
python -m unittest discover -s tools/models -p test_download_models.py -v不要并行跑 build 与 test(会撞 CS2001)。构建前先停掉正在跑的
serve—— 残留进程锁住speech-to-speech.exe会让下一次构建报 MSB3027; 「当文件已存在时无法创建」则用dotnet build-server shutdown。
tools/smoke/ 下是脚本化客户端,把「一次完整说话」变成可复现的几十行输出:
python tools/smoke/serve_smoke.py --wav speech_6s.wav --url ws://127.0.0.1:8765
python tools/smoke/serve_smoke.py --wav speech_6s.wav --speak-twice --gap 3 # 打断场景
python tools/smoke/webrtc_smoke.py --port 8791 # aiortc 互证 WebRTC
python tools/smoke/demo_server_parity.py # demo 服务端双侧对拍HTTP 一律走
ProxyHandler({})(Windows 的系统代理会劫持127.0.0.1,差异账 D029)。serve指向本机 LLM 服务时记得NO_PROXY=127.0.0.1,localhost。
See the Docker guide for automatic model setup, persistent
storage, custom mounts, and direct docker run usage.
docker compose up --build首次启动会自动下载并校验默认五组模型(约 6.84 GB),写入 Compose 的 models 命名卷后才启动服务。
后续启动会复用卷中已校验的文件;无需预先创建 ./cache/models/,也无需单独运行宿主机 LLM 服务。
Compose 默认使用本地 TensorSharp GGUF 模型。模型权重仍受各自上游许可约束;下载地址和校验值来自
tools/models/models.tsv。
容器里没有音频设备,serve 模式(客户端经 WebSocket 推流)是唯一用法。
src/
SpeechToSpeech.Core/ 管线运行时、消息契约、配置、后端注册表、线路 JSON 编码
SpeechToSpeech.Realtime/ 协议事件工厂、连接循环、Kestrel 宿主
SpeechToSpeech.Transport.WebRtc/ WebRTC 传输(会话、信令、pacer、重采样)
SpeechToSpeech.Cli/ serve / talk / local / list-backends
SpeechToSpeech.Audio.Diarization/ 流式说话人分离状态机(零依赖)
SpeechToSpeech.Backends.* ManySpeech / TensorSharp / QwenTts / OpenAiCompatible /
SmartTurn / OpenLipSync / PyannoteDiarization /
SpeakerEmbedding / Lingua
SpeechToSpeech.Demo.Web/ 浏览器 demo 的 ASP.NET Core 10 服务端
SpeechToSpeech.Evals/ Big Bench Audio 评估套件
tests/SpeechToSpeech.Tests/ 单元测试(713 例)
corpus/ 差分语料(六类)
tools/ 探针(参照侧 Python + 本实现 C#)、冒烟脚本、账本检查
porting/ 四本账
docs/ API 接入指南、流式 STT 联调手册
demo/ 上游浏览器 demo
examples/OpenAIExamples/GetStarted/ SIPSorcery WebRTC 客户端示例(已指向本地 serve)
本仓库采用 Apache License 2.0(见 LICENSE)。
- 上游项目:huggingface/speech-to-speech(Apache-2.0)。
本仓库是独立重写,参照物锁定在
0835002;上游的模型权重各自遵循其原始许可 (Silero VAD、Parakeet、Qwen3-TTS 等),商用前请核对。 demo/是上游自带的前端,随上游许可引入。- 依赖的 NuGet 包均为正式版:ManySpeech(SileroVad / WhisperAsr / AliParaformerAsr)、 TensorSharp.Chat、ElBruno.QwenTTS、NAudio(+Alsa)、PortAudioSharp2、SIPSorcery、Concentus。
如果用到了这条管线,也请一并引用你实际运行的组件模型。