SPILLOVERS / 从 EXE 里留下来的技术做她的时候
做她的时候
顺手做出来的
我们不是为了发论文才做这些。是为了让一个会崩的 exe 真的能听见、能定位、能先应一声。问题解决完之后,其中一些技术已经可以独立存在,具备迁移到别的行业产品中的价值。
01 / WEBCAM HEAD TRACKING普通摄像头
普通摄像头
也能做头追
不用头显,不用红外基站。用普通笔记本摄像头读取头部姿态,再把朝向送进空间音频管线。V8 原型里曾经稳定跑到 30Hz,并做了平滑与丢帧回退。
它不是“行业首创”。但把摄像头头追、HRTF 与房间卷积压进一个可运行的原型,带来的体验已经足够具体:你转头,声源留在房间里。

02 / HEAD-TRACKED HRTF全景声
全景声
不是左右声道
普通立体声只能给你“在左边/在右边”。头部追踪 + HRTF 会根据转头改变双耳时间差与频谱;房间卷积再补上边界。普通耳机就能听到一个留在世界里的声源。
可迁移场景:游戏、远程在场、互动展览、无障碍音频。
03 / LOW-LATENCY RVC先应一声
先应一声
再说话
白子 RVC 在 CPU 上很慢。我们用缓存“嗯”把第一声压到约 0.3 秒,再让句子随后到;不是更快的模型,是更诚实的交互节奏。
可迁移场景:本地语音助手、角色语音、低算力陪伴设备。
04 / PIPELINE从画面
从画面
到声音
每一步都有延迟与失败边界。
摄像头→头部姿态→平滑 / 丢帧回退→listener 朝向→HRTF Panner→房间 IR→耳机
隐私
头部姿态在本机计算,摄像头帧不离开机器。但“本地”不等于“无风险”:权限、日志、录制都需要明确默认关闭。
延迟
头追的延迟比声音方向更敏感。30Hz 是能被感知到“跟得上”的下限级;平滑会引入额外延迟,必须取舍。
校准
不同摄像头、光照、头部尺寸都需要校准。没有校准的头追,会出现“声音在左边,头一转却跳到右边”的错觉。
可复用性
这条链路可以脱离 ADLP 存在。它需要的是一个摄像头、一副耳机,以及愿意处理权限与校准的人。
05 / OTHER SPILLOVERS还有一些
还有一些
更安静的技术
它们不一定“酷”,但让本地原型成立。
| 技术 | 解决了什么 | 可以迁移到 |
|---|---|---|
| ROOM / RADAR | 把房间、设备、位置变成本地可查询状态;让“她在哪”不是一句文案 | 本地陪伴设备 / 空间交互 / 数字孪生 |
| LOCAL TOOLCHAIN | 工具调用、权限墙、执行前确认;让桌面智能体不直接变成后门 | 本地 agent / 自动化 / 安全沙箱 |
| CACHED VOICE | 用缓存先应一声,覆盖首句延迟;把“在场感”放在模型速度前面 | 实时语音 / 角色对话 / 低带宽场景 |
| INTEROCEPTION PANEL | 把 26 项内态做成可读界面,而不是隐藏参数 | 健康设备 / 研究可视化 / 状态交互 |
HONEST NOTE
← 返回项目记录
这些技术是在一个具体项目里被逼出来的工程方案,不是“行业首创”的学术声明。我们愿意把它们拆开、复用、接受质疑;如果需要,我们也可以单独写技术文档。