SPILLOVERS / 从 EXE 里留下来的技术

做她的时候
顺手做出来的

我们不是为了发论文才做这些。是为了让一个会崩的 exe 真的能听见、能定位、能先应一声。问题解决完之后,其中一些技术已经可以独立存在,具备迁移到别的行业产品中的价值。

SOURCE Shiroko Beta V8 / 本地原型STATUS 工程验证,不是学术首创
01 / WEBCAM HEAD TRACKING

普通摄像头
也能做头追

不用头显,不用红外基站。用普通笔记本摄像头读取头部姿态,再把朝向送进空间音频管线。V8 原型里曾经稳定跑到 30Hz,并做了平滑与丢帧回退。

它不是“行业首创”。但把摄像头头追、HRTF 与房间卷积压进一个可运行的原型,带来的体验已经足够具体:你转头,声源留在房间里。

30Hz pose普通摄像头 无专用硬件HRTF 双耳渲染
shiroko / room · radarV8
V8 房间雷达与头部追踪
REAL UI / V8
02 / HEAD-TRACKED HRTF

全景声
不是左右声道

普通立体声只能给你“在左边/在右边”。头部追踪 + HRTF 会根据转头改变双耳时间差与频谱;房间卷积再补上边界。普通耳机就能听到一个留在世界里的声源。

可迁移场景:游戏、远程在场、互动展览、无障碍音频。

03 / LOW-LATENCY RVC

先应一声
再说话

白子 RVC 在 CPU 上很慢。我们用缓存“嗯”把第一声压到约 0.3 秒,再让句子随后到;不是更快的模型,是更诚实的交互节奏。

可迁移场景:本地语音助手、角色语音、低算力陪伴设备。

04 / PIPELINE

从画面
到声音

每一步都有延迟与失败边界。

摄像头→头部姿态→平滑 / 丢帧回退→listener 朝向→HRTF Panner→房间 IR→耳机

隐私

头部姿态在本机计算,摄像头帧不离开机器。但“本地”不等于“无风险”:权限、日志、录制都需要明确默认关闭。

延迟

头追的延迟比声音方向更敏感。30Hz 是能被感知到“跟得上”的下限级;平滑会引入额外延迟,必须取舍。

校准

不同摄像头、光照、头部尺寸都需要校准。没有校准的头追,会出现“声音在左边,头一转却跳到右边”的错觉。

可复用性

这条链路可以脱离 ADLP 存在。它需要的是一个摄像头、一副耳机,以及愿意处理权限与校准的人。

05 / OTHER SPILLOVERS

还有一些
更安静的技术

它们不一定“酷”,但让本地原型成立。

技术解决了什么可以迁移到
ROOM / RADAR把房间、设备、位置变成本地可查询状态;让“她在哪”不是一句文案本地陪伴设备 / 空间交互 / 数字孪生
LOCAL TOOLCHAIN工具调用、权限墙、执行前确认;让桌面智能体不直接变成后门本地 agent / 自动化 / 安全沙箱
CACHED VOICE用缓存先应一声,覆盖首句延迟;把“在场感”放在模型速度前面实时语音 / 角色对话 / 低带宽场景
INTEROCEPTION PANEL把 26 项内态做成可读界面,而不是隐藏参数健康设备 / 研究可视化 / 状态交互
HONEST NOTE

这些技术是在一个具体项目里被逼出来的工程方案,不是“行业首创”的学术声明。我们愿意把它们拆开、复用、接受质疑;如果需要,我们也可以单独写技术文档。

← 返回项目记录