两类输入
语音输入与 Player Logger 游戏状态采集共同支撑交互；结构化解析与验证为 LLM/API 响应准备状态。
← 返回时间线
团队项目 · 实时语音系统
基于实时游戏状态的 Minecraft 语音助手
2025年1月 – 2025年5月将语音、结构化实时游戏状态与 LLM/API 响应连接到并行语音及界面输出。
角色: 实时状态集成、结构化验证与响应性测试。
现实问题
让语音助手依据结构化的 Minecraft 实时游戏状态进行回答。
系统表达
实时交互循环
既听到你的问题，也知道游戏里发生了什么
助手把玩家的问题与游戏事件结合起来，用文字和语音解释合成方法。我的贡献是连接实时状态采集与解析、结构化验证、API 集成，并测试同步与响应性。
木斧 · 报告中的合成示例
有用的回答，还要告诉你材料放在哪
报告中的例子用三块木板和两根木棍合成一把木斧。材料、3×3 布局与操作说明，让回答变成玩家可以照着做的步骤。
查看报告中的真实界面截图
玩家的请求
说话或打字
Gradio 接收文字或录音，Google 语音识别把录音转成文字。
游戏上下文
游戏事件 → 结构化状态
Player Logger 记录动作、坐标和时间戳等事件；解析流程将 CSV 记录转成结构化事件。
合成知识
查找配方
对于合成请求，报告描述了先查找配方，再将材料与布局加入提示的流程。
DeepSeek-Chat 生成回答
Pydantic-AI 连接模型，Pydantic 检查普通回答、合成回答或游戏状态回答的结构。
看文字 · Gradio
界面显示回答，也能呈现结构化的合成信息。
听语音 · gTTS
语音模块朗读回答；语音输出失败时，仍可查看文字。
↺ 新的提问与更新后的游戏事件，构成下一轮上下文。
深入看：结构验证能保证什么？
回答即使满足规定字段，也可能事实错误。配方查找提供依据，游戏状态提供上下文。报告也记录了响应延迟，以及在游戏和助手窗口之间切换的问题。
展开技术说明
响应与并行输出
响应同时进入 gTTS 语音和 Gradio 界面输出。
下一轮交互
后续语音和更新后的游戏状态进入下一轮交互。
核心思想 / 原理导读
先理解原理，再看实现
依据实时状态回答
结合游戏状态的回答同时依赖游戏中正在发生的情况和用户语音；我负责实时状态采集与解析。
结构化验证
Pydantic-AI 与结构化状态验证为响应流程准备游戏状态。
两种输出下的响应性
对并行 TTS/UI 输出开展同步与响应性测试，带字幕的演示展示了游戏内交互。
实现细节
语音输入
STT
实时状态
Player Logger 与游戏状态解析
结构化验证
Pydantic-AI
LLM / API
LLM / API 集成
语音与界面输出
gTTS 与 Gradio 并行输出
成果与演示
将语音、结构化实时游戏状态与 LLM/API 响应连接到并行语音及界面输出。
职责边界
实现
实时状态采集与解析、结构化状态验证和 API 集成。
评估与团队背景
开展受控同步与响应性测试。演示由团队成员拍摄。