同济大学 · 启迪书院

杨涵Han Yang.

从语音转写到视觉质量,
探索可靠的智能感知。

同济大学启迪书院本科生,关注语音转写的可靠性与 AI 生成图像的质量评估。通过模型设计、实验分析和系统实现,把研究问题推进为可验证的方法。

杨涵的肖像照片
Han YangTONGJI UNIVERSITY
SHANGHAI, CHINA

近期研究

关注模型输出是否可信,以及评估能否反映真实改进。
以下两项工作均为第一作者在投稿件。

TMM 在投第一作者

多说话人转写的重复抑制与审计

Auditing Exact-Repetition Containment in Multi-Speaker Transcription

针对多说话人转写中的精确重复,联合考察解码控制、确定性文本压缩与删除敏感评估。通过保留可追溯的编辑记录,区分“重复减少”与“转写更准确”,分析重复抑制带来的收益及误删代价。

  • 多说话人转写
  • 精确重复抑制
  • 可追溯文本编辑
  • cpCER 评估
方法与实验观察
  • 分层审计:先检查 token 上限与温度回退等解码控制,再用不依赖参考转写的确定性规则压缩残余精确重复,记录每次编辑。
  • 实验范围:36 段 AISHELL-5 录音与 8 场 MISP2022 会议。在已启用上述解码控制后,文本规则清除 41 个窗口中的 43 处残余精确重复,六个评估条件下的 cpCER 额外降低 0.12–0.72 个百分点。
  • 核心观察:重复计数归零并不保证转写质量提升;需要同时检查字符错误率和删除错误,避免将过度删减误判为改进。
研究代码
ICASSP 在投第一作者

CaliTrace:生成图像质量评估

CaliTrace: Monotone Spatial-Penalty Routing for AI-Generated Image Quality Assessment

面向 AI 生成图像的无参考质量评估,将冻结的 SigLIP 局部特征映射为非负空间惩罚场,汇聚后从与图像无关的可学习截距中扣除,再映射为质量分数。显式约束惩罚到评分的关系,使任一惩罚坐标增大时,质量评分不会升高。

  • AIGC 图像质量
  • 无参考评估
  • SigLIP
  • 单调性约束
方法与实验观察
  • 评分路径:冻结的 patch 特征 → 非负空间惩罚 → 广义均值汇聚 → 截距减去汇聚惩罚 → Sigmoid 评分,将空间惩罚与最终评分直接关联。
  • 实验结果:在 AIGCIQA2023 同一组 6 个生成器、按提示词组留出的评估中,3 个随机种子的平均 macro SRCC 为 0.3962,pooled SRCC 为 0.8025,分别衡量生成器内相关性与混合样本相关性。
  • 适用范围:单调性保证针对惩罚坐标;空间惩罚场不等同于已验证的缺陷定位,实验也不代表对未见生成器的泛化结论。
研究代码

在真实任务中实践

从场景理解到模型训练,再到系统验证。
在团队中承担具体问题,也连接完整流程。

国家级大学生创新创业训练项目2025.10 — 至今

AegisDrive

世界模型辅助的自动驾驶最小风险决策

项目负责人 · 5 人团队

面向自动驾驶失效且驾驶员不适合接管的场景,探索世界模型辅助的风险最小化策略。负责舱外预测体系的设计与开发,包括摄像头数据结构化、大模型辅助场景描述、技能设计与训练,以及世界模型的训练与评估。

“挑战杯”创业计划竞赛项目2025.11 — 2026.04

Voicecraft 言筑

从自然语言指令到机器人空间搭建

视觉模块负责人 · 10 人团队

围绕机器人空间搭建任务,负责视觉识别、数据采集、模型训练与对齐、后训练优化等工作。针对幻觉与决策偏差等失败案例,分析视觉输入到动作执行的误差,并据此迭代模型与系统。

关心方法,也关心证据。

我的研究从具体问题出发:转写中的重复被去掉后,内容真的更准确了吗?图像质量分数的变化,能否对应到明确的惩罚路径?我希望用清晰的假设和可复查的实验,回答这些问题。

在研究之外,我也参与世界模型与机器人视觉项目。重视从数据、模型到评估的完整过程,以及让团队中的每一项工作能够被理解、验证和继续迭代。

同济大学 · 启迪书院本科生 · Tongji University, Qidi College
01

实验设计与评估

围绕研究问题构建对照实验,区分评价指标的含义,结合错误分析检验方法的实际收益。

对照实验 / 评估审计 / 失败案例分析
02

模型与数据

覆盖语音转写后处理、图像质量建模、视觉识别与世界模型训练,关注数据组织和评估过程的一致性。

语音与视觉 / 模型训练 / 数据处理
03

实现与协作

使用 Python 与 C++ 开展原型开发,承担核心模块实现与项目推进,将研究想法落实到可运行的系统。

Python / C++ / 原型开发 / 团队协作

从一个具体问题,开始交流。

欢迎围绕语音转写、生成图像质量评估、世界模型与机器人视觉交流,也期待参与有清晰问题和扎实实验的研究合作。