2023-3-17夜与凡哥讨论

关节结构化约束

书接上文,尽管现有方法采用各种设计来捕获人体结构化信息,但是他们只有逐关节一一对应的loss约束,无法直接显式对关节之间的空间关系分布进行约束。我们采用OT,显式建模有刚体连接的关节之间的空间关系分布,强制其与GT保持一致性。这样就可以显式学习关节关系。


自然而然,多帧关节相似就可以输出更连续的姿态(这一点感觉不好实现)

图像-关节双一致性的最优传输用于视频人体姿态估计