在遮挡、模糊等情况下,视觉信息缺失,各种时序方法很难很好的去缓解这个问题。如果能从 一个关节 / 一个关节组 / 半身 等出发,去合理猜测可能存在的各种姿态,就很有可能能解决这个问题
可以先通过大量的 heatmap 预训练,比如扣掉大多数的关节,让模型去恢复|但是这个做法有个弊端就是,人体的自由度过高|但是自然图像扣掉 90% 也很难,所以值得一试
- heatmap 预训练
- 加到现有 backbone 末端
- 想象的多 pose 融合,可以从耽搁关节开始生成;也可以从关节组开始;以及半身;全身
感觉不是很靠谱 以后再看
或者详细看了 egoego 之后再说