3月

2.29 - 3.10

  • 《基于 LiDAR 的多模态人体动作捕捉》论文学习 + blog笔记

磨刀不误砍柴工，知道了人体动作捕捉这一套流程（虽然知道的有限），便于之后的毕设工作开展

  • 跑通 LiDARCap 代码

代码在 【/data/liumengyin/forder1/lidarcap_1】目录下

训练 200 个 epoch 需要 10h 左右

  • 可视化工具尝试（aitviewer, o3d_server）

aitviewer比较复杂，可以对齐SMPL模型和图像，看文档花了很长时间，还知道了 3DPW 数据集

后一个是实验室学长写的，只能显示SMPL模型

  • DINO-v2 tutorial

3.11 - 3.24

  • 开题报告 + PPT

  • 回 HDU 开题答辩

  • 乌镇旅游

3.25 - 3.31

  • 下载 mmBody 数据集，跑通 ImmFusion

数据集是未裁剪人体部分的，训练集150G，测试集100G

跑通比较顺利，基本就把 num_workers 置 0 就好了

  • 学习 ImmFusion 论文和代码具体内容

论文看了好几遍，这时老师已经提出换图像特征提取器的idea，那么就需要找到替换的接口。

代码结构此时对我而言还是比较复杂，一度想尝试复现代码，但是评估了一下工作量之后放弃了

4月

4.1 - 4.14

  • 在原始代码上训完 mmBody

训练速度特别慢，分段训练完差不多需要2周。尝试了多卡训练（报错失败）、减小参数、增加batch size，还是挺慢的

不过在此过程中学会了用 smplx 官方代码修改命令行参数的方式可视化测试结果

最后的测试定量指标：mpjpe 77，pa-mpjpe 37

定性结果：看起来有明显提升

  • 看了 dino-v2 微调（adapter方式）

感觉是可行的，大概是在 dinov2 网络结构中加入一个小的可训练参数的网络，其他部分冻结参数

  • 和 ShangHai Tech 老师交流

上午听讲座，下午组会单独交流

感受是着实被拓宽了视野。在我的方向方面两位老师的水平可以说远高于我自己的导师，感受到他们不仅能想出idea而且落实得很漂亮

  • ECCV 论文审稿

因为自身对这个领域知识的了解匮乏，导致无法达到审稿的水平

4.15 - 4.30

  • 换 lidarhuman26M 数据集跑

具体就是按照 命令汇总 中的方法调整数据集格式

这时还没有预提取图像特征，跑完这个数据集也要14天（甚至50个epoch），对比LiDARCap方法跑200个epoch也才需要半天，训练时间亟待减少

  • 尝试减少训练时间

为了跑完计划的6个实验（2个数据集 * 3个图像特征提取器），我的想法是首先将训练时间变得可控

a. 把网络参数调小，然而改变不大

b. 修改网络结构，例如去掉local_feat等，改来改去最短缩短到10天左右，还是太慢

这时候已经没辙了。师姐建议我换成预先提取图像特征，我又发现CPU占用率很高（1000%+），经检查代码里含有图像resize操作，我把resize去掉，也换到预处理代码中去做

  • 使用预训练模型 DINOv2、HRNet、ResNet 分别提取图像特征并保存

一边提取特征和resize图像，一边train模型，并行处理加快进度

预提取特征之后训lidarhuman26M大概需要2天✌

  • 解决指标问题

训练时间可控之后，指标问题又来了

大概是 mpve 200+，但是mpjpe和pa-mpjpe都只有几，相差快两个数量级

首先确认代码计算指标的部分是没问题的，师姐说可能是约束不够，所以我修改了loss，在joint和vertices的损失外增加了关节旋转矩阵的损失，然而依然无济于事，定量指标相差很大，定性结果虽然也比较差，但显然指标就是不对劲的

这时由于毕业论文的写作迫在眉睫，所以暂时也无暇顾及这个问题了

5月

5.1 - 5.19

  • 边改实验，边思考毕设工作量，边完成毕业论文写作

lidarhuman26M的结果先做好了（包括关节旋转分支

在2天之内解决了reli11d数据集的格式处理和跑结果两部分，而且定性结果出乎我预料的好（前面的失败都在为此时的成功铺路！我太牛了！！）

毕设的工作量纯看跑了哪些实验（没有一个实验是白跑的），论文内容也是根据跑出的实验临时决定的，原本5.15都还觉得处理reli11d的数据集格式太麻烦了不想做了，结果后脚马上就解决了，只能说自己的潜力还是很大的，这两个月的确能力得到了很大锻炼（只是希望下次别这么极限了）

关于指标问题，reli11d上仍然存在上述问题，因此我认为是数据集的单位存在问题导致的

5.20 - 5.31

  • 毕业论文降重、写致谢

参考师姐的部分太多，从16%降到10%

致谢想了挺久的，自认为写得还不错

  • 毕设答辩PPT制作，准备答辩

答辩超级水，可惜我花时间做了老久了

6月

6.1 - 6.14

  • 拍毕业照
  • 休息

6.15 - 6.19

  • 组会汇报了一篇 3DGS 的论文

6.20 - 7.4

  • 毕业
  • 旅行
  • 摆烂

7.5 - 8.31

  • 研究生手册
  • 配置 Sparse 3DGS 环境
  • 跑步 & 健身