add TSN dygraph model by LiuChaoXD · Pull Request #4817 · PaddlePaddle/models

LiuChaoXD · 2020-08-26T09:21:27Z

This PR

add TSN dygraph model

CLAassistant · 2020-08-26T09:21:31Z

Thank you for your submission! We really appreciate it. Like many open source projects, we ask that you all sign our Contributor License Agreement before we can accept your contribution.
0 out of 2 committers have signed the CLA.

❌ root
❌ LiuChaoXD

root seems not to be a GitHub user. You need a GitHub account to be able to sign the CLA. If you have already a GitHub account, please add the email address used for this commit to your account.
_{You have signed the CLA already but the status is still pending? Let us recheck it.}

huangjun12 · 2020-08-27T08:20:21Z

dygraph/tsn/REAMDE.md

+
+## 数据准备
+
+TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。数据下载及准备请参考[数据说明](./data/dataset/ucf101/README.md)


【采用Kinetics-400动作识别数据集】，但数据说明链接给的是ucf-101?

huangjun12 · 2020-08-27T08:22:59Z

dygraph/tsn/REAMDE.md

@@ -0,0 +1,70 @@
+# TSN 视频分类模型


README.md VS REAMDE.md

huangjun12 · 2020-08-27T08:25:20Z

dygraph/tsn/REAMDE.md

+```
+单卡训练所使用的gpu可以通过如下方式设置：
+- 首先，修改./configs/tsn.yaml 中的 num_gpus=1 (表示使用单卡进行训练)
+- 首先，修改run.sh 中的 export CUDA_VISIBLE_DEVICES=0 （表示使用gpu 0 进行模型训练）


两个首先，单卡时batch_size要调吗

huangjun12 · 2020-08-27T08:31:26Z

dygraph/tsn/data/dataset/ucf101/annotations/testlist01.txt

@@ -0,0 +1,3783 @@
+ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01.avi


remove data list

shippingwang · 2020-08-26T13:27:13Z

dygraph/tsn/REAMDE.md

@@ -0,0 +1,70 @@
+# TSN 视频分类模型
+本目录下为基于PaddlePaddle 动态图实现的 TSM视频分类模型


shippingwang · 2020-08-26T13:27:46Z

dygraph/tsn/REAMDE.md

+
+## 模型简介
+
+Temporal Segment Network (TSN) 是视频分类领域经典的基于2D-CNN的解决方案。该方法主要解决视频的长时间行为判断问题，通过稀疏采样视频帧的方式代替稠密采样，既能捕获视频全局信息，也能去除冗余，降低计算量。最终将每帧特征平均融合后得到视频的整体特征，并用于分类。本代码实现的模型为基于单路RGB图像的TSN网络结构，Backbone采用ResNet-50结构。


ResNet-50 -> ResNet50

shippingwang · 2020-08-26T13:35:10Z

dygraph/tsn/REAMDE.md

+bash multi-gpus-run.sh train ./configs/tsn.yaml
+```
+多卡训练所使用的gpu可以通过如下方式设置：
+- 首先，修改./configs/tsn.yaml 中的 num_gpus （默认为4，表示使用4个gpu进行训练）


It is unnecessary to keep num_gpus in configuration, GPU_ID can be obtained by gpu_id = int(os.environ.get('FLAGS_selected_gpus', 0))

shippingwang · 2020-08-26T13:35:33Z

dygraph/tsn/REAMDE.md

+bash run.sh train ./configs/tsn.yaml
+```
+单卡训练所使用的gpu可以通过如下方式设置：
+- 首先，修改./configs/tsn.yaml 中的 num_gpus=1 (表示使用单卡进行训练)


shippingwang · 2020-08-26T13:38:14Z

dygraph/tsn/REAMDE.md

+
+- 使用`run.sh`进行评估时，需要修改脚本中的`weights`参数指定需要评估的权重
+
+- `./tsn-test.yaml` 是评估模型时所用的参数文件；`./weights/final.pdparams` 为模型训练完成后，保存的模型文件


use underline instead of dash name files

shippingwang · 2020-08-28T11:07:19Z

dygraph/tsn/model.py

+        y = fluid.layers.elementwise_add(x=short, y=conv2)
+        return fluid.layers.relu(y)
+
+        # layer_helper = LayerHelper(self.full_name(), act="relu")


shippingwang · 2020-08-28T11:12:12Z

dygraph/tsn/reader/reader_utils.py

@@ -0,0 +1,81 @@
+#  Copyright (c) 2019 PaddlePaddle Authors. All Rights Reserve.


shippingwang · 2020-08-28T11:14:04Z

dygraph/tsn/reader/ucf101_reader.py

@@ -0,0 +1,905 @@
+# copyright (c) 2019 PaddlePaddle Authors. All Rights Reserve.


support frames and video

shippingwang · 2020-08-28T11:22:07Z

dygraph/tsn/train.py

+                                                              strategy)
+
+        bs_denominator = 1
+        if args.use_gpu:


same as remove gpu num

shippingwang · 2020-08-28T11:23:33Z

dygraph/tsn/train.py

+                    "_" + model_path_pre + "_epoch{}".format(epoch))
+                fluid.dygraph.save_dygraph(video_model.state_dict(), model_path)
+                fluid.dygraph.save_dygraph(optimizer.state_dict(), model_path)
+


if validate

huangjun12 · 2020-09-09T06:49:48Z

dygraph/tsn/data/dataset/ucf101/README.md

+UCF101数据的详细信息可以参考网站[UCF101](https://www.crcv.ucf.edu/data/UCF101.php)。 为了方便用户使用，我们提供了UCF101数据的annotations文件和videos文件的下载脚本。
+
+### 下载annotations文件
+首先，请确保在`./data/dataset/ucf101/`目录下，输入如下UCF101数据集的标注文件的命令。


输入如下命令下载UCF101数据集的标注文件。

huangjun12 · 2020-09-09T09:25:33Z

dygraph/tsn/data/dataset/ucf101/README.md

+生成视频文件的路径list，输入如下命令
+
+```python
+ python build_ucf101_file_list.py videos/ --level 2 --format videos --out_list_path ./


(1) 生成list的时候建议不要shuffle，在Reader里做shuffle
(2) 最好直接生成绝对路径，Reader代码里不用再输入相对路径
(3) 可以示例一下生成的list文件内容

add tsn

fdcd1ff

huangjun12 reviewed Aug 28, 2020

View reviewed changes

LiuChaoXD added 3 commits August 28, 2020 09:08

add tsn

f5e723e

add refined tsn model

4048b3b

add refined dynamic tsn model

ba0dd40

shippingwang requested changes Aug 28, 2020

View reviewed changes

LiuChaoXD added 3 commits August 29, 2020 17:24

refined dynamic tsn 2020-08-30

e035d91

final dynamic tsn 2020-08-30

5df6704

add tsn 2020-08-31

9e963ac

shippingwang approved these changes Sep 1, 2020

View reviewed changes

huangjun12 reviewed Sep 9, 2020

View reviewed changes

paddle-bot bot added the contributor label Feb 26, 2024

paddle-bot bot assigned sijunhe Feb 26, 2024


		## 数据准备

		TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。数据下载及准备请参考[数据说明](./data/dataset/ucf101/README.md)

		@@ -0,0 +1,3783 @@
		ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01.avi

		@@ -0,0 +1,70 @@
		# TSN 视频分类模型
		本目录下为基于PaddlePaddle 动态图实现的 TSM视频分类模型


		## 模型简介

		Temporal Segment Network (TSN) 是视频分类领域经典的基于2D-CNN的解决方案。该方法主要解决视频的长时间行为判断问题，通过稀疏采样视频帧的方式代替稠密采样，既能捕获视频全局信息，也能去除冗余，降低计算量。最终将每帧特征平均融合后得到视频的整体特征，并用于分类。本代码实现的模型为基于单路RGB图像的TSN网络结构，Backbone采用ResNet-50结构。


		- 使用`run.sh`进行评估时，需要修改脚本中的`weights`参数指定需要评估的权重

		- `./tsn-test.yaml` 是评估模型时所用的参数文件；`./weights/final.pdparams` 为模型训练完成后，保存的模型文件

		@@ -0,0 +1,81 @@
		# Copyright (c) 2019 PaddlePaddle Authors. All Rights Reserve.

		@@ -0,0 +1,905 @@
		# copyright (c) 2019 PaddlePaddle Authors. All Rights Reserve.

Conversation

LiuChaoXD commented Aug 26, 2020

Uh oh!

CLAassistant commented Aug 26, 2020 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

5 participants

CLAassistant commented Aug 26, 2020 •

edited

Loading