LatteGAN 가중치 불러오기 관련 이슈

[kim1387]

LatteGAN 훈련 과정은 크게 세 가지로 나눌 수 있다.

공식 레포 README 인용

Pretraining

Execute the following scripts to finetune the text feature extractor BERT-base-uncased.
The artifacts of these scripts will be stored under ./results/experiments/exp(78|95)-pretrain-tirg/.

# for CoDraw
pipenv run python src/main.py --yaml_path ./params/exp078.yaml --pretrain_tirg --gpu_ids=0

# for i-CLEVR
pipenv run python src/main.py --yaml_path ./params/exp095.yaml --pretrain_tirg --gpu_ids=0

Execute the following scripts to prepare the embeddings of instructions.
Note that the arguments model_path in the yaml files should be set the path of the weights acquired the above pretraining scripts.

# for CoDraw
pipenv run python src/main.py --yaml_path ./params/exp085.yaml --create_embs_from_model --gpu_ids=0

# for i-CLEVR
pipenv run python src/main.py --yaml_path ./params/exp098.yaml --create_embs_from_model --gpu_ids=0

Adversarial Training

Execute following scripts to train LatteGAN.
Generation of images and calculation of metrics AP, AR, F1, and RSIM will be conducted simultaneously during training.
All of the artifacts will be stored under ./results/experiments/ with the corresponding experiment numbers.

# CoDraw: LatteGAN
pipenv run python src/main.py --yaml_path ./params/exp169.yaml --train_propv1_scain_geneva --gpu_ids=0,1,2,3

# iCLEVR: LatteGAN
pipenv run python src/main.py --yaml_path ./params/exp170.yaml --train_propv1_scain_geneva --gpu_ids=0,1,2,3

1. BERT에서 파생된 문자열 특징을 추출할 수 있는 TIRG 모델을 훈련시킨다.
2. 정의된 학습 데이터를 모델이 사용할 수 있는 형태로 임베딩시킨다.
3. GAN의 정의와 맞게 상호 배타적인 모델을 기반으로 LatteGAN 모델을 훈련시킨다.

원 저작자가 준 가중치는 1번만 있음.