Huggingface格式转换

Huggingface 转 TencentPretrain

转换脚本

TencentPretrain 转 Huggingface

python3 scripts/convert_llama_tencentpretrain_to_hf.py \
    --tp_model_dir /path/to/downloaded_tencentpretrain_model \
    --input_dir /path/to/downloaded/llama/weights \
    --model_size 7B \
    --model_name chatflow_7b.bin \
    --output_dir /output/path

--tp_model_dir 存放模型的目录
--model_name 模型文件名
--input_dir 存放llama原始模型的配置文件和tokenizer，配置文件格式
例如：

.
├── 13B
│   └── params.json
├── 30B
│   └── params.json
├── 7B
│   └── params.json
└── tokenizer.model