请问如果想将模型参数量从0.1B改为0.2B，或者改为0.05B，应该改动哪些参数呢？

[ybdesire]

No description provided.

[ybdesire]

请问是改这个config.json就可以吗？
https://github.com/AI-Study-Han/Zero-Chatgpt/blob/main/pretrain/model/config.json
大概要改哪些参数呢？

[AI-Study-Han]

是的，可以修改层数和每层的尺寸

[ybdesire]

是的，可以修改层数和每层的尺寸

谢谢您的回复。再请教一下，如果把 "num_hidden_layers": 24 改为 "num_hidden_layers": 12 ，模型总参数量就变为 0.05B 了是吗？

[AI-Study-Han]

是的，可以修改层数和每层的尺寸

谢谢您的回复。再请教一下，如果把 "num_hidden_layers": 24 改为 "num_hidden_layers": 12 ，模型总参数量就变为 0.05B 了是吗？

不是，因为模型较小的话，embedding 参数占比较大，只修改层数这部分参数没有变化，并不是单纯的1/2的关系，这个你可以计算一下。