Skip to content

minimind语言模型的预训练权重对应项目中的哪一个权重文件? #6

Open
@guang384

Description

3.3 下载minimind语言模型的预训练权重(百度网盘 or HuggingFace),放到./out/ 目录下,命名为*_llm.pth

这个是不是应该对应 minimind项目中的 pretrain_512.pth 重命名即可?

minimind/out
├── multi_chat
│ ├── full_sft_512.pth
│ ├── full_sft_512_moe.pth
│ └── full_sft_768.pth
├── single_chat
│ ├── full_sft_512.pth
│ ├── full_sft_512_moe.pth
│ └── full_sft_768.pth
├── pretrain_768.pth
├── pretrain_512_moe.pth
├── pretrain_512.pth ←

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions