MiniSnail DPO
MiniSnail 是一个从头实现和训练的轻量级自回归语言模型。
模型结构
- Vocabulary size: 6,400
- Context length: 512
- Hidden size: 768
- Layers: 12
- Attention heads: 12
- FFN size: 2,048
- Training stages: Pre-training → SFT → DPO
使用限制
该模型采用自定义 PyTorch 架构，目前不能直接通过
transformers.AutoModel.from_pretrained() 加载。
模型规模较小，可能出现事实错误、重复输出、不完整回答和不安全内容。 不应直接用于医疗、法律、金融等高风险场景。
对话格式
<|im_start|>user
问题<|im_end|>
<|im_start|>assistant