DatasetRank #646 of 836 120 likes
minimind_dataset
by jingyaogong (personal account)
分词器可以粗略理解成 LLM 使用的一本“词典”，负责把自然语言映射成 token id，再把 token id 解码回文本；项目中也提供了train_tokenizer.py作为词表训练示例。不建议重新训练 tokenizer，因为词表和切分规则一旦变化，模型权重、数据格式、推理接口与社区生态的兼容性都会下降，也会削弱模型的传播性。同时，tokenizer 还会影响 PPL 这类按 token 统计的指标，因此跨 tokenizer 比较时，BPB（Bits Per Byte）往往更有参考价值，可参考这篇。 对 MiniMind… (excerpt from the dataset card on Hugging Face)
Dataset facts
- Hub id
- jingyaogong/minimind_dataset
- Likes
- 120
- Downloads (last 30 days)
- 3,902
- Tasks
- Text generation
- Modality
- Not given
- Size
- Not given
- License
- Apache 2.0 (apache-2.0)
- Access
- Open download
- Author
- jingyaogong · Personal account
- Languages
- multilingual
- Created
- Sep 9, 2024
- Last modified
- Apr 9, 2026