DatasetRank #424 of 836 177 likes
wikipedia-cn-20230720-filtered
by 0xDing (personal account)
本数据集基于中文维基2023年7月20日的dump存档。作为一项以数据为中心的工作，本数据集仅保留了 254,547条 质量较高的词条内容。具体而言： 过滤了Template, Category, Wikipedia, File, Topic, Portal, MediaWiki, Draft, Help等特殊类型的词条 使用启发式的方法和自有的NLU模型过滤了一部分质量较低的词条 过滤了一部分内容较为敏感或存在争议性的词条。 进行了简繁转换和习惯用词转换，确保符合中国大陆地区的习惯用词。 This dataset is based on the… (excerpt from the dataset card on Hugging Face)
Dataset facts
- Hub id
- 0xDing/wikipedia-cn-20230720-filtered
- Likes
- 177
- Downloads (last 30 days)
- 3,667
- Tasks
- Text generation
- Modality
- text
- Size
- 100K to 1M examples
- License
- CC BY-SA 3.0 (cc-by-sa-3.0)
- Access
- Open download
- Author
- 0xDing · Personal account
- Languages
- zh
- Created
- Jul 23, 2023
- Last modified
- Jul 23, 2023