下面是一些从0开始构建自己的LLM：
完全从0开始，最快仅用3小时！即可训练出仅为26M大小的微型语言模型MiniMind。
https://github.com/jingyaogong/minimind
中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。
https://github.com/charent/ChatLM-mini-Chinese
用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
https://github.com/DLLXW/baby-llama2-chinese
从0开始，将chatgpt的技术路线跑一遍。
https://github.com/AI-Study-Han/Zero-Chatgpt
从零实现一个小参数量中文大语言模型。
https://github.com/wdndev/tiny-llm-zh