从头开始编写 LoRA 代码
在 PyTorch 中实现 LLMs 的低阶适应 LoRA 代表低阶适应，是一种更有效地微调 LLMs 的流行 […]
GPT
GPT 相关内容
Generative Pre-trained Transformer（GPT）的中文翻译是“生成式预训练变换器”。以下是每个单词的翻译解释：
Generative：生成式的，指的是该模型可以生成新的自然语言文本，而不仅仅是分类或标注等任务。
Pre-trained：预训练的，指的是该模型在实际应用前已经进行了大量的训练，以学习自然语言中的语法、语义等信息。
Transformer：变换器，指的是该模型使用了Transformer架构，这是一种基于注意力机制的神经网络结构，具有出色的表现能力。
因此，Generative Pre-trained Transformer是一种使用预训练的、基于Transformer架构的神经网络模型，用于生成新的自然语言文本，例如对话、文章、新闻、诗歌等等。它是当前自然语言处理领域的一个重要研究方向和应用方向。
google/gemma-7b 的几种推理方法
Gemma 是 Google 的一系列轻量级、最先进的开放式模型， 基于用于创建双子座模型（state-of-
google/gemma-7b 的几种推理方法 Read More »
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM
Hugging Face 已认证账号 47 人赞同了该文章 众所周知，LLM 规模庞大，如果在也能消费类硬件
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM Read More »
了解 LLaMA-2 模型结构(8)
13. 嵌入权重 在自然语言处理(NLP)和机器学习中，嵌入权重(embedding weights)是用于将
了解 LLaMA-2 模型结构(8) Read More »
了解 LLaMA-2 模型结构(7)
12. 模型文件的配置信息 根据前面保存的模型文件 output/model.bin 的内容，可以知道，模型配
了解 LLaMA-2 模型结构(7) Read More »
了解 LLaMA-2 模型结构(6)
11. 将字符串编码为令牌序列 在聊天的时候，需要把字符串通过 tokenizer 进行编码，命名为 test
了解 LLaMA-2 模型结构(6) Read More »
了解 LLaMA-2 模型结构(5)
9. 转换 tokenizer.model 并保存 前面的章节转换模型的所有权重后，还需要转换 tokeniz
了解 LLaMA-2 模型结构(5) Read More »
了解 LLaMA-2 模型结构(4)
8. 保存转换后的模型 转换模型的目的是为了使用c/c++来使用，前面的模型转换为自己的模型后，需要保存下来，
了解 LLaMA-2 模型结构(4) Read More »
了解 LLaMA-2 模型结构(3)
7. 模型转换 把模型参数，转换为自己想要的模型参数，自己定义模型参数，参照 https://github.c
了解 LLaMA-2 模型结构(3) Read More »
了解 LLaMA-2 模型结构(2)
5. 如何打印模型参数？ 在使用像PyTorch这样的深度学习框架时，你可以通过几种方法打印模型的参数。以下是
了解 LLaMA-2 模型结构(2) Read More »