grok-1 的一次有效输出结果
测试环境 windows, llama.cpp, cuda, 运行命令:
WSL2默认可以使用的内存大小为主机的80%,对于Linux而言即使装了桌面,一般的开发也没必要给这么多内存,
修改 WSL2 可用内存大小和交换分区大小 Read More »
Gemma 是 Google 的一系列轻量级、最先进的开放式模型, 基于用于创建双子座模型(state-of-
google/gemma-7b 的几种推理方法 Read More »
Hugging Face 已认证账号 47 人赞同了该文章 众所周知,LLM 规模庞大,如果在也能消费类硬件
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM Read More »
13. 嵌入权重 在自然语言处理(NLP)和机器学习中,嵌入权重(embedding weights)是用于将
了解 LLaMA-2 模型结构(8) Read More »
12. 模型文件的配置信息 根据前面保存的模型文件 output/model.bin 的内容,可以知道,模型配
了解 LLaMA-2 模型结构(7) Read More »
11. 将字符串编码为令牌序列 在聊天的时候,需要把字符串通过 tokenizer 进行编码,命名为 test
了解 LLaMA-2 模型结构(6) Read More »
9. 转换 tokenizer.model 并保存 前面的章节转换模型的所有权重后,还需要转换 tokeniz
了解 LLaMA-2 模型结构(5) Read More »