LlamaIndex 和 Langchain 有啥区别？
LlamaIndex和LangChain都是用于开发由大型语言模型（LLM）驱动的应用程序的框架，但它们各自侧 […]
LlamaIndex 和 Langchain 有啥区别？ Read More »
ChatGPT
ChatGPT 相关知识
LLM 量化(LLM Quantization)| GPTQ | QAT | AWQ | GGUF | GGML | PTQ
这篇文章是关于你在讨论中LLM不断听到的各种量化技术。此处的目的是提供分步说明以及代码，您可以使用这些代码自行
LLM 量化(LLM Quantization)| GPTQ | QAT | AWQ | GGUF | GGML | PTQ Read More »
google/gemma-7b 的几种推理方法
Gemma 是 Google 的一系列轻量级、最先进的开放式模型， 基于用于创建双子座模型（state-of-
google/gemma-7b 的几种推理方法 Read More »
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM
Hugging Face 已认证账号 47 人赞同了该文章 众所周知，LLM 规模庞大，如果在也能消费类硬件
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM Read More »