ChatQA-1.5
介绍 ChatQA-1.5，这是一个在 RAG 和对话式 QA 上超越 GPT-4-0613 和 Comman […]
LLM
开源LLM
在单个 4GB GPU 上运行 Meta-Llama-3-8B-Instruct – 使用 airllm 和分层推理
0. 原理 分层推理本质上是“分而治之”的方法 这没有使用量化、蒸馏、修剪或其他模型压缩技术 大型语言模型之所
在单个 4GB GPU 上运行 Meta-Llama-3-8B-Instruct – 使用 airllm 和分层推理 Read More »
在手机(android)上运行AI大模型llama3、phi3、qwen
这里测试的是 andorid 系列手机 在 Release v0.118.0 · termux/termux-
在手机(android)上运行AI大模型llama3、phi3、qwen Read More »
在树莓派上运行AI大模型 llama3、phi3
使用的是树莓派（raspberrypi）5，8G 内存 0. 直接下载，然后运行 参照 ollama/docs
在树莓派上运行AI大模型 llama3、phi3 Read More »
llm.c 的中文注解-20240423
这里接上一节 对C程序的中文注解，下面是对 train_gpt2.cu 的注解，所有注解来自ChatGPT4。
llm.c 的中文注解-20240423 Read More »
llm.c 的中文注解-20240421
llm.c 简单、纯 C/CUDA 的 LLM 训练。不需要 245MB 的 PyTorch 或 107MB
llm.c 的中文注解-20240421 Read More »
LlamaIndex 入门教程 （OpenAI）
这是我们著名的使用 OpenAI 的“5 行代码”入门示例。 1. 下载数据 这个例子使用了保罗·格雷厄姆（P
LlamaIndex 入门教程 （OpenAI） Read More »
LlamaIndex 和 Langchain 有啥区别？
LlamaIndex和LangChain都是用于开发由大型语言模型（LLM）驱动的应用程序的框架，但它们各自侧
LlamaIndex 和 Langchain 有啥区别？ Read More »