2024 年 5 月 – 第 2 页

Windows 环境下 Ollama 的 GPU 支持

发表评论 / AI / GPU, ollama / 2024年5月11日

1. 设置 1.1 NVidia 驱动程序和CUDA 工具包 1.1.1 NVidia […]

发表评论 / AI, LLM, LLMS / ollama, 端口 / 2024年5月11日

Ollama 服务默认的地址是 localhost(127.0.0.1)，只能本地服务使用，但 ollama

发表评论 / AI / AI / 2024年5月11日

1. HF 相关的环境变量 HF（Hugging Face）库使用了多个环境变量来配置其行为，特别是在模型下载

发表评论 / AI / 2024年5月11日

今天推荐一个 HuggingFace 的网站 https://hf-mirror.com 方法一：网页下载在

Microsoft 在这篇论文中提出了非常好的建议 – “SliceGPT：通过删除行和列来压缩大

发表评论 / AI, Windows / Docker Desktop, WSL2 / 2024年5月9日

适用于 Linux 的 Windows 子系统（WSL） 2 是由 Microsoft 构建的完整 Linu

发表评论 / AI, LLM, LLMS / ollama, PDF, RAG, surya-ocr / 2024年5月8日

本教程使用了surya-ocr库，实现本地RAG，使用了嵌入模型 bert-base-multilingua

发表评论 / AI, LLM, LLMS / RAG, surya-ocr / 2024年5月8日

本教程使用了surya-ocr库，实现本地RAG，使用了嵌入模型 bert-base-multilingua

发表评论 / 信息安全文章 / 2024年5月7日

flash-attn 在自己的github 上是没有预编译和的库文件，一般情况下，在windows 下安装非常

发表评论 / AI, LLM, LLMS / RAG / 2024年5月7日

本教程使用了Qwen1.5-0.5B-Chat 作为嵌入的小模型使用 Qwen1.5-1.8B-Chat 作