42K+ 用户、服务过 6K+ 公司的第二大脑 #RAG 产品 Quivr 开源,目前 32K Star,冲上 Github Trending,Top 100 开源项目
项目地址:https://github.com/QuivrHQ/quivr
1. 支持 PDF、Url、Docx、API、SQL 等几乎所有格式
2. 支持 OpenAI、Ollama 等开源或商业模型
3. 可以离线运行、支持分享、一键部署 Vercel/AWS
Quivr 的设计理念是生产级别 Ready 的软件:
- 支持用户管理、共享数据、开源 LLM
- 支持 Email、Reranking、Llama Parse、Telemetry 监控
- 与 @LangChainAI 无缝整合
Quivr 开放了技术 Design 架构,包括:
- Load Balancer:进行负载均衡
- Container Service:管理各种服务
- Queue:处理文件上传、chunking、embedding 等任务队列
- Celery Worker:处理 queue 的任务,处理耗时和效率的计算工作
- 前端基于 @vercel 的 @nextjs
https://docs.quivr.app/tech-design
Quivr 不仅支持在网页中直接提问,类似 Perplexity 那样统一的搜索,也支持基于某个 brain 进行提问,还支持将你的数据提问整合进 slack 中
Quivr 同时支持私有化部署来完成商业化,其私有化部署产品:https://quivr.app,目前已经包含 40K User,支持 Files、Applications 数据、APIs、Databases 和各种 API 集成
Quivr 的 API 文档,基于 FastAPI 开发:https://api.quivr.app/docs,包含:
- Brain
- Health
- Chat
- Crawl
- Assistant
- Onboarding
- Analytics
- Upload
- User
- API Key
- BrainSubscription
- Subscription
- Prompt
- Knowledge
等全方位的 API
此外 Quivr 的创始人 @_StanGirard (https://github.com/StanGirard)还实现了一个类似 OneAPI 的 LLM 负载均衡项目 https://github.com/theodo-group/GenossGPT
可以以统一的 API 方式调用开源或闭源的 LLM
原文链接:https://twitter.com/tuturetom/status/1785847215862452258