伯克利大学开源最专业的 LLM 记忆管理框架 MemGPT ,目前 8.7 K Star
MemGPT 允许您使用长期记忆和自定义工具构建LLM代理
1. 受 Agent/Tools 、LLM/AIOS 等理念启发,设计出的虚拟上下文管理的 LLM 系统,扩展 LLM 上下文
2. 管理 Main Memory、外部存储有效「分页」进出信息与用户控制流
3. 支持一致性、参与度评估
MemGPT 可以轻松构建和部署有状态LLM代理,并支持:
- Long term memory/state management
长期记忆/状态管理 - Connections to external data sources (e.g. PDF files) for RAG
与 RAG 的外部数据源(e.g. PDF 文件)的连接 - Defining and calling custom tools (e.g. google search)
定义和调用自定义工具(例如谷歌搜索)
项目链接:https://github.com/cpacker/MemGPT
论文链接:https://arxiv.org/abs/2310.08560
Demo链接:https://memgpt.ai
MemGPT 官方提供了两个案例来演示管理长期记忆的效果:
Example – chat with your data (readme.io)
Example – perpetual chatbot (readme.io)
MemGPT 还支持与 llama.cpp、vLLM、Ollama、LM Studio 等开源模型整合、以及与 AutoGen 等 MultiAgent 框架进行结合使用: – local llm:https://memgpt.readme.io/docs/local_llm – autogen:https://memgpt.readme.io/docs/autogen autogen 是微软开源的多 Agent 的开发框架,目前 25.3K Star
有意思的是 MemGPT 定位于 OS 里面的存储处理模块,和最近的几项 AIOS/LLM OS 的研究有异曲同工之妙。 比如 AIOS: LLM Agent Operating System
AI OS 目前已开源,2.5 K Star
https://github.com/agiresearch/AIOS AIOS旨在优化资源分配,促进代理之间的上下文切换,实现代理的并发执行,为代理提供工具服务,并维护代理的访问控制
以及 LLM as OS:LLM as OS, Agents as Apps: Envisioning AIOS, Agents and the AIOS-Agent Ecosystem (arxiv.org)
原文链接:https://twitter.com/tuturetom/status/1785658632887230958