LLM 记忆管理框架 MemGPT

伯克利大学开源最专业的 LLM 记忆管理框架 MemGPT ,目前 8.7 K Star

MemGPT 允许您使用长期记忆和自定义工具构建LLM代理

1. 受 Agent/Tools 、LLM/AIOS 等理念启发,设计出的虚拟上下文管理的 LLM 系统,扩展 LLM 上下文

2. 管理 Main Memory、外部存储有效「分页」进出信息与用户控制流

3. 支持一致性、参与度评估

MemGPT 可以轻松构建和部署有状态LLM代理,并支持:

  • Long term memory/state management
    长期记忆/状态管理
  • Connections to external data sources (e.g. PDF files) for RAG
    与 RAG 的外部数据源(e.g. PDF 文件)的连接
  • Defining and calling custom tools (e.g. google search)
    定义和调用自定义工具(例如谷歌搜索)

项目链接:https://github.com/cpacker/MemGPT

论文链接:https://arxiv.org/abs/2310.08560

Demo链接:https://memgpt.ai

MemGPT 官方提供了两个案例来演示管理长期记忆的效果:

Example – chat with your data (readme.io)

Example – perpetual chatbot (readme.io)

MemGPT 还支持与 llama.cpp、vLLM、Ollama、LM Studio 等开源模型整合、以及与 AutoGen 等 MultiAgent 框架进行结合使用: – local llm:https://memgpt.readme.io/docs/local_llm – autogen:https://memgpt.readme.io/docs/autogen autogen 是微软开源的多 Agent 的开发框架,目前 25.3K Star

有意思的是 MemGPT 定位于 OS 里面的存储处理模块,和最近的几项 AIOS/LLM OS 的研究有异曲同工之妙。 比如 AIOS: LLM Agent Operating System

AI OS 目前已开源,2.5 K Star

https://github.com/agiresearch/AIOS AIOS旨在优化资源分配,促进代理之间的上下文切换,实现代理的并发执行,为代理提供工具服务,并维护代理的访问控制

以及 LLM as OS:LLM as OS, Agents as Apps: Envisioning AIOS, Agents and the AIOS-Agent Ecosystem (arxiv.org)

原文链接:https://twitter.com/tuturetom/status/1785658632887230958

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部