通过从头开始构建一个大型语言模型，了解如何创建、训练和调整大型语言模型 （LLMs）！
在构建大型语言模型（从头开始）中，你将了解如何LLMs从内到外工作。在这本富有洞察力的书中，畅销书作家塞巴斯蒂安·拉施卡 （Sebastian Raschka） 将指导您逐步创建自己的 LLM，用清晰的文字、图表和示例解释每个阶段。您将从最初的设计和创建到通用语料库的预训练，一直到特定任务的微调。
构建大型语言模型（从头开始）教你如何：
- 规划和编码 LLM 的所有部分
- 准备适合 LLM 训练的数据集
- 微调 LLM 以进行文本分类和您自己的数据
- 应用指令调整技术，以确保您的 LLM 遵循指令
- 将预训练权重加载到 LLM 中
为 ChatGPT、Bard 和 Copilot 等尖端 AI 工具提供支持的大型语言模型 （LLM） 似乎是一个奇迹，但它们并不是魔术。本书通过帮助您从头开始构建自己的 LLM 来揭开 LLM 的神秘面纱。您将获得对 LLM 如何工作的独特而有价值的见解，学习如何评估它们的质量，并掌握具体的技术来微调和改进它们。
在本书中，你用来训练和开发你自己的小而实用的模型的过程遵循与交付 GPT-4 等大规模基础模型相同的步骤。您的小规模 LLM 可以在普通笔记本电脑上开发，您可以将其用作自己的个人助理。
关于本书
Build a Large Language Model （from Scratch） 是一本独一无二的指南，用于构建自己的工作 LLM。在这篇文章中，机器学习专家兼作家塞巴斯蒂安·拉施卡（Sebastian Raschka）揭示了LLM是如何在引擎盖下工作的，揭开了生成式人工智能黑匣子的盖子。本书充满了构建 LLM 的实用见解，包括构建数据加载管道、组装其内部构建块和微调技术。在此过程中，您将逐渐将基础模型转变为文本分类器工具，以及遵循对话说明的聊天机器人。
关于读者
对于了解 Python 的读者。开发机器学习模型的经验很有用，但不是必需的。
关于作者
塞巴斯蒂安·拉施卡（Sebastian Raschka）十多年来一直从事机器学习和人工智能方面的工作。Sebastian 于 2022 年加入 Lightning AI，现在专注于 AI 和 LLM 研究、开发开源软件和创建教育材料。在此之前，Sebastian曾在威斯康星大学麦迪逊分校担任统计系助理教授，专注于深度学习和机器学习研究。他对教育有着强烈的热情，最出名的是他关于使用开源软件进行机器学习的畅销书。
原文电子书购买链接：Build a Large Language Model (From Scratch) (manning.com)