可以使用vllm部署LongWriter模型。请参考vllm_inference.py中的代码，体验闪电般快速的生成。它可以在一分钟内生成超过10,000个字！
新的长输出 （> 2,000 字） 开放数据集！当前 LLMs 可以处理长输入（100,000+ 代币），但难以生成超过 ~2,000 的输出。AgentWrite 是一种新的代理合成数据生成管道。 AgentWrite 将较长的写入任务分解为更小、可管理的子任务，并提示 LLM 按顺序处理它们，从而产生连贯和扩展的输出。其结果是 LongWriter-6k 数据集，其中包含 6000 个示例，超长输出长度从 2000 到 32000 字不等。
参考链接如下：
datasets：https://huggingface.co/datasets/THUDM/LongWriter-6k
github : https://github.com/THUDM/LongWriter
LongWriter Paper: https://arxiv.org/abs/2408.07055