Story-Adapter：开源的长故事可视化工具

Story-Adapter 是 Github 上的开源项目，能够根据故事提供一致性的可视化。

作者在Story-Adapter项目页面上这样介绍：

故事可视化，即基于叙述生成连贯图像的任务，随着文本到图像模型的出现，尤其是扩散模型，已经取得了显著的进步。然而，在长时间的故事可视化中（例如，多达100帧），保持语义的一致性、生成高质量的细粒度互动以及确保计算上的可行性仍然是具有挑战性的。在这项工作中，我们提出了一种无需训练且计算效率高的框架，称为Story-Adapter，以增强长故事的生成能力。具体来说，我们提出了一个迭代范式来优化每个生成的图像，该范式既利用了文本提示也利用了前一次迭代中生成的所有图像。我们框架的核心是一个无需训练的全局参考交叉注意力模块，它汇总了前一次迭代中生成的所有图像，以在整个故事中保持语义一致性，同时通过全局嵌入最小化计算成本。这个迭代过程通过反复融入文本约束逐步优化图像生成，从而实现更精确和细粒度的互动。广泛的实验验证了Story-Adapter在改善语义一致性和生成能力方面，特别是在长时间故事场景中的优越性，对于细粒度互动尤为如此。

从项目页面给出的例子来看，该项目能够为故事生成非常精美且一致的漫画。