第一个完全多 GPU 支持和非常先进的带有 Gradio 接口的批量图像字幕生成器 APP 发布

“纵有疾风来，人生不言弃”，这句话送给正在学习文章的朋友们，也希望在阅读本文《第一个完全多 GPU 支持和非常先进的带有 Gradio 接口的批量图像字幕生成器 APP 发布》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新文章相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

带有 JoyCaption 的多 GPU 批量字幕。 JoyCaption 使用 Meta-Llama-3.1–8B 和 google/siglip-so400m-patch14–384 以及微调的图像字幕神经网络。

链接：https://www.patreon.com/posts/110613301

批量字幕编辑器的链接：https://www.patreon.com/posts/108992085

用 Python、Torch 和 Bitsandbytes 编写多 GPU 确实是一个挑战。

我们的APP使用JoyCaption图像字幕微调模型。

我们的应用程序甚至在多 GPU 模式（9.5 GB VRAM）下也支持 bitsandbytes 4 位模型加载

在 8x RTX A6000（云）和 RTX 3090 TI + RTX 3060（我的电脑）上测试

一键安装在 Windows、RunPod 和 Massed Compute 上

优秀的字幕质量，自动将图像分配到每个GPU，功能很多。您可以使用跳过带字幕的图像选项来恢复字幕。

欲了解完整详情，请查看屏幕截图

到这里，我们也就讲完了《第一个完全多 GPU 支持和非常先进的带有 Gradio 接口的批量图像字幕生成器 APP 发布》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！