图像生成领域有新进展，OpenAI在攻克“生成图像中的文字”的难题。北京时间 3 月 26 日凌晨，OpenAI 进行了直播。它对 GTP - 4o 和 Sora 进行了更新，在 GPT 和 Sora 中推出了 GPT - 4o 的图像生成功能。OpenAI 此次着重强调了新功能在精准理解文本描述以及准确生成文本方面的优势。
OpenAI 介绍称，GPT - 4o 的图像生成功能很擅长准确展现文本，也能精准依照提示词。此功能会把 GPT - 4o 的知识库以及聊天上下文当作灵感来源。这有利于使用者与图像生成工具更高效地沟通，还能提升生成图像的质量。该功能可供 GPT Plus、Pro、Team 和免费用户使用，并且计划之后向企业、教育以及 API 使用者推出。
OpenAI 的示例中，要求大模型生成这样的场景：一名女子在一个能够俯瞰海湾大桥的房间里，正拿着笔在白板上写字，她的衣服上印有 OpenAI 字样，而白板映照出了摄影师的身影，同时还描述了白板上所写的文字。GPT-4o 生成的图像都满足了这些要求。随后，OpenAI让摄影师走到镜头前与女子击掌。GPT-4o 展示了这一画面。白板上的字保持整齐，女子的身形和发型与前一张图像中呈现的背影相同。
在其他示例里，OpenAI让大模型生成上世纪中叶一个家庭冰箱上所贴的诗歌短句，同时要求画面中的人拿着特定的几个词，而 GPT-4o 能够精准地进行还原。GPT-4o 还具备生成漫画的能力，不过需要人准确地描述画面中的情节。OpenAI 也展示了这个图像生成功能在科学实验中的用途，此功能可以生成牛顿棱镜实验的示意图。此外，OpenAI 展示了该图像生成功能在生成路牌方面的效果，展示了该图像生成功能在生成菜单方面的效果，展示了该图像生成功能在生成游戏画面方面的效果。同时，还展示了在生成鸡尾酒配方时大模型生成的专业配方，以及在生成天气信息图像时大模型生成的天气文本描述。
OpenAI 解释了如何训练 GPT-4o 图像生成功能。OpenAI 使用网络上的图像和文本对模型进行训练，让模型去学习图像与文字之间的关系，以及图像与图像之间的关系，从而使模型具备视觉流畅性，这样生成的图片是有用的，并且具备上下文连贯性。
OpenAI 表示，就 GPT - 4o 图像生成功能的特点而言，用户能够通过自然对话与大模型进行交流，还能够要求大模型对图像进行改进，并且在这个过程中，图像中的人物等要素会保持一致性。同时，使用者与大模型的交流更加顺畅，他们可以同时要求大模型处理 10 到 20 个不同的对象，这样就能使图像中各要素呈现出相关性。OpenAI 在与其他图像生成系统进行对比时宣称，其他系统仅能同时对 5 到 8 个对象进行处理。
OpenAI 指出，GPT-4o 图像生成功能有一些限制。其一，存在幻觉现象；其二，难以呈现过多依赖知识库的图像要素，像元素周期表这类；其三，图表的准确性存在不足；其四，在呈现非拉丁语言时容易出现幻觉；其五，当要求修改图像中的错别字时，难以做到精准编辑。
图像生成中的文字，此前在图像生成领域是一个难题。在国内，去年豆包将文生图能力进行了升级，能够支持一键生成指定文本。今年 3 月，智谱 AI 发布了首个支持生成汉字的开源文生图模型 CogView4。然而，记者在试用时发现，相关模型生成文字的能力还不是很稳定。
3 月 26 日，记者运用豆包 APP 以及智谱清言 APP 来生成图像。在这当中，智谱清言所使用的模型是 CogView4。记者输入了这样的指令：“生成一张图片，画面中有一个人在注视着墙上的歌手演唱会海报，并且海报上用中文写明了演唱会的日期、演唱会主题的描述以及歌曲的名称。”而智谱清言生成的海报里出现了较多的乱码。豆包生成的中文文字较为准确，不过存在一些理解偏差，其呈现出了“演唱会日期”以及“演唱会主题”等相关字样。
记者随后把提示词改成了“一个人在看墙上歌手演唱会的海报，海报用中文写着演唱会日期为 2025 年 3 月 29 日、演唱会主题为星空旅行、歌曲名称《太空翱翔》”，豆包给出了正确的日期和“星空旅行”的字样，不过仍有部分字是乱码，智谱清言也生成了一些乱码。
OpenAI 更新了 GPT - 4o 的图像生成功能后，其更大的产品更新将是推出 GPT - 5 。今年 2 月，OpenAI 首席执行官山姆·奥尔特曼称，OpenAI 会在 GPT 和 API 服务中搭载新模型 GPT - 5 ，该模型将集成公司多项技术，其中包括推理模型 o3 的技术，且 GPT - 5 可能在未来几个月内推出。
(本文来自第一财经)
