赛道Hyper | 通义千问推出多模态模型Qwen VLo
作者:周源/华尔街见闻
阿里云在中国生成式AI基础设施登顶。
据IDC刚刚发布的最新报告显示,2024年中国AI基础设施(AI IaaS)市场份额,阿里云占比23%,位列中国市场第一,超过第二名和第三名总和;在生成式AI基础设施领域,阿里云取得模型训练和模型推理市场的双项冠军。
阿里云的生成式推理模型迭代频繁,动作很多。
6月27日,阿里云通义千问推出多模态统一理解与生成模型Qwen VLo,用户可通过Qwen Chat(chat.qwen.ai)体验。
这一模型在人工智能领域传承与创新,为多模态人工智能发展带来新探索,具备理解和基于理解进行再创造的能力。
Qwen VLo采用渐进式生成方式,在生成图像时从左到右、从上到下逐步构建画面。
在这个过程中,模型不断对预测内容调整优化,比如生成风景图时,先勾勒山川河流轮廓,再细化树木、花草等细节,确保画面在结构、色彩、语义等方面和谐统一。
这种生成机制给用户更灵活、可控的创作体验,设计师创作海报时,可实时观察生成过程,及时调整不协调部分,让创作更贴合预期。
据官方介绍,Qwen VLo运用动态分辨率训练技术,在图像生成的输入和输出端,都支持任意分辨率和长宽比。
以往模型受限于固定尺寸和比例,而Qwen VLo打破这一限制。无论是制作长宽比为4:1的横幅广告,还是1:3的社交媒体竖版封面,用户都能按需生成。
Qwen VLo通过技术创新,创造了图像生成在分辨率和长宽比方面的更多资源,电商商家可根据不同平台要求,快速生成适配的商品展示图,无需繁琐的后期裁剪调整。
过往多模态模型生成时易出现语义不一致问题,如将汽车图片错误生成其他物体,或改变原图关键结构特征。
Qwen VLo通过提升细节捕捉能力,在生成中保持较高语义一致性。
当用户输入汽车照片并要求“将颜色换成蓝色”,模型精准识别车型,保留车身结构、线条等特征,自然地完成颜色替换,生成结果既符合指令预期,又不失真实感。
这种能力恰似达尔文进化论中物种对环境的精准适应,模型在复杂的图像生成环境中,不断进化以满足多样且精细的用户需求。
用户能用自然语言对图像提出创意指令,Qwen VLo能灵活响应。输入“把这张照片风格变成梵高的画风”“给图片中的天空加上彩虹”,模型即可完成艺术风格迁移、场景元素添加等操作。
面对“把人物换成卡通形象,背景改为森林,同时添加宣传语”这类复杂指令,也能尝试执行。此外,传统视觉感知任务如预测深度图、分割图等,通过编辑指令也能实现。
这一特性体现了“不创新,就死亡”的理念,Qwen VLo打破传统模型指令响应的局限,赋予用户更自由的操作空间,使其在开放指令编辑修改中不断进化,适应快速发展的AI市场。
Qwen VLo支持包括中文、英文等多种语言指令。全球用户无论使用何种语言,只要简洁描述需求,模型就能理解并生成结果。
中国用户用中文输入“生成一张美丽的花朵图片”,国外用户用英文输入“Generate a picture of beautiful flowers”,都能得到符合要求的图片。
这符合美国理性预期学派的领袖、诺贝尔经济学奖获得者托马斯・萨金特(Thomas J. Sargent)提出的开放和自由贸易理念,通过技术手段打破语言壁垒,促进全球用户在图像生成领域的“交流贸易”。
在广告设计行业,设计师常需为不同客户和项目快速产出多种风格设计方案。
借助Qwen VLo,输入“时尚运动品牌夏季促销海报”,模型迅速生成多版不同构图、配色的海报草图,设计师在此基础上完善,大大缩短设计周期。
在包装设计方面,输入产品特点、目标受众等信息,模型生成相应设计图,提供创意灵感。Qwen VLo为设计师提供创意裂变的契机,帮助其用创新设计在市场竞争中赢得商业利润。
在教育领域,教师可利用Qwen VLo将抽象知识具象化。
地理课讲解地貌时,输入“生成一张丹霞地貌的图片”,模型展示相关图片,帮助学生直观理解;语文教学中,讲解古诗词时,输入诗词内容,模型生成诗意场景图,加深学生对诗词意境的体会。
自媒体创作者、博主等创作内容时,需优质配图吸引受众。通过Qwen VLo,输入文章主题如“旅游攻略之海边度假”,模型生成海滩、海景等相关图片;在视频制作中,输入视频脚本关键信息,模型生成视频分镜草图,为拍摄和后期剪辑提供参考,提升内容创作质量和效率。
在游戏开发中,Qwen VLo能助力游戏美术资源制作。游戏设计师输入游戏风格、场景设定等指令,模型生成游戏场景、角色、道具等美术素材,降低开发成本,加速开发进程。
玩家也可利用模型生成个性化游戏场景、角色形象,增加游戏趣味性。影视制作中,在前期概念设计阶段,输入故事背景、角色特点等信息,模型生成影视场景概念图、角色概念图,为后续拍摄和特效制作提供方向。