基础篇 | AI 多模态创作实战:从文本到图像、视频、音乐全打通
By 星界AI on Aug 28, 2026

为什么要在同一个工作台里做多模态
跨媒介创作最耗时的部分,往往不是生成本身,而是在工具之间搬运上下文。你在 A 工具写好脚本,复制到 B 工具出图,再把图下载上传到 C 工具做视频,最后去 D 工具配乐 —— 每一步都在丢失信息和耐心。
星界AI 的做法是把这条链路收进同一个工作台:会话记录、生成结果、素材文件都在同一个上下文里,切换模态不需要重新描述一遍你的项目。
下面用一个真实场景走一遍:做一条 30 秒的品牌短视频。
一、用基础模型写脚本与分镜
这一步不需要旗舰模型。用 DeepSeek 或通义千问(基础模型,会员期内不限量)即可:
请为下面这个产品写一条 30 秒短视频脚本,
按「镜头号 / 画面描述 / 口播文案 / 时长」四列表格输出,共 6 个镜头。
要求:开篇 2 秒必须有视觉钩子;口播口语化,单句不超过 12 字。
产品:一款主打"便携"的桌面显示器
受众:租房的远程办公年轻人
输出的分镜表要细到「画面里有什么、镜头怎么动」,后面生成画面时才能直接用。
二、用绘画模型出关键帧
拿到分镜表后,逐个镜头生成画面。模型选择上有个简单的判断规则:
| 需求 | 推荐模型 | 原因 |
|---|---|---|
| 中文海报、电商图、需要文字排版 | GPT-Image | 中文提示词直出,画面内文字准确 |
| 概念插画、艺术感主视觉 | Midjourney | 审美上限高,风格化强 |
| 二次元、动漫、立绘 | Niji | 专为动漫风格优化 |
| 写实产品图、批量素材 | Flux | 出图快,性价比高 |
| 需要精细控制构图 | Stable Diffusion | 支持 ControlNet / LoRA |
提示词可以这样写(GPT-Image 支持中文直出):
产品特写摄影,白色亚克力台面,柔光箱三点布光,浅景深,
背景纯白,产品在画面中央占比 70%,高细节,商业摄影质感,8K
省点数技巧:先用低分辨率批量跑 4-6 个版本确认方向,确认后再用高分辨率出终版。绘画点约 1 点一张标准出图,4K 高清按倍数计费,直接上高清试错的代价不小。
三、用视频模型生成动态画面
分镜与关键帧都确认后,进入视频生成。这一步消耗创作点,成本最高,更要先小后大:
| 需求 | 推荐模型 | 特点 |
|---|---|---|
| 中文场景、人物口播 | 可灵 Kling | 中文理解好,人物一致性稳定,成本较低 |
| 概念短片、复杂物理运动 | Sora | 物理一致性与长镜头表现突出 |
| 图生视频、3D 感 | Luma | 镜头语言自然 |
| 创意特效、社媒短片 | Pika | 特效玩法丰富 |
图生视频(把上一步的关键帧变成动态画面)比纯文生视频的可控性高很多,推荐优先用这个方式。
四、用 Suno 生成配乐
最后一步是配乐。把脚本的情绪基调写给 Suno:
轻快的城市流行乐,女声,BPM 108,木吉他与合成器铺底,
副歌加入电子鼓,情绪积极明亮,时长 30 秒,适合品牌短片
Suno 会同时生成歌词与编曲,通常一次给 2-4 个版本,按情绪标签挑一个最贴的。
五、完整链路的点数账
以这条 30 秒短视频为例,算一笔账:
| 环节 | 消耗类型 | 大致用量 |
|---|---|---|
| 脚本与分镜 | 基础模型 | 不限量,0 点数 |
| 关键帧出图(含试错) | 绘画点 | 约 10-20 点 |
| 视频生成(6 镜头 × 试错) | 创作点 | 约 15-30 点 |
| 配乐 | 创作点 | 约 2-4 点 |
可以看到,文本环节几乎不花钱,成本集中在视觉与听觉生成上。这也是星界AI 把基础模型做成不限量、把生成类能力拆成独立点数的原因 —— 你只为真正消耗算力的部分付费。
如果创作点不够用,可以单独购买创作点加油包,永久有效、不清零,不必为此升级整个套餐。