aigc-director
AI 视频生成全流程:通过 6 个阶段(剧本→角色/场景设计→分镜→参考图→视频生成→后期剪辑)将用户想法转化为完整视频。支持临时工作台(单独调用 LLM、VLM、文生图、图生图、视频生成)。触发词:视频生成、AI视频、AIGC、创作视频、制作视频、AI画图。
Install
npx skills add https://github.com/aAAaqwq/AGI-Super-Team/tree/main/skills/aigc-director
claude plugin marketplace add https://llmmart.ai/marketplace.json && claude plugin install aaaaqwq-agi-super-team@llmmart
git clone https://github.com/aAAaqwq/AGI-Super-Team.git
The skills CLI installs just this skill, for any of its supported agents. Claude Code installs the whole aaaaqwq/agi-super-team collection as a plugin from our marketplace. Git is the plain clone.
README
🎬 AIGC-Claw
AI 视频生成全流程系统,通过 6 个阶段将用户想法转化为完整视频。
功能特性
- 剧本生成:输入创意自动生成结构化剧本
- 角色设计:AI 生成角色设定图(四视图)
- 场景设计:自动生成场景背景图
- 分镜设计:智能拆分镜头脚本
- 参考图生成:为每个镜头生成高精度参考图
- 视频生成:文生视频 / 图生视频
- 后期剪辑:自动拼接视频片段,添加转场
环境要求
- Python: 3.9+
- Node.js: 18+
- npm: 9+
技术栈
- 前端:Next.js 14 + TypeScript + Tailwind CSS
- 后端:Python FastAPI
- AI 模型:阿里云 DashScope (Qwen)、字节跳动 Seedream、即梦 Jimeng、快手可灵 Kling、DeepSeek、OpenAI、Google Gemini
快速开始
方式一:手动安装
1. 克隆项目
git clone https://github.com/hit-cxf/AIGC-Claw.git
cd AIGC-Claw # 完整项目根目录(包括FilmAgent和aigc-director)
2. 配置并启动后端
先确保进入完整项目目录 AIGC-Claw
此时目录下应当有 aigc-director 和 FilmAgent 两个子目录
配置后端
cd aigc-director # skill目录
cd aigc-claw # 项目目录
cd backend # 后端目录
# 创建虚拟环境
python -m venv venv
# 根据操作系统选择启动虚拟环境的命令
source venv/bin/activate # Linux/Mac
.\venv\Scripts\activate # Windows
# 安装依赖
pip install -r requirements.txt
# 配置环境变量
cp .env.example .env
# 编辑 .env 填入 API Key
# 支持的模型见“配置说明”部分
启动后端
# 根据操作系统选择启动虚拟环境的命令
source venv/bin/activate # Linux/Mac
.\venv\Scripts\activate # Windows
python api_server.py
# 服务运行在 http://localhost:8000
终端显示
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
说明启动成功。保持当前终端运行,新建终端以启动前端
3. 配置并启动前端
在新的终端下完成配置
先确保进入完整项目目录 AIGC-Claw
此时目录下应当有 aigc-director 和 FilmAgent 两个子目录
配置前端
cd aigc-director # skill目录
cd aigc-claw # 项目目录
cd frontend
npm install
# 首次启动或代码变更后需要 build
npm run build
# 启动生产服务(开销小,只需 build 一次)
启动前端
npm start
# 访问 http://localhost:3000
方式二:OpenClaw 自动配置
向openclaw发送消息:
帮我克隆git仓库:https://github.com/hit-cxf/AIGC-Claw.git
然后把AIGC-Claw中的aigc-director文件夹递归复制到workspace/skills中,用作AIGC相关的skill
复制完成后,检查aigc-director是否加载到了技能列表中
之后使用时,建议在向openclaw发送指令的同时,指明“使用aigc-director”,如:
你用aigc-director来帮我生成一个视频,内容是“一条狗的使命”
项目结构
aigc-director/ # OpenClaw Agent Skill(供 OpenClaw 调用的 AI 视频制作助手)
├── SKILL.md # Agent 工作流规则定义
├── CLAUDE.md # Claude Code 开发指引
├── README.md # 项目说明
├── references/ # API 参考文档
│ ├── run_project/ # 服务启动指南
│ ├── workflow/ # 六阶段工作流 API 文档
│ ├── sandbox/ # 临时工作台 API 文档
│ └── send_message/ # 消息推送集成
└── aigc-claw/ # 实际代码项目
├── backend/ # Python FastAPI 后端
│ ├── api_server.py # API 入口
│ ├── config.py # 配置管理
│ ├── core/
│ │ ├── orchestrator.py # 工作流引擎
│ │ └── agents/ # 6 个阶段 Agent
│ │ ├── script_agent.py # 剧本生成
│ │ ├── character_agent.py # 角色设计
│ │ ├── storyboard_agent.py # 分镜设计
│ │ ├── reference_agent.py # 参考图生成
│ │ ├── video_agent.py # 视频生成
│ │ └── editor_agent.py # 后期剪辑
│ └── tool/ # 外部 API 客户端
└── frontend/ # Next.js 前端
├── app/ # App Router 页面
├── components/ # React 组件
└── config/ # 配置文件
注意:整个 AI 视频生成系统代码在
aigc-claw/子目录中,aigc-director/目录是提供给 OpenClaw 平台调用的 Skill 包装。
工作流阶段
| 阶段 | Agent | 说明 |
|---|---|---|
| 1 | 剧本生成 | 将灵感转化为结构化剧本 |
| 2 | 角色设计 | 生成角色设计图和场景背景 |
| 3 | 分镜设计 | 设计镜头语言和分镜脚本 |
| 4 | 参考图生成 | 生成高精度参考图 |
| 5 | 视频生成 | 将参考图转化为视频 |
| 6 | 后期剪辑 | 拼接视频片段为最终成片 |
数据存储
产物存储位置
所有生成的资产存储在 aigc-claw/backend/code/result/ 目录下:
| 目录 | 说明 |
|---|---|
code/result/image/{session_id}/ |
角色/场景/参考图 |
code/result/video/{session_id}/ |
视频片段 |
code/result/sandbox/ |
临时工作台生成的文件 |
code/result/script/ |
LLM 生成的剧本初始数据 |
会话数据存储
会话状态和产物元数据存储在 aigc-claw/backend/code/data/sessions/ 目录下:
{session_id}.json- 包含会话状态、已完成阶段、产物信息等
数据读取优先级
- 会话数据 (
sessions/) - 用户修改和当前状态(权威数据) - 剧本数据 (
result/script/) - LLM 生成的初始数据
API 返回的资产路径使用相对路径格式:code/result/...
API 接口
| 接口 | 方法 | 说明 |
|---|---|---|
/api/project/start |
POST | 创建新项目 |
/api/project/{session_id}/execute/{stage} |
POST | 执行指定阶段 |
/api/project/{session_id}/status |
GET | 获取项目状态 |
/api/project/{session_id}/artifact/{stage} |
GET | 获取阶段产物 |
/api/project/{session_id}/intervene |
POST | 干预阶段 |
/api/project/{session_id}/continue |
POST | 确认并继续 |
/api/project/{session_id}/stop |
POST | 停止执行 |
/api/sessions |
GET | 获取会话列表 |
/api/stages |
GET | 获取阶段列表 |
配置说明
后端环境变量
主要配置项(详见 aigc-claw/backend/.env):
# LLM 配置(剧本生成)
LLM_MODEL=qwen3.5-plus
# VLM 配置(图像评估)
VLM_MODEL=qwen-vl-plus
# 图像生成(默认:doubao-seedream-5-0-260128,支持高并发)
IMAGE_T2I_MODEL=doubao-seedream-5-0-260128
IMAGE_IT2I_MODEL=doubao-seedream-5-0-260128
# 视频生成
VIDEO_MODEL=wan2.6-i2v-flash
VIDEO_RATIO=16:9
API Keys 配置
在 aigc-claw/backend/.env 中配置各平台 API Key:
| API Key | 提供商 | 可用模型 |
|---|---|---|
DASHSCOPE_API_KEY |
阿里云DashScope | qwen3.5-plus, qwen-vl-plus, wan2.6-t2i, wan2.6-i2v-flash |
ARK_API_KEY |
字节跳动Seedream | doubao-seedream-5-0-260128 (500次/分钟,高并发) |
VOLC_ACCESS_KEY/SECRET |
火山引擎即梦 | jimeng_t2i_v40, jimeng_ti2v_v30_pro |
KLING_ACCESS_KEY/SECRET |
快手可灵 | kling-v3, kling-v2-6 |
DEEPSEEK_API_KEY |
DeepSeek | deepseek-chat, deepseek-reasoner |
OPENAI_API_KEY |
OpenAI | gpt-4o, gpt-5, o3 |
GEMINI_API_KEY |
Google Gemini | gemini-2.5-flash, gemini-2.5-flash-image |
可用模型
- LLM 模型: deepseek-chat, deepseek-reasoner, gpt-4o, gpt-4, gpt-5, o3, gemini-3-flash-preview, qwen3.5-plus, qwen3.5-max
- VLM 评估模型: qwen3.5-plus, qwen-vl-plus, qwen3.5-max, gemini-2.5-flash-image (性价比最高), gemini-2.0-flash
- 文生图模型: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-t2i, sora_image, gpt-image-1.5
- 图生图模型: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-image
- 视频生成模型: wan2.6-i2v-flash, kling-v3, kling-v2-6, kling-v2-5-turbo
- 视频比例: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9
并发配置
aigc-claw/backend/config_model.json 定义了每个模型的并发限制:
{
"models": {
"doubao-seedream-5-0-260128": {
"concurrency": 10, // 高并发
"provider": "seedream"
},
"wan2.6-i2v-flash": {
"concurrency": 5,
"provider": "dashscope"
}
}
}
修改此文件可调整模型的最大并发数。
图像生成
| 模型 | 调用限制 | 并发数上限 | 备注 |
|---|---|---|---|
| wan2.6-t2i | 1次/秒 | 5个 | 文生图 |
| wan2.6-image | 5次/秒 | 5个 | 图像生成 |
| jimeng_t2i_v40 | - | 2-5个 | 即梦系列 |
| doubao-seedream-* | 500次/分钟 | 高并发 | 字节跳动Seedream |
| qwen-image | 2次/秒 | 同步无限制 | 需开通 |
视频生成
| 模型 | 调用限制 | 并发数上限 | 备注 |
|---|---|---|---|
| wan2.6-i2v-flash | 5次/秒 | 5个 | 首帧生视频 |
| wan2.6-i2v | 5次/秒 | 5个 | 首帧生视频 |
| jimeng_ti2v_v30_pro | 即梦视频,需实测限流 | ||
| kling-v3/v2-6 | 快手可灵,需查阅官方文档 |
LLM / VLM
| 模型 | RPM | TPM |
|---|---|---|
| qwen3.5-plus | 30,000 | 5,000,000 |
| qwen-plus | 30,000 | 5,000,000 |
| qwen-vl-plus | 1,200 | 1,000,000 |
| deepseek-chat | 15,000 | 1,200,000 |
RPM: 每分钟请求数 | TPM: 每分钟Token数
文档
许可证
MIT License
Skill manifest
AIGC-Director Agent Skill
本地运行:这是一个本地部署的视频生成项目,前后端都运行在本机:
- 后端:
http://localhost:8000- 前端:
http://localhost:3000- 所有 API 调用都请求本地服务器,不要请求其他地址!
- 确保在调用任何 API 之前,后端和前端服务都已经启动并运行正常!
核心理念:Agent 应该像"持续陪伴的智能视频制作助理",每完成一个用户可感知的重要任务,都应立即给用户一条简报,并等待用户确认。
核心原则:每个阶段的产物都必须展示给用户,必须停下来等待用户确认后才能继续下一阶段。
防止遗忘:在整个流程中,Agent 可能会忘记之前的用户输入或之前阶段的产物内容。每当进入一个新的阶段时,Agent 都必须重新加载这篇SKILL文档,确保不会忘记任何细节。
项目结构
aigc-director/ ← OpenClaw 调用的 skill 根目录
├── aigc-claw/ ← 前后端项目代码
│ ├── backend/ ← FastAPI 后端(端口 8000)
│ │ └── code/result/ ← 模型生成产物存放目录
│ │ ├── script/ ← 剧本产物
│ │ ├── image/ ← 图片产物(角色、场景、参考图)
│ │ └── video/ ← 视频产物
│ └── frontend/ ← Next.js 前端(端口 3000)
├── references/ ← OpenClaw 调用时的参考文档
│ ├── init_project/ ← 项目初始化
│ ├── run_project/ ← 服务启动
│ ├── workflow/ ← 六阶段工作流 API
│ ├── sandbox/ ← 临时工作台 API
│ └── send_message/ ← 消息发送
└── SKILL.md ← skill 正文
产物存放目录:
aigc-claw/backend/code/result/
script/- 剧本产物image/- 图片产物(角色、场景、参考图)video/- 视频产物
阶段与停点(共9个)
| 停点 | 阶段 | phase 值 | 描述 | 操作 |
|---|---|---|---|---|
| 1 | 项目配置 | - | 确认配置选项 | 展示配置 → 用户确认 |
| 2 | 剧本生成 | suggest_expand | 建议扩写 | 等待用户确认 |
| 3 | 剧本生成 | logline_selection | 选择情节 | 从3个候选中选择 |
| 4 | 剧本生成 | mode_selection | 选择模式 | 电影(4幕) / 微电影(1幕) |
| 5 | 剧本生成 | script_generation | 确认剧本 | 确认后继续 |
| 6 | 角色/场景设计 | - | 确认角色/场景图片 | 确认后继续 |
| 7 | 分镜设计 | - | 确认分镜列表 | 确认后继续 |
| 8 | 参考图生成 | - | 确认参考图 | 确认后继续 |
| 9 | 视频生成 | - | 确认视频片段 | 确认后继续 |
注意:
suggest_expand和logline_selection可能根据输入质量被跳过。
工作流程
1. 本地部署(仅初始化时执行)
当用户要求"初始化项目"、"配置项目"、"部署项目"时,需要先进行项目初始化:参考 init_all.md 执行完整初始化流程。
注意:仅在用户首次下载项目或需要重新配置环境时使用。项目已初始化过则跳过此步骤,直接检查服务运行状态。
2. 检查本地服务
参考 start_backend.md 和 start_frontend.md 检查服务是否运行。
⚠️ 强制要求:如果服务未运行,必须先启动服务再继续!
2. 路由判断
| 用户说 | 处理 |
|---|---|
| "生成图片" | 临时工作台 (sandbox) |
| "生成视频" | 必须先询问:长视频(工作流) 还是 短视频(工作台)? |
| "分析图片" | 临时工作台 (sandbox) |
| "问 LLM 问题" | 临时工作台 (sandbox) |
| "照片转动漫" | 临时工作台 (sandbox) |
3. 执行流程
1. 检查后端运行状态 → 未运行则参考 start_backend.md 启动 → 等待3秒 → 再次检查
2. 检查前端运行状态 → 未运行则参考 start_frontend.md 启动 → 等待5秒 → 再次检查
3. 检查 API Key 配置 → 读取 .env 文件,确认所需 API Key 已配置
4. 参考 create_project.md 询问用户项目配置 → 停点1(配置确认)→ 创建项目
5. 参考 create_script.md 执行剧本生成 → 停点2-5
6. 参考 create_character.md 执行角色设计 → 停点6
7. 参考 create_storyboard.md 执行分镜设计 → 停点7
8. 参考 create_reference.md 执行参考图生成 → 停点8
9. 参考 create_video.md 执行视频生成 → 停点9
10. 参考 create_post.md 执行后期剪辑
11. 完成 → 发送最终视频给用户
注意:一定要参考
references/目录下的具体文档执行每一步操作,不要凭记忆或想当然去调用 API!
检查 API Key 配置
在创建项目前,必须检查用户选择的模型对应的 API Key 是否已配置:
# 读取 .env 文件检查配置
cat aigc-claw/backend/.env | grep -E "API_KEY|KEY"
# 必需的配置(根据选择的模型)
# LLM: DASHSCOPE_API_KEY / DEEPSEEK_API_KEY / OPENAI_API_KEY / GEMINI_API_KEY
# 图片: ARK_API_KEY / DASHSCOPE_API_KEY
# 视频: DASHSCOPE_API_KEY / VOLC_ACCESS_KEY / KLING_ACCESS_KEY
如果 API Key 未配置,需要提醒用户:
- 告知缺少哪个平台的 API Key
- 提供获取方式
- 配置位置(
aigc-claw/backend/.env文件) - 等待用户配置完成后才能继续
| 平台 | API Key 变量 | 获取链接 |
|---|---|---|
| DeepSeek | DEEPSEEK_API_KEY |
https://platform.deepseek.com/api_keys |
| 阿里云 DashScope | DASHSCOPE_API_KEY |
https://bailian.console.aliyun.com/cn-beijing/?tab=home#/home |
| 字节火山方舟 | ARK_API_KEY 或 VOLC_ACCESS_KEY/VOLC_SECRET_KEY |
https://www.volcengine.com/product/ark |
| 快手可灵 Kling | KLING_ACCESS_KEY/KLING_SECRET_KEY |
https://klingai.com/cn/dev |
🚨 停点处理(强制规则)
当查询状态为 stage_completed 或 waiting_in_stage 时,必须按以下步骤执行:
步骤1:获取产物
curl "http://localhost:8000/api/project/{session_id}/artifact/{stage}"
步骤2:展示给用户
将 artifact 中的内容(选项列表、建议、产物摘要)完整展示给用户
步骤3:询问决策
明确告诉用户:
- 选项有哪些
- 每个选项的含义
- 需要用户选择什么
步骤4:等待用户回复
禁止在用户回复前自行调用 intervene 或 continue!
步骤5:用户确认后执行
根据用户的选择,调用相应的 API
❌ 错误示例(我刚才犯的错)
收到 suggest_expand 停点 → 直接调用 intervene → 跳过用户确认
✅ 正确示例
1. 阶段内部停点触发(如 suggest_expand)
收到 suggest_expand 停点
→ 获取 artifact 查看内容
→ 展示给用户:"系统建议启用创意扩写模式..."
→ 询问:"是否同意?"
→ 用户回复"同意" → 调用 intervene
2. 阶段完成停点触发
收到 stage_completed 停点
→ 获取 artifact 查看产物内容
→ 展示给用户:"第一阶段已完成,生成了剧本内容..."
→ 询问:"是否继续下一阶段?"
→ 用户回复"继续" → 调用 continue
每个停点必须:
- 展示产物或选项给用户
- 询问确认
- 用户确认后才能继续
状态判断
| status | 含义 | 操作 |
|---|---|---|
| idle | 新建会话 | 启动项目 |
| running | 执行中 | 轮询等待 |
| waiting_in_stage | 等待用户介入 | 调用 intervene |
| stage_completed | 阶段完成 | 调用 continue |
| session_completed | 全部完成 | 结束 |
注意:只有 status 变化时才需要干预,不要反复调用 artifact API 去"确认"!
消息发送渠道
根据向用户发送消息的渠道(飞书/微信),读取 references/send_message/ 下的对应参考文档,获取注意事项和发送方法:
任务简报格式
每个阶段完成后,发送简报必须包含:
- 刚完成什么
- 下一步做什么
- 需要用户决策的内容
- Web 界面链接:
http://[本地IP]:3000/?session={session_id}&stage={stage}(注意,这里使用本地 IPv4 地址,不要用 localhost!) - 产物图片/视频(直接发送文件,禁止只发路径)
Web 界面链接格式
# 获取本地 IPv4 地址
import socket
local_ip = socket.gethostbyname(socket.gethostname())
# 构造前端 URL
frontend_url = f"http://{local_ip}:3000/?session={session_id}&stage={stage}"
# 发送给用户
send_to_user(f"📊 查看详情:{frontend_url}")
重要:必须使用本地 IPv4 地址(如
192.168.1.x),不要使用localhost或127.0.0.1,否则用户无法从其他设备访问!
详细参考
根据用户的需求和当前阶段,参考 references/ 目录下的具体文档执行相应操作:
references 目录
| 文件 | 用途 | 查看时机 |
|---|---|---|
| init_project/ | 项目初始化 | 用户首次下载或要求"初始化项目"时 |
| init_all.md | 完整初始化流程 | 用户要求初始化部署时 |
| init_backend.md | 后端初始化 | 首次配置后端环境时 |
| init_frontend.md | 前端初始化 | 首次配置前端环境时 |
| run_project/ | 项目启动 | |
| start_backend.md | 启动后端服务 | 服务未运行时 |
| start_frontend.md | 启动前端服务 | 服务未运行时 |
| workflow/ | 六阶段工作流 | |
| create_project.md | 创建新项目 API | 开始新视频项目时 |
| create_script.md | 剧本生成 API | 执行第一阶段时 |
| create_character.md | 角色/场景设计 API | 执行第二阶段时 |
| create_storyboard.md | 分镜设计 API/剧情续写 API | 执行第三阶段时/用户提出续写剧情时 |
| create_reference.md | 参考图生成 API | 执行第四阶段时 |
| create_video.md | 视频生成 API | 执行第五阶段时 |
| create_post.md | 后期剪辑 API | 执行第六阶段时 |
| modify_character.md | 修改角色提示词 | 用户要求修改角色时 |
| modify_storyboard.md | 修改/续写分镜 | 用户要求修改/续写分镜时 |
| modify_reference.md | 修改参考图提示词 | 用户要求修改参考图时 |
| modify_video.md | 修改视频提示词 | 用户要求修改视频时 |
| sandbox/ | 临时工作台 | |
| generate_image_t2i.md | 文生图 API | 用户要求生成图片时 |
| generate_image_it2i.md | 图生图/风格转换 API | 用户要求转换图片风格时 |
| generate_video.md | 短视频生成 API | 用户要求生成15秒内视频时 |
| send_message/ | 消息发送 | |
| feishu.md | 飞书发送媒体文件 | 用户通过飞书渠道发起对话,并且需要向用户发送图片/视频给用户时 |
| wechat.md | 微信发送媒体文件 | 用户通过微信渠道发起对话,并且需要向用户发送图片/视频给用户时 |
Files (agi-super-team)
-
aigc-claw
-
backend
-
core
-
agents
-
base_agent.py 1.7 KB
Loading… -
character_agent.py 26.9 KB
Loading… -
editor_agent.py 2.7 KB
Loading… -
reference_agent.py 30.9 KB
Loading… -
script_agent.py 67.7 KB
Loading… -
storyboard_agent.py 17.4 KB
Loading… -
video_agent.py 26.7 KB
Loading… -
__init__.py 541 B
Loading…
-
-
orchestrator.py 22.6 KB
Loading… -
__init__.py 127 B
Loading…
-
-
docs
-
api.md 9.9 KB
Loading… -
session_format.md 6.3 KB
Loading…
-
-
prompts
-
character
-
character_styles.txt 9.5 KB
Loading… -
character_zh.txt 647 B
Loading… -
eval_character_zh.txt 1.8 KB
Loading… -
eval_select_best_zh.txt 1.5 KB
Loading…
-
-
logline
-
check_en.txt 190 B
Loading… -
check_zh.txt 268 B
Loading… -
extract_zh.txt 413 B
Loading… -
generate_en.txt 508 B
Loading… -
generate_zh.txt 671 B
Loading…
-
-
reference
-
eval_first_frame_zh.txt 2.4 KB
Loading… -
eval_select_best_zh.txt 1.7 KB
Loading… -
first_frame_en.txt 624 B
Loading… -
first_frame_zh.txt 600 B
Loading…
-
-
script
-
beat_sheet_en.txt 817 B
Loading… -
beat_sheet_zh.txt 863 B
Loading… -
micro_beat_sheet_en.txt 500 B
Loading… -
micro_beat_sheet_zh.txt 490 B
Loading… -
micro_step_outline_zh.txt 1.2 KB
Loading… -
step_outline_en.txt 1.2 KB
Loading… -
step_outline_zh.txt 1.2 KB
Loading… -
validate_characters_zh.txt 1.1 KB
Loading… -
validate_settings_zh.txt 859 B
Loading…
-
-
setting
-
eval_select_best_zh.txt 1.4 KB
Loading… -
eval_setting_zh.txt 1.6 KB
Loading… -
setting_styles.txt 5.2 KB
Loading… -
setting_zh.txt 212 B
Loading…
-
-
storyboard
-
continue_zh.txt 1.6 KB
Loading… -
shot_zh.txt 1.2 KB
Loading…
-
-
video
-
enhance.txt 1.5 KB
Loading…
-
-
loader.py 4.8 KB
Loading…
-
-
tool
-
image_client.py 9.1 KB
Loading… -
image_dashscope.py 7 KB
Loading… -
image_gpt.py 10.2 KB
Loading… -
image_jimeng.py 15.8 KB
Loading… -
image_processor.py 15.5 KB
Loading… -
image_seedream.py 9.9 KB
Loading… -
llm_client.py 5.7 KB
Loading… -
llm_dashscope.py 4.5 KB
Loading… -
llm_deepseek.py 3.3 KB
Loading… -
llm_gemini.py 4.2 KB
Loading… -
llm_gpt.py 3.4 KB
Loading… -
relay_client.py 20.1 KB
Loading… -
video_client.py 5.7 KB
Loading… -
video_kling.py 14.7 KB
Loading… -
video_wan.py 4 KB
Loading… -
vlm_client.py 5.4 KB
Loading… -
vlm_dashscope.py 4.1 KB
Loading… -
vlm_gemini.py 5.7 KB
Loading…
-
-
.gitignore 71 B · in bundle
-
api_server.py 43.7 KB
Loading… -
config.py 3.8 KB
Loading… -
config_model.json 7.8 KB
Loading… -
config_model.py 1.6 KB
Loading… -
requirements.txt 361 B
Loading… -
session.py 2.2 KB
Loading… -
__init__.py 69 B
Loading…
-
-
frontend
-
app
-
sandbox
-
page.tsx 245 B · in bundle
-
-
favicon.ico 25.3 KB · in bundle
-
globals.css 671 B · in bundle
-
layout.tsx 409 B · in bundle
-
page.tsx 573 B · in bundle
-
-
components
-
Sandbox
-
Sandbox.tsx 27.9 KB · in bundle
-
-
stages
-
CharacterStage.tsx 16.8 KB · in bundle
-
ImageLightbox.tsx 7 KB · in bundle
-
index.ts 442 B
Loading… -
PostProductionStage.tsx 2.7 KB · in bundle
-
ReferenceStage.tsx 18.5 KB · in bundle
-
ScriptStage.tsx 33.6 KB · in bundle
-
StageActions.tsx 5.9 KB · in bundle
-
StageProgress.tsx 2.4 KB · in bundle
-
StoryboardStage.tsx 28.9 KB · in bundle
-
types.ts 1.2 KB
Loading… -
utils.ts 4.7 KB
Loading… -
VideoStage.tsx 20.8 KB · in bundle
-
-
HomePage.tsx 20.8 KB · in bundle
-
TopBar.tsx 13.8 KB · in bundle
-
WorkflowPanel.tsx 45.3 KB · in bundle
-
-
config
-
examples.ts 1.1 KB
Loading… -
models.ts 5.6 KB
Loading…
-
-
public
-
file.svg 391 B · in bundle
-
globe.svg 1 KB · in bundle
-
logo.jpg 9.6 KB · in bundle
-
next.svg 1.3 KB · in bundle
-
vercel.svg 128 B · in bundle
-
window.svg 385 B · in bundle
-
-
.gitignore 480 B · in bundle
-
eslint.config.mjs 299 B · in bundle
-
next.config.ts 889 B
Loading… -
package-lock.json 207 KB
Loading… -
package.json 627 B
Loading… -
postcss.config.mjs 94 B · in bundle
-
README.md 1.4 KB
Loading… -
tsconfig.json 713 B
Loading…
-
-
-
references
-
init_project
-
init_all.md 1.1 KB
Loading… -
init_backend.md 1.8 KB
Loading… -
init_frontend.md 1.3 KB
Loading…
-
-
run_project
-
start_backend.md 1.2 KB
Loading… -
start_frontend.md 1.4 KB
Loading…
-
-
sandbox
-
generate_image_it2i.md 1.2 KB
Loading… -
generate_image_t2i.md 1 KB
Loading… -
generate_video.md 1.7 KB
Loading…
-
-
send_message
-
feishu.md 2 KB
Loading… -
wechat.md 625 B
Loading…
-
-
workflow
-
create_character.md 2.9 KB
Loading… -
create_post.md 1.2 KB
Loading… -
create_project.md 6.9 KB
Loading… -
create_reference.md 2.4 KB
Loading… -
create_script.md 4.3 KB
Loading… -
create_storyboard.md 2.2 KB
Loading… -
create_video.md 2.5 KB
Loading… -
modify_character.md 1.2 KB
Loading… -
modify_reference.md 1.1 KB
Loading… -
modify_storyboard.md 1.3 KB
Loading… -
modify_video.md 1.1 KB
Loading…
-
-
-
.gitignore 295 B · in bundle
-
CLAUDE.md 3.7 KB
Loading… -
README.md 9.9 KB
# 🎬 AIGC-Claw AI 视频生成全流程系统,通过 6 个阶段将用户想法转化为完整视频。 ## 功能特性 - **剧本生成**:输入创意自动生成结构化剧本 - **角色设计**:AI 生成角色设定图(四视图) - **场景设计**:自动生成场景背景图 - **分镜设计**:智能拆分镜头脚本 - **参考图生成**:为每个镜头生成高精度参考图 - **视频生成**:文生视频 / 图生视频 - **后期剪辑**:自动拼接视频片段,添加转场 ## 环境要求 - **Python**: 3.9+ - **Node.js**: 18+ - **npm**: 9+ ## 技术栈 - **前端**:Next.js 14 + TypeScript + Tailwind CSS - **后端**:Python FastAPI - **AI 模型**:阿里云 DashScope (Qwen)、字节跳动 Seedream、即梦 Jimeng、快手可灵 Kling、DeepSeek、OpenAI、Google Gemini ## 快速开始 ### 方式一:手动安装 #### 1. 克隆项目 ```bash git clone https://github.com/hit-cxf/AIGC-Claw.git cd AIGC-Claw # 完整项目根目录(包括FilmAgent和aigc-director) ``` #### 2. 配置并启动后端 先确保进入完整项目目录 `AIGC-Claw` 此时目录下应当有 `aigc-director` 和 `FilmAgent` 两个子目录 ##### 配置后端 ```bash cd aigc-director # skill目录 cd aigc-claw # 项目目录 cd backend # 后端目录 # 创建虚拟环境 python -m venv venv # 根据操作系统选择启动虚拟环境的命令 source venv/bin/activate # Linux/Mac .\venv\Scripts\activate # Windows # 安装依赖 pip install -r requirements.txt # 配置环境变量 cp .env.example .env # 编辑 .env 填入 API Key # 支持的模型见“配置说明”部分 ``` ##### 启动后端 ```bash # 根据操作系统选择启动虚拟环境的命令 source venv/bin/activate # Linux/Mac .\venv\Scripts\activate # Windows python api_server.py # 服务运行在 http://localhost:8000 ``` 终端显示 ``` INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit) ``` 说明启动成功。保持当前终端运行,新建终端以启动前端 #### 3. 配置并启动前端 在新的终端下完成配置 先确保进入完整项目目录 `AIGC-Claw` 此时目录下应当有 `aigc-director` 和 `FilmAgent` 两个子目录 ##### 配置前端 ```bash cd aigc-director # skill目录 cd aigc-claw # 项目目录 cd frontend npm install # 首次启动或代码变更后需要 build npm run build # 启动生产服务(开销小,只需 build 一次) ``` ##### 启动前端 ```bash npm start # 访问 http://localhost:3000 ``` --- ### 方式二:OpenClaw 自动配置 向openclaw发送消息: ``` 帮我克隆git仓库:https://github.com/hit-cxf/AIGC-Claw.git 然后把AIGC-Claw中的aigc-director文件夹递归复制到workspace/skills中,用作AIGC相关的skill 复制完成后,检查aigc-director是否加载到了技能列表中 ``` 之后使用时,建议在向openclaw发送指令的同时,指明“使用aigc-director”,如: ``` 你用aigc-director来帮我生成一个视频,内容是“一条狗的使命” ``` ## 项目结构 ``` aigc-director/ # OpenClaw Agent Skill(供 OpenClaw 调用的 AI 视频制作助手) ├── SKILL.md # Agent 工作流规则定义 ├── CLAUDE.md # Claude Code 开发指引 ├── README.md # 项目说明 ├── references/ # API 参考文档 │ ├── run_project/ # 服务启动指南 │ ├── workflow/ # 六阶段工作流 API 文档 │ ├── sandbox/ # 临时工作台 API 文档 │ └── send_message/ # 消息推送集成 └── aigc-claw/ # 实际代码项目 ├── backend/ # Python FastAPI 后端 │ ├── api_server.py # API 入口 │ ├── config.py # 配置管理 │ ├── core/ │ │ ├── orchestrator.py # 工作流引擎 │ │ └── agents/ # 6 个阶段 Agent │ │ ├── script_agent.py # 剧本生成 │ │ ├── character_agent.py # 角色设计 │ │ ├── storyboard_agent.py # 分镜设计 │ │ ├── reference_agent.py # 参考图生成 │ │ ├── video_agent.py # 视频生成 │ │ └── editor_agent.py # 后期剪辑 │ └── tool/ # 外部 API 客户端 └── frontend/ # Next.js 前端 ├── app/ # App Router 页面 ├── components/ # React 组件 └── config/ # 配置文件 ``` > **注意**:整个 AI 视频生成系统代码在 `aigc-claw/` 子目录中,`aigc-director/` 目录是提供给 OpenClaw 平台调用的 Skill 包装。 ## 工作流阶段 | 阶段 | Agent | 说明 | |------|-------|------| | 1 | 剧本生成 | 将灵感转化为结构化剧本 | | 2 | 角色设计 | 生成角色设计图和场景背景 | | 3 | 分镜设计 | 设计镜头语言和分镜脚本 | | 4 | 参考图生成 | 生成高精度参考图 | | 5 | 视频生成 | 将参考图转化为视频 | | 6 | 后期剪辑 | 拼接视频片段为最终成片 | ## 数据存储 ### 产物存储位置 所有生成的资产存储在 `aigc-claw/backend/code/result/` 目录下: | 目录 | 说明 | |------|------| | `code/result/image/{session_id}/` | 角色/场景/参考图 | | `code/result/video/{session_id}/` | 视频片段 | | `code/result/sandbox/` | 临时工作台生成的文件 | | `code/result/script/` | LLM 生成的剧本初始数据 | ### 会话数据存储 会话状态和产物元数据存储在 `aigc-claw/backend/code/data/sessions/` 目录下: - `{session_id}.json` - 包含会话状态、已完成阶段、产物信息等 ### 数据读取优先级 1. **会话数据** (`sessions/`) - 用户修改和当前状态(权威数据) 2. **剧本数据** (`result/script/`) - LLM 生成的初始数据 API 返回的资产路径使用相对路径格式:`code/result/...` ## API 接口 | 接口 | 方法 | 说明 | |------|------|------| | `/api/project/start` | POST | 创建新项目 | | `/api/project/{session_id}/execute/{stage}` | POST | 执行指定阶段 | | `/api/project/{session_id}/status` | GET | 获取项目状态 | | `/api/project/{session_id}/artifact/{stage}` | GET | 获取阶段产物 | | `/api/project/{session_id}/intervene` | POST | 干预阶段 | | `/api/project/{session_id}/continue` | POST | 确认并继续 | | `/api/project/{session_id}/stop` | POST | 停止执行 | | `/api/sessions` | GET | 获取会话列表 | | `/api/stages` | GET | 获取阶段列表 | ## 配置说明 ### 后端环境变量 主要配置项(详见 `aigc-claw/backend/.env`): ```bash # LLM 配置(剧本生成) LLM_MODEL=qwen3.5-plus # VLM 配置(图像评估) VLM_MODEL=qwen-vl-plus # 图像生成(默认:doubao-seedream-5-0-260128,支持高并发) IMAGE_T2I_MODEL=doubao-seedream-5-0-260128 IMAGE_IT2I_MODEL=doubao-seedream-5-0-260128 # 视频生成 VIDEO_MODEL=wan2.6-i2v-flash VIDEO_RATIO=16:9 ``` ### API Keys 配置 在 `aigc-claw/backend/.env` 中配置各平台 API Key: | API Key | 提供商 | 可用模型 | |---------|------|---------| | `DASHSCOPE_API_KEY` | 阿里云DashScope | qwen3.5-plus, qwen-vl-plus, wan2.6-t2i, wan2.6-i2v-flash | | `ARK_API_KEY` | 字节跳动Seedream | doubao-seedream-5-0-260128 (500次/分钟,高并发) | | `VOLC_ACCESS_KEY/SECRET` | 火山引擎即梦 | jimeng_t2i_v40, jimeng_ti2v_v30_pro | | `KLING_ACCESS_KEY/SECRET` | 快手可灵 | kling-v3, kling-v2-6 | | `DEEPSEEK_API_KEY` | DeepSeek | deepseek-chat, deepseek-reasoner | | `OPENAI_API_KEY` | OpenAI | gpt-4o, gpt-5, o3 | | `GEMINI_API_KEY` | Google Gemini | gemini-2.5-flash, gemini-2.5-flash-image | ### 可用模型 - **LLM 模型**: deepseek-chat, deepseek-reasoner, gpt-4o, gpt-4, gpt-5, o3, gemini-3-flash-preview, qwen3.5-plus, qwen3.5-max - **VLM 评估模型**: qwen3.5-plus, qwen-vl-plus, qwen3.5-max, gemini-2.5-flash-image (性价比最高), gemini-2.0-flash - **文生图模型**: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-t2i, sora_image, gpt-image-1.5 - **图生图模型**: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-image - **视频生成模型**: wan2.6-i2v-flash, kling-v3, kling-v2-6, kling-v2-5-turbo - **视频比例**: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 ### 并发配置 `aigc-claw/backend/config_model.json` 定义了每个模型的并发限制: ```json { "models": { "doubao-seedream-5-0-260128": { "concurrency": 10, // 高并发 "provider": "seedream" }, "wan2.6-i2v-flash": { "concurrency": 5, "provider": "dashscope" } } } ``` 修改此文件可调整模型的最大并发数。 #### 图像生成 | 模型 | 调用限制 | 并发数上限 | 备注 | |------|---------|-----------|------| | **wan2.6-t2i** | 1次/秒 | 5个 | 文生图 | | **wan2.6-image** | 5次/秒 | 5个 | 图像生成 | | **jimeng_t2i_v40** | - | 2-5个 | 即梦系列 | | **doubao-seedream-*** | 500次/分钟 | 高并发 | 字节跳动Seedream | | **qwen-image** | 2次/秒 | 同步无限制 | 需开通 | #### 视频生成 | 模型 | 调用限制 | 并发数上限 | 备注 | |------|------|------|------| | **wan2.6-i2v-flash** | 5次/秒 | 5个 | 首帧生视频 | | **wan2.6-i2v** | 5次/秒 | 5个 | 首帧生视频 | | **jimeng_ti2v_v30_pro** | 即梦视频,需实测限流 | | | | **kling-v3/v2-6** | 快手可灵,需查阅官方文档 | | | #### LLM / VLM | 模型 | RPM | TPM | |------|-----|-----| | **qwen3.5-plus** | 30,000 | 5,000,000 | | **qwen-plus** | 30,000 | 5,000,000 | | **qwen-vl-plus** | 1,200 | 1,000,000 | | **deepseek-chat** | 15,000 | 1,200,000 | > **RPM**: 每分钟请求数 | **TPM**: 每分钟Token数 ## 文档 - [API 文档](./docs/) - [SKILL.md](./SKILL.md) - OpenClaw Agent 工作流规则 - [CLAUDE.md](./CLAUDE.md) - Claude Code 开发指引 ## 许可证 MIT License -
SKILL.md 12.5 KB
--- name: aigc-director description: AI 视频生成全流程:通过 6 个阶段(剧本→角色/场景设计→分镜→参考图→视频生成→后期剪辑)将用户想法转化为完整视频。支持临时工作台(单独调用 LLM、VLM、文生图、图生图、视频生成)。触发词:视频生成、AI视频、AIGC、创作视频、制作视频、AI画图。 license: MIT License metadata: author: Lychee version: "1.0" --- # AIGC-Director Agent Skill > **本地运行**:这是一个**本地部署**的视频生成项目,**前后端都运行在本机**: > - 后端:`http://localhost:8000` > - 前端:`http://localhost:3000` > - 所有 API 调用都请求本地服务器,不要请求其他地址! > - 确保在调用任何 API 之前,后端和前端服务都已经启动并运行正常! > **核心理念**:Agent 应该像"持续陪伴的智能视频制作助理",每完成一个用户可感知的重要任务,都应立即给用户一条简报,并等待用户确认。 > **核心原则**:每个阶段的产物都必须展示给用户,必须停下来等待用户确认后才能继续下一阶段。 > **防止遗忘**:在整个流程中,Agent 可能会忘记之前的用户输入或之前阶段的产物内容。**每当进入一个新的阶段时,Agent 都必须重新加载这篇SKILL文档,确保不会忘记任何细节**。 --- ## 项目结构 ``` aigc-director/ ← OpenClaw 调用的 skill 根目录 ├── aigc-claw/ ← 前后端项目代码 │ ├── backend/ ← FastAPI 后端(端口 8000) │ │ └── code/result/ ← 模型生成产物存放目录 │ │ ├── script/ ← 剧本产物 │ │ ├── image/ ← 图片产物(角色、场景、参考图) │ │ └── video/ ← 视频产物 │ └── frontend/ ← Next.js 前端(端口 3000) ├── references/ ← OpenClaw 调用时的参考文档 │ ├── init_project/ ← 项目初始化 │ ├── run_project/ ← 服务启动 │ ├── workflow/ ← 六阶段工作流 API │ ├── sandbox/ ← 临时工作台 API │ └── send_message/ ← 消息发送 └── SKILL.md ← skill 正文 ``` > **产物存放目录**:`aigc-claw/backend/code/result/` > - `script/` - 剧本产物 > - `image/` - 图片产物(角色、场景、参考图) > - `video/` - 视频产物 --- ## 阶段与停点(共9个) | 停点 | 阶段 | phase 值 | 描述 | 操作 | |------|------|----------|------|------| | 1 | 项目配置 | - | 确认配置选项 | 展示配置 → 用户确认 | | 2 | 剧本生成 | suggest_expand | 建议扩写 | 等待用户确认 | | 3 | 剧本生成 | logline_selection | 选择情节 | 从3个候选中选择 | | 4 | 剧本生成 | mode_selection | 选择模式 | 电影(4幕) / 微电影(1幕) | | 5 | 剧本生成 | script_generation | 确认剧本 | 确认后继续 | | 6 | 角色/场景设计 | - | 确认角色/场景图片 | 确认后继续 | | 7 | 分镜设计 | - | 确认分镜列表 | 确认后继续 | | 8 | 参考图生成 | - | 确认参考图 | 确认后继续 | | 9 | 视频生成 | - | 确认视频片段 | 确认后继续 | > **注意**:`suggest_expand` 和 `logline_selection` 可能根据输入质量被跳过。 --- ## 工作流程 ### 1. 本地部署(仅初始化时执行) 当用户要求"初始化项目"、"配置项目"、"部署项目"时,需要先进行项目初始化:参考 [init_all.md](references/init_project/init_all.md) 执行完整初始化流程。 > **注意**:仅在用户首次下载项目或需要重新配置环境时使用。项目已初始化过则跳过此步骤,直接检查服务运行状态。 ### 2. 检查本地服务 参考 [start_backend.md](references/run_project/start_backend.md) 和 [start_frontend.md](references/run_project/start_frontend.md) 检查服务是否运行。 > **⚠️ 强制要求**:如果服务未运行,必须先启动服务再继续! ### 2. 路由判断 | 用户说 | 处理 | |--------|------| | "生成图片" | 临时工作台 (sandbox) | | "生成视频" | 必须先询问:长视频(工作流) 还是 短视频(工作台)? | | "分析图片" | 临时工作台 (sandbox) | | "问 LLM 问题" | 临时工作台 (sandbox) | | "照片转动漫" | 临时工作台 (sandbox) | ### 3. 执行流程 ``` 1. 检查后端运行状态 → 未运行则参考 start_backend.md 启动 → 等待3秒 → 再次检查 2. 检查前端运行状态 → 未运行则参考 start_frontend.md 启动 → 等待5秒 → 再次检查 3. 检查 API Key 配置 → 读取 .env 文件,确认所需 API Key 已配置 4. 参考 create_project.md 询问用户项目配置 → 停点1(配置确认)→ 创建项目 5. 参考 create_script.md 执行剧本生成 → 停点2-5 6. 参考 create_character.md 执行角色设计 → 停点6 7. 参考 create_storyboard.md 执行分镜设计 → 停点7 8. 参考 create_reference.md 执行参考图生成 → 停点8 9. 参考 create_video.md 执行视频生成 → 停点9 10. 参考 create_post.md 执行后期剪辑 11. 完成 → 发送最终视频给用户 ``` > **注意**:一定要参考 `references/` 目录下的具体文档执行每一步操作,不要凭记忆或想当然去调用 API! #### 检查 API Key 配置 在创建项目前,必须检查用户选择的模型对应的 API Key 是否已配置: ```bash # 读取 .env 文件检查配置 cat aigc-claw/backend/.env | grep -E "API_KEY|KEY" # 必需的配置(根据选择的模型) # LLM: DASHSCOPE_API_KEY / DEEPSEEK_API_KEY / OPENAI_API_KEY / GEMINI_API_KEY # 图片: ARK_API_KEY / DASHSCOPE_API_KEY # 视频: DASHSCOPE_API_KEY / VOLC_ACCESS_KEY / KLING_ACCESS_KEY ``` 如果 API Key 未配置,需要提醒用户: 1. 告知缺少哪个平台的 API Key 2. 提供获取方式 3. 配置位置(`aigc-claw/backend/.env` 文件) 4. 等待用户配置完成后才能继续 | 平台 | API Key 变量 | 获取链接 | |------|--------------|----------| | DeepSeek | `DEEPSEEK_API_KEY` | https://platform.deepseek.com/api_keys | | 阿里云 DashScope | `DASHSCOPE_API_KEY` | https://bailian.console.aliyun.com/cn-beijing/?tab=home#/home | | 字节火山方舟 | `ARK_API_KEY` 或 `VOLC_ACCESS_KEY`/`VOLC_SECRET_KEY` | https://www.volcengine.com/product/ark | | 快手可灵 Kling | `KLING_ACCESS_KEY`/`KLING_SECRET_KEY` | https://klingai.com/cn/dev | --- ## 🚨 停点处理(强制规则) **当查询状态为 `stage_completed` 或 `waiting_in_stage` 时,必须按以下步骤执行:** ### 步骤1:获取产物 ```bash curl "http://localhost:8000/api/project/{session_id}/artifact/{stage}" ``` ### 步骤2:展示给用户 将 artifact 中的内容(选项列表、建议、产物摘要)**完整展示**给用户 ### 步骤3:询问决策 明确告诉用户: - 选项有哪些 - 每个选项的含义 - 需要用户选择什么 ### 步骤4:等待用户回复 **禁止**在用户回复前自行调用 `intervene` 或 `continue`! ### 步骤5:用户确认后执行 根据用户的选择,调用相应的 API --- ### ❌ 错误示例(我刚才犯的错) ``` 收到 suggest_expand 停点 → 直接调用 intervene → 跳过用户确认 ``` ### ✅ 正确示例 ``` 1. 阶段内部停点触发(如 suggest_expand) 收到 suggest_expand 停点 → 获取 artifact 查看内容 → 展示给用户:"系统建议启用创意扩写模式..." → 询问:"是否同意?" → 用户回复"同意" → 调用 intervene 2. 阶段完成停点触发 收到 stage_completed 停点 → 获取 artifact 查看产物内容 → 展示给用户:"第一阶段已完成,生成了剧本内容..." → 询问:"是否继续下一阶段?" → 用户回复"继续" → 调用 continue ``` **每个停点必须**: 1. 展示产物或选项给用户 2. 询问确认 3. 用户确认后才能继续 --- ## 状态判断 | status | 含义 | 操作 | |--------|------|------| | idle | 新建会话 | 启动项目 | | running | 执行中 | 轮询等待 | | waiting_in_stage | 等待用户介入 | 调用 `intervene` | | stage_completed | 阶段完成 | 调用 `continue` | | session_completed | 全部完成 | 结束 | > **注意**:只有 status 变化时才需要干预,不要反复调用 artifact API 去"确认"! --- ## 消息发送渠道 根据向用户发送消息的渠道(飞书/微信),读取 `references/send_message/` 下的对应参考文档,获取注意事项和发送方法: - [feishu.md](references/send_message/feishu.md) - 飞书发送消息 - [wechat.md](references/send_message/wechat.md) - 微信发送消息 --- ## 任务简报格式 每个阶段完成后,发送简报必须包含: 1. 刚完成什么 2. 下一步做什么 3. 需要用户决策的内容 4. **Web 界面链接**:`http://[本地IP]:3000/?session={session_id}&stage={stage}`(注意,这里使用本地 IPv4 地址,不要用 localhost!) 5. 产物图片/视频(直接发送文件,禁止只发路径) ### Web 界面链接格式 ```python # 获取本地 IPv4 地址 import socket local_ip = socket.gethostbyname(socket.gethostname()) # 构造前端 URL frontend_url = f"http://{local_ip}:3000/?session={session_id}&stage={stage}" # 发送给用户 send_to_user(f"📊 查看详情:{frontend_url}") ``` > **重要**:必须使用本地 IPv4 地址(如 `192.168.1.x`),不要使用 `localhost` 或 `127.0.0.1`,否则用户无法从其他设备访问! --- ## 详细参考 根据用户的需求和当前阶段,参考 `references/` 目录下的具体文档执行相应操作: ### references 目录 | 文件 | 用途 | 查看时机 | |------|------|----------| | **init_project/** | 项目初始化 | 用户首次下载或要求"初始化项目"时 | | [init_all.md](references/init_project/init_all.md) | 完整初始化流程 | 用户要求初始化部署时 | | [init_backend.md](references/init_project/init_backend.md) | 后端初始化 | 首次配置后端环境时 | | [init_frontend.md](references/init_project/init_frontend.md) | 前端初始化 | 首次配置前端环境时 | | **run_project/** | 项目启动 | | | [start_backend.md](references/run_project/start_backend.md) | 启动后端服务 | 服务未运行时 | | [start_frontend.md](references/run_project/start_frontend.md) | 启动前端服务 | 服务未运行时 | | **workflow/** | 六阶段工作流 | | | [create_project.md](references/workflow/create_project.md) | 创建新项目 API | 开始新视频项目时 | | [create_script.md](references/workflow/create_script.md) | 剧本生成 API | 执行第一阶段时 | | [create_character.md](references/workflow/create_character.md) | 角色/场景设计 API | 执行第二阶段时 | | [create_storyboard.md](references/workflow/create_storyboard.md) | 分镜设计 API/剧情续写 API | 执行第三阶段时/用户提出续写剧情时 | | [create_reference.md](references/workflow/create_reference.md) | 参考图生成 API | 执行第四阶段时 | | [create_video.md](references/workflow/create_video.md) | 视频生成 API | 执行第五阶段时 | | [create_post.md](references/workflow/create_post.md) | 后期剪辑 API | 执行第六阶段时 | | [modify_character.md](references/workflow/modify_character.md) | 修改角色提示词 | 用户要求修改角色时 | | [modify_storyboard.md](references/workflow/modify_storyboard.md) | 修改/续写分镜 | 用户要求修改/续写分镜时 | | [modify_reference.md](references/workflow/modify_reference.md) | 修改参考图提示词 | 用户要求修改参考图时 | | [modify_video.md](references/workflow/modify_video.md) | 修改视频提示词 | 用户要求修改视频时 | | **sandbox/** | 临时工作台 | | | [generate_image_t2i.md](references/sandbox/generate_image_t2i.md) | 文生图 API | 用户要求生成图片时 | | [generate_image_it2i.md](references/sandbox/generate_image_it2i.md) | 图生图/风格转换 API | 用户要求转换图片风格时 | | [generate_video.md](references/sandbox/generate_video.md) | 短视频生成 API | 用户要求生成15秒内视频时 | | **send_message/** | 消息发送 | | | [feishu.md](references/send_message/feishu.md) | 飞书发送媒体文件 | 用户通过飞书渠道发起对话,并且需要向用户发送图片/视频给用户时 | | [wechat.md](references/send_message/wechat.md) | 微信发送媒体文件 | 用户通过微信渠道发起对话,并且需要向用户发送图片/视频给用户时 |
Comments (0)
Sign in to join the conversation.
Reviews (0)
No reviews yet.
No comments yet.