Claude Cursor Skill

aigc-director

AI 视频生成全流程:通过 6 个阶段(剧本→角色/场景设计→分镜→参考图→视频生成→后期剪辑)将用户想法转化为完整视频。支持临时工作台(单独调用 LLM、VLM、文生图、图生图、视频生成)。触发词:视频生成、AI视频、AIGC、创作视频、制作视频、AI画图。

LLM Mart · 0 points · 2 views 0 listing impressions 0 install-command copies
Download aaaaqwq-agi-super-team-skills_aigc-director-cdb04e8.zip · 323 KB

Install

skills CLI npx skills add https://github.com/aAAaqwq/AGI-Super-Team/tree/main/skills/aigc-director
Claude Code claude plugin marketplace add https://llmmart.ai/marketplace.json && claude plugin install aaaaqwq-agi-super-team@llmmart
Git git clone https://github.com/aAAaqwq/AGI-Super-Team.git

The skills CLI installs just this skill, for any of its supported agents. Claude Code installs the whole aaaaqwq/agi-super-team collection as a plugin from our marketplace. Git is the plain clone.

README

🎬 AIGC-Claw

AI 视频生成全流程系统,通过 6 个阶段将用户想法转化为完整视频。

功能特性

  • 剧本生成:输入创意自动生成结构化剧本
  • 角色设计:AI 生成角色设定图(四视图)
  • 场景设计:自动生成场景背景图
  • 分镜设计:智能拆分镜头脚本
  • 参考图生成:为每个镜头生成高精度参考图
  • 视频生成:文生视频 / 图生视频
  • 后期剪辑:自动拼接视频片段,添加转场

环境要求

  • Python: 3.9+
  • Node.js: 18+
  • npm: 9+

技术栈

  • 前端:Next.js 14 + TypeScript + Tailwind CSS
  • 后端:Python FastAPI
  • AI 模型:阿里云 DashScope (Qwen)、字节跳动 Seedream、即梦 Jimeng、快手可灵 Kling、DeepSeek、OpenAI、Google Gemini

快速开始

方式一:手动安装

1. 克隆项目

git clone https://github.com/hit-cxf/AIGC-Claw.git
cd AIGC-Claw # 完整项目根目录(包括FilmAgent和aigc-director)

2. 配置并启动后端

先确保进入完整项目目录 AIGC-Claw 此时目录下应当有 aigc-director 和 FilmAgent 两个子目录

配置后端
cd aigc-director # skill目录
cd aigc-claw # 项目目录
cd backend # 后端目录

# 创建虚拟环境
python -m venv venv

# 根据操作系统选择启动虚拟环境的命令
source venv/bin/activate  # Linux/Mac
.\venv\Scripts\activate  # Windows

# 安装依赖
pip install -r requirements.txt

# 配置环境变量
cp .env.example .env
# 编辑 .env 填入 API Key
# 支持的模型见“配置说明”部分
启动后端
# 根据操作系统选择启动虚拟环境的命令
source venv/bin/activate  # Linux/Mac
.\venv\Scripts\activate  # Windows

python api_server.py
# 服务运行在 http://localhost:8000

终端显示

INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

说明启动成功。保持当前终端运行,新建终端以启动前端

3. 配置并启动前端

在新的终端下完成配置 先确保进入完整项目目录 AIGC-Claw 此时目录下应当有 aigc-director 和 FilmAgent 两个子目录

配置前端
cd aigc-director # skill目录
cd aigc-claw # 项目目录
cd frontend
npm install
# 首次启动或代码变更后需要 build
npm run build
# 启动生产服务(开销小,只需 build 一次)
启动前端
npm start
# 访问 http://localhost:3000

方式二:OpenClaw 自动配置

向openclaw发送消息:

帮我克隆git仓库:https://github.com/hit-cxf/AIGC-Claw.git
然后把AIGC-Claw中的aigc-director文件夹递归复制到workspace/skills中,用作AIGC相关的skill
复制完成后,检查aigc-director是否加载到了技能列表中

之后使用时,建议在向openclaw发送指令的同时,指明“使用aigc-director”,如:

你用aigc-director来帮我生成一个视频,内容是“一条狗的使命”

项目结构

aigc-director/                    # OpenClaw Agent Skill(供 OpenClaw 调用的 AI 视频制作助手)
├── SKILL.md                      # Agent 工作流规则定义
├── CLAUDE.md                     # Claude Code 开发指引
├── README.md                     # 项目说明
├── references/                   # API 参考文档
│   ├── run_project/              # 服务启动指南
│   ├── workflow/                 # 六阶段工作流 API 文档
│   ├── sandbox/                  # 临时工作台 API 文档
│   └── send_message/             # 消息推送集成
└── aigc-claw/                    # 实际代码项目
    ├── backend/                  # Python FastAPI 后端
    │   ├── api_server.py         # API 入口
    │   ├── config.py             # 配置管理
    │   ├── core/
    │   │   ├── orchestrator.py   # 工作流引擎
    │   │   └── agents/           # 6 个阶段 Agent
    │   │       ├── script_agent.py      # 剧本生成
    │   │       ├── character_agent.py  # 角色设计
    │   │       ├── storyboard_agent.py # 分镜设计
    │   │       ├── reference_agent.py  # 参考图生成
    │   │       ├── video_agent.py      # 视频生成
    │   │       └── editor_agent.py     # 后期剪辑
    │   └── tool/                 # 外部 API 客户端
    └── frontend/                 # Next.js 前端
        ├── app/                  # App Router 页面
        ├── components/           # React 组件
        └── config/               # 配置文件

注意:整个 AI 视频生成系统代码在 aigc-claw/ 子目录中,aigc-director/ 目录是提供给 OpenClaw 平台调用的 Skill 包装。

工作流阶段

阶段 Agent 说明
1 剧本生成 将灵感转化为结构化剧本
2 角色设计 生成角色设计图和场景背景
3 分镜设计 设计镜头语言和分镜脚本
4 参考图生成 生成高精度参考图
5 视频生成 将参考图转化为视频
6 后期剪辑 拼接视频片段为最终成片

数据存储

产物存储位置

所有生成的资产存储在 aigc-claw/backend/code/result/ 目录下:

目录 说明
code/result/image/{session_id}/ 角色/场景/参考图
code/result/video/{session_id}/ 视频片段
code/result/sandbox/ 临时工作台生成的文件
code/result/script/ LLM 生成的剧本初始数据

会话数据存储

会话状态和产物元数据存储在 aigc-claw/backend/code/data/sessions/ 目录下:

  • {session_id}.json - 包含会话状态、已完成阶段、产物信息等

数据读取优先级

  1. 会话数据 (sessions/) - 用户修改和当前状态(权威数据)
  2. 剧本数据 (result/script/) - LLM 生成的初始数据

API 返回的资产路径使用相对路径格式:code/result/...

API 接口

接口 方法 说明
/api/project/start POST 创建新项目
/api/project/{session_id}/execute/{stage} POST 执行指定阶段
/api/project/{session_id}/status GET 获取项目状态
/api/project/{session_id}/artifact/{stage} GET 获取阶段产物
/api/project/{session_id}/intervene POST 干预阶段
/api/project/{session_id}/continue POST 确认并继续
/api/project/{session_id}/stop POST 停止执行
/api/sessions GET 获取会话列表
/api/stages GET 获取阶段列表

配置说明

后端环境变量

主要配置项(详见 aigc-claw/backend/.env):

# LLM 配置(剧本生成)
LLM_MODEL=qwen3.5-plus

# VLM 配置(图像评估)
VLM_MODEL=qwen-vl-plus

# 图像生成(默认:doubao-seedream-5-0-260128,支持高并发)
IMAGE_T2I_MODEL=doubao-seedream-5-0-260128
IMAGE_IT2I_MODEL=doubao-seedream-5-0-260128

# 视频生成
VIDEO_MODEL=wan2.6-i2v-flash
VIDEO_RATIO=16:9

API Keys 配置

在 aigc-claw/backend/.env 中配置各平台 API Key:

API Key 提供商 可用模型
DASHSCOPE_API_KEY 阿里云DashScope qwen3.5-plus, qwen-vl-plus, wan2.6-t2i, wan2.6-i2v-flash
ARK_API_KEY 字节跳动Seedream doubao-seedream-5-0-260128 (500次/分钟,高并发)
VOLC_ACCESS_KEY/SECRET 火山引擎即梦 jimeng_t2i_v40, jimeng_ti2v_v30_pro
KLING_ACCESS_KEY/SECRET 快手可灵 kling-v3, kling-v2-6
DEEPSEEK_API_KEY DeepSeek deepseek-chat, deepseek-reasoner
OPENAI_API_KEY OpenAI gpt-4o, gpt-5, o3
GEMINI_API_KEY Google Gemini gemini-2.5-flash, gemini-2.5-flash-image

可用模型

  • LLM 模型: deepseek-chat, deepseek-reasoner, gpt-4o, gpt-4, gpt-5, o3, gemini-3-flash-preview, qwen3.5-plus, qwen3.5-max
  • VLM 评估模型: qwen3.5-plus, qwen-vl-plus, qwen3.5-max, gemini-2.5-flash-image (性价比最高), gemini-2.0-flash
  • 文生图模型: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-t2i, sora_image, gpt-image-1.5
  • 图生图模型: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-image
  • 视频生成模型: wan2.6-i2v-flash, kling-v3, kling-v2-6, kling-v2-5-turbo
  • 视频比例: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9

并发配置

aigc-claw/backend/config_model.json 定义了每个模型的并发限制:

{
  "models": {
    "doubao-seedream-5-0-260128": {
      "concurrency": 10,  // 高并发
      "provider": "seedream"
    },
    "wan2.6-i2v-flash": {
      "concurrency": 5,
      "provider": "dashscope"
    }
  }
}

修改此文件可调整模型的最大并发数。

图像生成

模型 调用限制 并发数上限 备注
wan2.6-t2i 1次/秒 5个 文生图
wan2.6-image 5次/秒 5个 图像生成
jimeng_t2i_v40 - 2-5个 即梦系列
doubao-seedream-* 500次/分钟 高并发 字节跳动Seedream
qwen-image 2次/秒 同步无限制 需开通

视频生成

模型 调用限制 并发数上限 备注
wan2.6-i2v-flash 5次/秒 5个 首帧生视频
wan2.6-i2v 5次/秒 5个 首帧生视频
jimeng_ti2v_v30_pro 即梦视频,需实测限流
kling-v3/v2-6 快手可灵,需查阅官方文档

LLM / VLM

模型 RPM TPM
qwen3.5-plus 30,000 5,000,000
qwen-plus 30,000 5,000,000
qwen-vl-plus 1,200 1,000,000
deepseek-chat 15,000 1,200,000

RPM: 每分钟请求数 | TPM: 每分钟Token数

文档

许可证

MIT License

Skill manifest

AIGC-Director Agent Skill

本地运行:这是一个本地部署的视频生成项目,前后端都运行在本机:

  • 后端:http://localhost:8000
  • 前端:http://localhost:3000
  • 所有 API 调用都请求本地服务器,不要请求其他地址!
  • 确保在调用任何 API 之前,后端和前端服务都已经启动并运行正常!

核心理念:Agent 应该像"持续陪伴的智能视频制作助理",每完成一个用户可感知的重要任务,都应立即给用户一条简报,并等待用户确认。

核心原则:每个阶段的产物都必须展示给用户,必须停下来等待用户确认后才能继续下一阶段。

防止遗忘:在整个流程中,Agent 可能会忘记之前的用户输入或之前阶段的产物内容。每当进入一个新的阶段时,Agent 都必须重新加载这篇SKILL文档,确保不会忘记任何细节。


项目结构

aigc-director/                    ← OpenClaw 调用的 skill 根目录
├── aigc-claw/                    ← 前后端项目代码
│   ├── backend/                  ← FastAPI 后端(端口 8000)
│   │   └── code/result/          ← 模型生成产物存放目录
│   │            ├── script/      ← 剧本产物
│   │            ├── image/       ← 图片产物(角色、场景、参考图)
│   │            └── video/       ← 视频产物
│   └── frontend/                 ← Next.js 前端(端口 3000)
├── references/                   ← OpenClaw 调用时的参考文档
│   ├── init_project/             ← 项目初始化
│   ├── run_project/              ← 服务启动
│   ├── workflow/                 ← 六阶段工作流 API
│   ├── sandbox/                  ← 临时工作台 API
│   └── send_message/             ← 消息发送
└── SKILL.md                      ← skill 正文

产物存放目录:aigc-claw/backend/code/result/

  • script/ - 剧本产物
  • image/ - 图片产物(角色、场景、参考图)
  • video/ - 视频产物

阶段与停点(共9个)

停点 阶段 phase 值 描述 操作
1 项目配置 - 确认配置选项 展示配置 → 用户确认
2 剧本生成 suggest_expand 建议扩写 等待用户确认
3 剧本生成 logline_selection 选择情节 从3个候选中选择
4 剧本生成 mode_selection 选择模式 电影(4幕) / 微电影(1幕)
5 剧本生成 script_generation 确认剧本 确认后继续
6 角色/场景设计 - 确认角色/场景图片 确认后继续
7 分镜设计 - 确认分镜列表 确认后继续
8 参考图生成 - 确认参考图 确认后继续
9 视频生成 - 确认视频片段 确认后继续

注意:suggest_expand 和 logline_selection 可能根据输入质量被跳过。


工作流程

1. 本地部署(仅初始化时执行)

当用户要求"初始化项目"、"配置项目"、"部署项目"时,需要先进行项目初始化:参考 init_all.md 执行完整初始化流程。

注意:仅在用户首次下载项目或需要重新配置环境时使用。项目已初始化过则跳过此步骤,直接检查服务运行状态。

2. 检查本地服务

参考 start_backend.md 和 start_frontend.md 检查服务是否运行。

⚠️ 强制要求:如果服务未运行,必须先启动服务再继续!

2. 路由判断

用户说 处理
"生成图片" 临时工作台 (sandbox)
"生成视频" 必须先询问:长视频(工作流) 还是 短视频(工作台)?
"分析图片" 临时工作台 (sandbox)
"问 LLM 问题" 临时工作台 (sandbox)
"照片转动漫" 临时工作台 (sandbox)

3. 执行流程

1. 检查后端运行状态 → 未运行则参考 start_backend.md 启动 → 等待3秒 → 再次检查
2. 检查前端运行状态 → 未运行则参考 start_frontend.md 启动 → 等待5秒 → 再次检查
3. 检查 API Key 配置 → 读取 .env 文件,确认所需 API Key 已配置
4. 参考 create_project.md 询问用户项目配置 → 停点1(配置确认)→ 创建项目
5. 参考 create_script.md 执行剧本生成 → 停点2-5
6. 参考 create_character.md 执行角色设计 → 停点6
7. 参考 create_storyboard.md 执行分镜设计 → 停点7
8. 参考 create_reference.md 执行参考图生成 → 停点8
9. 参考 create_video.md 执行视频生成 → 停点9
10. 参考 create_post.md 执行后期剪辑
11. 完成 → 发送最终视频给用户

注意:一定要参考 references/ 目录下的具体文档执行每一步操作,不要凭记忆或想当然去调用 API!

检查 API Key 配置

在创建项目前,必须检查用户选择的模型对应的 API Key 是否已配置:

# 读取 .env 文件检查配置
cat aigc-claw/backend/.env | grep -E "API_KEY|KEY"

# 必需的配置(根据选择的模型)
# LLM: DASHSCOPE_API_KEY / DEEPSEEK_API_KEY / OPENAI_API_KEY / GEMINI_API_KEY
# 图片: ARK_API_KEY / DASHSCOPE_API_KEY
# 视频: DASHSCOPE_API_KEY / VOLC_ACCESS_KEY / KLING_ACCESS_KEY

如果 API Key 未配置,需要提醒用户:

  1. 告知缺少哪个平台的 API Key
  2. 提供获取方式
  3. 配置位置(aigc-claw/backend/.env 文件)
  4. 等待用户配置完成后才能继续
平台 API Key 变量 获取链接
DeepSeek DEEPSEEK_API_KEY https://platform.deepseek.com/api_keys
阿里云 DashScope DASHSCOPE_API_KEY https://bailian.console.aliyun.com/cn-beijing/?tab=home#/home
字节火山方舟 ARK_API_KEY 或 VOLC_ACCESS_KEY/VOLC_SECRET_KEY https://www.volcengine.com/product/ark
快手可灵 Kling KLING_ACCESS_KEY/KLING_SECRET_KEY https://klingai.com/cn/dev

🚨 停点处理(强制规则)

当查询状态为 stage_completed 或 waiting_in_stage 时,必须按以下步骤执行:

步骤1:获取产物

curl "http://localhost:8000/api/project/{session_id}/artifact/{stage}"

步骤2:展示给用户

将 artifact 中的内容(选项列表、建议、产物摘要)完整展示给用户

步骤3:询问决策

明确告诉用户:

  • 选项有哪些
  • 每个选项的含义
  • 需要用户选择什么

步骤4:等待用户回复

禁止在用户回复前自行调用 intervene 或 continue!

步骤5:用户确认后执行

根据用户的选择,调用相应的 API


❌ 错误示例(我刚才犯的错)

收到 suggest_expand 停点 → 直接调用 intervene → 跳过用户确认

✅ 正确示例

1. 阶段内部停点触发(如 suggest_expand)
收到 suggest_expand 停点 
→ 获取 artifact 查看内容
→ 展示给用户:"系统建议启用创意扩写模式..."
→ 询问:"是否同意?"
→ 用户回复"同意" → 调用 intervene

2. 阶段完成停点触发
收到 stage_completed 停点
→ 获取 artifact 查看产物内容
→ 展示给用户:"第一阶段已完成,生成了剧本内容..."
→ 询问:"是否继续下一阶段?"
→ 用户回复"继续" → 调用 continue

每个停点必须:

  1. 展示产物或选项给用户
  2. 询问确认
  3. 用户确认后才能继续

状态判断

status 含义 操作
idle 新建会话 启动项目
running 执行中 轮询等待
waiting_in_stage 等待用户介入 调用 intervene
stage_completed 阶段完成 调用 continue
session_completed 全部完成 结束

注意:只有 status 变化时才需要干预,不要反复调用 artifact API 去"确认"!


消息发送渠道

根据向用户发送消息的渠道(飞书/微信),读取 references/send_message/ 下的对应参考文档,获取注意事项和发送方法:


任务简报格式

每个阶段完成后,发送简报必须包含:

  1. 刚完成什么
  2. 下一步做什么
  3. 需要用户决策的内容
  4. Web 界面链接:http://[本地IP]:3000/?session={session_id}&stage={stage}(注意,这里使用本地 IPv4 地址,不要用 localhost!)
  5. 产物图片/视频(直接发送文件,禁止只发路径)

Web 界面链接格式

# 获取本地 IPv4 地址
import socket
local_ip = socket.gethostbyname(socket.gethostname())

# 构造前端 URL
frontend_url = f"http://{local_ip}:3000/?session={session_id}&stage={stage}"

# 发送给用户
send_to_user(f"📊 查看详情:{frontend_url}")

重要:必须使用本地 IPv4 地址(如 192.168.1.x),不要使用 localhost 或 127.0.0.1,否则用户无法从其他设备访问!


详细参考

根据用户的需求和当前阶段,参考 references/ 目录下的具体文档执行相应操作:

references 目录

文件 用途 查看时机
init_project/ 项目初始化 用户首次下载或要求"初始化项目"时
init_all.md 完整初始化流程 用户要求初始化部署时
init_backend.md 后端初始化 首次配置后端环境时
init_frontend.md 前端初始化 首次配置前端环境时
run_project/ 项目启动
start_backend.md 启动后端服务 服务未运行时
start_frontend.md 启动前端服务 服务未运行时
workflow/ 六阶段工作流
create_project.md 创建新项目 API 开始新视频项目时
create_script.md 剧本生成 API 执行第一阶段时
create_character.md 角色/场景设计 API 执行第二阶段时
create_storyboard.md 分镜设计 API/剧情续写 API 执行第三阶段时/用户提出续写剧情时
create_reference.md 参考图生成 API 执行第四阶段时
create_video.md 视频生成 API 执行第五阶段时
create_post.md 后期剪辑 API 执行第六阶段时
modify_character.md 修改角色提示词 用户要求修改角色时
modify_storyboard.md 修改/续写分镜 用户要求修改/续写分镜时
modify_reference.md 修改参考图提示词 用户要求修改参考图时
modify_video.md 修改视频提示词 用户要求修改视频时
sandbox/ 临时工作台
generate_image_t2i.md 文生图 API 用户要求生成图片时
generate_image_it2i.md 图生图/风格转换 API 用户要求转换图片风格时
generate_video.md 短视频生成 API 用户要求生成15秒内视频时
send_message/ 消息发送
feishu.md 飞书发送媒体文件 用户通过飞书渠道发起对话,并且需要向用户发送图片/视频给用户时
wechat.md 微信发送媒体文件 用户通过微信渠道发起对话,并且需要向用户发送图片/视频给用户时
Files (agi-super-team)
  • aigc-claw
    • backend
      • core
        • agents
          • base_agent.py 1.7 KB
            Loading…
          • character_agent.py 26.9 KB
            Loading…
          • editor_agent.py 2.7 KB
            Loading…
          • reference_agent.py 30.9 KB
            Loading…
          • script_agent.py 67.7 KB
            Loading…
          • storyboard_agent.py 17.4 KB
            Loading…
          • video_agent.py 26.7 KB
            Loading…
          • __init__.py 541 B
            Loading…
        • orchestrator.py 22.6 KB
          Loading…
        • __init__.py 127 B
          Loading…
      • docs
        • api.md 9.9 KB
          Loading…
        • session_format.md 6.3 KB
          Loading…
      • prompts
        • character
          • character_styles.txt 9.5 KB
            Loading…
          • character_zh.txt 647 B
            Loading…
          • eval_character_zh.txt 1.8 KB
            Loading…
          • eval_select_best_zh.txt 1.5 KB
            Loading…
        • logline
          • check_en.txt 190 B
            Loading…
          • check_zh.txt 268 B
            Loading…
          • extract_zh.txt 413 B
            Loading…
          • generate_en.txt 508 B
            Loading…
          • generate_zh.txt 671 B
            Loading…
        • reference
          • eval_first_frame_zh.txt 2.4 KB
            Loading…
          • eval_select_best_zh.txt 1.7 KB
            Loading…
          • first_frame_en.txt 624 B
            Loading…
          • first_frame_zh.txt 600 B
            Loading…
        • script
          • beat_sheet_en.txt 817 B
            Loading…
          • beat_sheet_zh.txt 863 B
            Loading…
          • micro_beat_sheet_en.txt 500 B
            Loading…
          • micro_beat_sheet_zh.txt 490 B
            Loading…
          • micro_step_outline_zh.txt 1.2 KB
            Loading…
          • step_outline_en.txt 1.2 KB
            Loading…
          • step_outline_zh.txt 1.2 KB
            Loading…
          • validate_characters_zh.txt 1.1 KB
            Loading…
          • validate_settings_zh.txt 859 B
            Loading…
        • setting
          • eval_select_best_zh.txt 1.4 KB
            Loading…
          • eval_setting_zh.txt 1.6 KB
            Loading…
          • setting_styles.txt 5.2 KB
            Loading…
          • setting_zh.txt 212 B
            Loading…
        • storyboard
          • continue_zh.txt 1.6 KB
            Loading…
          • shot_zh.txt 1.2 KB
            Loading…
        • video
          • enhance.txt 1.5 KB
            Loading…
        • loader.py 4.8 KB
          Loading…
      • tool
        • image_client.py 9.1 KB
          Loading…
        • image_dashscope.py 7 KB
          Loading…
        • image_gpt.py 10.2 KB
          Loading…
        • image_jimeng.py 15.8 KB
          Loading…
        • image_processor.py 15.5 KB
          Loading…
        • image_seedream.py 9.9 KB
          Loading…
        • llm_client.py 5.7 KB
          Loading…
        • llm_dashscope.py 4.5 KB
          Loading…
        • llm_deepseek.py 3.3 KB
          Loading…
        • llm_gemini.py 4.2 KB
          Loading…
        • llm_gpt.py 3.4 KB
          Loading…
        • relay_client.py 20.1 KB
          Loading…
        • video_client.py 5.7 KB
          Loading…
        • video_kling.py 14.7 KB
          Loading…
        • video_wan.py 4 KB
          Loading…
        • vlm_client.py 5.4 KB
          Loading…
        • vlm_dashscope.py 4.1 KB
          Loading…
        • vlm_gemini.py 5.7 KB
          Loading…
      • .gitignore 71 B · in bundle
      • api_server.py 43.7 KB
        Loading…
      • config.py 3.8 KB
        Loading…
      • config_model.json 7.8 KB
        Loading…
      • config_model.py 1.6 KB
        Loading…
      • requirements.txt 361 B
        Loading…
      • session.py 2.2 KB
        Loading…
      • __init__.py 69 B
        Loading…
    • frontend
      • app
        • sandbox
          • page.tsx 245 B · in bundle
        • favicon.ico 25.3 KB · in bundle
        • globals.css 671 B · in bundle
        • layout.tsx 409 B · in bundle
        • page.tsx 573 B · in bundle
      • components
        • Sandbox
          • Sandbox.tsx 27.9 KB · in bundle
        • stages
          • CharacterStage.tsx 16.8 KB · in bundle
          • ImageLightbox.tsx 7 KB · in bundle
          • index.ts 442 B
            Loading…
          • PostProductionStage.tsx 2.7 KB · in bundle
          • ReferenceStage.tsx 18.5 KB · in bundle
          • ScriptStage.tsx 33.6 KB · in bundle
          • StageActions.tsx 5.9 KB · in bundle
          • StageProgress.tsx 2.4 KB · in bundle
          • StoryboardStage.tsx 28.9 KB · in bundle
          • types.ts 1.2 KB
            Loading…
          • utils.ts 4.7 KB
            Loading…
          • VideoStage.tsx 20.8 KB · in bundle
        • HomePage.tsx 20.8 KB · in bundle
        • TopBar.tsx 13.8 KB · in bundle
        • WorkflowPanel.tsx 45.3 KB · in bundle
      • config
        • examples.ts 1.1 KB
          Loading…
        • models.ts 5.6 KB
          Loading…
      • public
        • file.svg 391 B · in bundle
        • globe.svg 1 KB · in bundle
        • logo.jpg 9.6 KB · in bundle
        • next.svg 1.3 KB · in bundle
        • vercel.svg 128 B · in bundle
        • window.svg 385 B · in bundle
      • .gitignore 480 B · in bundle
      • eslint.config.mjs 299 B · in bundle
      • next.config.ts 889 B
        Loading…
      • package-lock.json 207 KB
        Loading…
      • package.json 627 B
        Loading…
      • postcss.config.mjs 94 B · in bundle
      • README.md 1.4 KB
        Loading…
      • tsconfig.json 713 B
        Loading…
  • references
    • init_project
      • init_all.md 1.1 KB
        Loading…
      • init_backend.md 1.8 KB
        Loading…
      • init_frontend.md 1.3 KB
        Loading…
    • run_project
      • start_backend.md 1.2 KB
        Loading…
      • start_frontend.md 1.4 KB
        Loading…
    • sandbox
      • generate_image_it2i.md 1.2 KB
        Loading…
      • generate_image_t2i.md 1 KB
        Loading…
      • generate_video.md 1.7 KB
        Loading…
    • send_message
      • feishu.md 2 KB
        Loading…
      • wechat.md 625 B
        Loading…
    • workflow
      • create_character.md 2.9 KB
        Loading…
      • create_post.md 1.2 KB
        Loading…
      • create_project.md 6.9 KB
        Loading…
      • create_reference.md 2.4 KB
        Loading…
      • create_script.md 4.3 KB
        Loading…
      • create_storyboard.md 2.2 KB
        Loading…
      • create_video.md 2.5 KB
        Loading…
      • modify_character.md 1.2 KB
        Loading…
      • modify_reference.md 1.1 KB
        Loading…
      • modify_storyboard.md 1.3 KB
        Loading…
      • modify_video.md 1.1 KB
        Loading…
  • .gitignore 295 B · in bundle
  • CLAUDE.md 3.7 KB
    Loading…
  • README.md 9.9 KB
    # 🎬 AIGC-Claw
    
    AI 视频生成全流程系统,通过 6 个阶段将用户想法转化为完整视频。
    
    ## 功能特性
    
    - **剧本生成**:输入创意自动生成结构化剧本
    - **角色设计**:AI 生成角色设定图(四视图)
    - **场景设计**:自动生成场景背景图
    - **分镜设计**:智能拆分镜头脚本
    - **参考图生成**:为每个镜头生成高精度参考图
    - **视频生成**:文生视频 / 图生视频
    - **后期剪辑**:自动拼接视频片段,添加转场
    
    ## 环境要求
    
    - **Python**: 3.9+
    - **Node.js**: 18+
    - **npm**: 9+
    
    ## 技术栈
    
    - **前端**:Next.js 14 + TypeScript + Tailwind CSS
    - **后端**:Python FastAPI
    - **AI 模型**:阿里云 DashScope (Qwen)、字节跳动 Seedream、即梦 Jimeng、快手可灵 Kling、DeepSeek、OpenAI、Google Gemini
    
    ## 快速开始
    
    ### 方式一:手动安装
    
    #### 1. 克隆项目
    
    ```bash
    git clone https://github.com/hit-cxf/AIGC-Claw.git
    cd AIGC-Claw # 完整项目根目录(包括FilmAgent和aigc-director)
    ```
    
    #### 2. 配置并启动后端
    
    先确保进入完整项目目录 `AIGC-Claw`
    此时目录下应当有 `aigc-director` 和 `FilmAgent` 两个子目录
    
    ##### 配置后端
    
    ```bash
    cd aigc-director # skill目录
    cd aigc-claw # 项目目录
    cd backend # 后端目录
    
    # 创建虚拟环境
    python -m venv venv
    
    # 根据操作系统选择启动虚拟环境的命令
    source venv/bin/activate  # Linux/Mac
    .\venv\Scripts\activate  # Windows
    
    # 安装依赖
    pip install -r requirements.txt
    
    # 配置环境变量
    cp .env.example .env
    # 编辑 .env 填入 API Key
    # 支持的模型见“配置说明”部分
    ```
    
    ##### 启动后端
    
    ```bash
    # 根据操作系统选择启动虚拟环境的命令
    source venv/bin/activate  # Linux/Mac
    .\venv\Scripts\activate  # Windows
    
    python api_server.py
    # 服务运行在 http://localhost:8000
    ```
    
    终端显示
    
    ```
    INFO:     Application startup complete.
    INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
    ```
    
    说明启动成功。保持当前终端运行,新建终端以启动前端
    
    #### 3. 配置并启动前端
    
    在新的终端下完成配置
    先确保进入完整项目目录 `AIGC-Claw`
    此时目录下应当有 `aigc-director` 和 `FilmAgent` 两个子目录
    
    ##### 配置前端
    
    ```bash
    cd aigc-director # skill目录
    cd aigc-claw # 项目目录
    cd frontend
    npm install
    # 首次启动或代码变更后需要 build
    npm run build
    # 启动生产服务(开销小,只需 build 一次)
    ```
    
    ##### 启动前端
    
    ```bash
    npm start
    # 访问 http://localhost:3000
    ```
    
    ---
    
    ### 方式二:OpenClaw 自动配置
    
    向openclaw发送消息:
    
    ```
    帮我克隆git仓库:https://github.com/hit-cxf/AIGC-Claw.git
    然后把AIGC-Claw中的aigc-director文件夹递归复制到workspace/skills中,用作AIGC相关的skill
    复制完成后,检查aigc-director是否加载到了技能列表中
    ```
    
    之后使用时,建议在向openclaw发送指令的同时,指明“使用aigc-director”,如:
    
    ```
    你用aigc-director来帮我生成一个视频,内容是“一条狗的使命”
    ```
    
    ## 项目结构
    
    ```
    aigc-director/                    # OpenClaw Agent Skill(供 OpenClaw 调用的 AI 视频制作助手)
    ├── SKILL.md                      # Agent 工作流规则定义
    ├── CLAUDE.md                     # Claude Code 开发指引
    ├── README.md                     # 项目说明
    ├── references/                   # API 参考文档
    │   ├── run_project/              # 服务启动指南
    │   ├── workflow/                 # 六阶段工作流 API 文档
    │   ├── sandbox/                  # 临时工作台 API 文档
    │   └── send_message/             # 消息推送集成
    └── aigc-claw/                    # 实际代码项目
        ├── backend/                  # Python FastAPI 后端
        │   ├── api_server.py         # API 入口
        │   ├── config.py             # 配置管理
        │   ├── core/
        │   │   ├── orchestrator.py   # 工作流引擎
        │   │   └── agents/           # 6 个阶段 Agent
        │   │       ├── script_agent.py      # 剧本生成
        │   │       ├── character_agent.py  # 角色设计
        │   │       ├── storyboard_agent.py # 分镜设计
        │   │       ├── reference_agent.py  # 参考图生成
        │   │       ├── video_agent.py      # 视频生成
        │   │       └── editor_agent.py     # 后期剪辑
        │   └── tool/                 # 外部 API 客户端
        └── frontend/                 # Next.js 前端
            ├── app/                  # App Router 页面
            ├── components/           # React 组件
            └── config/               # 配置文件
    ```
    
    > **注意**:整个 AI 视频生成系统代码在 `aigc-claw/` 子目录中,`aigc-director/` 目录是提供给 OpenClaw 平台调用的 Skill 包装。
    
    ## 工作流阶段
    
    | 阶段 | Agent | 说明 |
    |------|-------|------|
    | 1 | 剧本生成 | 将灵感转化为结构化剧本 |
    | 2 | 角色设计 | 生成角色设计图和场景背景 |
    | 3 | 分镜设计 | 设计镜头语言和分镜脚本 |
    | 4 | 参考图生成 | 生成高精度参考图 |
    | 5 | 视频生成 | 将参考图转化为视频 |
    | 6 | 后期剪辑 | 拼接视频片段为最终成片 |
    
    ## 数据存储
    
    ### 产物存储位置
    
    所有生成的资产存储在 `aigc-claw/backend/code/result/` 目录下:
    
    | 目录 | 说明 |
    |------|------|
    | `code/result/image/{session_id}/` | 角色/场景/参考图 |
    | `code/result/video/{session_id}/` | 视频片段 |
    | `code/result/sandbox/` | 临时工作台生成的文件 |
    | `code/result/script/` | LLM 生成的剧本初始数据 |
    
    ### 会话数据存储
    
    会话状态和产物元数据存储在 `aigc-claw/backend/code/data/sessions/` 目录下:
    
    - `{session_id}.json` - 包含会话状态、已完成阶段、产物信息等
    
    ### 数据读取优先级
    
    1. **会话数据** (`sessions/`) - 用户修改和当前状态(权威数据)
    2. **剧本数据** (`result/script/`) - LLM 生成的初始数据
    
    API 返回的资产路径使用相对路径格式:`code/result/...`
    
    ## API 接口
    
    | 接口 | 方法 | 说明 |
    |------|------|------|
    | `/api/project/start` | POST | 创建新项目 |
    | `/api/project/{session_id}/execute/{stage}` | POST | 执行指定阶段 |
    | `/api/project/{session_id}/status` | GET | 获取项目状态 |
    | `/api/project/{session_id}/artifact/{stage}` | GET | 获取阶段产物 |
    | `/api/project/{session_id}/intervene` | POST | 干预阶段 |
    | `/api/project/{session_id}/continue` | POST | 确认并继续 |
    | `/api/project/{session_id}/stop` | POST | 停止执行 |
    | `/api/sessions` | GET | 获取会话列表 |
    | `/api/stages` | GET | 获取阶段列表 |
    
    ## 配置说明
    
    ### 后端环境变量
    
    主要配置项(详见 `aigc-claw/backend/.env`):
    
    ```bash
    # LLM 配置(剧本生成)
    LLM_MODEL=qwen3.5-plus
    
    # VLM 配置(图像评估)
    VLM_MODEL=qwen-vl-plus
    
    # 图像生成(默认:doubao-seedream-5-0-260128,支持高并发)
    IMAGE_T2I_MODEL=doubao-seedream-5-0-260128
    IMAGE_IT2I_MODEL=doubao-seedream-5-0-260128
    
    # 视频生成
    VIDEO_MODEL=wan2.6-i2v-flash
    VIDEO_RATIO=16:9
    ```
    
    ### API Keys 配置
    
    在 `aigc-claw/backend/.env` 中配置各平台 API Key:
    
    | API Key | 提供商 | 可用模型 |
    |---------|------|---------|
    | `DASHSCOPE_API_KEY` | 阿里云DashScope | qwen3.5-plus, qwen-vl-plus, wan2.6-t2i, wan2.6-i2v-flash |
    | `ARK_API_KEY` | 字节跳动Seedream | doubao-seedream-5-0-260128 (500次/分钟,高并发) |
    | `VOLC_ACCESS_KEY/SECRET` | 火山引擎即梦 | jimeng_t2i_v40, jimeng_ti2v_v30_pro |
    | `KLING_ACCESS_KEY/SECRET` | 快手可灵 | kling-v3, kling-v2-6 |
    | `DEEPSEEK_API_KEY` | DeepSeek | deepseek-chat, deepseek-reasoner |
    | `OPENAI_API_KEY` | OpenAI | gpt-4o, gpt-5, o3 |
    | `GEMINI_API_KEY` | Google Gemini | gemini-2.5-flash, gemini-2.5-flash-image |
    
    ### 可用模型
    
    - **LLM 模型**: deepseek-chat, deepseek-reasoner, gpt-4o, gpt-4, gpt-5, o3, gemini-3-flash-preview, qwen3.5-plus, qwen3.5-max
    - **VLM 评估模型**: qwen3.5-plus, qwen-vl-plus, qwen3.5-max, gemini-2.5-flash-image (性价比最高), gemini-2.0-flash
    - **文生图模型**: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-t2i, sora_image, gpt-image-1.5
    - **图生图模型**: doubao-seedream-5-0-260128, jimeng_t2i_v40, wan2.6-image
    - **视频生成模型**: wan2.6-i2v-flash, kling-v3, kling-v2-6, kling-v2-5-turbo
    - **视频比例**: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9
    
    ### 并发配置
    
    `aigc-claw/backend/config_model.json` 定义了每个模型的并发限制:
    
    ```json
    {
      "models": {
        "doubao-seedream-5-0-260128": {
          "concurrency": 10,  // 高并发
          "provider": "seedream"
        },
        "wan2.6-i2v-flash": {
          "concurrency": 5,
          "provider": "dashscope"
        }
      }
    }
    ```
    
    修改此文件可调整模型的最大并发数。
    
    #### 图像生成
    
    | 模型 | 调用限制 | 并发数上限 | 备注 |
    |------|---------|-----------|------|
    | **wan2.6-t2i** | 1次/秒 | 5个 | 文生图 |
    | **wan2.6-image** | 5次/秒 | 5个 | 图像生成 |
    | **jimeng_t2i_v40** | - | 2-5个 | 即梦系列 |
    | **doubao-seedream-*** | 500次/分钟 | 高并发 | 字节跳动Seedream |
    | **qwen-image** | 2次/秒 | 同步无限制 | 需开通 |
    
    #### 视频生成
    
    | 模型 | 调用限制 | 并发数上限 | 备注 |
    |------|------|------|------|
    | **wan2.6-i2v-flash** | 5次/秒 | 5个 | 首帧生视频 |
    | **wan2.6-i2v** | 5次/秒 | 5个 | 首帧生视频 |
    | **jimeng_ti2v_v30_pro** | 即梦视频,需实测限流 | | |
    | **kling-v3/v2-6** | 快手可灵,需查阅官方文档 | | |
    
    #### LLM / VLM
    
    | 模型 | RPM | TPM |
    |------|-----|-----|
    | **qwen3.5-plus** | 30,000 | 5,000,000 |
    | **qwen-plus** | 30,000 | 5,000,000 |
    | **qwen-vl-plus** | 1,200 | 1,000,000 |
    | **deepseek-chat** | 15,000 | 1,200,000 |
    
    > **RPM**: 每分钟请求数 | **TPM**: 每分钟Token数
    
    ## 文档
    
    - [API 文档](./docs/)
    - [SKILL.md](./SKILL.md) - OpenClaw Agent 工作流规则
    - [CLAUDE.md](./CLAUDE.md) - Claude Code 开发指引
    
    ## 许可证
    
    MIT License
    
  • SKILL.md 12.5 KB
    ---
    name: aigc-director
    description: AI 视频生成全流程:通过 6 个阶段(剧本→角色/场景设计→分镜→参考图→视频生成→后期剪辑)将用户想法转化为完整视频。支持临时工作台(单独调用 LLM、VLM、文生图、图生图、视频生成)。触发词:视频生成、AI视频、AIGC、创作视频、制作视频、AI画图。
    license: MIT License
    metadata:
      author: Lychee
      version: "1.0"
    ---
    
    # AIGC-Director Agent Skill
    
    > **本地运行**:这是一个**本地部署**的视频生成项目,**前后端都运行在本机**:
    > - 后端:`http://localhost:8000`
    > - 前端:`http://localhost:3000`
    > - 所有 API 调用都请求本地服务器,不要请求其他地址!
    > - 确保在调用任何 API 之前,后端和前端服务都已经启动并运行正常!
    
    > **核心理念**:Agent 应该像"持续陪伴的智能视频制作助理",每完成一个用户可感知的重要任务,都应立即给用户一条简报,并等待用户确认。
    
    > **核心原则**:每个阶段的产物都必须展示给用户,必须停下来等待用户确认后才能继续下一阶段。
    
    > **防止遗忘**:在整个流程中,Agent 可能会忘记之前的用户输入或之前阶段的产物内容。**每当进入一个新的阶段时,Agent 都必须重新加载这篇SKILL文档,确保不会忘记任何细节**。
    
    ---
    
    ## 项目结构
    
    ```
    aigc-director/                    ← OpenClaw 调用的 skill 根目录
    ├── aigc-claw/                    ← 前后端项目代码
    │   ├── backend/                  ← FastAPI 后端(端口 8000)
    │   │   └── code/result/          ← 模型生成产物存放目录
    │   │            ├── script/      ← 剧本产物
    │   │            ├── image/       ← 图片产物(角色、场景、参考图)
    │   │            └── video/       ← 视频产物
    │   └── frontend/                 ← Next.js 前端(端口 3000)
    ├── references/                   ← OpenClaw 调用时的参考文档
    │   ├── init_project/             ← 项目初始化
    │   ├── run_project/              ← 服务启动
    │   ├── workflow/                 ← 六阶段工作流 API
    │   ├── sandbox/                  ← 临时工作台 API
    │   └── send_message/             ← 消息发送
    └── SKILL.md                      ← skill 正文
    ```
    
    > **产物存放目录**:`aigc-claw/backend/code/result/`
    > - `script/` - 剧本产物
    > - `image/` - 图片产物(角色、场景、参考图)
    > - `video/` - 视频产物
    
    ---
    
    ## 阶段与停点(共9个)
    
    | 停点 | 阶段 | phase 值 | 描述 | 操作 |
    |------|------|----------|------|------|
    | 1 | 项目配置 | - | 确认配置选项 | 展示配置 → 用户确认 |
    | 2 | 剧本生成 | suggest_expand | 建议扩写 | 等待用户确认 |
    | 3 | 剧本生成 | logline_selection | 选择情节 | 从3个候选中选择 |
    | 4 | 剧本生成 | mode_selection | 选择模式 | 电影(4幕) / 微电影(1幕) |
    | 5 | 剧本生成 | script_generation | 确认剧本 | 确认后继续 |
    | 6 | 角色/场景设计 | - | 确认角色/场景图片 | 确认后继续 |
    | 7 | 分镜设计 | - | 确认分镜列表 | 确认后继续 |
    | 8 | 参考图生成 | - | 确认参考图 | 确认后继续 |
    | 9 | 视频生成 | - | 确认视频片段 | 确认后继续 |
    
    > **注意**:`suggest_expand` 和 `logline_selection` 可能根据输入质量被跳过。
    
    ---
    
    ## 工作流程
    
    ### 1. 本地部署(仅初始化时执行)
    
    当用户要求"初始化项目"、"配置项目"、"部署项目"时,需要先进行项目初始化:参考 [init_all.md](references/init_project/init_all.md) 执行完整初始化流程。
    
    > **注意**:仅在用户首次下载项目或需要重新配置环境时使用。项目已初始化过则跳过此步骤,直接检查服务运行状态。
    
    ### 2. 检查本地服务
    
    参考 [start_backend.md](references/run_project/start_backend.md) 和 [start_frontend.md](references/run_project/start_frontend.md) 检查服务是否运行。
    
    > **⚠️ 强制要求**:如果服务未运行,必须先启动服务再继续!
    
    ### 2. 路由判断
    
    | 用户说 | 处理 |
    |--------|------|
    | "生成图片" | 临时工作台 (sandbox) |
    | "生成视频" | 必须先询问:长视频(工作流) 还是 短视频(工作台)? |
    | "分析图片" | 临时工作台 (sandbox) |
    | "问 LLM 问题" | 临时工作台 (sandbox) |
    | "照片转动漫" | 临时工作台 (sandbox) |
    
    ### 3. 执行流程
    
    ```
    1. 检查后端运行状态 → 未运行则参考 start_backend.md 启动 → 等待3秒 → 再次检查
    2. 检查前端运行状态 → 未运行则参考 start_frontend.md 启动 → 等待5秒 → 再次检查
    3. 检查 API Key 配置 → 读取 .env 文件,确认所需 API Key 已配置
    4. 参考 create_project.md 询问用户项目配置 → 停点1(配置确认)→ 创建项目
    5. 参考 create_script.md 执行剧本生成 → 停点2-5
    6. 参考 create_character.md 执行角色设计 → 停点6
    7. 参考 create_storyboard.md 执行分镜设计 → 停点7
    8. 参考 create_reference.md 执行参考图生成 → 停点8
    9. 参考 create_video.md 执行视频生成 → 停点9
    10. 参考 create_post.md 执行后期剪辑
    11. 完成 → 发送最终视频给用户
    ```
    
    > **注意**:一定要参考 `references/` 目录下的具体文档执行每一步操作,不要凭记忆或想当然去调用 API!
    
    #### 检查 API Key 配置
    
    在创建项目前,必须检查用户选择的模型对应的 API Key 是否已配置:
    
    ```bash
    # 读取 .env 文件检查配置
    cat aigc-claw/backend/.env | grep -E "API_KEY|KEY"
    
    # 必需的配置(根据选择的模型)
    # LLM: DASHSCOPE_API_KEY / DEEPSEEK_API_KEY / OPENAI_API_KEY / GEMINI_API_KEY
    # 图片: ARK_API_KEY / DASHSCOPE_API_KEY
    # 视频: DASHSCOPE_API_KEY / VOLC_ACCESS_KEY / KLING_ACCESS_KEY
    ```
    
    如果 API Key 未配置,需要提醒用户:
    1. 告知缺少哪个平台的 API Key
    2. 提供获取方式
    3. 配置位置(`aigc-claw/backend/.env` 文件)
    4. 等待用户配置完成后才能继续
    
    | 平台 | API Key 变量 | 获取链接 |
    |------|--------------|----------|
    | DeepSeek | `DEEPSEEK_API_KEY` | https://platform.deepseek.com/api_keys |
    | 阿里云 DashScope | `DASHSCOPE_API_KEY` | https://bailian.console.aliyun.com/cn-beijing/?tab=home#/home |
    | 字节火山方舟 | `ARK_API_KEY` 或 `VOLC_ACCESS_KEY`/`VOLC_SECRET_KEY` | https://www.volcengine.com/product/ark |
    | 快手可灵 Kling | `KLING_ACCESS_KEY`/`KLING_SECRET_KEY` | https://klingai.com/cn/dev |
    
    ---
    
    ## 🚨 停点处理(强制规则)
    
    **当查询状态为 `stage_completed` 或 `waiting_in_stage` 时,必须按以下步骤执行:**
    
    ### 步骤1:获取产物
    ```bash
    curl "http://localhost:8000/api/project/{session_id}/artifact/{stage}"
    ```
    
    ### 步骤2:展示给用户
    将 artifact 中的内容(选项列表、建议、产物摘要)**完整展示**给用户
    
    ### 步骤3:询问决策
    明确告诉用户:
    - 选项有哪些
    - 每个选项的含义
    - 需要用户选择什么
    
    ### 步骤4:等待用户回复
    **禁止**在用户回复前自行调用 `intervene` 或 `continue`!
    
    ### 步骤5:用户确认后执行
    根据用户的选择,调用相应的 API
    
    ---
    
    ### ❌ 错误示例(我刚才犯的错)
    ```
    收到 suggest_expand 停点 → 直接调用 intervene → 跳过用户确认
    ```
    
    ### ✅ 正确示例
    ```
    1. 阶段内部停点触发(如 suggest_expand)
    收到 suggest_expand 停点 
    → 获取 artifact 查看内容
    → 展示给用户:"系统建议启用创意扩写模式..."
    → 询问:"是否同意?"
    → 用户回复"同意" → 调用 intervene
    
    2. 阶段完成停点触发
    收到 stage_completed 停点
    → 获取 artifact 查看产物内容
    → 展示给用户:"第一阶段已完成,生成了剧本内容..."
    → 询问:"是否继续下一阶段?"
    → 用户回复"继续" → 调用 continue
    ```
    
    **每个停点必须**:
    1. 展示产物或选项给用户
    2. 询问确认
    3. 用户确认后才能继续
    
    ---
    
    ## 状态判断
    
    | status | 含义 | 操作 |
    |--------|------|------|
    | idle | 新建会话 | 启动项目 |
    | running | 执行中 | 轮询等待 |
    | waiting_in_stage | 等待用户介入 | 调用 `intervene` |
    | stage_completed | 阶段完成 | 调用 `continue` |
    | session_completed | 全部完成 | 结束 |
    
    > **注意**:只有 status 变化时才需要干预,不要反复调用 artifact API 去"确认"!
    
    ---
    
    ## 消息发送渠道
    
    根据向用户发送消息的渠道(飞书/微信),读取 `references/send_message/` 下的对应参考文档,获取注意事项和发送方法:
    - [feishu.md](references/send_message/feishu.md) - 飞书发送消息
    - [wechat.md](references/send_message/wechat.md) - 微信发送消息
    
    ---
    
    ## 任务简报格式
    
    每个阶段完成后,发送简报必须包含:
    1. 刚完成什么
    2. 下一步做什么
    3. 需要用户决策的内容
    4. **Web 界面链接**:`http://[本地IP]:3000/?session={session_id}&stage={stage}`(注意,这里使用本地 IPv4 地址,不要用 localhost!)
    5. 产物图片/视频(直接发送文件,禁止只发路径)
    
    ### Web 界面链接格式
    
    ```python
    # 获取本地 IPv4 地址
    import socket
    local_ip = socket.gethostbyname(socket.gethostname())
    
    # 构造前端 URL
    frontend_url = f"http://{local_ip}:3000/?session={session_id}&stage={stage}"
    
    # 发送给用户
    send_to_user(f"📊 查看详情:{frontend_url}")
    ```
    
    > **重要**:必须使用本地 IPv4 地址(如 `192.168.1.x`),不要使用 `localhost` 或 `127.0.0.1`,否则用户无法从其他设备访问!
    
    ---
    
    ## 详细参考
    
    根据用户的需求和当前阶段,参考 `references/` 目录下的具体文档执行相应操作:
    
    ### references 目录
    
    | 文件 | 用途 | 查看时机 |
    |------|------|----------|
    | **init_project/** | 项目初始化 | 用户首次下载或要求"初始化项目"时 |
    | [init_all.md](references/init_project/init_all.md) | 完整初始化流程 | 用户要求初始化部署时 |
    | [init_backend.md](references/init_project/init_backend.md) | 后端初始化 | 首次配置后端环境时 |
    | [init_frontend.md](references/init_project/init_frontend.md) | 前端初始化 | 首次配置前端环境时 |
    | **run_project/** | 项目启动 | |
    | [start_backend.md](references/run_project/start_backend.md) | 启动后端服务 | 服务未运行时 |
    | [start_frontend.md](references/run_project/start_frontend.md) | 启动前端服务 | 服务未运行时 |
    | **workflow/** | 六阶段工作流 | |
    | [create_project.md](references/workflow/create_project.md) | 创建新项目 API | 开始新视频项目时 |
    | [create_script.md](references/workflow/create_script.md) | 剧本生成 API | 执行第一阶段时 |
    | [create_character.md](references/workflow/create_character.md) | 角色/场景设计 API | 执行第二阶段时 |
    | [create_storyboard.md](references/workflow/create_storyboard.md) | 分镜设计 API/剧情续写 API | 执行第三阶段时/用户提出续写剧情时 |
    | [create_reference.md](references/workflow/create_reference.md) | 参考图生成 API | 执行第四阶段时 |
    | [create_video.md](references/workflow/create_video.md) | 视频生成 API | 执行第五阶段时 |
    | [create_post.md](references/workflow/create_post.md) | 后期剪辑 API | 执行第六阶段时 |
    | [modify_character.md](references/workflow/modify_character.md) | 修改角色提示词 | 用户要求修改角色时 |
    | [modify_storyboard.md](references/workflow/modify_storyboard.md) | 修改/续写分镜 | 用户要求修改/续写分镜时 |
    | [modify_reference.md](references/workflow/modify_reference.md) | 修改参考图提示词 | 用户要求修改参考图时 |
    | [modify_video.md](references/workflow/modify_video.md) | 修改视频提示词 | 用户要求修改视频时 |
    | **sandbox/** | 临时工作台 | |
    | [generate_image_t2i.md](references/sandbox/generate_image_t2i.md) | 文生图 API | 用户要求生成图片时 |
    | [generate_image_it2i.md](references/sandbox/generate_image_it2i.md) | 图生图/风格转换 API | 用户要求转换图片风格时 |
    | [generate_video.md](references/sandbox/generate_video.md) | 短视频生成 API | 用户要求生成15秒内视频时 |
    | **send_message/** | 消息发送 | |
    | [feishu.md](references/send_message/feishu.md) | 飞书发送媒体文件 | 用户通过飞书渠道发起对话,并且需要向用户发送图片/视频给用户时 |
    | [wechat.md](references/send_message/wechat.md) | 微信发送媒体文件 | 用户通过微信渠道发起对话,并且需要向用户发送图片/视频给用户时 |
    

Comments (0)

Sign in to join the conversation.

No comments yet.

Reviews (0)

No reviews yet.