HouYunFei
@@ -0,0 +1,19 @@
|
||||
# 前后端接口响应约定
|
||||
|
||||
后端业务接口统一返回 JSON：
|
||||
|
||||
```json
|
||||
{
|
||||
"code": 0,
|
||||
"data": {},
|
||||
"msg": "ok"
|
||||
}
|
||||
```
|
||||
|
||||
- `code`: 业务状态码，`0` 表示成功，非 `0` 表示失败。
|
||||
- `data`: 业务数据。失败时通常为 `null`。
|
||||
- `msg`: 响应消息。成功默认为 `ok`，失败时放错误原因。
|
||||
|
||||
前端请求逻辑以 `code` 判断业务是否成功。当前后端业务失败也会返回 HTTP 200，前端不要只依赖 HTTP 状态码判断结果。
|
||||
|
||||
接口连接失败、服务不可达、返回体不是约定 JSON 时，前端按网络或接口异常处理。
|
||||
@@ -0,0 +1,234 @@
|
||||
# 后端数据库说明
|
||||
|
||||
本文档记录后端当前已经使用，以及后续规划会用到的主要数据表。
|
||||
|
||||
## 数据库
|
||||
|
||||
后端使用 GORM 管理数据库连接和表结构迁移。
|
||||
|
||||
支持的存储驱动：
|
||||
|
||||
- `sqlite`
|
||||
- `mysql`
|
||||
- `postgresql`
|
||||
|
||||
当前启动时执行 `AutoMigrate`，自动维护以下表：
|
||||
|
||||
- `users`
|
||||
- `prompts`
|
||||
- `assets`
|
||||
|
||||
后续新增表时，优先保持表数量少，能用字段或 JSON 表达的配置、状态、统计和扩展信息先不拆表。
|
||||
|
||||
### users
|
||||
|
||||
系统用户表。用户基础信息、角色、算力点余额和邀请关系放在该表中。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|-----------------|--------|--------------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `username` | string | 用户名，唯一索引 |
|
||||
| `password` | string | 密码哈希 |
|
||||
| `email` | string | 邮箱 |
|
||||
| `display_name` | string | 昵称 |
|
||||
| `avatar_url` | string | 头像地址 |
|
||||
| `role` | string | 角色：`user`、`admin` |
|
||||
| `credits` | number | 算力点余额，规划字段 |
|
||||
| `aff_code` | string | 用户自己的邀请码，唯一索引，规划字段 |
|
||||
| `aff_count` | number | 已邀请用户数量，冗余统计字段，规划字段 |
|
||||
| `inviter_id` | string | 邀请人用户 ID，规划字段 |
|
||||
| `github_id` | string | GitHub 用户 ID，规划字段 |
|
||||
| `linux_do_id` | string | Linux.do 用户 ID，规划字段 |
|
||||
| `wechat_id` | string | 微信用户 ID，规划字段 |
|
||||
| `status` | string | 用户状态：`active`、`ban`，规划字段 |
|
||||
| `last_login_at` | string | 最近登录时间 |
|
||||
| `extra` | json | 扩展信息 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
### prompts
|
||||
|
||||
提示词表。后续公开提示词、内置 GitHub 系统提示词、分类和扩展信息都优先放在该表字段或 JSON 中。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|--------------|--------|------------------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `title` | string | 标题 |
|
||||
| `cover_url` | string | 封面图 |
|
||||
| `prompt` | string | 提示词内容 |
|
||||
| `tags` | json | 标签列表 |
|
||||
| `category` | string | 分类标识 |
|
||||
| `visibility` | string | 可见性：公开、私有、系统内置等，规划字段 |
|
||||
| `preview` | text | Markdown 展示内容，可包含文本、图片、视频链接等 |
|
||||
| `extra` | json | 扩展信息 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
`github_url` 仅用于接口返回，不写入数据库。
|
||||
|
||||
### assets
|
||||
|
||||
素材表。当前用于素材库；后续通过 `user_id`、`visibility`、`type` 区分系统公开素材和用户私有素材。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|------------------|--------|-------------------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `user_id` | string | 所属用户，为空或系统用户表示公开素材，规划字段 |
|
||||
| `title` | string | 标题 |
|
||||
| `type` | string | 素材类型：`text`、`image`、`video` 等 |
|
||||
| `visibility` | string | 可见性：公开、私有，规划字段 |
|
||||
| `cover_url` | string | 封面图 |
|
||||
| `tags` | json | 标签列表 |
|
||||
| `category` | string | 分类标识 |
|
||||
| `description` | string | 描述 |
|
||||
| `content` | text | 文本或 Markdown 内容 |
|
||||
| `url` | string | 图片、视频等媒体地址 |
|
||||
| `like_count` | number | 点赞量，规划字段 |
|
||||
| `favorite_count` | number | 收藏量，规划字段 |
|
||||
| `view_count` | number | 查看量，规划字段 |
|
||||
| `extra` | json | 扩展信息，规划字段 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
### settings
|
||||
|
||||
系统配置表，只保存两行数据：`public` 放前端可读取的公开配置，`private` 放仅后端和管理员可读取的私有配置，配置值都用 JSON。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|--------------|--------|-----------------------|
|
||||
| `key` | string | 主键：`public`、`private` |
|
||||
| `value` | json | 配置内容 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
`public.value` 常放前端展示和可公开读取的配置，例如模型列表、订阅套餐、功能开关等。
|
||||
`private.value` 常放渠道密钥、支付配置、奖励规则、后台内部开关等。
|
||||
|
||||
### dicts
|
||||
|
||||
字典表。一个字典一行，具体字典项数据放在 `items`。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|--------------|--------|-------|
|
||||
| `code` | string | 字典编码 |
|
||||
| `name` | string | 字典名称 |
|
||||
| `remark` | string | 备注 |
|
||||
| `items` | text | 字典值数据 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
可维护分类、标签、业务枚举、模型分类、日志类型等。
|
||||
|
||||
### credit_logs
|
||||
|
||||
用户算力点变更流水表。充值、消费、订阅扣减、邀请奖励、后台调整等余额变化都写入该表。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|--------------|--------|--------------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `user_id` | string | 关联用户 ID |
|
||||
| `type` | string | 类型：充值、消费、订阅扣减、邀请奖励、后台调整等 |
|
||||
| `amount` | number | 本次变动数量，增加为正，扣减为负 |
|
||||
| `balance` | number | 变动后的用户算力点余额 |
|
||||
| `related_id` | string | 关联订单、任务或日志 ID，可为空 |
|
||||
| `remark` | string | 备注 |
|
||||
| `extra` | json | 扩展信息 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
|
||||
### orders
|
||||
|
||||
订单表。统一记录充值、订阅购买等支付订单。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|---------------------|--------|----------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `user_id` | string | 关联用户 ID |
|
||||
| `type` | string | 订单类型：充值、订阅等 |
|
||||
| `provider` | string | 支付渠道：Linux LDC、聚合支付等 |
|
||||
| `amount` | number | 支付金额 |
|
||||
| `credits` | number | 到账算力点 |
|
||||
| `status` | string | 订单状态：待支付、已支付、失败、关闭等 |
|
||||
| `provider_order_id` | string | 第三方订单号 |
|
||||
| `extra` | json | 扩展信息 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `paid_at` | string | 支付时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
### subscriptions
|
||||
|
||||
用户订阅表。一个用户可以有多个订阅记录，套餐配置放在 `settings.public.value` 中。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|-----------------|--------|------------------------------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `user_id` | string | 关联用户 ID |
|
||||
| `plan_key` | string | 套餐标识，对应 `settings.public.value` 中的订阅套餐配置 |
|
||||
| `order_id` | string | 关联订单 ID，可为空 |
|
||||
| `status` | string | 状态：生效中、已过期、已取消等 |
|
||||
| `total_credits` | number | 订阅总额度 |
|
||||
| `used_credits` | number | 已使用额度 |
|
||||
| `started_at` | string | 开始时间 |
|
||||
| `expired_at` | string | 过期时间 |
|
||||
| `extra` | json | 扩展信息 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
### files
|
||||
|
||||
文件表。用于统一管理上传图片、视频等文件，保存最终可访问地址。缩略图和视频封面优先按 URL 命名规则推导，特殊情况放在
|
||||
`extra.coverUrl`。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|--------------|--------|-------------|
|
||||
| `id` | string | 主键 |
|
||||
| `user_id` | string | 上传用户 ID，可为空 |
|
||||
| `name` | string | 原始文件名 |
|
||||
| `url` | string | 完整可访问地址 |
|
||||
| `mime_type` | string | MIME 类型 |
|
||||
| `size` | number | 文件大小 |
|
||||
| `extra` | json | 扩展信息 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
|
||||
### canvases
|
||||
|
||||
画布表。保存用户私有画布、公开画布和模板，分享、协作、审核等低频配置放在 `extra`。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|------------------|--------|---------------------------------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `user_id` | string | 所属用户 ID |
|
||||
| `title` | string | 画布标题 |
|
||||
| `description` | string | 描述 |
|
||||
| `cover_url` | string | 封面图 |
|
||||
| `data` | json | 画布节点、边、视图等数据 |
|
||||
| `visibility` | string | 可见性：`private`、`public` |
|
||||
| `status` | string | 状态：`draft`、`pending`、`published`、`rejected` |
|
||||
| `is_template` | bool | 是否模板 |
|
||||
| `view_count` | number | 查看量 |
|
||||
| `like_count` | number | 点赞量 |
|
||||
| `favorite_count` | number | 收藏量 |
|
||||
| `copy_count` | number | 复制量 |
|
||||
| `extra` | json | 扩展信息，如分享、协作、审核备注等 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `updated_at` | string | 更新时间 |
|
||||
|
||||
### generation_tasks
|
||||
|
||||
接口调用队列表。用于图片、文本、图生图等后端模型调用的排队、状态和结果记录。
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|---------------|--------|----------------------|
|
||||
| `id` | string | 主键 |
|
||||
| `user_id` | string | 发起用户 ID |
|
||||
| `type` | string | 任务类型：文本生成、文生图、图生图等 |
|
||||
| `model` | string | 使用模型 |
|
||||
| `channel` | string | 使用渠道 |
|
||||
| `status` | string | 状态：排队中、执行中、成功、失败、取消等 |
|
||||
| `credits` | number | 扣除算力点 |
|
||||
| `input` | json | 请求参数 |
|
||||
| `output` | json | 生成结果 |
|
||||
| `error` | string | 错误信息 |
|
||||
| `extra` | json | 扩展信息 |
|
||||
| `created_at` | string | 创建时间 |
|
||||
| `started_at` | string | 开始时间 |
|
||||
| `finished_at` | string | 完成时间 |
|
||||
@@ -0,0 +1,282 @@
|
||||
# 画布数据结构
|
||||
|
||||
本文档说明当前画布在前端本地保存的数据结构、图片文件的存储和清理方式，以及后续接入后端存储时建议保持的兼容边界。
|
||||
|
||||
## 当前存储位置
|
||||
|
||||
当前画布项目主要保存在浏览器本地：
|
||||
|
||||
- 画布项目 JSON：`localForage`，数据库名 `infinite-canvas`，storeName `app_state`，key 为 `infinite-canvas:canvas_store`。
|
||||
- 我的素材 JSON：`localForage`，数据库名 `infinite-canvas`，storeName `app_state`，key 为 `infinite-canvas:asset_store`。
|
||||
- 图片 Blob：单独存到 `localForage` 实例，数据库名 `infinite-canvas`，storeName `image_files`。
|
||||
|
||||
画布 JSON 不直接长期保存大体积 base64 图片。图片节点、助手图片和素材图片只保存展示 URL、`storageKey` 和图片元信息，真实图片 Blob 通过 `storageKey` 读取。
|
||||
|
||||
## 画布项目结构
|
||||
|
||||
每个画布项目是一个 `CanvasProject`：
|
||||
|
||||
```ts
|
||||
type CanvasProject = {
|
||||
id: string;
|
||||
title: string;
|
||||
createdAt: string;
|
||||
updatedAt: string;
|
||||
nodes: CanvasNodeData[];
|
||||
connections: CanvasConnection[];
|
||||
chatSessions: CanvasAssistantSession[];
|
||||
activeChatId: string | null;
|
||||
backgroundMode: "lines" | "dots" | "blank";
|
||||
viewport: { x: number; y: number; k: number };
|
||||
};
|
||||
```
|
||||
|
||||
字段说明：
|
||||
|
||||
- `id`：画布项目 ID，当前前端生成。
|
||||
- `title`：画布名称。
|
||||
- `createdAt` / `updatedAt`：ISO 字符串。
|
||||
- `nodes`：画布节点列表。
|
||||
- `connections`：节点连线列表。
|
||||
- `chatSessions`：右侧画布助手会话。
|
||||
- `activeChatId`：当前选中的助手会话 ID。
|
||||
- `backgroundMode`：画布背景模式。
|
||||
- `viewport`：视口变换，`x/y` 是屏幕平移，`k` 是缩放比例。
|
||||
|
||||
## 节点结构
|
||||
|
||||
每个节点是一个 `CanvasNodeData`：
|
||||
|
||||
```ts
|
||||
type CanvasNodeData = {
|
||||
id: string;
|
||||
type: "image" | "text" | "config";
|
||||
title: string;
|
||||
position: { x: number; y: number };
|
||||
width: number;
|
||||
height: number;
|
||||
metadata?: CanvasNodeMetadata;
|
||||
};
|
||||
```
|
||||
|
||||
通用字段：
|
||||
|
||||
- `id`：节点 ID。
|
||||
- `type`：节点类型，当前有图片、文本、生成配置三类。
|
||||
- `title`：节点标题。
|
||||
- `position`：画布世界坐标，不是屏幕坐标。
|
||||
- `width` / `height`：画布世界坐标下的节点尺寸。
|
||||
- `metadata`：节点内容和业务状态。
|
||||
|
||||
`metadata` 当前常用字段：
|
||||
|
||||
```ts
|
||||
type CanvasNodeMetadata = {
|
||||
content?: string;
|
||||
prompt?: string;
|
||||
status?: "idle" | "success" | "loading" | "error";
|
||||
errorDetails?: string;
|
||||
fontSize?: number;
|
||||
generationMode?: "text" | "image";
|
||||
model?: string;
|
||||
size?: string;
|
||||
count?: number;
|
||||
naturalWidth?: number;
|
||||
naturalHeight?: number;
|
||||
freeResize?: boolean;
|
||||
isBatchRoot?: boolean;
|
||||
batchRootId?: string;
|
||||
batchChildIds?: string[];
|
||||
primaryImageId?: string;
|
||||
imageBatchExpanded?: boolean;
|
||||
inputOrder?: string[];
|
||||
storageKey?: string;
|
||||
mimeType?: string;
|
||||
bytes?: number;
|
||||
};
|
||||
```
|
||||
|
||||
不同节点的使用方式：
|
||||
|
||||
- 图片节点：`content` 是当前可展示的图片 URL，通常是 `blob:` URL；`storageKey` 指向本地图片 Blob；`naturalWidth/naturalHeight/bytes/mimeType` 保存原图信息。
|
||||
- 文本节点：`content` 保存文本内容；`fontSize` 保存字体大小；`prompt/status/errorDetails` 保存生成状态。
|
||||
- 生成配置节点：`generationMode/model/size/count/inputOrder` 保存生成配置；上游输入通过 `connections` 计算。
|
||||
- 图片组节点：根节点用 `isBatchRoot/batchChildIds/primaryImageId/imageBatchExpanded` 记录批量生成结果；子图节点用 `batchRootId` 指回根节点。
|
||||
|
||||
## 连线结构
|
||||
|
||||
每条连线是一个 `CanvasConnection`：
|
||||
|
||||
```ts
|
||||
type CanvasConnection = {
|
||||
id: string;
|
||||
fromNodeId: string;
|
||||
toNodeId: string;
|
||||
};
|
||||
```
|
||||
|
||||
连线只保存节点 ID，不保存端口坐标。渲染时根据节点位置和尺寸计算路径。
|
||||
|
||||
删除节点时会同步删除以该节点为起点或终点的连线。删除图片组根节点时，会把对应子节点一起删除。
|
||||
|
||||
## 助手会话结构
|
||||
|
||||
助手会话保存在画布项目内：
|
||||
|
||||
```ts
|
||||
type CanvasAssistantSession = {
|
||||
id: string;
|
||||
title: string;
|
||||
messages: CanvasAssistantMessage[];
|
||||
createdAt: string;
|
||||
updatedAt: string;
|
||||
};
|
||||
```
|
||||
|
||||
消息结构：
|
||||
|
||||
```ts
|
||||
type CanvasAssistantMessage = {
|
||||
id: string;
|
||||
role: "user" | "assistant";
|
||||
mode: "ask" | "image";
|
||||
text: string;
|
||||
isLoading?: boolean;
|
||||
references?: CanvasAssistantReference[];
|
||||
images?: CanvasAssistantImage[];
|
||||
};
|
||||
```
|
||||
|
||||
图片引用和助手生成图片也遵循同一套图片存储规则：
|
||||
|
||||
- `dataUrl` 字段当前可能是 `blob:` URL，也可能是旧数据中的 `data:image/...`。
|
||||
- `storageKey` 存在时，以 `storageKey` 为准读取图片 Blob。
|
||||
- 发送到 AI 接口前，如果接口需要 base64，会通过 `imageToDataUrl` 临时把 Blob URL 转成 data URL。
|
||||
|
||||
## 图片写入流程
|
||||
|
||||
所有新增图片应通过 `uploadImage(input)` 写入：
|
||||
|
||||
1. 传入 `Blob` 或 data URL。
|
||||
2. 内部转成 `Blob`。
|
||||
3. 生成 `storageKey`，格式为 `image:<id>`。
|
||||
4. 把 Blob 写入 `image_files`。
|
||||
5. 创建 `blob:` URL，并缓存在内存 `objectUrls`。
|
||||
6. 读取图片宽高，返回：
|
||||
|
||||
```ts
|
||||
type UploadedImage = {
|
||||
url: string;
|
||||
storageKey: string;
|
||||
width: number;
|
||||
height: number;
|
||||
bytes: number;
|
||||
mimeType: string;
|
||||
};
|
||||
```
|
||||
|
||||
图片节点会通过 `imageMetadata(image)` 写入：
|
||||
|
||||
```ts
|
||||
{
|
||||
content: image.url,
|
||||
storageKey: image.storageKey,
|
||||
status: "success",
|
||||
naturalWidth: image.width,
|
||||
naturalHeight: image.height,
|
||||
bytes: image.bytes,
|
||||
mimeType: image.mimeType
|
||||
}
|
||||
```
|
||||
|
||||
因此，`content` 只适合当前浏览器会话展示，不能作为长期文件标识；长期标识是 `storageKey`。
|
||||
|
||||
## 图片读取和旧数据迁移
|
||||
|
||||
打开画布时会执行图片补水：
|
||||
|
||||
- 如果图片节点有 `storageKey`，通过 `resolveImageUrl(storageKey, fallback)` 读取 Blob 并生成新的 `blob:` URL。
|
||||
- 如果图片节点没有 `storageKey`，但 `content` 是旧的 `data:image/...`，会调用 `uploadImage(content)` 迁移到 `image_files`，并补上 `storageKey`。
|
||||
- 助手消息里的引用图和生成图也会执行同类逻辑。
|
||||
|
||||
我的素材读取时也会做迁移：
|
||||
|
||||
- 有 `storageKey`：恢复 `coverUrl` 和 `data.dataUrl` 的可展示 URL。
|
||||
- 无 `storageKey` 且保存了 base64：写入 `image_files`，然后更新素材里的 `storageKey`。
|
||||
|
||||
## 图片移除和清理
|
||||
|
||||
图片不是在删除节点时立即按节点逐张删除，而是做引用清理：
|
||||
|
||||
1. 删除节点、清空画布、删除画布、删除素材、删除助手会话时，会触发 `cleanupImages`。
|
||||
2. `cleanupImages` 会收集当前仍被画布项目、素材和额外传入数据引用的所有 `storageKey`。
|
||||
3. `cleanupUnusedImages` 遍历 `image_files` 中的全部图片。
|
||||
4. 不在引用集合里的图片会被删除。
|
||||
5. 删除时会同时 `URL.revokeObjectURL`，并从内存缓存 `objectUrls` 移除。
|
||||
|
||||
这套方式可以避免同一张图片被画布、素材或助手同时引用时误删。
|
||||
|
||||
需要注意：
|
||||
|
||||
- 只要某个 JSON 结构里仍有 `storageKey`，清理逻辑就会认为图片仍被使用。
|
||||
- `collectImageStorageKeys` 会递归扫描对象中的 `storageKey` 字段，字段值必须以 `image:` 开头才会被当成本地图片。
|
||||
- 如果后续新增保存图片引用的数据结构，也要确保它能传入清理上下文，或者位于现有项目/素材结构内。
|
||||
|
||||
## 后端存储兼容建议
|
||||
|
||||
后续接入后端时，建议保持“画布 JSON”和“图片文件”分离：
|
||||
|
||||
- 画布表保存项目元信息和画布 JSON。
|
||||
- 文件表保存图片文件、访问 URL、哈希、大小、MIME、宽高、归属用户等信息。
|
||||
- 画布节点中继续保存轻量图片引用，不把图片二进制或 base64 写进画布 JSON。
|
||||
|
||||
建议图片引用逐步扩展为兼容本地和云端的结构：
|
||||
|
||||
```ts
|
||||
type ImageRef = {
|
||||
storageKey?: string;
|
||||
fileId?: string;
|
||||
url?: string;
|
||||
width?: number;
|
||||
height?: number;
|
||||
bytes?: number;
|
||||
mimeType?: string;
|
||||
};
|
||||
```
|
||||
|
||||
兼容规则：
|
||||
|
||||
- 本地旧数据：有 `storageKey`，无 `fileId`，通过 IndexedDB 读取。
|
||||
- 已上传后端：有 `fileId`，展示时优先使用后端返回的签名 URL 或公开 URL。
|
||||
- 迁移过渡期：可以同时保留 `storageKey` 和 `fileId`；确认云端文件可用后，再按清理策略删除本地 Blob。
|
||||
- `content/dataUrl/coverUrl` 仍只作为当前可展示 URL，不作为稳定 ID。
|
||||
|
||||
建议读取优先级：
|
||||
|
||||
1. 有 `fileId`：向后端换取可访问 URL。
|
||||
2. 有 `storageKey`：从本地 IndexedDB 生成 `blob:` URL。
|
||||
3. 有旧 `data:image/...`：先写入本地图片存储，再视需要上传后端。
|
||||
4. 只有普通 URL：直接展示，但不要假设可长期访问。
|
||||
|
||||
建议删除策略：
|
||||
|
||||
- 删除节点只删除画布 JSON 引用，不直接删除后端文件。
|
||||
- 后端文件删除应按引用计数或定期扫描未引用文件处理。
|
||||
- 保存到“我的素材”的图片，即使原画布节点删除，也应继续保留文件引用。
|
||||
- 删除画布、删除素材、删除助手会话后，再由后端清理任务判断文件是否无人引用。
|
||||
|
||||
建议同步流程：
|
||||
|
||||
1. 前端保存画布 JSON 时，保持节点 ID、连线 ID、`storageKey/fileId` 不变。
|
||||
2. 遇到只有 `storageKey` 的图片，后台同步前先上传 Blob，得到 `fileId`。
|
||||
3. 上传成功后给对应图片引用补 `fileId` 和云端元信息。
|
||||
4. 服务端保存更新后的画布 JSON。
|
||||
5. 前端下次打开时优先走 `fileId`，本地 `storageKey` 只作为缓存或离线回退。
|
||||
|
||||
## 后续改动约束
|
||||
|
||||
- 不要把新生成的大图直接长期写入画布 JSON。
|
||||
- 新增图片来源时统一走 `uploadImage` 或未来的文件上传服务。
|
||||
- 新增图片引用字段时，应保留 `storageKey` 兼容旧本地数据。
|
||||
- 新增清理入口时，要把仍需保留的画布、素材、助手数据传给 `cleanupUnusedImages`。
|
||||
- 后端同步完成前，文档和 UI 不要写成已支持云同步。
|
||||
@@ -0,0 +1,39 @@
|
||||
# 画布节点操作手册
|
||||
|
||||
本文档记录画布节点的主要用途和操作流程，方便使用和后续开发维护。当前先介绍文本节点。
|
||||
|
||||
## 文本节点
|
||||
|
||||
文本节点用于保存提示词、草稿、说明文案和 AI 生成的文字结果。它既可以作为独立文本内容，也可以作为下游生成配置节点的输入。
|
||||
|
||||
### 编辑文本内容
|
||||
|
||||
- 双击文本节点内容区域，直接编辑节点里的文字。
|
||||
- 选中文本节点后，点击顶部工具栏的“编辑文字”，进入文字编辑状态。
|
||||
- 顶部工具栏的“缩小”和“放大”用于调整文本节点字号。
|
||||
|
||||
### 用下方对话框生成或修改文本
|
||||
|
||||
- 选中文本节点后，点击顶部工具栏的“编辑”，打开节点下方对话框。
|
||||
- 文本节点下方对话框只用于生成或改写文本，不承担生图功能。
|
||||
- 当文本节点为空时，输入框用于填写想生成的文本内容；点击发送后，结果会回填到当前文本节点。
|
||||
- 当文本节点已有内容时，输入框用于填写想把本段文本修改成什么；点击发送后，会在右侧生成新的文本节点，并自动连接原节点和新节点。
|
||||
- 输入内容可以手写，也可以从提示词库选择。
|
||||
- 对话框里的模型下拉来自全局配置里已拉取的模型列表；选择结果只作用于当前节点，不会修改其它节点或全局默认模型。
|
||||
- 如果下拉中没有模型，需要先打开配置弹窗拉取模型列表，并设置默认生图模型和默认文本模型。
|
||||
|
||||
### 用文本节点生成图片
|
||||
|
||||
- 先在文本节点中准备好要用于生图的文本内容。
|
||||
- 点击文本节点顶部工具栏的“生图”按钮。
|
||||
- 系统会在文本节点右侧自动创建一个生成配置节点，并连接文本节点到生成配置节点。
|
||||
- 生成配置节点会读取上游文本内容作为生图提示词，并立即开始生成图片。
|
||||
- 后续需要调整模型、比例、数量时，可以在生成配置节点里修改后再次生成。
|
||||
|
||||
### 推荐流程
|
||||
|
||||
1. 新建文本节点，写入图片创作想法。
|
||||
2. 打开文本节点下方对话框，让 AI 优化或扩写这段提示词。
|
||||
3. 改写结果会生成到新的文本节点，保留原始文本方便对比。
|
||||
4. 确认文本节点内容后，点击顶部工具栏“生图”。
|
||||
5. 在自动创建的生成配置节点中继续调整图片参数或重新生成。
|
||||
@@ -0,0 +1,36 @@
|
||||
# 画布快捷键
|
||||
|
||||
本文档记录画布里常用的鼠标和键盘操作。
|
||||
|
||||
## 视图
|
||||
|
||||
- 拖动画布空白处：平移视图。
|
||||
- 鼠标滚轮：缩放画布。
|
||||
- 缩放滑杆：精确调整缩放。
|
||||
- 重置视图按钮：回到默认缩放和居中位置。
|
||||
|
||||
## 选择
|
||||
|
||||
- `Ctrl / Cmd` + 拖动：框选多个节点。
|
||||
- `Shift / Ctrl / Cmd` + 点击节点：追加或取消选择节点。
|
||||
- `Ctrl / Cmd` + `A`：全选画布节点。
|
||||
- `Esc`：取消选择，并关闭当前浮层。
|
||||
|
||||
## 编辑
|
||||
|
||||
- `Ctrl / Cmd` + `C`：复制选中节点。
|
||||
- `Ctrl / Cmd` + `V`：粘贴节点。
|
||||
- `Delete / Backspace`：删除选中的节点或连线。
|
||||
- `Ctrl / Cmd` + `Z`：撤销。
|
||||
- `Ctrl / Cmd` + `Shift` + `Z`：重做。
|
||||
- `Ctrl / Cmd` + `Y`：重做。
|
||||
|
||||
## 图片和素材
|
||||
|
||||
- 拖入图片文件：上传图片到画布。
|
||||
- 导入图片按钮：从本地选择图片。
|
||||
- 素材库或我的素材：选择素材后插入画布。
|
||||
|
||||
## 撤销和重做范围
|
||||
|
||||
撤销和重做会记录画布节点、连线、视口、背景模式和助手会话变化。画布项目名称、账号状态、全局 AI 配置和“我的素材”保存操作不属于当前画布历史。
|
||||
@@ -0,0 +1,166 @@
|
||||
# 功能介绍
|
||||
|
||||
本文档记录当前项目已经实现的主要功能。
|
||||
|
||||
## 画布项目
|
||||
|
||||
- 支持创建多个画布项目。
|
||||
- 支持项目重命名、删除、批量选择和批量删除。
|
||||
- 支持单个画布项目导出为 JSON，也支持从 JSON 导入画布。
|
||||
- 画布项目保存在浏览器本地，登录账号后暂不会自动同步到服务器。
|
||||
|
||||
## 无限画布
|
||||
|
||||
- 支持拖动画布、滚轮缩放、缩放滑杆和重置视图。
|
||||
- 支持小地图定位，可开关小地图。
|
||||
- 支持点阵、网格线、空白三种背景。
|
||||
- 支持浅色和深色主题。
|
||||
- 支持框选、多选、全选、取消选择、删除选中。
|
||||
- 支持复制粘贴节点和节点之间的连线。
|
||||
- 支持撤销和重做节点、连线、视口、背景和助手会话变化。
|
||||
- 支持节点连线，并高亮当前节点相关的上下游节点和连线。
|
||||
- 支持快捷键帮助，覆盖缩放、框选、全选、复制粘贴、撤销重做、删除、退出选择和拖入图片。
|
||||
|
||||
## 节点
|
||||
|
||||
目前画布中有三类节点：
|
||||
|
||||
- 图片节点：展示上传图片、生成图片或素材库图片。
|
||||
- 文本节点：保存提示词、说明文案、AI 文字回答等文本内容。
|
||||
- 生成配置节点：汇总上游文本和图片，统一配置模型、比例、数量后批量生成图片或文本。
|
||||
|
||||
节点支持：
|
||||
|
||||
- 拖拽移动。
|
||||
- 四角缩放。
|
||||
- 图片节点等比缩放或自由比例切换。
|
||||
- 查看节点基础信息和 JSON。
|
||||
- 删除、复制、粘贴。
|
||||
- 通过左右连接点建立上下游关系。
|
||||
|
||||
## 图片工作流
|
||||
|
||||
- 支持上传图片到新节点。
|
||||
- 支持拖拽图片文件到画布。
|
||||
- 支持替换已有图片节点内容。
|
||||
- 支持下载图片节点。
|
||||
- 支持把图片节点保存到“我的素材”。
|
||||
- 支持图片裁剪，并把裁剪结果生成为新的图片节点。
|
||||
- 支持本地多角度变换，并把结果生成为新的图片节点。
|
||||
- 支持生成失败后重试。
|
||||
- 批量生成多张图片时会先展示为图片组节点，支持叠卡预览、展开查看全部结果并设置主图。
|
||||
|
||||
## AI 生成
|
||||
|
||||
项目通过前端直接请求 OpenAI 兼容接口：
|
||||
|
||||
- `/v1/images/generations`：文生图。
|
||||
- `/v1/images/edits`：图生图/参考图编辑。
|
||||
- `/v1/chat/completions`：文本问答和带图问答。
|
||||
- `/v1/models`：读取模型列表。
|
||||
|
||||
可配置项：
|
||||
|
||||
- Base URL。
|
||||
- API Key。
|
||||
- 默认模型。
|
||||
- 图片质量。
|
||||
- 图片比例。
|
||||
- 生成数量。
|
||||
|
||||
普通图片/文本节点可以直接输入提示词生成结果。生成配置节点可以读取上游节点内容，并按节点自己的配置批量生成多个图片或文本结果。生成配置节点支持预览当前提示词和参考图输入，并调整输入顺序。
|
||||
|
||||
## 画布助手
|
||||
|
||||
画布右侧助手面板支持：
|
||||
|
||||
- 文本问答。
|
||||
- 生图。
|
||||
- 读取当前选中节点作为引用。
|
||||
- 自动把选中节点的上游节点也纳入引用。
|
||||
- 粘贴图片到助手输入框并插入画布。
|
||||
- 历史会话。
|
||||
- 删除单条或多条会话。
|
||||
- 重试回答。
|
||||
- 把助手生成的文本插入画布。
|
||||
- 把助手生成的图片插入画布。
|
||||
- 折叠和展开助手面板。
|
||||
|
||||
## 提示词库
|
||||
|
||||
前台提示词库支持：
|
||||
|
||||
- 按标题搜索。
|
||||
- 按标签筛选。
|
||||
- 按来源筛选。
|
||||
- 查看提示词详情。
|
||||
- 查看封面和结果图。
|
||||
- 复制提示词。
|
||||
- 把提示词加入“我的素材”。
|
||||
|
||||
后台提示词管理支持：
|
||||
|
||||
- 查询提示词。
|
||||
- 新增、编辑、删除提示词。
|
||||
- 按分组和标签筛选。
|
||||
- 查看远程提示词源。
|
||||
- 同步内置远程提示词源。
|
||||
|
||||
当前内置远程源包括多个 GPT Image / GPT-4o / Nano Banana Pro 相关提示词仓库。
|
||||
|
||||
## 素材
|
||||
|
||||
“我的素材”是浏览器本地素材库，支持：
|
||||
|
||||
- 新增文本素材和图片素材。
|
||||
- 编辑素材标题、封面、标签、来源、备注和内容。
|
||||
- 删除素材。
|
||||
- 按关键词搜索。
|
||||
- 按类型筛选。
|
||||
- 分页浏览。
|
||||
- 复制文本素材。
|
||||
- 下载图片素材。
|
||||
- 从提示词库、画布节点和服务器素材库加入素材。
|
||||
- 在画布中插入素材。
|
||||
|
||||
“素材库”是服务器素材库，支持：
|
||||
|
||||
- 按标题搜索。
|
||||
- 按类型筛选。
|
||||
- 按标签筛选。
|
||||
- 查看素材详情。
|
||||
- 复制文本或图片链接。
|
||||
- 加入“我的素材”。
|
||||
- 在画布中插入素材。
|
||||
|
||||
后台素材库管理支持：
|
||||
|
||||
- 查询素材。
|
||||
- 新增、编辑、删除素材。
|
||||
- 按类型和标签筛选。
|
||||
|
||||
## 账号和后台
|
||||
|
||||
- 注册功能暂时关闭。
|
||||
- 仅允许管理员账号登录。
|
||||
- 支持 JWT 会话。
|
||||
- `/api/auth/me` 可读取当前用户，未登录时返回访客用户。
|
||||
- 首次启动时可根据环境变量创建默认管理员。
|
||||
- 管理员后台目前包含提示词管理和素材库管理。
|
||||
- 后端已有用户管理接口，但前端暂未实现用户管理页面。
|
||||
|
||||
## 后端能力
|
||||
|
||||
- Gin 提供 API 服务。
|
||||
- Docker 运行时由 Go 提供统一入口，`/api/*` 直接处理，其它页面请求转到内部 Next.js 服务。
|
||||
- GORM 管理数据库连接和自动迁移。
|
||||
- 支持 SQLite、MySQL、PostgreSQL。
|
||||
- 数据库保存用户、提示词分组、提示词和服务器素材。
|
||||
- 业务接口统一返回 `{ code, data, msg }`。
|
||||
|
||||
## 当前限制
|
||||
|
||||
- 画布项目和“我的素材”目前只保存在浏览器本地，不会随账号同步。
|
||||
- AI API Key 目前保存在浏览器本地，并由浏览器直接请求配置的 OpenAI 兼容接口。
|
||||
- 服务器素材库目前主要保存 URL 或文本，暂未提供文件上传接口。
|
||||
- 画布更适合桌面端使用，移动端触控体验还未系统完善。
|
||||
@@ -0,0 +1 @@
|
||||
# 待测试
|
||||
@@ -0,0 +1,9 @@
|
||||
# 第三方 GitHub 提示词仓库
|
||||
|
||||
| 地址 | 状态 |
|
||||
| --- | --- |
|
||||
| https://github.com/EvoLinkAI/awesome-gpt-image-2-API-and-Prompts | 已实现同步逻辑 |
|
||||
| https://github.com/ZeroLu/awesome-gpt-image | 已实现同步逻辑 |
|
||||
| https://github.com/ImgEdify/Awesome-GPT4o-Image-Prompts | 已实现同步逻辑 |
|
||||
| https://github.com/YouMind-OpenLab/awesome-gpt-image-2 | 已实现同步逻辑 |
|
||||
| https://github.com/YouMind-OpenLab/awesome-nano-banana-pro-prompts | 已实现同步逻辑 |
|
||||
@@ -0,0 +1,49 @@
|
||||
# TODO
|
||||
|
||||
本文档用来记录当前项目后续比较值得处理的事项。
|
||||
|
||||
## P0 近期优先
|
||||
|
||||
暂无。
|
||||
|
||||
## P1 核心账号和后台
|
||||
|
||||
- 登录注册和用户模块：新增 `users` 表，用户角色、算力点余额、邀请码、邀请人、邀请人数和第三方平台用户 ID
|
||||
等直接放在用户表字段里；补齐登录、注册、第三方登录、用户信息、管理员用户管理等基础能力。
|
||||
- 系统设置和模型配置：新增 `settings` 表，只保存 `public` 和 `private` 两行 JSON 配置，用于系统可用模型、模型渠道、系统提示词、用户是否允许自定义模型等后台开关。
|
||||
- 字典管理：新增 `dicts` 表，一个字典一行，具体字典项用 JSON 保存；用于维护分类、标签、业务枚举、模型分类、日志类型等可配置项。
|
||||
- 日志管理：新增 `credit_logs` 记录用户算力点变更流水，新增 `api_logs` 记录第三方大模型 API 调用情况。
|
||||
- 对话工具调用：在助手对话中增加类似工具调用的形式，展示模型调用、生成图片、插入画布等步骤。
|
||||
- 画布助手对话框优化：把当前对话面板调整得更简洁，减少干扰，突出输入、引用和结果。
|
||||
- 考虑引入视频生成能力
|
||||
|
||||
## P1 算力点和商业化
|
||||
|
||||
- 算力点模块：使用 `users` 表里的算力点余额字段，用于调用后端生图、文本等接口时扣除；扣除记录写入 `credit_logs`。
|
||||
- 算力点订阅模块：订阅套餐配置先放 `settings.public.value`，用户订阅记录新增 `subscriptions`
|
||||
表；用户购买订阅后，模型调用优先从可用订阅额度扣除，不足时再扣用户余额。
|
||||
- 支付模块：新增 `orders` 表，统一记录充值、订阅购买等订单，预留 Linux LDC 支付和第三方聚合支付；该模块优先级较低，先只设计结构，暂不重点实现。
|
||||
- 邀请奖励模块：邀请码、邀请人和邀请人数放 `users`，注册奖励、充值奖励配置放 `settings.private.value`，奖励发放记录写入
|
||||
`credit_logs`。
|
||||
|
||||
## P1 内容、素材和画布
|
||||
|
||||
- 文件存储管理：新增 `files` 表和存储接口，文件表只记录最终可访问 URL 等基础信息；后续再考虑图片缩略图、文件清理等能力，后台可查询所有图片和文件。
|
||||
- 提示词管理：新增 `prompts` 表，公开提示词、内置 GitHub 系统提示词、分类和扩展信息等尽量放字段或 JSON，支持后台维护和随时爬取更新。
|
||||
- 提示词分类：已移除 `prompt_groups` 表；分类数据很少，并且必须和抓取代码一一对应，直接在代码内存里写死维护。
|
||||
- 画布管理：新增 `canvases` 表，后台管理员可以查看每个人的画布数据，普通用户可以查看自己的画布列表。
|
||||
- 公开画布：在 `canvases` 表增加公开状态、审核状态、公开信息等字段；管理员可将自己的画布设为公开，用户也可以申请公开并由管理员审核。
|
||||
- 画布分享与模板：在云端画布基础上支持只读分享、复制为模板、团队内共享，分享配置和模板标记优先放在 `canvases` 字段或 JSON 中。
|
||||
- 项目库：基于公开画布增加系统公开项目库，用于筛选、打开、复制公开画布项目。
|
||||
- 画布协作能力：后续如果支持多人协作，协作成员、节点操作事件、锁定/光标、冲突处理和增量同步优先放在 `canvases` 的协作 JSON
|
||||
中，确实不够用时再拆表。
|
||||
- 素材管理和我的素材：新增 `assets` 表，用 `user_id`、`visibility`、`type` 区分系统公开素材和用户私有素材；管理员可管理公开素材，也可以查看每个用户自己的素材。
|
||||
- 素材互动：公开素材增加点赞量、收藏量、查看量等统计字段；用户侧我的收藏、我的点赞先放在 `assets` 或用户偏好 JSON
|
||||
中，后续数据量大了再拆互动表。
|
||||
|
||||
## P2 体验和工程
|
||||
|
||||
- 移动端适配：先不整体展开，只围绕在线生图等移动端必要页面做基础适配。
|
||||
- 接口调用队列：图片/文本生成接口增加队列、并发限制、后台状态和基础失败处理，避免大量请求直接打到模型渠道。
|
||||
- README 优化：保持 README 简洁，补项目介绍、核心功能、快速开始和文档入口。
|
||||
- 版本发布流程：规范版本号、changelog、release 脚本、镜像 tag 规则和升级说明。
|
||||
Reference in New Issue
Block a user