323 lines
14 KiB
Markdown
323 lines
14 KiB
Markdown
# 模亦灵枢
|
|
|
|
## MOYI Model Intelligence Hub
|
|
|
|
> 一处接入,连接多模。
|
|
>
|
|
> One Gateway for Every Model You Use.
|
|
|
|
## 一、产品简介
|
|
|
|
模亦灵枢是由模灵科技与亦城财富等合作方共同推动的多模型智能服务平台。
|
|
|
|
它不生产单一模型,也不要求用户绑定某一家模型供应商,而是把模型、算力和 AI 应用连接起来,为用户提供统一的模型使用入口。
|
|
|
|
用户可以通过模亦灵枢选择和使用不同类型的模型,并逐步获得模型管理、智能路由、用量计费、团队协作、知识库、模型部署和私有化服务等能力。
|
|
|
|
模亦灵枢的产品演进不是一次性完成的,而是从一个简单、可用的模型调用服务开始,逐步发展为企业级 AI Gateway,最终建设成为完整的 MaaS 平台和自托管模型云。
|
|
|
|
## 二、产品愿景
|
|
|
|
让模型能力像水、电和网络一样容易接入,让开发者和企业不需要重复处理复杂的模型接入、供应商切换、算力部署和服务治理问题。
|
|
|
|
模亦灵枢希望成为连接三类角色的基础平台:
|
|
|
|
- **模型与算力提供方**:通过平台向更多应用提供模型能力。
|
|
- **开发者与 AI 应用团队**:通过统一入口快速选择和调用模型。
|
|
- **企业用户**:在安全、可控、可审计的环境中使用模型和自托管模型。
|
|
|
|
## 三、产品核心价值
|
|
|
|
### 对开发者
|
|
|
|
- 一套接入方式调用多种模型。
|
|
- 更换模型时尽量不修改业务代码。
|
|
- 根据质量、速度、价格和可用性选择模型。
|
|
- 查看调用量、成本和服务状态。
|
|
|
|
### 对企业
|
|
|
|
- 统一管理团队、项目、权限和模型使用策略。
|
|
- 统一控制预算、用量、数据留存和供应商访问。
|
|
- 支持企业自有密钥、专属模型和私有化部署。
|
|
- 对模型调用过程进行监控、审计和追踪。
|
|
|
|
### 对模型与算力提供方
|
|
|
|
- 用统一的平台接入更多 AI 应用。
|
|
- 管理模型版本、能力、价格和服务状态。
|
|
- 通过标准化服务方式提供公有或专属模型。
|
|
|
|
## 四、多阶段产品形态
|
|
|
|
模亦灵枢的每个阶段都对应一种清晰的产品形态。后一个阶段不是简单增加功能,而是扩大服务对象、产品边界和平台责任。
|
|
|
|
| 阶段 | 产品形态 | 主要用户 | 核心价值 |
|
|
|---|---|---|---|
|
|
| 第一阶段 | C 端自助式多模型 API 聚合平台 | 模灵科技内部业务与 AI SoulMate,随后是个人开发者和早期 AI 应用 | 像使用开发者云服务一样发现、试用和调用多类型模型 |
|
|
| 第二阶段 | 开发者与团队 AI Gateway | 小型团队、AI 创业公司、企业研发团队 | 统一管理工作空间、项目、权限、成本和稳定性 |
|
|
| 第三阶段 | MaaS 模型服务与 AI 应用开发平台 | AI 应用团队、模型提供方、企业开发者 | 模型目录、评测、数据、应用和模型服务一体化 |
|
|
| 第四阶段 | 自托管模型云 | 对数据、性能和部署有更高要求的企业 | 自有模型、专属算力和私有化服务 |
|
|
|
|
```text
|
|
C 端 API 聚合
|
|
↓
|
|
开发者/团队 AI Gateway
|
|
↓
|
|
MaaS 模型服务与应用开发
|
|
↓
|
|
自托管模型云
|
|
```
|
|
|
|
## 五、第一阶段:C 端自助式多模型 API 聚合平台
|
|
|
|
### 产品形态
|
|
|
|
第一阶段的模亦灵枢是一个面向 C 端开发者的自助式多模型 API 聚合平台。它首先由模灵科技内部业务和 AI SoulMate 进行真实使用,再逐步向个人开发者和早期 AI 应用开放。
|
|
|
|
访客可以浏览模型广场、模型详情和接入文档;第一版用户使用邀请码完成注册,由管理员发放额度后创建 API Key,并通过统一 API 地址调用平台提供的多类型模型。手机号或邮箱公开注册、真实充值和套餐能力在第一版保留扩展位置,但暂不开放。内部项目可以通过项目身份接入,不必先经过外部注册流程。
|
|
|
|
这一阶段的重点不是做复杂的模型训练,而是让内部项目和外部用户能够稳定、透明、低门槛地使用文本、图片、音频、视频、Embedding、3D 生成等不同类型的模型。
|
|
|
|
### 主要产品内容
|
|
|
|
- 面向 C 端的首页、模型广场、模型详情和接入文档。
|
|
- 多家模型供应商接入及统一模型目录。
|
|
- 统一 API 外壳、API Key 和 SDK/示例接入方式。
|
|
- AI 应用、业务系统、开发工具和通用 SDK/HTTP 的接入配置与联调。
|
|
- 普通响应、流式响应和异步任务响应。
|
|
- 3D 生成等任务型模型的任务提交、进度查询、结果文件和失败处理。
|
|
- 基础模型搜索、分类、能力标签、价格/额度说明和服务状态。
|
|
- 基础速率限制、并发控制、排队、故障切换和任务状态。
|
|
- 邀请码账户、管理员额度发放、额度余额、用量统计和调用日志。
|
|
- Playground 或在线 API 调试入口。
|
|
- 充值/套餐等商业能力先保留产品位置,具体规则确定后再接入真实支付。
|
|
|
|
### 用户获得的体验
|
|
|
|
用户不需要分别购买和管理多个模型服务,也不需要为每个供应商单独开发接入逻辑,只需要把模亦灵枢的 Base URL、API Key 和模型名配置到自己的 AI 系统、开发工具或 SDK/HTTP 客户端中,即可开始调用多个类型的模型;对于 3D 生成等异步模型,还可以查询任务进度并获取生成结果。
|
|
|
|
### 这一阶段的商业方向(内测规则已确认,正式计费后置)
|
|
|
|
第一阶段暂定以共享额度模型中转为产品形态。内测阶段额度按人民币 `¥` 计价展示,可由管理员手动发放等值测试额度;支付、提现和退款后置。以下正式商业规则仍待确定:
|
|
|
|
- 第一版采用邀请码准入,管理员发放额度;Key 同时支持个人和工作区/项目归属。
|
|
- 控制台保留充值/套餐入口,但第一版不启用真实支付。
|
|
- 是否免费试用、试用额度如何发放。
|
|
- 预充值、套餐、按量消费或其他收费方式。
|
|
- 不同模型和不同资源类型的计价单位与价格。
|
|
- 失败、超时、取消和供应商故障时的扣费与退款规则。
|
|
- 余额、并发、速率和项目预算的限制。
|
|
- 充值、退款、支付渠道、发票和对账方式。
|
|
|
|
## 六、第二阶段:开发者与团队 AI Gateway
|
|
|
|
### 产品形态
|
|
|
|
第二阶段的模亦灵枢从个人开发者的自助式 API 平台扩展为团队和企业统一管理模型调用的 AI 控制中心。
|
|
|
|
企业可以把多个应用、多个团队和多个模型供应商接入同一个平台,由模亦灵枢统一管理调用权限、预算、路由策略、日志和服务质量。
|
|
|
|
### 主要产品内容
|
|
|
|
- 组织、团队、项目和子账户。
|
|
- 企业自有 API Key,也就是 BYOK 模式。
|
|
- 按团队、项目和应用配置预算。
|
|
- 按模型能力、价格、地区和延迟进行路由。
|
|
- 供应商故障时自动切换模型。
|
|
- 企业级限流、并发和配额控制。
|
|
- 调用链路、错误和成本监控。
|
|
- 管理员审计和权限审批。
|
|
- Prompt、文件和响应数据的留存策略。
|
|
- 企业专属网络、专属实例或私有化部署。
|
|
|
|
### 这一阶段的商业形态
|
|
|
|
- 企业订阅费用。
|
|
- 按调用量或团队规模计费。
|
|
- 企业专属 SLA 和技术支持。
|
|
- BYOK 网关服务。
|
|
- 私有环境部署服务。
|
|
|
|
## 七、第三阶段:MaaS 模型服务与 AI 应用开发平台
|
|
|
|
### 产品形态
|
|
|
|
第三阶段的模亦灵枢将从“调用模型”扩展到“使用、比较、组合和管理模型”。
|
|
|
|
平台会成为开发者构建 AI 应用的工作台,开发者可以在平台中发现模型、测试模型、比较模型,并直接将模型能力接入自己的应用。
|
|
|
|
### 主要产品内容
|
|
|
|
#### 模型目录
|
|
|
|
- 商业模型、开源模型和平台模型。
|
|
- 文本、图片、音频、视频和多模态模型。
|
|
- 模型能力、版本、上下文、价格和地区信息。
|
|
- 模型卡、调用示例和兼容性说明。
|
|
|
|
#### 模型体验与评测
|
|
|
|
- 在线 Playground。
|
|
- 多模型对比。
|
|
- Prompt 调试和版本管理。
|
|
- 质量、速度、成本和安全评测。
|
|
- 用户自定义测试集。
|
|
- A/B 测试和模型选择建议。
|
|
|
|
#### 知识库与应用开发
|
|
|
|
- 文件上传、解析和知识库管理。
|
|
- Embedding、向量检索和 RAG。
|
|
- Prompt 模板和应用配置。
|
|
- Agent 和工作流编排。
|
|
- 工具调用、Webhook 和外部系统连接。
|
|
- SDK、示例项目和开发者控制台。
|
|
|
|
#### 企业平台能力
|
|
|
|
- 多租户和组织权限。
|
|
- 细粒度数据隔离。
|
|
- 用量、成本和质量分析。
|
|
- 安全审核和审计日志。
|
|
- 企业级数据留存和删除策略。
|
|
|
|
### 这一阶段的商业形态
|
|
|
|
- 模型按量调用费用。
|
|
- 平台订阅费用。
|
|
- 高级模型和高级功能套餐。
|
|
- 企业工作区和团队版。
|
|
- 模型提供方入驻或合作分成。
|
|
|
|
## 八、第四阶段:自托管模型云
|
|
|
|
### 产品形态
|
|
|
|
第四阶段的模亦灵枢将拥有自己的模型部署和推理能力。
|
|
|
|
平台不再只转发第三方模型请求,也可以部署开源模型、自研模型和企业专属模型,为客户提供完整的模型服务。
|
|
|
|
### 主要产品内容
|
|
|
|
- 开源模型和自研模型部署。
|
|
- GPU 资源管理和调度。
|
|
- 模型量化、版本和实例管理。
|
|
- 自动扩缩容和高并发推理。
|
|
- 公有模型、专属模型和私有模型。
|
|
- 专属 Endpoint 和私有网络接入。
|
|
- 模型微调、LoRA 和 Adapter。
|
|
- 模型发布、灰度、回滚和评测。
|
|
- 自托管模型与第三方模型统一接入。
|
|
- 自托管模型与共享额度模型统一计量。
|
|
|
|
### 这一阶段的用户
|
|
|
|
- 对数据不出域有要求的企业。
|
|
- 对延迟、并发和稳定性有要求的应用团队。
|
|
- 需要部署行业模型的企业和机构。
|
|
- 拥有自研模型或 GPU 资源的模型提供方。
|
|
|
|
### 这一阶段的商业形态
|
|
|
|
- 专属模型实例。
|
|
- GPU 和推理资源按量或按月计费。
|
|
- 私有化部署项目。
|
|
- 企业年度合同和 SLA。
|
|
- 模型托管和模型运营服务。
|
|
|
|
## 九、贯穿各阶段的产品能力
|
|
|
|
虽然每个阶段的产品形态不同,但以下能力会从第一阶段持续演进:
|
|
|
|
### 统一接入
|
|
|
|
让用户使用一套稳定的接口接入不同模型,并尽量降低模型切换成本。
|
|
|
|
### 模型路由
|
|
|
|
根据模型能力、价格、延迟、地区、供应商状态和用户策略,选择合适的模型或推理实例。
|
|
|
|
### 用量与成本
|
|
|
|
记录每次调用、每个模型、每个用户、每个项目的实际使用量和成本。
|
|
|
|
### 账户与权限
|
|
|
|
从个人 API Key 逐步扩展到组织、团队、项目、角色和企业权限体系。
|
|
|
|
### 安全与治理
|
|
|
|
逐步增加密钥保护、日志脱敏、内容安全、数据隔离、审计和模型使用策略。
|
|
|
|
### 开发者体验
|
|
|
|
通过文档、SDK、示例、控制台和 Playground,让用户能够更快地完成接入和验证。
|
|
|
|
## 十、品牌与产品关系
|
|
|
|
```text
|
|
模灵科技 / Soul of Model
|
|
├── AI SoulMate
|
|
│ └── 面向创作者的 AI 生成 3D 产品
|
|
├── 模亦灵枢 / MOYI Model Intelligence Hub
|
|
│ └── 面向开发者和企业的多模型智能基础设施
|
|
└── 模翎技术
|
|
└── 平台底层技术、工程能力和模型研发体系
|
|
```
|
|
|
|
“模亦灵枢”中的“模”代表模型与模灵科技,“亦”体现亦城财富等合作方的共同参与,“灵枢”代表连接、调度和承载模型能力的智能中枢。
|
|
|
|
## 十一、产品发展原则
|
|
|
|
1. **先让模型可用,再让模型可管理。**
|
|
2. **先建立稳定调用,再扩展训练和部署。**
|
|
3. **先服务开发者,再服务企业和模型提供方。**
|
|
4. **统一入口不等于抹平模型差异,模型能力和限制必须透明。**
|
|
5. **所有阶段都保留可追踪、可计量和可治理能力。**
|
|
6. **共享额度中转是起点,自托管模型云是长期方向。**
|
|
|
|
## 十二、项目当前状态
|
|
|
|
- 产品名称:模亦灵枢
|
|
- 英文名称:MOYI Model Intelligence Hub
|
|
- 产品口号:一处接入,连接多模。
|
|
- 英文口号:One Gateway for Every Model You Use.
|
|
- 当前阶段:第一阶段,先由内部业务验证面向 C 端的自助式多模型 API 聚合平台
|
|
- 长期目标:面向开发者和企业的完整 MaaS 平台与自托管模型云
|
|
- 代码仓库:[MOYI-Model-Intelligence-Hub](http://39.106.119.229:3000/MLKJ/MOYI-Model-Intelligence-Hub)
|
|
|
|
## 十三、说明
|
|
|
|
本文档是模亦灵枢的产品介绍和发展蓝图,用于说明不同阶段的产品形态与长期方向。具体功能、供应商接入、商业规则、服务范围和上线节奏,将根据用户验证、合作资源、技术准备和合规评估逐步确定。
|
|
|
|
## 产品开发文档
|
|
|
|
- [产品开发流程](docs/DEVELOPMENT_PROCESS.md)
|
|
- [阶段 1:产品定义与原型设计](docs/01-product-definition-and-prototype.md)
|
|
- [阶段 2:可视化交互原型](docs/02-interactive-prototype.md)
|
|
- [双端产品形态与开源技术底座](docs/03-dual-portal-and-open-source-foundation.md)
|
|
- [开源技术基线与开发节点](docs/04-open-source-baseline-and-development-nodes.md)
|
|
- [信息准备与阶段门禁清单](docs/05-information-readiness-checklist.md)
|
|
- [D4 密钥与模型目录实施计划](docs/06-d4-integration-plan.md)
|
|
- [首批模型供应商接入节点](docs/07-provider-integration.md)
|
|
- [Java 后端与容器化部署基线](docs/08-java-container-deployment.md)
|
|
- [Java Control Plane 节点一:基础控制面](docs/09-java-control-plane-node.md)
|
|
- [北京服务器测试部署与发布包](docs/11-server-test-deployment.md)
|
|
|
|
## 前端原型
|
|
|
|
阶段 2 的可交互 Vue 原型位于 `prototype/`,包含用户控制台、模型广场、Playground、API Key、任务中心、用量与账单、接入文档和运营后台。
|
|
|
|
Java 后端位于 `control-plane-java/`,前后端生产容器编排位于 `infra/moyi/`。Java 当前已覆盖认证、模型目录、项目、API Key、模型权限和最小 OpenAI 兼容接口;真实供应商、队列和计费完成前,TypeScript Control Plane 继续作为过渡实现。
|
|
|
|
Otari 本地网关基座位于 `infra/otari/`,仅用于后续联调和开发环境,不包含真实供应商密钥。
|
|
|
|
身份与权限服务的 TypeScript 参考实现位于 `control-plane/`,本地 PostgreSQL 基座位于 `infra/control-plane/`;Java 迁移使用同一套基础表和 Flyway 脚本。
|
|
|
|
```bash
|
|
cd prototype
|
|
pnpm install
|
|
pnpm dev
|
|
```
|