AI MODEL INFRASTRUCTURE · 企业级模型运行基础设施
模型自由更换
业务持续运行
以统一模型入口、策略路由、预算控制与用量计量，隔离上游供给差异，让业务系统保持稳定演进。
生产级模型供给
策略化运行控制
可审计成本治理
POST/v1/chat/completions·model：按业务请求
01协议接入
OpenAI CompatibleChat / Responses
Anthropic CompatibleMessages
02控制平面
身份鉴权与模型授权AUTH
预算预占与额度校验RESERVE
端点健康与策略路由ROUTE
03模型供给
火火山方舟Doubao
智智谱GLM
DSDeepSeekAPI
AGAgnes AIAPI
X-ModelHub-Request-Id
准入通过
预算已锁定
路由已确定
用量已归集
token · latency · cost
统一控制平面模型、协议、权限与账单集中管理
策略化模型调度按成本、延迟与可用性选择端点
预算前置控制请求前预占，完成后结算
请求级可观测请求 ID 关联路由、用量与账单
MODEL GOVERNANCE
建立统一模型目录，形成可维护的接入资产
将模型规格、端点能力、上下文边界与主备关系纳入统一目录，为模型选型、容量规划与持续治理提供可核验的数据基础。
modelhub.xctoy.cn / 模型与渠道目录
路由决策，建立在可验证的端点信息之上。
模型能力、端点状态与路由关系保持同步，让每一次模型接入都有明确的评估依据和维护边界。
模型规格与输出边界统一呈现
端点健康与渠道状态持续可见
路由关系与元数据状态同步维护
POLICY-BASED ROUTING
确定性的路由策略，支撑稳定的生产调用
网关综合端点健康、近期成功率、调用价格与延迟进行实时决策；主链路异常时按预设顺序切换，并将影响范围隔离到单个端点。
在端点健康、近期成功率与参数兼容性约束下选择首选端点，异常时进入预设备用链路。策略：
reliablemodel / requestROUTING PREVIEW
POST/v1/messages
ModelHub Routereliable · health / error-rate / fallback
首选端点健康度与能力校验
满足请求约束
满足请求约束
故障转移超时与 5xx
按策略自动切换
按策略自动切换
端点熔断限制故障影响
独立隔离降权
独立隔离降权
fixedcheapestfastestreliablebalancedlatencyweighted
UNIFIED CONTROL PLANE
统一管理入口，贯通模型接入全流程
模型资产、路由策略、访问授权与调用验证收敛至同一控制面，降低跨系统操作成本与信息断层。
python · openai sdk
# 配置网关地址与访问令牌 from openai import OpenAI client = OpenAI( api_key="sk-xc-••••••••", base_url="https://modelhub.xctoy.cn/v1", ) response = client.chat.completions.create( model="业务已授权模型", messages=[{ "role": "user", "content": "你好，请介绍当前服务能力", }], )
OPENAI-COMPATIBLE API
延续现有 SDK 投资，以单一网关收敛接入复杂度
业务系统无需分别适配上游鉴权与响应格式。ModelHub 统一处理协议转换、故障转移、预算控制与用量归集。
POST /v1/chat/completionsOpenAI 对话补全POST /v1/responsesOpenAI 响应接口POST /v1/messagesAnthropic MessagesGET /v1/models授权模型目录GET /v1/usage额度与用量查询GOVERNANCE BY DESIGN
覆盖请求全生命周期，形成完整的成本与风险闭环
企业级模型接入的核心不只是连通性。请求准入、流量调度、成本归集与数据边界，都应在同一控制面内完成。
01 / BEFORE
预算前置，避免不可控支出
根据模型、输入估算与输出上限计算最大成本，通过 budget_reservations 原子预占；调用成功后结算，失败自动释放。支持 off、shadow、enforce 三种治理模式。
02 / DURING
故障域隔离，缩小异常影响范围
Provider 与 Endpoint 独立熔断。单个端点连续失败时，仅隔离对应调用路径，不影响同一厂商下的其他模型；满足条件时自动进入备用渠道或备用模型。
03 / AFTER
请求级成本归集，支持精细对账
响应头返回 X-ModelHub-Request-Id，统一关联路由尝试、token、上游成本、客户费用、首字延迟与最终状态。
04 / BOUNDARY
密钥加密存储，明确数据留存边界
上游 API Key 使用 AES-256-GCM 加密存储。用量日志仅保留计量与计费所需字段，默认不采集 Prompt 与 Response 内容。