企业用的模型很少只有一家。公有云的、私有化部署的、本地跑的，各有各的适用场景。模型管理把这些统一接进来：支持OpenAI兼容接口、GPUStack、InWise以及企业本地部署模型等多种接入方式。管理员配置模型服务名称、服务类型、代理地址、访问密钥和可用模型列表，一次登记，全平台共用。

一个模型服务，纳管的不只是对话模型。四类模型放在同一套体系里管理：

大语言模型

负责对话与推理，回答用户问题、执行生成任务；

多模态模型

理解图片、音视频等内容，扩大Agent可处理的文件范围；

Embedding 模型

把文档和问题向量化，支撑知识检索；

Rerank 模型

对召回结果重排，把更相关的知识排到前面。

通过调用权重配置，平台为不同模型的调用优先级和资源调度策略提供依据。同一个服务下，模型可以启停、调试、编辑、删除；服务列表集中展示包含哪些模型、累计Token使用量、创建时间和当前状态，消耗多少资源一屏看清。

统一网关带来的直接好处，是企业不会被单一模型绑死。模型更新换代、厂商策略调整、某个场景需要换更合适的模型，改的是网关配置，应用侧不用跟着动。

模型服务接好了，接下来要回答：谁在调用？密钥管理按业务系统或应用场景，为每个应用统一创建、分发和维护访问凭证。管理员配置应用名称、唯一标识、访问令牌和备注，令牌可自动生成，不再需要到处复制粘贴共享的Key。

凭证安全最怕"一把Key到处用"。人员发生变更、怀疑凭证泄露、安全策略调整时，管理员可以对令牌执行重置，让旧凭证即时失效。管理列表集中展示各应用的Token使用量和启用状态，编辑、复制令牌、启停、删除都在一处完成，实现应用与访问凭证的一一对应。

应用级密钥的统一签发、使用统计与定期轮换，为对外调用画出一条清晰、可控的访问边界。企业内部哪些系统在消耗模型资源、各自用了多少，不再是一笔糊涂账。

一次Agent任务，背后往往是一串环节：条件判断、代码执行、下载服务、内容抽取、模型调用、结果归档，层层嵌套。结果不对时，问题出在哪个环节，过去只能靠猜。

链路跟踪以树状结构还原一次任务的完整执行过程。每个节点记录执行状态、开始时间、响应耗时、Span ID和Token消耗，管理员可以逐级查看节点的输入与输出，文本和JSON格式一键切换，快速定位参数传递错误、节点执行失败、模型响应异常和性能瓶颈。

历史记录按任务类型、数据范围、状态和链路ID检索，问题排查、效果分析和运行审计都有据可依。复杂Agent运行从"黑盒"变成可观察、可定位、可解释、可审计的透明过程，这是企业敢于让Agent跑业务的前提。

评测不能靠临时攒问题。数据采集把智能体、工作流和数据编排流在实际运行中产生的输入、输出及执行结果，持续沉淀到指定数据集。管理员创建采集任务，选择采集对象，一个任务可同时写入多个目标数据集，分别进入测评数据集或模型微调数据集。

真实业务问题、模型回答、工具执行结果和用户反馈，不再跑完就丢。它们转化为后续评测、Prompt优化和模型微调的数据资产，形成"应用运行—数据沉淀—效果评估—持续优化"的企业AI数据闭环。

数据集管理以"问题—输入—输出"为核心结构保存每条数据：既记录用户提出的任务，也保留完整的系统提示词、上下文参数、模型输入和最终输出，并通过Trace ID关联原始执行链路，每条样本都能追溯到具体某次运行。数据既来自人工整理与导入，也来自智能体、工作流和编排流的自动采集。

管理员可对样本逐条编辑，人工检查并修订问题、输入与期望输出，把真实运行数据进一步加工成高质量的测评集和训练集。可追溯、可编辑、可持续积累，这是效果评测与模型迭代的稳定数据基础。

效果好不好，不能只靠"我觉得还行"。评测功能围绕Prompt开发、评估器配置、批量实验和结果分析，建立完整的AI效果验证体系。

管理员为不同业务场景创建具有唯一Prompt Key的提示词项目，持续开展模板编写、模型参数调试和版本迭代；通过配置大模型评估器或代码评估器，从多个维度对输出自动评分：

准确性

输出内容与事实是否一致，有没有编造；

相关性

回答是否对得上问题，有没有答非所问；

完整性与格式合规

关键信息是否齐全，输出结构是否符合要求；

业务规则满足度

是否符合企业自身的制度、口径与业务规则等。

创建实验时，选择指定数据集、待评测对象和评估器批量运行，集中查看实验进度、执行耗时、评估器平均得分和各项指标统计。明细中逐条查看问题、模型输出、自动评分和执行详情，对低分结果进行人工标注复核，并可将实验结果导出为Excel，用于进一步分析与归档。

数据集驱动的自动评测加上人工复核，把AI效果从主观体验转化为可量化、可对比、可回归验证的质量指标。Prompt改了、模型换了、知识库更新了，效果是变好还是变差，跑一轮实验就有答案，为持续优化提供客观依据。