ZOYKUHot Board

ethen-chuan/evalpilot-supportДокументація

Local after-sales agent evaluation, multimodal model comparison, containment metrics and trace review. Source-only distribution.

Мовне сповіщення:Локалізована документація відсутня. Відображається офіційний англійський оригінал.
npm i evalpilot-support

EvalPilot · V2.1 保存版

本次公开保存的是 2026 年 11 月 6 日 22:28、场景工作台重构前的 V2.1,不是后续 V3 / V4 新产品。保留当时的评测、客服模拟、本体图谱和本地服务能力。发布仅清理私有材料并补充复现说明;原完整恢复点及客户数据不上传。

版本说明与本次复核见 V2.1 发布记录。后续新产品会单独演进,不在此保存版中混入改名或新功能。

面向客服业务团队的本机服务设计、客户端体验、验收发布与持续改进工作区。保留领域本体、完整对话阅读、Agent Trace、图文模型对比和模型评测。

智能服务作品版(2026-11-06)

新入口为 #service:服务总览 → 服务能力(契约 / 客户端体验 / 验收)→ 沙箱发布 → 体验回流。配置与发布快照隔离,动作真实经过本体校验,反馈经人工审核后进入回归。新增客户端预览是无外部调用的确定性运行时;原 DeepSeek / Qwen 对话实验室继续独立保留。

详细说明:完整产品 PRD。本地服务还可打开 /product-prd.html 阅读排版版。新模块没有接通真实工单、真人坐席、企业身份或生产流量,不把本地材料当作业务解决证据。

在线体验

打开公开体验版

可体验同一案例的答复对照、标签诊断说明、多轮对话测试树编辑与本浏览器草稿保存。所有场景和答复均为人工编写的示例,不是真实客户记录、模型生成结果或实测分数。

线上链接是静态交互体验,不是完整云端评测服务。 不接收 API Key、不导入客户数据、不调用模型。真实 API 评测、数据导入与运行记录需要在下述本机完整版中使用;不能直接将未鉴权的本机服务开放到公网。见 线上发布与更新。

「模型运营」聚焦售后客服:查看真实模型连接、当前项目的实际评测批次、答复与失败记录、裁判复核提示和 Trace,并进入拦截 / 填单、质检和 DSAT 大盘。不自动调用模型,不将离线成绩冒充线上效果;未接通的生产发布能力不展示为可用。

原「项目集」现位于「客服数据」,每张卡片对应一个实际导入的业务项目。新平台首页为「服务总览」。现有行为基线和转人工拦截指标面向售后场景;其他业务需另行准备数据、规则与评测标准,不能直接套用售后结论。

这是不含客户数据的源码发布版。 首次启动没有真实售后项目、已训练版本或外部模型成绩;不包含原工作区的数据库、客户图片、训练模型、密钥和历史分数。自建校验图文需在页面主动创建,不冒充客户数据。

能做什么

  • 本体图谱:像笔记关系图一样拖动、缩放和搜索,查看真实人工标签与会话之间的关系,可切换全图与局部邻居、回到原始证据;另有明确隔离的虚构领域本体和约束检查演示。不将共现当因果,不声称已接入模型检索。见 本体图谱与能力边界。

  • 客服模拟台:围绕五类匿名案例交互对话,查看实际 DSH 工具证据,比较故障注入基线与受控策略,将问题保存为可重跑的回归案例。支持离线演示与逐轮授权的 DeepSeek / 通义千问官方连接;千问可选择地域或业务空间专属地址,仍运行于官方 DSH 循环。见 客服模拟台与 Harness。

  • 项目案例页提供八类人工标签分布、覆盖率及未标注定位;点击标签与完整对话列表联动,支持多维筛选、跨页统计和返回保留条件,不自动补造缺失标注。

  • 售后客服模型运营:连接模型 → 真实案例评测 → 答复 / 失败筛查 → Trace 与原始会话核对。按项目、批次读取实际结果,排除本地基线,不展示假发布操作。

  • 文本页直接选择模型A/B、添加连接并弹窗输入Key;新建同批对比与查看已有结果分开。

  • 使用同一图片、问题和政策,对比不同厂商,或同厂商两个不同模型版本。

  • 结果大盘提供质检复核环图、动态模型曲线、意图树与DSAT证据归因;实验支持搜索、收藏、归档与恢复。

  • 支持 OpenAI / Anthropic / DeepSeek 官方接口,密钥在弹窗输入,只存本机服务内存;视觉模型必须先通过真实图像读取测试。

  • 记录图片指纹、模型调用、路由建议、裁判证据和人工修订,支持 Trace 追溯。

  • 展示有效拦截率、错误拦截、必要转人工召回、视觉正确率、评审覆盖、失败和未执行数量。

  • 按数量或手动选择案例重跑,原批次不覆盖;比较只接受相同案例与评测条件。

  • 导入获授权、已脱敏的完整文本对话后,可训练本地行为分类器并查看版本差异;不是大语言模型微调。

首次运行

依赖:Node.js 22.12+;Python 3.9–3.12。图文 OCR 使用 macOS Vision,需要 macOS 与 Xcode Command Line Tools。其他系统可浏览页面和使用兼容功能,但图片扫描不可用时会阻止导入和调用,不绕过隐私门禁。

npm ci
npm run build
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt
npm start

打开 http://127.0.0.1:4287/#compare?mode=vision。仅监听本机回环地址,不要直接开放到公网。

必需的隐私扫描器

自由文本保存、图片导入和外部调用需要本机兼容 DLP 扫描器。默认检查本机 Codex DLP 安装;也可设置 EVAL_DLP_PATH 指向已审核的扫描程序。扫描器及其私有策略不包含在仓库里。

EVAL_DLP_PATH=/absolute/path/to/dlp npm start

接口要求见 安全说明。没有扫描器时,页面可打开,但受保护操作会拒绝执行。不能配置一个无条件返回通过的脚本来跳过检查。

五步体验图文评测

打开 http://127.0.0.1:4287/#modelops 可读取已有模型连接与售后评测记录;无项目或无运行时显示空状态,不补造数字。首次实测需导入授权且脱敏的数据、连接模型并确认调用范围。见 售后客服模型运营说明。

  1. 在「模型对比」切换到「图文与转人工拦截」。
  2. 添加获授权的脱敏真实图片,或准备24个已审核公开板卡案例,合并为4个不同外观封面。图库每行3格、每页最多9组,近似板卡和完全同图不重复铺图;原案例在详情切换。也可选择4个自建校验案例。三种来源不混跑,公开素材保留署名与许可。
  3. 点击「添加模型 / 输入 Key」,创建两个不同模型 ID 的连接。分别授权并通过「测试图像读取」。此步骤和之后的模型运行可能收费。
  4. 选择同一个裁判,或保持人工复核;选案例数量,核对发送范围并授权运行。
  5. 看拦截大盘与逐例回复,打开 Trace,人工复核,再按数量重跑或比较。

密钥只在密码框输入,切勿写入代码、提交、截图、Issue 或聊天。服务重启后需重新连接。

指标不能混用

有效拦截率(离线评审)要求:标准路由可自助解决、候选直接答复,并且看图、政策合规、解决需求三项全部通过。分母是本批全部选定案例;失败和待评不算成功。

没有转人工不等于问题解决。明确人工诉求、安全风险和权限不足应当升级;错误拦截必须单独看。线上真实拦截率尚未测量,需要完整会话、用户解决确认、实际转接、重复联系和观察窗口。客服模拟台提供交互多轮沙箱与回归闭环,但不自动扮演真实客户,也不执行真实退款、派单或人工转接,暂不评测音频和视频。

文档

检查

npm run build
node --test tests/lab-navigation.test.ts tests/comparison-selection.test.ts
.venv/bin/python -m unittest discover -s tests -p test_multimodal.py -v
.venv/bin/python -m unittest discover -s tests -v

部分测试依赖本机 DLP 模块。V2.1 保存版已修正旧测试的固定日期设置;本次完整依赖环境中 Python 396 项、Node 115 项通过,详见保存版发布记录。外部供应商在线验收需要使用者提供密钥并明确授权,协议替身测试不能当成真实模型成绩。

运行与发布边界

React / TypeScript / Vite 前端,Python HTTP 服务,SQLite 本地存储。data/ 在运行时创建并被 Git 忽略;EVAL_DATA_DIR 和 EVAL_MODEL_DIR 可指定其他本机目录。scripts/open_workspace.py 用于 macOS 后台启动,未实现开机自启。

没有多用户鉴权、租户隔离、数据库加密、生产审计签名或生产安全加固。仓库私有也不意味着允许上传客户数据。自动规则未发现明确敏感项不保证绝对安全。

Дзеркало документації архівовано з офіційного репозиторію GitHub · Перейти на GitHub
Дата знімка: 2026-11-08