KAN-0151
Eval 回歸套件補齊
長上下文引用的測資只有三筆，攔不住能力漂移。
#151
C Chu showcase
Vivre
把 coding agent 當成真實員工雇用的任務系統。
00:10 / 00:23
- CCclaude-code-01待命
- CXcodex-01待命
- OChermes-01執行 KAN-0155 · 00:10
- CVchu（人類）待審 2
vivre/core
c-cf/vivre
Auto intakeAuto backlog
Intake review2
Development1
Deploy review2
Final approval1
KAN-0155
沙盒逾時回收
逾時的沙盒沒有被回收，長時間累積會吃滿 worker 配額。
#155runa1
OCKAN-0161
CLI 部署腳本
地端部署還是手動四步，應該收成一個指令。
#161
KAN-0143
Connector OAuth token 續期
refresh token 過期後沒有重新授權流程，connector 會靜默失效。
#143succeededa1
CVKAN-0149
稽核事件 schema 遷移
稽核表新增 basis 欄位，需要可回溯的遷移腳本。
#149succeededa2
CVKAN-0142
修正 webhook 重送邏輯
重送退避時間算錯，同一事件會在一分鐘內被投遞三次。
#142succeededa1
KAN-0153
Routing 成本表更新
供應商調價後成本表沒同步，路由決策用的是舊數字。
#153succeededa1
CVKAN-0146
圖譜節點快取層
實體查詢每次都打圖庫，熱門節點需要一層快取。
#146succeededa2
CV- CCt+4300claude-code-01 · KAN-0146 · In Progress → In Review
- OCt+3820hermes-01 · KAN-0153 · In Progress → In Review
- CVt+3420chu · KAN-0142 · In Review → Todo · 退回：漏了邊界情況
- CVt+3080chu · KAN-0149 · In Review → Done · 驗收通過
Kanban 形式的 issue tracker，任務有完整狀態流轉。可設定規則，讓 coding agent（Claude Code、Codex、Hermes Agent）自己認領任務、執行、完成後回寫狀態。人類的角色從執行者轉為派工與驗收。
Agent 在這裡有工號、有指派、有失敗紀錄，跟同事一樣。
個人獨立開發，未開源，提供給少數專案客戶使用，同時是我自己的日常工具。
派工紀錄（近 90 天 · 截至 2026-09）
1074
agent 完成票數
84%
一次通過率
17%
人類介入率
US$1.6
平均每張票成本
成本僅計模型 API 費用，不含沙盒運算與基礎設施。
企業 AI 基礎設施
以下三個為任職期間的客戶產品。
企業 Agent 平台
可部署在客戶地端或私有雲的企業 agent 平台，重心在治理、稽核與權限邊界。
部署形態
支援地端與私有雲部署。另有 SaaS 版本，但非主推方向：與市面上的通用 agent 工作環境定位重疊，不具差異優勢。
協作與知識
企業文件上傳後由 agent 使用，agent 與人類在同一個工作環境協作辦公。
整合能力
Connector 機制接入企業內部既有系統取用資料，支援客製化插件；提供 OAuth，讓外部工作流以本平台的 agent 為基礎串接。
治理與 Tool Gateway
Agent 權限管理，以及完整的 tool gateway：所有工具呼叫都經過權限控制、稽核與審計紀錄。
品質保證
依 agent 對話歷史持續演進；每次修改後跑一次 eval，攔下能力漂移。
DEPLOYMENT TOPOLOGY同一份部署單元 · 三種落地
- 地端
地端：部署單元與企業內部系統都在客戶機房內。
客戶機房- 控制台
- Agent Runtime
- Tool Gateway
- 稽核 / 儲存
企業內部系統- 營運
- 客戶 IT 團隊
- 資料
- 不出客戶機房
- 模型
- 自建或內網模型
- 企業私有雲
企業私有雲：部署單元與企業內部系統都在客戶雲端租戶內。
客戶雲端租戶- 控制台
- Agent Runtime
- Tool Gateway
- 稽核 / 儲存
企業內部系統- 營運
- 客戶 IT 或代管商
- 資料
- 留在客戶雲端帳戶
- 模型
- 同雲模型端點或自建
- SaaS非主推
SaaS：部署單元在供應商多租戶，企業內部系統留在客戶網路，中間的連線跨組織邊界。
供應商多租戶- 控制台
- Agent Runtime
- Tool Gateway
- 稽核 / 儲存
跨組織邊界客戶網路企業內部系統- 營運
- 供應商
- 資料
- 供應商環境，租戶隔離
- 模型
- 供應商代管
Tool Gateway 決策軌跡
一次工具呼叫從發起到落稽核的六個關卡。預設顯示被拒絕的那一次。
- agent
- agent-07
- tool
- crm.records.read
- target
- internal-crm / accounts
- scope
- region=APACtier=enterprise
- 01Agent 發起呼叫通過要求讀取內部 CRM 的企業客戶名單
- 02身份驗證通過服務帳號憑證有效，來源工作區已註冊
- 03角色與權限比對通過角色 analyst-agent 具備 crm.records.read
- 04資料邊界檢查拒絕請求範圍涵蓋 tier=enterprise，超出該角色可存取的 tier=smbRULE
data-boundary.tier-restriction - 05頻率 / 配額檢查未執行未執行，前一階段已中止
- 06寫入稽核紀錄通過拒絕事件同樣完整落帳
AUDIT LOG無論通過或拒絕，都會留下這一筆
actor=agent-07ts=2026-08-14T09:22:41Zaction=crm.records.read(scope:tier=enterprise)outcome=DENIEDbasis=data-boundary.tier-restrictiontrace=8f2c…a19
Eval 能力矩陣 diff — v1 → v2
每次 agent 修改後跑一次矩陣。被圈起來的那一格就是這次改版攔下來的能力漂移。
| 能力 | v1 | v2 | Δ | 判定 |
|---|---|---|---|---|
| 工具選擇正確率 | 0.91 | 0.94 | +0.03 | 通過 |
| 多步任務完成率 | 0.78 | 0.81 | +0.03 | 通過 |
| 長上下文引用準確率 | 0.86 | 0.72 | −0.14 | 能力漂移 · 阻擋發版 |
| 拒答邊界遵守率 | 0.97 | 0.97 | 0.00 | 通過 |
| 稽核欄位完整率 | 1.00 | 1.00 | 0.00 | 通過 |
LLM 治理平台
企業 LLM 用量與成本的治理層，橫跨雲端供應商與自建 GPU 叢集。
多供應商整合
集成多家雲端 LLM 供應商，統一計算用量、成本與稽核。
自建叢集管理
管理自部署的 GPU cluster，每個節點都有 probe 監控。
稽核與追蹤
每次呼叫都落成一串稽核事件：收件、准入判定、開始、完成，以同一個 trace 串起來。
智慧路由
依任務難度自動路由到合適的模型。下方的決策探索器就是這一項。
風險控制
針對不同使用者分發不同的 key、套用不同策略，控制企業內 token 用量失控的風險。
Routing 決策探索器
四種難度的請求，各自被路由到哪一級模型，以及和「一律使用最強模型」比起來差多少。
每月節省
64%
上線 3 個月實測 · 月級數十萬請求
1 · 難度判定
中
結構化輸出需要 schema 理解短上下文
2 · 選中的模型
GLM-4.7
3 · 與基準比較
−93%
成本
−1.7s
延遲
正確率與最強模型無顯著差距；thinking 要設上限，放開讓它想的話延遲會反超。
各類的成本與延遲是單次典型請求的推估值，含思考 token：基準取 GPT-6 Astra 預設的 medium 推理強度。
金流風險圖譜引擎
把銀行交易資料轉成本體論圖譜，算出實體風險並產出告警與 SAR 報告，也能交給 agent 做 KYC。
建模
匯入銀行交易資料，以 ontology 方式建模與呈現實體與關係。
風險計分
多組演算法各自算一個子分數，再合成 composite risk。演算法類別與子分數可見，權重與合成公式不對外呈現。
產出
產出告警與 SAR（可疑活動報告）。
Agent 介面
可接入 agent 使用，讓 agent 結合風險資料執行 KYC 流程。
風險傳導路徑
點擊任一實體查看它的判定。預設已選取被告警的節點 E-07。
34 節點35 邊1 告警
風險分級嚴重≥ 0.80高0.60–0.80中0.40–0.60低0.20–0.40極低< 0.20
實體型別自然人法人帳戶
關係轉帳跨境匯款持有關聯
領域深度
智慧 ERP
完整進銷存 ERP，加上一層 agent 查詢介面。
採購、銷售、庫存三個模組齊全。Agent 查詢介面把自然語言問題轉成附取數路徑的報表，並根據營運資料給出改進建議。
營收月報
2026-08認列營收
NT$ 18.4M
較去年同期agent 回填
開立發票
1,284 張
| 期間 | 訂單金額 | 其中未出貨 | 內部調撥 | 認列營收 |
|---|---|---|---|---|
| 2026-08 | 21,175 | 2,120 | 640 | 18,415 |
| 2026-07 | 20,272 | 1,860 | 510 | 17,902 |
| 2026-06 | 19,530 | 1,720 | 480 | 17,330 |
| 2025-08 | 19,220 | 1,410 | 470 | 17,340 |
你怎麼讓 LLM 報數字而不說謊
同一個經營問題：「上個月的營收和去年同期比如何？」
直覺式 text-to-SQL
+18.4%
看起來合理，但是錯的
- 沒有取數說明
- 沒有口徑定義
- 把未出貨訂單也算進營收
本系統 · 走 semantic layer
+6.2%
附取數路徑與口徑
口徑 : 營收認列 = 已出貨且已開立發票
來源 : fact_invoice → dim_period
排除 : 未出貨訂單、內部調撥
期間 : 2026-08 vs 2025-08
開源
Macada
github.com/c-cf/Macada多租戶開源 agent 平台，web 介面或程式碼皆可建立 agent，支援獨立沙盒與一鍵地端部署。
以程式碼定義 agent
一份設定就是一個 agent：模型、system prompt、工具集、MCP server 與 skills。dashboard 的編輯器與 POST /v1/agents 吃的是同一份，YAML 或 JSON 皆可。
- 多租戶架構
- 兩種建立方式：web 介面對話式建立，或以程式碼定義
- 每個 agent 有獨立沙盒
- 一鍵地端部署
這篇裡的編輯器與 session 主控台照 Macada 原樣重做，欄位、事件型別與狀態名稱都取自 repo。
Agent config
name: release-notes description: Turns the commits since the last tag into a CHANGELOG draft. model: claude-sonnet-4-6 system: You write release notes. Read the git history in /workspace, group commits by their conventional-commit prefix, and write the result to CHANGELOG.md. Keep the hash next to every entry. Never rewrite history. mcp_servers: [] tools: - type: agent_toolset_20260401 skills: []
Session 事件流
每個 session 在自己的沙盒裡跑，控制面把 agent loop 的每一步都記成事件、以 SSE 推到 dashboard。下面是一段完整的 session：從使用者訊息到工具呼叫、模型用量，直到回到 idle。
Sessionssesn_01M2K9H3W0RB7QX...
Changelog draft for v0.5.0
Events
No events found
Content
Select an event to view details
等待串流
$ npx imf-data-mcp
tool: get_indicator
{ indicator: string,
country: string[],
period: { from, to } }
聯絡
如果你在找能把 agent 從 demo 帶到可稽核、可部署的人，我們可以聊聊。