记忆评估
记忆评估不能只看模型有没有生成一句流畅的话。HaroCue 把「能否正确保存」「能否找到」「是否应该展示」「用户是否认为有用」「删除后是否泄漏」分开测量。
| 面向 | 要回答的问题 | 观察什么 | 当前证据 |
|---|---|---|---|
写入 |
提案是否引用真实范围？ |
类型、来源、时间、作用域 |
harocue-memory 抽取与生命周期测试 |
检索 |
合格 Claim 是否在预算内被找到？ |
命中、排序、失效项排除 |
retrieval.rs、indexed.rs 参考查询 |
展示 |
Cue 是否应该出现和接受？ |
焦点、版本、来源、接受前复核 |
runtime completion 测试、Cue 事件日志 |
体验 |
建议是否真的减少重复解释？ |
exact、better、off、unknown |
CueSummary、配对看板 |
生命周期 |
纠正、遗忘、过期后是否还会回来？ |
旧正文、缓存和快照是否失效 |
clear_barrier、kernel、persistence 测试 |
先分清三个结果
Section titled “先分清三个结果”| 结果 | 表示什么 | 不表示什么 |
|---|---|---|
抽取通过 |
引用范围和结构契约成立 |
Claim 的语义一定正确 |
Grounded |
来源片段仍然可读 |
模型推断已被用户确认 |
Cue 被采纳 |
用户在当前输入处接受了建议 |
这条记忆永远适用 |
展示、采纳、丢弃、撤销是行为信号；exact / better / off 是用户明确给出的评价；未评分保持 unknown，不能当成正面结果。
每次评估要记录什么
Section titled “每次评估要记录什么”| 记录项 | 为什么需要 |
|---|---|
模型与提示版本 |
不同模型不能直接比较 |
来源数量和引用粒度 |
决定抽取范围与 Grounded 结果 |
候选数量和字节预算 |
影响命中、延迟和展示长度 |
时延与费用 |
判断质量提升是否值得成本 |
作用域、revision、epoch |
复现并发、清空和切换工作区场景 |
换了模型、提示词、引用粒度或候选数量后，新的结果只能与同条件的对照比较，不能把一次重试的最好值当成整体质量。
在仓库里运行什么
Section titled “在仓库里运行什么”核心记忆契约可以离线运行：
cargo test -p harocue-memory --offline| 位置 | 用途 |
|---|---|
eval/fixtures/v2-paired/ |
成对业务样本 |
eval/src/scorer.rs |
成对偏好、严重错误续接和重复解释字符数评分 |
frontend/src/product-api.ts |
CueSummary 展示、采纳、撤销和评价覆盖率 |
诊断页 |
捕捉、记忆、Cue 与问答的有限状态事件 |
解释失败结果
Section titled “解释失败结果”- 先看引用是否真实、作用域和时间是否正确。
- 再看资格门是否按预期排除了失效或不可读来源。
- 最后区分是排序、展示、模型语义还是用户评价出了问题。
没有结果不一定是检索失败；它可能说明当前没有 Current + Grounded 的记忆。
- 仓库测试证明的是列出的契约，不是所有平台、所有应用和所有真实模型的质量。
- 生产接线、外部索引删除传播、规模与尾延迟仍需按对应验收记录单独复核。
- 语义向量索引是可替换的候选适配器，不能绕过内核的作用域、时间、来源和遗忘门。
- 公开官网演示使用固定样例，不应被当作个人数据的评测结果。
评估方法的更完整背景见 crates/harocue-memory/README.md、docs/decisions/2026-09-07-memory-benchmark-hardening.md 与 docs/decisions/2026-09-07-memory-citation-grants.md。