Files
MemoryBear/docs/rag/review/S3-T2-final-review.md
Multica PM Agent 343a5eebe3
Some checks failed
Sync to Gitee / sync (push) Has been cancelled
docs(rag): add MemoryBear RAG implementation docs v1.0
Submit the formed RAG documentation set produced across Sprint-1/2/3
(WS-12 through WS-26) under docs/rag/. Includes:

- README.md / INDEX.md: landing + total index (responsibility matrix,
  review verdicts, dual-link to source issues)
- overview/: full-pipeline architecture (4 .mmd diagrams),
  11-stage boundary contracts, doc map, source-code inventory
- pipeline/: 5 deep-dives (Loader/Parser/Chunking, Embedding,
  VDB & retrieval, GraphRAG, Rerank/Prompt/LLM)
- graphrag/, end-to-end/: v1.0 formal versions with full source
  retained as reference
- evolution/: 11 architecture-refactor proposals,
  6-direction roadmap, capability map
- review/: S3-T1 / S3-T2 final reviews, S2-T7 final summary
- _indexes/: glossary (81 terms), source->doc reverse index, chart index
- _release/: v1.0-RC1 release manifest, versioning convention,
  ops & freshness plan
- _meta/README.md: placeholder noting WS-12 governance assets gap

Aggregate review score 92.6/100 (8/8 PASS, 31/31 source-code spot
checks hit). The legacy docs/ ignore in .gitignore is narrowed to
docs/* with an explicit allowlist for docs/rag/.

Refs: WS-26
Co-authored-by: multica-agent <github@multica.ai>
2026-05-09 10:51:48 +08:00

7.4 KiB
Raw Blame History

name, description, type, sprint, task, reviewer, reviewed-at, target-doc, target-comment, target-attachments
name description type sprint task reviewer reviewed-at target-doc target-comment target-attachments
S3-T2 终审报告 — 后续迭代功能新增方式建议 知识运营终审,对 S3-T2 交付物按 5 维评分卡评分;总分 95/100PASS review 3 T2 知识运营与治理专家 2026-05-08 docs/rag/evolution/future-extensions-roadmap.md 0de2c8f6-717d-43c7-af31-1c055550a5e7 / 2026-05-08T11:32:27Z
future-extensions-roadmap.md (32 KB)
capability-map.mmd (4 KB)

[S3-T2] 终审报告:后续迭代功能新增方式建议

决议 PASS(综合 95/100超过 80 通过线 + 0 触发一票否决项)。

1. 评分明细(按 S1-T1 评分卡)

维度 权重 得分 关键观察
准确性 (Accuracy) 25 24 §0.2 列出的 8 条"关键源码事实"全部带行号,抽查 5 条全部可复现:MatchSparseExpr 已声明未启用(rag/utils/doc_store_conn.py:75vdb/field.py:11grep 验证 0 调用)、weighted_sum 0.05/0.95rag/nlp/search.py:439)、core/memorycore/rag 完全独立grep 互无引用)、RetrieveType enum 硬编码(schemas/chunk_schema.py、Reranker 仅推理(core/models/rerank.py:11)。扣 1 分因 D1.1.4 工作量估算的"+30% 存储"为业内经验值,未在本仓做基线测试,可能与实际 mapping 选择有出入。
完整性 (Completeness) 25 25 6 个方向D1-D6超出"≥5"硬要求5 个强制覆盖项(多模态 / 混合搜索 / KG / 对话记忆 / 评估闭环全部命中2 套 Quick PoCPoC-A RRF + PoC-B Memory Rewrite超过"≥2"硬要求,且每条 PoC 给出 ≤30 行代码草案 + 风险描述。优先级矩阵 14 行覆盖全部 6 方向 × 多层级,附 Mermaid 甘特路线图、能力地图Mermaid 附件 capability-map.mmd)。
时效性 (Timeliness) 15 13 路线图日期 2026-06-02 起 → 与 Sprint-3 内 PoC 启动节奏一致6 个方向均带"立即 / 短 / 中 / 长"四级时间标签;扣 2 分因部分依赖 [S2-T7] 评审产出的新事实D5 评估集质量、D2 SPLADE 索引重建口径),需保留增量更新窗口(已在 §6 对齐清单中提及)。
可读性 (Readability) 15 15 能力地图Mermaid+ 优先级矩阵(综合分公式)+ 落地路线图Gantt三件套使决策路径清晰每个方向严格五段式触发场景 → 技术方案 → 接口改造点 → 工作量 → 风险/依赖);强调"基于 Protocol 注入而不改调用方"作为统一原则,把 6 个方向的耦合打散为可并行落地的 6 条独立通道。
可执行性 (Actionability) 20 18 PoC-ARRF改动范围最小集化仅在 rag/nlp/search.py:Dealer.search 加 feature flag可直接成为 Sprint-3 PRPoC-BMemory Rewrite通过 5 行代码加 feature flag 接入;每个方向有人周估算 + 优先级 + 风险三件套;扣 2 分因:(1) D6 自适应路由的"小型 LLM 路由器训练数据来源"仍依赖 D5 反馈数据,链路较长;(2) D5 评估集冷启动方案("先用大模型 LLM-as-Judge 合成")只给了方向,缺一份具体的数据规模与验收标准。
总分 100 95

通过门槛≥80。S3-T2 以 95 分通过终审

2. 一票否决项排查

否决项 是否触发 证据
源码虚构 未触发 8 条"关键源码事实"抽查 5 条均可复现;core/memorycore/rag 互不引用的论断与 [S1-T3] §一 模块清单中 rag_utils vs rag/utils 双目录相印证。
核心章节缺失 未触发 验收标准 6 项全部覆盖能力地图、6 方向、接口改造点、≥2 PoC、优先级矩阵、路线图、风险表、对齐清单。
安全风险描述 未触发 D4.6 显式提及"跨用户记忆隔离需在 code review 重点核查"§5 风险表把"D4 跨用户记忆泄露"列为隐私风险并给出"user_id 级强隔离 + 上线前 review"缓解策略。
架构严重脱节 未触发 §0.3 明确把所有方向锚定到 [S3-T1] 提议的 4 大 Protocol§6 对齐清单逐条核对;与 [S3-T1] 命名一致(已与 S3-T1 评审交叉确认)。

3. Must-Fix必改项

无。

4. Should-Fix建议落地前修补

# 建议 责任 处理方式
SF-1 D5.5.1 提到的"评估集冷启动 LLM-as-Judge 合成"应给出最小数据规模(建议每 KB 200 条 query × ground-truth + 50 条 hard-negatives和验收标准与人工评审一致率 ≥ 75%)。 AI 知识库专家 落 D5 第一条工作项时同步交一份《评估集生产 SOP》。
SF-2 D6 自适应路由强依赖 D5 反馈数据,建议在路线图甘特图中显式画出 D5 → D6 的依赖箭头,避免错位启动。 AI 知识库专家 在路线图 §4 增量补一行依赖说明。
SF-3 D1 多模态 L2 跨模态的"存储膨胀 +30%" 估算应在 PoC 阶段实测一次,结果回填本文档(增量补丁)。 AI 知识库专家 与 [S3-T1] §3.1 短期任务"建立 baseline"合并执行。

5. Could-Fix可选优化

# 建议
CF-1 §1.5 D1 风险中"VLM 描述漂移"可与 [S2-T1] §11 限制中的"OCR 与版面识别 CPU/GPU 重负载"合并撰写,作为多模态扩展的统一约束。
CF-2 §3 优先级矩阵的综合分公式 V × 1/√(C×R) 略简化,可在脚注里说明这是"产品快速排序工具,不替代正式架构会",避免被误读为权威。
CF-3 D3.3.2 "路径解释性"与 [S2-T6] E2E 链路时序图存在天然结合点,建议在 [S2-T6] 复活时补一段 "GraphRAG with evidence_path" 的时序示意。

6. 与 Sprint 文档生态的兼容性

  • 与 [S1-T2 架构图] 一致6 个方向均锚定 [S1-T2] DocMap.md 列出的 Sprint-2 各环节GraphRAG light/general 双路径在 D3 与 [S1-T2] §04-graphrag-indexing.mmd 描述一致。
  • 与 [S2-T1 Loader/Parser/Chunking] 一致D1 多模态 L1 把 rag/app/picture.py:54rag/app/audio.py:29 列为现有 baseline与 [S2-T1] §4 LibreOffice + Apache Tika 兜底链一致。
  • 与 [S2-T2 Embedding] 一致D1.3 提到的"Embedder.encode(items: list[Embeddable])"接口与 [S2-T2] §1.2 RedBearEmbeddings 多模态分支可平滑衔接。
  • 与 [S2-T3 VDB] 一致D2 中"BM25 + dense + sparse 三路融合 + RRF"与 [S2-T3] §6 应用层"双路 + 去重 + Rerank"形成升级路径。
  • 与 [S2-T5 Reranking/Prompt/LLM] 一致D5 的 Cross-Encoder 微调与 [S2-T5] §1 三种 rerank 方案兼容(视为新 Reranker 实现)。
  • 与 [S3-T1 架构改造] 一致§0.3 与 §6 双重对齐,所有 6 方向接口改造点全部落地到 [S3-T1] 4 大 ProtocolRetriever / Reranker / Embedder / Generator

7. 终审结论与下一步

决议项 内容
总分 95 / 100
决议 PASS终审通过
建议落入版本 MemoryBear RAG Docs v1.0(落入 docs/rag/evolution/future-extensions-roadmap.md + capability-map.mmd
状态变更建议 in_reviewdone,由 PM 执行
后续衔接 (1) Should-Fix 进入 [S3-T4] PM 复盘清单;(2) PoC-A / PoC-B 列入 Sprint-3 内立即可执行清单(与 [S3-T1] §3.1 短期路线图工作项 #1-#5 合并排期);(3) [S2-T7] 评审若引入新事实,本文档以增量补丁形式更新(不重写)。

— END —