服务对象是 agent(问藏后端、wikipali-plugins):它们按问题选几个巴利词去检索,读前若干段回答。 召回差就答不出来,或拿不相干的段落凑答案。本文记录已做的优化、评测方法与结果,以及下一波计划。
相关代码:app/Services/OpenSearchService.php(search() 及 build*Query、wordRarityWeights),
测试 tests/Feature/OpenSearchQueryBuilderTest.php;插件 wikipali find / phrase。
| 入口 | 做法 | 擅长 |
|---|---|---|
v2/search-pali-wbw |
一个词的全部词形(v2/case 展开)在 wbw_templates.real 上 OR,按 sum(weight) 排 |
单个词查全;bold=on 只看黑体 |
v3/search?search_mode=fuzzy |
多词按原始词逐项累加固定分:整句原样、相邻两词原样、拼写相同、同义词可替代 | 几个概念同时出现的段落;找某句话 |
v3/search?search_mode=definition |
每个词命中单独黑体 / 多词黑体给分,正文只作次级排序 | 义注里把某词当词条解释的段落 |
插件 wikipali find |
逐词 + fuzzy 按名次融合(RRF,k=60),前 3 段沿用逐词排序 | 回答具体问题的第一轮检索 |
bojjhaṅga)
与罕见的目标词同分,把前排占满。现在每个词的单词子句乘上罕见度权重:文档频率一次
_msearch 取齐、逐词缓存一天;IDF 取对数后差距太小,归一后再取 RARITY_EXPONENT 次幂;
下限 RARITY_WEIGHT_FLOOR。只作用于巴利文多词的 fuzzy / definition。1/(60+rank) 相加),不用对齐两边分数的尺度。前 3 段(agent 读全文的
部分)沿用逐词检索的轮流排序,其余名额按 RRF 补入。实现在插件 find。两套评测,脚本见下节「复现」。
v2/case 展开、search-pali-wbw 取全部段落再取交集——只用 v2 逐词表,不经 OpenSearch,
避免拿新接口给自己判卷。分两组跑:agent 当时实际选的词、选对的词。pali_terms 前 3 个。这个标准偏向现状
(引用本来就是现有检索找到的),新方法在这里持平即说明不倒退。指标:在相同阅读窗口(现状逐词检索合并后的段数)里命中几个标准段落;读全文的前 3 段命中几个; 逐题统计相对现状「更好 / 持平 / 更差」。
融合方式离线比较(同一份检索结果,只换合并方法):
| 方法 | 窗内命中 | 相对现状 好/平/差 | 前 3 命中 | 相对现状 好/平/差 |
|---|---|---|---|---|
| 现状:逐词检索 | 296 | — | 88 | — |
| 只用 definition | 200 | 18 / 67 / 63 | 74 | 27 / 83 / 38 |
| 只用 fuzzy | 215 | 36 / 49 / 63 | 65 | 28 / 71 / 49 |
| RRF 等权(逐词 + fuzzy + definition) | 311 | 31 / 98 / 19 | 80 | 24 / 93 / 31 |
| 保头部 + RRF(逐词 + fuzzy)← 采用 | 325 | 33 / 100 / 15(89%) | 88 | 0 / 148 / 0 |
find 不放它。罕见度加权(指数 4 对比不加权,逐题):fuzzy 好 25 / 平 113 / 差 10,definition 好 24 / 平 117 / 差 7。 指数 1 介于两者之间。采用指数 4。
| 关键词 | 现状 窗内 / 前3 | find 窗内 / 前3 |
只用 fuzzy 窗内 |
|---|---|---|---|
| agent 当时选的词 | 21 / 5 | 20 / 5 | 26 |
| 选对的词 | 28 / 8 | 33 / 8 | 80 |
find 为了保住前 3 段,
只吸收了其中一部分。本波只用现有索引能力。下面几项需要向量、模型或重建索引,放到下一波。
content.vector / summary.vector / title.vector(OpenAI embedding,1536 维,
faiss HNSW innerproduct),search_mode=semantic / hybrid 已存在。hybrid 是把 fuzzy 包成 constant_score 与 knn 分数直接相加,两边尺度不同,
权重靠 fuzzy_ratio / semantic_ratio 硬调。社区做法是按名次融合(RRF)。score-ranker-processor(search pipeline 里的 RRF);本地是 2.18,
要么升级,要么在 PHP 里按名次合并(与插件 find 同一套算法)。buddhist-nlp/mitra-qwen35-embedder,4096 维;2B 版 2048 维),支持巴利 / 梵 / 藏 / 汉互检,
模型卡称在跨语言检索上优于 BGE-M3、Qwen3-Embedding;没有找到针对巴利文的公开评测。path)、段落标题拼进被检索的文本与向量输入;summary.text 现在是空的,
可放中文摘要。解决「答案段落里没有主语」(偈颂里没出现人名,人名只在章节标题里)。path:失败题的标准段落路径里没有可借力的词,收益不明显,
所以没做;随 4.1 一起在建索引时做。pali_synonyms)展开,词典缺词形(如 vitakkāni)、复合词与
连音(koṭisanthāra、vassaṃvutthānaṃ)会漏。wbw_templates 里已有拆好的词与词根,
可给每段写一个词根字段进索引,比维护同义词表可靠。需要重建索引。/v3/tipitaka-chapters 里的 PHP 匹配)2026-11-11 新建了 GET /v3/tipitaka-chapters(取代 v2 search-title-index),q 的容错匹配写在 PHP 里
(App\Services\V3\TipitakaChapterService:去变音符号、去序号与丛书缩写、三字母粗筛 + 编辑距离,
外加公开译本的中文章节名),只用来先验证「按章节名定位」的效果。验证结果见 agent-poc
agent-tuning/docs/retrieval-recall-2026-11.md 第七节:插件 locate 一条路就让 148 道真实问题里
能作答的从 40 题(find 前 3 段)到 54 题,与 find 互补后 74 题。
正式实现要放到 OpenSearch,插件 locate 改调 /v3/search。
已有的基础:opensearch:index-tipitaka --granularity=chapter(IndexTipitaka::indexChapter)为每个
「章节 × channel」建一份文档(tipitaka_chapter_{book}-{para}_{channel},跳过逐词 channel):标题是该 channel
在章节起始段的第一句——巴利原文 channel 就是三藏标题,译文 channel 就是译文标题——正文是这一章到下一个标题之前
的文本,related_id = "{book}-{para}",granularity 是 chapter(level 1 为 book)。所以三藏标题与各译本的
章节标题都已在索引设计里,不需要另建字段。差距(本地索引 wikipali_20260813 只建了 paragraph 与 session,
章节文档要先补建):
| 需要 | 现状 | 要做 |
|---|---|---|
| 一章只出一条 | 每个 channel 一份文档,同一章会出几十条 | 查询用 collapse: {field: related_id}(keyword,可折叠),inner_hits 带回命中的是哪个标题 |
| 不出现私有译本 | 索引不分 channel 公开与否,私有译本的标题、正文都会被搜到;文档里也没写 metadata.channel(search() 的 channel 过滤对章节文档无效) |
建索引时写 metadata.channel 与公开状态,查询按公开过滤(或只索引公开 channel) |
| 不分变音符号 | title.text.pali 是 standard + lowercase,ā ≠ a |
加子字段:asciifolding + 去序号与括号缩写的 char_filter |
名字的一部分(parinibbāna 找 Mahāparinibbānasuttaṃ) |
复合词标题是一个 token | 加 3-gram 子字段,或对折叠后的 keyword 用 wildcard |
| 拼错一两个字母 | — | 折叠子字段用 fuzziness: AUTO;长复合词错得多时靠 ngram 的 minimum_should_match |
| 译文标题进对的语言字段 | 只有 zh* 写进 title.text.zh,其余语言(en、my…)都写进 title.text.pali(代码里有 TODO) |
按 channel 语言分字段;非巴利、非中文的另设字段或不进标题检索 |
| 坐标与体量 | 只有 related_id 字符串;章节文档没有 path、段数、字符数、layer |
写入 book / para / level / chapter_len / chapter_strlen / path / layer,locate 才能直接给出体量与路径 |
| 每本书最后一章 | indexChapter 求最后一章的结束段时调用了 $model->value('paragraph'),它会新开一个不带条件的查询,返回的是全表第一行的段号(实测 book 162 得到 858,真实最后一段是 4669),于是最后一章的范围为空、没有被索引 |
改成 PaliText::where('book', $book)->max('paragraph') |
做法:新 search_mode=title(或 granularity=chapter 时的默认),OpenSearchService 里建查询;插件 locate
改调 /v3/search,输出保持不变。验收:用 agent-tuning/eval/recall/eval_navigate.py + eval_judge.py
重跑,locate 一路不低于 PHP 版(留出集 54/148、调参集 10/11)。/v3/tipitaka-chapters 继续作为 v2 替代与
toc(按书列标题)的数据源,PHP 匹配不再扩展。
评测脚本目前放在开发机,没有进仓库:
eval_questions.py:调参集;python3 -I eval_questions.py out.json [good]eval_holdout.py:留出集;python3 -I eval_holdout.py qa_items.json out.json 150qa_items.json:从 agent-poc/agent-tuning/data/raw/mail/*/body.txt 抽出的问答条目都只调用本地 API(http://127.0.0.1:8000/api)。