Extract Grammaratur, Dregarnuhr, Geduldh, Mestionora, Ordoschnellic, Schutzaria, Kunstzeal and Seheweit behind compatible application contracts. Include accumulated editor resilience, navigation and theme UX, remote CLI, storage/schema and DR groundwork, tests and design/operations documentation. Verified: uncached full Go suite; go vet ./...; race tests for all eight components; 11 targeted Chromium tests; Node suites; 19 Python CLI tests; reproducible editor build. No push, release tag or deployment in this checkpoint.
111 lines
8.5 KiB
Markdown
111 lines
8.5 KiB
Markdown
# Mestionora の検索と索引契約
|
|
|
|
2026-11-01、既存のSQLite検索・検索索引・City検索を `internal/mestionora` へ初期分離した。
|
|
検索の意味、順位、予算、HTTPレスポンス、索引の形式は維持する。
|
|
権限ポリシーそのものはアプリケーションが所有し、Mestionoraは渡された読み取り判定を適用する。
|
|
[コンポーネント命名](component-names.md) と [検索結果の仕様](../search-results.md) を併読する。
|
|
|
|
## 所有する処理
|
|
|
|
| 部品 | 責務 |
|
|
| --- | --- |
|
|
| `mestionora.SQLite` | Pageとファイルの候補抽出、絞り込み、順位付け、認可後の抜粋、H1サジェスト |
|
|
| City検索 | Domain内のQuartier・Street・Spotのメタデータ照合、祖先を含む認可、表示名・ポータルPathの射影 |
|
|
| 検索索引の初期化 | FTS5、現行Revisionの投影、既存のINSERT/DELETE trigger、従来のbackfill |
|
|
| store互換入口 | 従来の関数を委譲し、結果型・検索条件・エラーをaliasで維持 |
|
|
| server | Domainとscopeの解決、リクエストの権限ポリシー、日付のタイムゾーン変換、HTMLの安全な表示、URL生成 |
|
|
|
|
依存方向は server/store → mestionora → database/sql とHTML tokenizer。
|
|
現段階はSQLite実装であり、ストレージから独立した検索サービスではない。
|
|
DB接続の作成・所有、認証、認可ルール、Documentの正本保存、外部検索への送信は担当しない。
|
|
`Component = "mestionora"` は内部識別名であり、公開URLやDB名を変更しない。
|
|
|
|
## 呼出し契約と互換性
|
|
|
|
`NewSQLite(db)` は接続プールを借用するだけで、I/O・DDL・索引再構成を行わない。
|
|
`EnsureSearchIndexSchema` は従来の起動経路から明示的に呼ぶ。
|
|
検索リクエストから初期化・migrationを起動しないため、読み取り専用接続でも検索できる。
|
|
|
|
- `SearchPathsInDomainFiltered`:追加のファイル・日付条件を使わない、認可付きキーワード検索。
|
|
- `SearchPathsInDomainWithOptions`:ファイル種別、拡張子、更新日/作成日を組み合わせたPage検索。
|
|
- `SearchPathSuggestionsInDomain`:本文抜粋を生成しない候補検索。許可されたHTML結果だけにH1を補う。
|
|
- `SearchCityInDomain`:Cityのメタデータ検索。全CityMapや配下Pageの展開はしない。
|
|
|
|
新入口はすべて `allowed func(path string) bool` を要求する。nilなら結果を返さない。
|
|
旧 `Store.SearchPathsInDomain` の全許可入口は信頼された既存呼出しとの互換のためにだけ残し、
|
|
Mestionoraには移さない。HTTPの検索・サジェストはMestionoraへ直接、要求ごとの判定を渡す。
|
|
|
|
旧 `SearchResult`、`PathSuggestion`、`SearchOptions`、`CitySearchResult` の型とメソッド、
|
|
`ErrInvalidSearchOptions` の同一性を保持する。H1とCity表示名の共通投影は一つの実装へ委譲する。
|
|
UI・URI・GETパラメーター・JSON、表示順位、Domain/Path/Revisionの識別子は変更しない。
|
|
|
|
## 認可と読み取りの境界
|
|
|
|
Page検索は現在のDomain・scope・フィルターに合う候補をSQLで絞り、Path単位の認可を行う。
|
|
同じ文書に公開と非公開のaliasがあっても、非公開Pathを別名として返さない。
|
|
本文抜粋・要約・H1は許可された表示対象にだけ補う。FTS自体は非公開データも含む索引を
|
|
走査するので、「非公開文書の索引を一切読まない」という保証ではない。
|
|
未許可候補の件数、Path、ファイル名、タイトル、抜粋は返さず、全件拒否は通常の空結果とする。
|
|
|
|
City結果は境界PathとQuartier・Street祖先のすべてを確認する。
|
|
未分類Spotのポータルを親Streetへ向ける既存の投影と、親側の判定を維持する。
|
|
Mestionoraはユーザー間・Domain間で結果や許可判定を共有キャッシュしない。
|
|
|
|
Pageの候補と抜粋は同じ読み取りtransactionで扱う。認可callbackもその中で呼ぶため、
|
|
事前読込済みの判定が望ましい。現行アプリケーションでは `/u/` のユーザー領域ポリシーに
|
|
遅延DB参照が残る。このcallbackを使う場合は別接続の余力が必要であり、プールを1本へ制限すると
|
|
待ち合わせ・timeoutの原因になる。Cityは候補transactionを終了してから認可する。
|
|
認可とPage検索を別snapshotへ分割する変更は、Path/Revisionの再検証と合わせた後続設計とする。
|
|
|
|
検索データはHTMLとして信頼しない。抜粋の文字列化・script/style除去・強調表示と
|
|
リンクのエンコードは既存のserver/template経路で行う。H1抽出はsanitizerではない。
|
|
|
|
## 保持する検索予算と意味
|
|
|
|
| 項目 | 上限・動作 |
|
|
| --- | --- |
|
|
| Page/Cityの入力 | 512 bytes・16語まで |
|
|
| Page候補 | Path/filename部分一致、本文FTS、filename FTSの各streamで1,000件まで |
|
|
| Page結果 | 既定100件、最大200件。認可後に順位付け・表示上限を適用 |
|
|
| City候補・結果 | 種類ごとに1,000候補、許可された結果は最大30件 |
|
|
| 検索時間 | 各検索2秒。HTTPはCityとPageで2秒を共有 |
|
|
| 本文snippet | 1文書64 KiB、重複Revisionを除いた合計1 MiB、追加処理の時間予算400 ms |
|
|
| サジェストHTTP | 700 ms、Page最大8件・City最大4件。Cityは任意の補足 |
|
|
|
|
Domain・scope・ファイル/日付条件を候補LIMITより先に適用する。
|
|
FTS-firstのCROSS JOIN、現行RevisionとPathへの索引参照、rowidで限定したsnippet取得を維持する。
|
|
通常検索でDocumentファイルをstatしたり、全件数を数えたりしない。
|
|
大きい本文やsnippet予算超過は抜粋だけ省略し、許可されたヒットは残す。
|
|
|
|
FTSは各語を引用したprefix条件をANDで結合する。入力中の演算子や引用符をSQL/FTSの命令として
|
|
扱わない。Path scopeは既存の正規化と区間比較を使い、`%`・`_` をワイルドカードにしない。
|
|
MIMEと拡張子の優先順位、日付の半開区間、Cityにファイル種別を適用しない規則も変更しない。
|
|
|
|
今回の是正点として、Pageの認可中にcontextが取り消された場合は返却直前にも検査し、
|
|
候補が残っていても部分的な成功として返さない。DBエラーのHTTP出力は従来どおり一般化する。
|
|
|
|
## 索引と残件
|
|
|
|
`revision_search`、`revision_search_state`、`latest_revision_index`、`search_schema_state`、
|
|
既存triggerとbackfill SQLは名称・内容を維持した。分離による新しいmigrationや索引再作成は不要。
|
|
起動時の従来の整備処理がなくなったわけではない。
|
|
|
|
- [ ] ユーザー領域を含む読み取りポリシーの事前読込と予算を整理し、接続1本でも認可中に待ち合わない構造にする。
|
|
- [ ] 現行Revisionのみ・Domain別の索引、更新watermark、継続取得を設計する。現候補上限は網羅的な検索を保証しない。
|
|
- [ ] 日本語の中間一致、HTMLの可視テキスト化、言語別順位と対象Revisionの選択をmigration付きで整備する。
|
|
- [ ] 現状の最新RevisionはObject単位であり、言語別検索ではない。履歴検索・言語別検索の意味を別途決める。
|
|
- [ ] 既存FTS backfillとtrigger再作成の起動コスト、再開可能性、readinessを整理する。
|
|
- [ ] H1取得を索引メタデータへ移す。現在は認可後にDB本文の先頭65,536文字を取得する互換処理。
|
|
- [ ] 外部検索・関連性検索は別provider契約とし、認可済みの範囲・送信先・送信内容を明示する。
|
|
- [ ] 結果cacheを追加する場合はDomain、principal、policy version、索引versionを含め、失効を先に実装する。
|
|
|
|
## 検証と反映
|
|
|
|
合成データと一時DBで新旧入口の一致、nil/拒否ポリシー、alias・Domain・リクエスト分離、
|
|
認可後の抜粋とH1、キャンセル、読み取り専用動作、FTS/Cityの実行計画を検証する。
|
|
既存の600 Page / 1,200 Revision試験、City祖先認可、MIME・日付条件、XSS回帰試験を維持する。
|
|
Chromiumではデスクトップ・モバイルの3表示モード、City先頭表示、絞り込み、リンクを確認する。
|
|
|
|
実行結果は [コンポーネント検証記録](component-names.md#検証記録) に記載する。
|
|
本番DBの診断や外部カレンダー内容へのアクセスは行わない。commit・push・本番反映は別操作とする。
|