Extract Grammaratur, Dregarnuhr, Geduldh, Mestionora, Ordoschnellic, Schutzaria, Kunstzeal and Seheweit behind compatible application contracts. Include accumulated editor resilience, navigation and theme UX, remote CLI, storage/schema and DR groundwork, tests and design/operations documentation. Verified: uncached full Go suite; go vet ./...; race tests for all eight components; 11 targeted Chromium tests; Node suites; 19 Python CLI tests; reproducible editor build. No push, release tag or deployment in this checkpoint.
8.5 KiB
Mestionora の検索と索引契約
2026-11-01、既存のSQLite検索・検索索引・City検索を internal/mestionora へ初期分離した。
検索の意味、順位、予算、HTTPレスポンス、索引の形式は維持する。
権限ポリシーそのものはアプリケーションが所有し、Mestionoraは渡された読み取り判定を適用する。
コンポーネント命名 と 検索結果の仕様 を併読する。
所有する処理
| 部品 | 責務 |
|---|---|
mestionora.SQLite |
Pageとファイルの候補抽出、絞り込み、順位付け、認可後の抜粋、H1サジェスト |
| City検索 | Domain内のQuartier・Street・Spotのメタデータ照合、祖先を含む認可、表示名・ポータルPathの射影 |
| 検索索引の初期化 | FTS5、現行Revisionの投影、既存のINSERT/DELETE trigger、従来のbackfill |
| store互換入口 | 従来の関数を委譲し、結果型・検索条件・エラーをaliasで維持 |
| server | Domainとscopeの解決、リクエストの権限ポリシー、日付のタイムゾーン変換、HTMLの安全な表示、URL生成 |
依存方向は server/store → mestionora → database/sql とHTML tokenizer。
現段階はSQLite実装であり、ストレージから独立した検索サービスではない。
DB接続の作成・所有、認証、認可ルール、Documentの正本保存、外部検索への送信は担当しない。
Component = "mestionora" は内部識別名であり、公開URLやDB名を変更しない。
呼出し契約と互換性
NewSQLite(db) は接続プールを借用するだけで、I/O・DDL・索引再構成を行わない。
EnsureSearchIndexSchema は従来の起動経路から明示的に呼ぶ。
検索リクエストから初期化・migrationを起動しないため、読み取り専用接続でも検索できる。
SearchPathsInDomainFiltered:追加のファイル・日付条件を使わない、認可付きキーワード検索。SearchPathsInDomainWithOptions:ファイル種別、拡張子、更新日/作成日を組み合わせたPage検索。SearchPathSuggestionsInDomain:本文抜粋を生成しない候補検索。許可されたHTML結果だけにH1を補う。SearchCityInDomain:Cityのメタデータ検索。全CityMapや配下Pageの展開はしない。
新入口はすべて allowed func(path string) bool を要求する。nilなら結果を返さない。
旧 Store.SearchPathsInDomain の全許可入口は信頼された既存呼出しとの互換のためにだけ残し、
Mestionoraには移さない。HTTPの検索・サジェストはMestionoraへ直接、要求ごとの判定を渡す。
旧 SearchResult、PathSuggestion、SearchOptions、CitySearchResult の型とメソッド、
ErrInvalidSearchOptions の同一性を保持する。H1とCity表示名の共通投影は一つの実装へ委譲する。
UI・URI・GETパラメーター・JSON、表示順位、Domain/Path/Revisionの識別子は変更しない。
認可と読み取りの境界
Page検索は現在のDomain・scope・フィルターに合う候補をSQLで絞り、Path単位の認可を行う。 同じ文書に公開と非公開のaliasがあっても、非公開Pathを別名として返さない。 本文抜粋・要約・H1は許可された表示対象にだけ補う。FTS自体は非公開データも含む索引を 走査するので、「非公開文書の索引を一切読まない」という保証ではない。 未許可候補の件数、Path、ファイル名、タイトル、抜粋は返さず、全件拒否は通常の空結果とする。
City結果は境界PathとQuartier・Street祖先のすべてを確認する。 未分類Spotのポータルを親Streetへ向ける既存の投影と、親側の判定を維持する。 Mestionoraはユーザー間・Domain間で結果や許可判定を共有キャッシュしない。
Pageの候補と抜粋は同じ読み取りtransactionで扱う。認可callbackもその中で呼ぶため、
事前読込済みの判定が望ましい。現行アプリケーションでは /u/ のユーザー領域ポリシーに
遅延DB参照が残る。このcallbackを使う場合は別接続の余力が必要であり、プールを1本へ制限すると
待ち合わせ・timeoutの原因になる。Cityは候補transactionを終了してから認可する。
認可とPage検索を別snapshotへ分割する変更は、Path/Revisionの再検証と合わせた後続設計とする。
検索データはHTMLとして信頼しない。抜粋の文字列化・script/style除去・強調表示と リンクのエンコードは既存のserver/template経路で行う。H1抽出はsanitizerではない。
保持する検索予算と意味
| 項目 | 上限・動作 |
|---|---|
| Page/Cityの入力 | 512 bytes・16語まで |
| Page候補 | Path/filename部分一致、本文FTS、filename FTSの各streamで1,000件まで |
| Page結果 | 既定100件、最大200件。認可後に順位付け・表示上限を適用 |
| City候補・結果 | 種類ごとに1,000候補、許可された結果は最大30件 |
| 検索時間 | 各検索2秒。HTTPはCityとPageで2秒を共有 |
| 本文snippet | 1文書64 KiB、重複Revisionを除いた合計1 MiB、追加処理の時間予算400 ms |
| サジェストHTTP | 700 ms、Page最大8件・City最大4件。Cityは任意の補足 |
Domain・scope・ファイル/日付条件を候補LIMITより先に適用する。 FTS-firstのCROSS JOIN、現行RevisionとPathへの索引参照、rowidで限定したsnippet取得を維持する。 通常検索でDocumentファイルをstatしたり、全件数を数えたりしない。 大きい本文やsnippet予算超過は抜粋だけ省略し、許可されたヒットは残す。
FTSは各語を引用したprefix条件をANDで結合する。入力中の演算子や引用符をSQL/FTSの命令として
扱わない。Path scopeは既存の正規化と区間比較を使い、%・_ をワイルドカードにしない。
MIMEと拡張子の優先順位、日付の半開区間、Cityにファイル種別を適用しない規則も変更しない。
今回の是正点として、Pageの認可中にcontextが取り消された場合は返却直前にも検査し、 候補が残っていても部分的な成功として返さない。DBエラーのHTTP出力は従来どおり一般化する。
索引と残件
revision_search、revision_search_state、latest_revision_index、search_schema_state、
既存triggerとbackfill SQLは名称・内容を維持した。分離による新しいmigrationや索引再作成は不要。
起動時の従来の整備処理がなくなったわけではない。
- ユーザー領域を含む読み取りポリシーの事前読込と予算を整理し、接続1本でも認可中に待ち合わない構造にする。
- 現行Revisionのみ・Domain別の索引、更新watermark、継続取得を設計する。現候補上限は網羅的な検索を保証しない。
- 日本語の中間一致、HTMLの可視テキスト化、言語別順位と対象Revisionの選択をmigration付きで整備する。
- 現状の最新RevisionはObject単位であり、言語別検索ではない。履歴検索・言語別検索の意味を別途決める。
- 既存FTS backfillとtrigger再作成の起動コスト、再開可能性、readinessを整理する。
- H1取得を索引メタデータへ移す。現在は認可後にDB本文の先頭65,536文字を取得する互換処理。
- 外部検索・関連性検索は別provider契約とし、認可済みの範囲・送信先・送信内容を明示する。
- 結果cacheを追加する場合はDomain、principal、policy version、索引versionを含め、失効を先に実装する。
検証と反映
合成データと一時DBで新旧入口の一致、nil/拒否ポリシー、alias・Domain・リクエスト分離、 認可後の抜粋とH1、キャンセル、読み取り専用動作、FTS/Cityの実行計画を検証する。 既存の600 Page / 1,200 Revision試験、City祖先認可、MIME・日付条件、XSS回帰試験を維持する。 Chromiumではデスクトップ・モバイルの3表示モード、City先頭表示、絞り込み、リンクを確認する。
実行結果は コンポーネント検証記録 に記載する。 本番DBの診断や外部カレンダー内容へのアクセスは行わない。commit・push・本番反映は別操作とする。