# Mestionora の検索と索引契約 2026-11-01、既存のSQLite検索・検索索引・City検索を `internal/mestionora` へ初期分離した。 検索の意味、順位、予算、HTTPレスポンス、索引の形式は維持する。 権限ポリシーそのものはアプリケーションが所有し、Mestionoraは渡された読み取り判定を適用する。 [コンポーネント命名](component-names.md) と [検索結果の仕様](../search-results.md) を併読する。 ## 所有する処理 | 部品 | 責務 | | --- | --- | | `mestionora.SQLite` | Pageとファイルの候補抽出、絞り込み、順位付け、認可後の抜粋、H1サジェスト | | City検索 | Domain内のQuartier・Street・Spotのメタデータ照合、祖先を含む認可、表示名・ポータルPathの射影 | | 検索索引の初期化 | FTS5、現行Revisionの投影、既存のINSERT/DELETE trigger、従来のbackfill | | store互換入口 | 従来の関数を委譲し、結果型・検索条件・エラーをaliasで維持 | | server | Domainとscopeの解決、リクエストの権限ポリシー、日付のタイムゾーン変換、HTMLの安全な表示、URL生成 | 依存方向は server/store → mestionora → database/sql とHTML tokenizer。 現段階はSQLite実装であり、ストレージから独立した検索サービスではない。 DB接続の作成・所有、認証、認可ルール、Documentの正本保存、外部検索への送信は担当しない。 `Component = "mestionora"` は内部識別名であり、公開URLやDB名を変更しない。 ## 呼出し契約と互換性 `NewSQLite(db)` は接続プールを借用するだけで、I/O・DDL・索引再構成を行わない。 `EnsureSearchIndexSchema` は従来の起動経路から明示的に呼ぶ。 検索リクエストから初期化・migrationを起動しないため、読み取り専用接続でも検索できる。 - `SearchPathsInDomainFiltered`:追加のファイル・日付条件を使わない、認可付きキーワード検索。 - `SearchPathsInDomainWithOptions`:ファイル種別、拡張子、更新日/作成日を組み合わせたPage検索。 - `SearchPathSuggestionsInDomain`:本文抜粋を生成しない候補検索。許可されたHTML結果だけにH1を補う。 - `SearchCityInDomain`:Cityのメタデータ検索。全CityMapや配下Pageの展開はしない。 新入口はすべて `allowed func(path string) bool` を要求する。nilなら結果を返さない。 旧 `Store.SearchPathsInDomain` の全許可入口は信頼された既存呼出しとの互換のためにだけ残し、 Mestionoraには移さない。HTTPの検索・サジェストはMestionoraへ直接、要求ごとの判定を渡す。 旧 `SearchResult`、`PathSuggestion`、`SearchOptions`、`CitySearchResult` の型とメソッド、 `ErrInvalidSearchOptions` の同一性を保持する。H1とCity表示名の共通投影は一つの実装へ委譲する。 UI・URI・GETパラメーター・JSON、表示順位、Domain/Path/Revisionの識別子は変更しない。 ## 認可と読み取りの境界 Page検索は現在のDomain・scope・フィルターに合う候補をSQLで絞り、Path単位の認可を行う。 同じ文書に公開と非公開のaliasがあっても、非公開Pathを別名として返さない。 本文抜粋・要約・H1は許可された表示対象にだけ補う。FTS自体は非公開データも含む索引を 走査するので、「非公開文書の索引を一切読まない」という保証ではない。 未許可候補の件数、Path、ファイル名、タイトル、抜粋は返さず、全件拒否は通常の空結果とする。 City結果は境界PathとQuartier・Street祖先のすべてを確認する。 未分類Spotのポータルを親Streetへ向ける既存の投影と、親側の判定を維持する。 Mestionoraはユーザー間・Domain間で結果や許可判定を共有キャッシュしない。 Pageの候補と抜粋は同じ読み取りtransactionで扱う。認可callbackもその中で呼ぶため、 事前読込済みの判定が望ましい。現行アプリケーションでは `/u/` のユーザー領域ポリシーに 遅延DB参照が残る。このcallbackを使う場合は別接続の余力が必要であり、プールを1本へ制限すると 待ち合わせ・timeoutの原因になる。Cityは候補transactionを終了してから認可する。 認可とPage検索を別snapshotへ分割する変更は、Path/Revisionの再検証と合わせた後続設計とする。 検索データはHTMLとして信頼しない。抜粋の文字列化・script/style除去・強調表示と リンクのエンコードは既存のserver/template経路で行う。H1抽出はsanitizerではない。 ## 保持する検索予算と意味 | 項目 | 上限・動作 | | --- | --- | | Page/Cityの入力 | 512 bytes・16語まで | | Page候補 | Path/filename部分一致、本文FTS、filename FTSの各streamで1,000件まで | | Page結果 | 既定100件、最大200件。認可後に順位付け・表示上限を適用 | | City候補・結果 | 種類ごとに1,000候補、許可された結果は最大30件 | | 検索時間 | 各検索2秒。HTTPはCityとPageで2秒を共有 | | 本文snippet | 1文書64 KiB、重複Revisionを除いた合計1 MiB、追加処理の時間予算400 ms | | サジェストHTTP | 700 ms、Page最大8件・City最大4件。Cityは任意の補足 | Domain・scope・ファイル/日付条件を候補LIMITより先に適用する。 FTS-firstのCROSS JOIN、現行RevisionとPathへの索引参照、rowidで限定したsnippet取得を維持する。 通常検索でDocumentファイルをstatしたり、全件数を数えたりしない。 大きい本文やsnippet予算超過は抜粋だけ省略し、許可されたヒットは残す。 FTSは各語を引用したprefix条件をANDで結合する。入力中の演算子や引用符をSQL/FTSの命令として 扱わない。Path scopeは既存の正規化と区間比較を使い、`%`・`_` をワイルドカードにしない。 MIMEと拡張子の優先順位、日付の半開区間、Cityにファイル種別を適用しない規則も変更しない。 今回の是正点として、Pageの認可中にcontextが取り消された場合は返却直前にも検査し、 候補が残っていても部分的な成功として返さない。DBエラーのHTTP出力は従来どおり一般化する。 ## 索引と残件 `revision_search`、`revision_search_state`、`latest_revision_index`、`search_schema_state`、 既存triggerとbackfill SQLは名称・内容を維持した。分離による新しいmigrationや索引再作成は不要。 起動時の従来の整備処理がなくなったわけではない。 - [ ] ユーザー領域を含む読み取りポリシーの事前読込と予算を整理し、接続1本でも認可中に待ち合わない構造にする。 - [ ] 現行Revisionのみ・Domain別の索引、更新watermark、継続取得を設計する。現候補上限は網羅的な検索を保証しない。 - [ ] 日本語の中間一致、HTMLの可視テキスト化、言語別順位と対象Revisionの選択をmigration付きで整備する。 - [ ] 現状の最新RevisionはObject単位であり、言語別検索ではない。履歴検索・言語別検索の意味を別途決める。 - [ ] 既存FTS backfillとtrigger再作成の起動コスト、再開可能性、readinessを整理する。 - [ ] H1取得を索引メタデータへ移す。現在は認可後にDB本文の先頭65,536文字を取得する互換処理。 - [ ] 外部検索・関連性検索は別provider契約とし、認可済みの範囲・送信先・送信内容を明示する。 - [ ] 結果cacheを追加する場合はDomain、principal、policy version、索引versionを含め、失効を先に実装する。 ## 検証と反映 合成データと一時DBで新旧入口の一致、nil/拒否ポリシー、alias・Domain・リクエスト分離、 認可後の抜粋とH1、キャンセル、読み取り専用動作、FTS/Cityの実行計画を検証する。 既存の600 Page / 1,200 Revision試験、City祖先認可、MIME・日付条件、XSS回帰試験を維持する。 Chromiumではデスクトップ・モバイルの3表示モード、City先頭表示、絞り込み、リンクを確認する。 実行結果は [コンポーネント検証記録](component-names.md#検証記録) に記載する。 本番DBの診断や外部カレンダー内容へのアクセスは行わない。commit・push・本番反映は別操作とする。