Files
Anya Tokugawa d5d21b7841
Build and publish container images / images (push) Successful in 9m34s
Release container images / release (push) Successful in 36s
Refactor architecture into eight components and consolidate reliability work
Extract Grammaratur, Dregarnuhr, Geduldh, Mestionora, Ordoschnellic, Schutzaria, Kunstzeal and Seheweit behind compatible application contracts.

Include accumulated editor resilience, navigation and theme UX, remote CLI, storage/schema and DR groundwork, tests and design/operations documentation.

Verified: uncached full Go suite; go vet ./...; race tests for all eight components; 11 targeted Chromium tests; Node suites; 19 Python CLI tests; reproducible editor build. No push, release tag or deployment in this checkpoint.
2026-11-01 15:23:31 +09:00

8.5 KiB

Mestionora の検索と索引契約

2026-11-01、既存のSQLite検索・検索索引・City検索を internal/mestionora へ初期分離した。 検索の意味、順位、予算、HTTPレスポンス、索引の形式は維持する。 権限ポリシーそのものはアプリケーションが所有し、Mestionoraは渡された読み取り判定を適用する。 コンポーネント命名 と 検索結果の仕様 を併読する。

所有する処理

部品 責務
mestionora.SQLite Pageとファイルの候補抽出、絞り込み、順位付け、認可後の抜粋、H1サジェスト
City検索 Domain内のQuartier・Street・Spotのメタデータ照合、祖先を含む認可、表示名・ポータルPathの射影
検索索引の初期化 FTS5、現行Revisionの投影、既存のINSERT/DELETE trigger、従来のbackfill
store互換入口 従来の関数を委譲し、結果型・検索条件・エラーをaliasで維持
server Domainとscopeの解決、リクエストの権限ポリシー、日付のタイムゾーン変換、HTMLの安全な表示、URL生成

依存方向は server/store → mestionora → database/sql とHTML tokenizer。 現段階はSQLite実装であり、ストレージから独立した検索サービスではない。 DB接続の作成・所有、認証、認可ルール、Documentの正本保存、外部検索への送信は担当しない。 Component = "mestionora" は内部識別名であり、公開URLやDB名を変更しない。

呼出し契約と互換性

NewSQLite(db) は接続プールを借用するだけで、I/O・DDL・索引再構成を行わない。 EnsureSearchIndexSchema は従来の起動経路から明示的に呼ぶ。 検索リクエストから初期化・migrationを起動しないため、読み取り専用接続でも検索できる。

  • SearchPathsInDomainFiltered:追加のファイル・日付条件を使わない、認可付きキーワード検索。
  • SearchPathsInDomainWithOptions:ファイル種別、拡張子、更新日/作成日を組み合わせたPage検索。
  • SearchPathSuggestionsInDomain:本文抜粋を生成しない候補検索。許可されたHTML結果だけにH1を補う。
  • SearchCityInDomain:Cityのメタデータ検索。全CityMapや配下Pageの展開はしない。

新入口はすべて allowed func(path string) bool を要求する。nilなら結果を返さない。 旧 Store.SearchPathsInDomain の全許可入口は信頼された既存呼出しとの互換のためにだけ残し、 Mestionoraには移さない。HTTPの検索・サジェストはMestionoraへ直接、要求ごとの判定を渡す。

旧 SearchResult、PathSuggestion、SearchOptions、CitySearchResult の型とメソッド、 ErrInvalidSearchOptions の同一性を保持する。H1とCity表示名の共通投影は一つの実装へ委譲する。 UI・URI・GETパラメーター・JSON、表示順位、Domain/Path/Revisionの識別子は変更しない。

認可と読み取りの境界

Page検索は現在のDomain・scope・フィルターに合う候補をSQLで絞り、Path単位の認可を行う。 同じ文書に公開と非公開のaliasがあっても、非公開Pathを別名として返さない。 本文抜粋・要約・H1は許可された表示対象にだけ補う。FTS自体は非公開データも含む索引を 走査するので、「非公開文書の索引を一切読まない」という保証ではない。 未許可候補の件数、Path、ファイル名、タイトル、抜粋は返さず、全件拒否は通常の空結果とする。

City結果は境界PathとQuartier・Street祖先のすべてを確認する。 未分類Spotのポータルを親Streetへ向ける既存の投影と、親側の判定を維持する。 Mestionoraはユーザー間・Domain間で結果や許可判定を共有キャッシュしない。

Pageの候補と抜粋は同じ読み取りtransactionで扱う。認可callbackもその中で呼ぶため、 事前読込済みの判定が望ましい。現行アプリケーションでは /u/ のユーザー領域ポリシーに 遅延DB参照が残る。このcallbackを使う場合は別接続の余力が必要であり、プールを1本へ制限すると 待ち合わせ・timeoutの原因になる。Cityは候補transactionを終了してから認可する。 認可とPage検索を別snapshotへ分割する変更は、Path/Revisionの再検証と合わせた後続設計とする。

検索データはHTMLとして信頼しない。抜粋の文字列化・script/style除去・強調表示と リンクのエンコードは既存のserver/template経路で行う。H1抽出はsanitizerではない。

保持する検索予算と意味

項目 上限・動作
Page/Cityの入力 512 bytes・16語まで
Page候補 Path/filename部分一致、本文FTS、filename FTSの各streamで1,000件まで
Page結果 既定100件、最大200件。認可後に順位付け・表示上限を適用
City候補・結果 種類ごとに1,000候補、許可された結果は最大30件
検索時間 各検索2秒。HTTPはCityとPageで2秒を共有
本文snippet 1文書64 KiB、重複Revisionを除いた合計1 MiB、追加処理の時間予算400 ms
サジェストHTTP 700 ms、Page最大8件・City最大4件。Cityは任意の補足

Domain・scope・ファイル/日付条件を候補LIMITより先に適用する。 FTS-firstのCROSS JOIN、現行RevisionとPathへの索引参照、rowidで限定したsnippet取得を維持する。 通常検索でDocumentファイルをstatしたり、全件数を数えたりしない。 大きい本文やsnippet予算超過は抜粋だけ省略し、許可されたヒットは残す。

FTSは各語を引用したprefix条件をANDで結合する。入力中の演算子や引用符をSQL/FTSの命令として 扱わない。Path scopeは既存の正規化と区間比較を使い、%・_ をワイルドカードにしない。 MIMEと拡張子の優先順位、日付の半開区間、Cityにファイル種別を適用しない規則も変更しない。

今回の是正点として、Pageの認可中にcontextが取り消された場合は返却直前にも検査し、 候補が残っていても部分的な成功として返さない。DBエラーのHTTP出力は従来どおり一般化する。

索引と残件

revision_search、revision_search_state、latest_revision_index、search_schema_state、 既存triggerとbackfill SQLは名称・内容を維持した。分離による新しいmigrationや索引再作成は不要。 起動時の従来の整備処理がなくなったわけではない。

  • ユーザー領域を含む読み取りポリシーの事前読込と予算を整理し、接続1本でも認可中に待ち合わない構造にする。
  • 現行Revisionのみ・Domain別の索引、更新watermark、継続取得を設計する。現候補上限は網羅的な検索を保証しない。
  • 日本語の中間一致、HTMLの可視テキスト化、言語別順位と対象Revisionの選択をmigration付きで整備する。
  • 現状の最新RevisionはObject単位であり、言語別検索ではない。履歴検索・言語別検索の意味を別途決める。
  • 既存FTS backfillとtrigger再作成の起動コスト、再開可能性、readinessを整理する。
  • H1取得を索引メタデータへ移す。現在は認可後にDB本文の先頭65,536文字を取得する互換処理。
  • 外部検索・関連性検索は別provider契約とし、認可済みの範囲・送信先・送信内容を明示する。
  • 結果cacheを追加する場合はDomain、principal、policy version、索引versionを含め、失効を先に実装する。

検証と反映

合成データと一時DBで新旧入口の一致、nil/拒否ポリシー、alias・Domain・リクエスト分離、 認可後の抜粋とH1、キャンセル、読み取り専用動作、FTS/Cityの実行計画を検証する。 既存の600 Page / 1,200 Revision試験、City祖先認可、MIME・日付条件、XSS回帰試験を維持する。 Chromiumではデスクトップ・モバイルの3表示モード、City先頭表示、絞り込み、リンクを確認する。

実行結果は コンポーネント検証記録 に記載する。 本番DBの診断や外部カレンダー内容へのアクセスは行わない。commit・push・本番反映は別操作とする。