Fix event log writer contention and report persistence failures safely
Take the SQLite writer lock before reading job/policy facts, bound acquisition and cancellation, preserve atomic raw logs and counters, and avoid replaying successful business operations on logging failure. Tested the isolated nine-file release slice with the full Go suite, race tests and go vet.
This commit is contained in:
1 parent
0f686aa2fb
commit
a36934e72c
9 files changed
+537
-37
No files matched your search
@@ -71,9 +71,47 @@ SQLiteの単一 `UPDATE ... RETURNING` で選択とclaimを行い、同じジョ
|
||||
3. 業務ハンドラーのpanicを失敗として記録・再試行対象にする。panicの内容自体は記録しない。
|
||||
4. キャンセル状態のDB読込失敗を「キャンセルなし」と扱わない。業務処理を止め、失敗経路へ送る。
|
||||
5. worker contextが取り消されても、独立した5秒contextで完了保存を試みる。
|
||||
保存失敗はログへ出す。旧式の設定・ログ用DB呼出しにはcontext未対応部分が残るため、
|
||||
保存失敗はログへ出す。旧式の設定用DB呼出しにはcontext未対応部分が残るため、
|
||||
保存処理全体の厳密な5秒上限を保証するものではない。
|
||||
|
||||
## v0.2.0後の優先修正:ログ保存競合
|
||||
|
||||
2026-11-01、ソース実装・合成データ検証。本番未反映。基点は `0f686aa`。
|
||||
v0.2.0本番観察で開始ログ保存のSQLITE_BUSY_SNAPSHOT(517)が発生したため、
|
||||
読取transactionをwriterへ昇格させる `AddEventLog` を修正した。
|
||||
|
||||
- `AddEventLogContext` は専用接続の `BEGIN IMMEDIATE` で書込権を先に取得し、
|
||||
イベント型/保持policyの読取、rawログ、集約bucketを同じtransaction内で扱う。
|
||||
DBスキーマ・公開API・ジョブの実行規則は変更しない。
|
||||
- 予算は最大2秒、呼出し元に短い期限があればそちらを優先する。
|
||||
接続取得後のSQLite busy待機を50msに限定し、BEGINのBUSYだけを10〜80ms間隔で再試行する。
|
||||
書込開始後やCOMMIT応答不明時の再送はしない。これにより内部retryの二重集計を避ける。
|
||||
OS/接続初期化/ドライバの停止までを含む厳密な実時間保証ではない。
|
||||
- 取消時も独立した最大1秒のcleanupでROLLBACKと接続のbusy_timeout復元を試みる。
|
||||
transaction状態や待機設定を確定できない接続はpoolへ戻さない。
|
||||
- 通常のイベント型取得はJob UUIDの主キー検索。履歴全走査やOR条件のsortを
|
||||
writer lock内で行わない。Job不在かつEvent UUID指定時のみ従来のfallbackを使う。
|
||||
空のEvent UUIDで無関係なジョブを拾わない。DB読取エラーを既定policyで隠さない。
|
||||
- rawログとbucketの途中失敗は両方rollback。ログ保存が成功した場合のみ両方を確定する。
|
||||
これはログ呼出し間のexactly-once保証ではなく、単一呼出し内の原子性である。
|
||||
- 完了状態を保存後にログだけ失敗した場合は `ErrEventCompletionLog` を返す。
|
||||
server adapterは `finish-log failed` として報告し、完了状態を失敗へ変えたり
|
||||
成功した業務処理を再実行したりしない。開始/進捗の失敗も別stageで報告する。
|
||||
- ログ保存失敗の診断はcomponent、Job UUID、イベント型、エラー分類/SQLite codeだけ。
|
||||
ドライバの生メッセージ、SQL、進捗本文、payload、認証情報はcomposeログへ転載しない。
|
||||
|
||||
受入試験は独立8接続の320件ログと別writer、原子rollback、取消後の再利用・待機設定復元、
|
||||
readonly、空ID誤分類、policy読取失敗、主キー利用、完了/retry状態の維持、
|
||||
開始・進捗・完了の失敗診断と秘密の非露出を対象とする。
|
||||
|
||||
全Goテスト(`go test ./... -count=1`)、全Go vet、関連store/server試験のrace検査
|
||||
(3回)が成功。通常の関連store試験は20回反復して確認した。
|
||||
テストは一時DBと合成ジョブのみ。本番DB・外部カレンダー・実通知先は使用しない。
|
||||
|
||||
長時間ロックで保存できなかったログの自動回収、完了状態とログ自体の一体commit、
|
||||
event-only fallback検索や保持処理の最適化は後続。v0.2.0タグは変更せず、
|
||||
本番反映時は新しいPATCH版として別途検証・公開する。
|
||||
|
||||
## 未実装:リース・HA・終了処理
|
||||
|
||||
**atomic claimは期限付きリースではない。現時点は単一writerプロセスの運用を前提とする。**
|
||||
@@ -88,7 +126,8 @@ exactly-onceの配送・実行は保証しない。外部副作用の冪等性
|
||||
- [ ] 成功後・完了保存前の障害、lease更新停止、旧workerの遅延完了を障害注入試験する。
|
||||
- [ ] アプリケーションの停止contextをschedulerに接続し、受付停止・実行中処理のdrain・期限付き終了を実装する。
|
||||
- [ ] 各業務ハンドラーへcontextを伝播する。現状は独自のBackground/timeoutを使う処理も残る。
|
||||
- [ ] 古い設定・ログDB呼出しをcontext対応にする。完了保存失敗の回収方針も定義する。
|
||||
- [x] 開始/進捗/完了ログのcontext伝播、有界writer取得、ログ保存失敗の診断(ソース実装。本番未反映)。
|
||||
- [ ] 古い設定DB呼出しをcontext対応にする。完了保存失敗・欠落ログの回収方針も定義する。
|
||||
|
||||
コアのLoop/Runnerはキャンセルを受け付けるが、現行アプリケーションは従来どおり
|
||||
Background contextで起動する。これをgraceful shutdown対応済みとは扱わない。
|
||||
|
||||
@@ -117,3 +117,9 @@ panic・fatal・ジョブ失敗・再起動は検出していない。
|
||||
- [ ] 独立DB接続・複数writerで、ログと集約値の原子性・重複なし・取りこぼしを検証する。
|
||||
- [ ] 完了ログ等の既存呼出し元で握りつぶしている保存失敗も、本文・秘密を露出しない形で可視化する。
|
||||
- [ ] 修正は新しいPATCH版としてビルド・検証・公開する。v0.2.0タグやdigestは付け替えない。
|
||||
|
||||
### 後続作業(リリース済み内容とは別)
|
||||
|
||||
`0f686aa` を基点に、上記ログ競合の修正をソースへ実装した。
|
||||
契約と検証範囲は [Dregarnuhrのログ保存競合修正](../../design/ja/dregarnuhr.md#v020後の優先修正ログ保存競合) を参照。
|
||||
この追記は本番修正済みを意味しない。v0.2.0のイメージ・タグは変更していない。
|
||||
Reference in new issue
Block a user