feat(feeds): cache FreshRSS subscriptions and category navigation
Build and publish container images / images (push) Failing after 6m7s

This commit is contained in:
Anya Tokugawa committed 2026-11-08 04:48:55 +09:00
1 parent 7fe64113c7
commit bfed3d20f5
12 files changed
+503 -34

No files matched your search

+51 -2
View File
@@ -1,7 +1,7 @@
# 15. RSSビューア・FreshRSS・newsboat
状態:内蔵簡易reader、FreshRSS読取connector、共通viewer、Wiki保存・タスク化、ダッシュボードを実装。
OPMLの確認付き追加取り込み・書出しも実装済み。FreshRSSへの書戻しは残件。本番反映と実FreshRSSへの接続は未実施。
OPMLの確認付き追加取り込み・書出し、FreshRSS購読・カテゴリのnavigationも実装済み。FreshRSSへの書戻しは残件。本番反映と実FreshRSSへの接続は未実施。
既存のブログRSS「配信」と、本章の外部RSS「購読」は別機能。
2026-11-08:利用者指定のサブプロジェクト順で最初に実施する。内蔵readerは簡易利用の
@@ -72,6 +72,7 @@ API prefixは `/_/api/v1/extension/organizer.feeds/`。Domain内の本人専用
| `POST sources/{uuid}/refresh` | 次回背景取得を予約。画面から外部通信しない |
| `POST sources/{uuid}/delete` | versionを照合してsource・cache・内蔵read/starを削除 |
| `GET items` | source/unread/starred/件名・配信元で絞り込み、100件単位のkeysetページング |
| `GET catalog?source=…` | 本人のFreshRSS購読・カテゴリの取得済み一覧。外部通信なし |
| `GET item?source=…&id=…` | 本人の記事本文 |
| `POST state` | 内蔵read/starの条件付き変更。FreshRSSは拒否 |
| `POST note` | 公開範囲確認付きのWiki単独保存。request_idと入力hashで再送を識別 |
@@ -83,6 +84,8 @@ managed schema `feeds` v1に `feed_sources`、`feed_items`、`feed_states`、`fe
v2で`feed_items.body_html`を追加します。既存のテキスト本文・既読・starは保持し、条件付きGETのvalidatorを
一度クリアして次回背景取得でHTMLを取り直します。migration前のworkerは設定versionで無効化します。
v3で`feed_import_receipts`を追加し、購読の一括追加と再送記録を同時保存します。
v4でsourceに購読一覧、記事にremote feed ID・カテゴリIDを追加します。FreshRSSの旧workerを
versionで無効化し、次の背景取得を予約します。内蔵sourceのversion・取得予約は変更しません。
既存テーブルを破壊・再構成しません。SQLiteのforeign_keys設定に依存せず削除を完遂するtriggerを
持ちます。内蔵read/starを本文cacheから分離し、記事を保持窓から落としても状態は黙って消しません。
DBは内蔵購読・状態・保存receiptの正本であり、全体を捨てられるcacheとは扱いません。
@@ -103,6 +106,7 @@ sourceのprovider・URL・資格情報の変更は別sourceを作る契約です
| 内蔵記事cache | 1 source最大500件、text本文32 KiB・HTML本文128 KiB。HTML上限超過はtextへフォールバックし、text切詰めを明示 |
| 内蔵read/star | 1 source最大10,000件。上限では新規状態保存を拒否し、既存状態を捨てない |
| FreshRSS | reading-list最新200件の窓を取得。更新成功時はその窓で置換し、全履歴同期とはしない |
| FreshRSS購読一覧 | 最大1,000購読、1購読64カテゴリ、保存JSON 1 MiB。記事と同じ取得予算で収集 |
| 再試行 | 次の設定間隔まで待機。手動予約にも最終成功から60秒の制限、取得中の重複claim拒否 |
内蔵は条件付きGET、304ではcacheを保持します。どちらのproviderも通信・認証・構文失敗で
@@ -110,12 +114,57 @@ sourceのprovider・URL・資格情報の変更は別sourceを作る契約です
成功/失敗件数だけを記録します。資格情報・生本文・秘密を含み得るURLをログへ出しません。
extension無効化は画面・API・取得・完了保存に適用します。購読を登録するまで外部通信は発生しません。
### FreshRSSの購読とカテゴリ
背景取得ではlogin後にreading-listと`subscription/list`を読み、両方に成功した場合だけ
記事・購読一覧を同じtransactionで置換します。一方の取得失敗、上限超過、不正なsnapshotでは
前回の両cacheを保持します。記事が取得窓内にない購読も一覧には残します。
左ペインでFreshRSS sourceを選ぶとカテゴリ選択・購読名の検索・購読一覧を表示します。
カテゴリは表示名でなくremote category ID、購読は`origin.streamId`とsubscription IDを対応させます。
同名でも混同せず、複数カテゴリに属する購読も扱います。`GET items`の`feed`/`category`は
source指定と組み合わせ、既存の未読・star・検索・keysetページングと併用できます。
絞り込み対象は最新200記事のcache内に限られ、購読を選んでも履歴全件を外部取得しません。
購読の追加・削除やカテゴリの編集はFreshRSS側で行います。
## 既読・star同期を追加する条件
server-authoritative stateと未送信の操作を分けます。操作ごとのrequest_idで重複を防ぎ、成功応答前に確定済みと表示しません。newsboat等で同時変更された場合、古いローカルcacheをまとめて送り返しません。接続解除・認可失効時は未送信変更を勝手に再送しません。
FreshRSS APIに条件付き更新がない操作もあり得るため、対応版の実機fixtureで競合動作を確認するまで完全な双方向同期を約束しません。
### 書戻しの次段階設計
以下は未実装のRSS-3です。購読navigationの追加だけでは書戻しを有効にしません。
sourceごとに既定OFFの書戻し設定を設け、操作は`read`または`starred`の一項目と希望値に限定します。
cache内の他項目を同時に送らず、全件既読・購読編集も初期対象に含めません。
操作記録は記事cacheから分離し、Domain・本人・request_id、source・記事ID、対象項目、希望値、
source version、状態、claim期限を保持します。同一request_idの同じ入力は同じ記録を返し、
違う入力は拒否します。同じ記事に未解決の操作がある間は次の操作を受け付けません。
受付APIは外部通信せず、低優先度workerが送信します。記録数とworkerの時間予算は必ず有限にします。
| 状態 | 次の処理 |
| --- | --- |
| queued | sourceの有効状態・書戻し設定・version・本人の権限を再検査してclaim。古すぎる未送信操作は中止 |
| preparing | FreshRSSの現在値を取得。すでに希望値なら書き込まず確認済み。異なる場合だけ変更tokenを取得 |
| sending | この状態をDBに確定してから変更を送る。再起動やtimeoutでも自動再送しない |
| confirmed | 送信後の読取で希望値を確認。確認できた値だけcacheへ反映 |
| unknown | 送信済みか適用済みか判断できない。成功扱いにせず、利用者の再確認操作を待つ |
| checking | unknownの再確認。読取のみで、希望値ならconfirmed、異なれば競合として提示 |
| failed / cancelled / conflict | 原因を示して終了。新たに送る場合は利用者の明示操作を必要とする |
通常取得と書戻しはsourceのleaseを共有し、古い取得結果が書戻し後の値を上書きしないようにします。
設定変更・無効化・削除は未送信操作を止めますが、すでに外へ送った要求は取り消せません。
その場合はunknownを保持し、設定変更後のcacheへ旧workerが反映することを拒否します。
外部clientとの同時変更を原子的に防げないAPIでは、確認直後に状態が再変更される可能性もあります。
readbackは観測結果であり、exactly-onceやリモートCASの保証とは区別します。
受入テストは、opt-inなしの拒否、同じ操作の再送、別項目の保持、送信前の権限失効、
送信直後の応答喪失、worker停止・再起動、unknownの読取専用再確認、source削除・設定変更、
通常取得との排他、他clientによる同時変更を含めます。実サービスを使わない合成fixtureで
これらを通した後、指定版FreshRSSでの受入を別途行います。
## 内蔵簡易reader
購読追加/削除、フォルダ、記事一覧、既読/未読、star、更新間隔と保持上限を初期範囲に
@@ -178,7 +227,7 @@ Wiki単独は親Path配下の `rss-{request UUID}` に新規作成します。
- [x] RSS-4b:OPML export/importのpreview、選択追加、重複確認、原子的な保存と再送防止。置換・状態移行は範囲外。
- [ ] RSS-5:FreshRSS実環境の接続先・版・API資格情報を指定してread-only受入。
- [ ] RSS-6:大規模利用時の公平性、host別並列上限、Retry-After/backoff、資格情報rotation UI。
- [ ] RSS-7:FreshRSSの購読一覧・カテゴリを使うnavigation。現在の左ペインはPagesWikiに登録したsourceとそのフォルダで、FreshRSSの全購読一覧ではない。
- [x] RSS-7:FreshRSSの購読一覧・カテゴリを使うnavigation。同名ID分離、複数カテゴリ、cache内絞り込み、背景での原子的更新、失敗時保持。
隔離試験はRSS/Atom・FreshRSS login/read、欠落ID・巨大/不正feed、条件付きGET、失敗時cache保持、
本人分離・失効・readonly、二重送信・版競合・旧worker拒否、migration再実行/失敗rollback、