feat: add private RSS reader and read-only FreshRSS integration
Build and publish container images / images (push) Failing after 6m19s

This commit is contained in:
Anya Tokugawa committed 2026-11-08 03:35:02 +09:00
1 parent 0c2cf263b6
commit 0d8997972c
25 files changed
+1911 -14

No files matched your search

+1 -1
View File
@@ -27,7 +27,7 @@
| ADR-O1 | organizerはtyped metadataと任意Page参照 | タスク初版は専用表+既存CAS Document Store(2026-09-24)。通常のObject閲覧・リンク・削除の権限境界を拡大せず、個人所有を確実に分離する。DBは捨てられる索引ではない。[実装契約](tasks-implementation.md) |
| ADR-O2 | task共通部+ticket workflow | 提案。番号・外部依頼者・遷移権限の要件確認 |
| ADR-O3 | ICS/vCard入出力→read-only DAV→双方向 | 推奨順。対象サーバー/clientを選んで互換表を作る |
| ADR-O4 | 簡易利用は内蔵正本、本格運用はFreshRSS正本+PagesWiki connector+newsboat | 2026-11-08利用者指定で採用。source単位で正本を分離し、自動fallbackや二重管理はしない。実環境の接続先・版・資格情報は別途指定 |
| ADR-O4 | 簡易利用は内蔵正本、本格運用はFreshRSS正本+PagesWiki connector+newsboat | 2026-11-08利用者指定で採用。内蔵・FreshRSS読取・共通UIまで実装。source単位で正本を分離し、自動fallbackや二重管理はしない。OPML・外部書戻しは残件。実環境の接続先・版・資格情報は別途指定 |
| ADR-O5 | IMAP read-only、Wikiコピーは明示操作 | 初期設計方針。providerとsampleが実装前提 |
| ADR-O6 | HTMLパーツを先行し全面WYSIWYGは保留 | 提案。round-tripと操作改善の評価でgo/no-go |
| ADR-O7 | Wiki Pathと外部UID/hrefを分離 | 共通の設計制約。rename fixtureを全connectorで実施 |
+98 -7
View File
@@ -1,6 +1,8 @@
# 15. RSSビューア・FreshRSS・newsboat
状態:正本の役割分担は決定、実装は未着手。既存のブログRSS「配信」と、本章の外部RSS「購読」は別機能。
状態:内蔵簡易reader、FreshRSS読取connector、共通viewer、Wiki保存・タスク化、ダッシュボードを実装。
FreshRSSへの書戻し・OPMLは残件。本番反映と実FreshRSSへの接続は未実施。
既存のブログRSS「配信」と、本章の外部RSS「購読」は別機能。
2026-11-08:利用者指定のサブプロジェクト順で最初に実施する。内蔵readerは簡易利用の
正本、本格運用はFreshRSSを正本とする。実環境の接続先・版・資格情報は別途指定する。
@@ -28,11 +30,74 @@ FreshRSS停止時は取得済みcacheと鮮度・接続状態を示し、内蔵
内蔵からFreshRSSへの移行はOPML等による明示的なexport/importとし、初期版では既読・star・
記事IDの完全移行を保証しません。移行完了の確認前に内蔵データを削除しません。
## 読取MVP
## 実装済みの読取機能
購読一覧、フォルダ、記事一覧、外部原文、Wiki保存を提供します。初期段階では表示しただけでFreshRSSへ既読を送りません。UIには「読取専用・既読は同期していない」と明示します。ブラウザへFreshRSS password/tokenを渡さず、backend connectorがsecret参照を使います。
`/v/feeds` に購読一覧、フォルダ、記事一覧、外部原文へのリンク、Wiki保存を提供します。
FreshRSSの記事・既読・starは取得しますが、状態の変更は送信しません。UIにも読取専用と明示し、
FreshRSS passwordを設定時以外にブラウザへ返さず、login tokenはbackend内でのみ利用します。
資格情報は既存の暗号化機構を使い、Domain・所有者・source UUID・用途に束縛します。
最小cache案はsource UUID、remote feed/item ID、title、safe excerpt/body hash、canonical URL、published/updated/fetched時刻、remote state/versionです。IDなしRSSにはfeed単位の保守的な代替キーを使い、題名だけで重複排除しません。Atomはentry IDと更新情報を持つ形式です。[Atom仕様](https://www.rfc-editor.org/rfc/rfc4287)。
cacheはsource UUID、remote item ID、title、安全なテキスト本文、記事URL、公開日時、配信元、
フォルダ、read/starを保持します。取得時刻・ETag・Last-Modified・失敗分類はsource側に持ちます。
IDなしRSSは記事URL、URLもなければ題名・日時・本文の組合せから代替キーを作り、題名だけで
重複排除しません。Atomはentry IDを使います。[Atom仕様](https://www.rfc-editor.org/rfc/rfc4287)。
### 高密度ビューア
newsboat/neomuttを参考に、デスクトップは左から購読元・一行記事一覧・本文の3ペインとします。
一覧には未読/star、日付、配信元、件名を並べます。狭幅は一覧と本文を切り替え、スマホでは
行とボタンのタッチ領域を広げます。設定と保存フォームは本文ペイン内に置き、モーダルを増やしません。
`j/k`・上下矢印で移動、`Enter/l`で本文、`Esc/h`で一覧、`/`で件名・配信元検索、`n`で次の未読、
`m`で既読切替、`*`でstar、`r`で背景更新予約、`?`でキー案内です。フォーム入力・IME変換中は
一覧ショートカットを抑止します。FreshRSSでは`m`と`*`も外部変更を行いません。
本文は常にtext表示です。script・画像・CSS・Wiki macroを実行せず、記事表示のための外部画像や
原文サイトのfetchも行いません。検索とページングは保存済みcacheだけを対象にし、画面表示で
feed取得の完了を待ちません。ダッシュボードには任意追加のRSS widgetを用意します。
### APIと保存層
API prefixは `/_/api/v1/extension/organizer.feeds/`。Domain内の本人専用で、匿名・他人のsourceには
アクセスできません。readonlyアカウントは読取のみです。すべての応答はprivate/no-storeとします。
| endpoint | 操作 |
| --- | --- |
| `GET sources` / `POST sources` | source一覧/追加・設定更新。新規はUUIDで再送を識別、更新はversion CAS |
| `POST sources/{uuid}/refresh` | 次回背景取得を予約。画面から外部通信しない |
| `POST sources/{uuid}/delete` | versionを照合してsource・cache・内蔵read/starを削除 |
| `GET items` | source/unread/starred/件名・配信元で絞り込み、100件単位のkeysetページング |
| `GET item?source=…&id=…` | 本人の記事本文 |
| `POST state` | 内蔵read/starの条件付き変更。FreshRSSは拒否 |
| `POST note` | 公開範囲確認付きのWiki単独保存。request_idと入力hashで再送を識別 |
managed schema `feeds` v1に `feed_sources`、`feed_items`、`feed_states`、`feed_note_receipts`を追加します。
既存テーブルを破壊・再構成しません。SQLiteのforeign_keys設定に依存せず削除を完遂するtriggerを
持ちます。内蔵read/starを本文cacheから分離し、記事を保持窓から落としても状態は黙って消しません。
DBは内蔵購読・状態・保存receiptの正本であり、全体を捨てられるcacheとは扱いません。
sourceのprovider・URL・資格情報の変更は別sourceを作る契約です。設定versionとworker claimの
両方を照合し、停止/削除/設定更新後に古い取得結果を書き戻しません。完了保存時にも本人の
所属・状態・extension有効状態をwriter transaction内で確認します。
### 背景取得の上限
| 項目 | 初期実装の値・挙動 |
| --- | --- |
| 個人のsource数 | Domain・本人ごとに32 |
| 定期event | `feed.source.sync`、既定60秒周期、低優先度、1回最大4 sourceを直列取得 |
| source更新間隔 | 5〜1440分、既定30分。取得候補になる間隔であり、混雑時の完了時刻保証ではない |
| 通信予算 | 1 source 8秒、batch 35秒、応答/展開後本文4 MiB |
| 外部接続 | 公開HTTPS/443のみ。DNS検査・接続先固定、内部アドレス・redirect・proxyを拒否 |
| 内蔵記事cache | 1 source最大500件、本文32 KiB。超過本文は切詰めを明示 |
| 内蔵read/star | 1 source最大10,000件。上限では新規状態保存を拒否し、既存状態を捨てない |
| FreshRSS | reading-list最新200件の窓を取得。更新成功時はその窓で置換し、全履歴同期とはしない |
| 再試行 | 次の設定間隔まで待機。手動予約にも最終成功から60秒の制限、取得中の重複claim拒否 |
内蔵は条件付きGET、304ではcacheを保持します。どちらのproviderも通信・認証・構文失敗で
前回cacheを消しません。sourceには安全な失敗分類と最終成功日時を表示し、イベントログには
成功/失敗件数だけを記録します。資格情報・生本文・秘密を含み得るURLをログへ出しません。
extension無効化は画面・API・取得・完了保存に適用します。購読を登録するまで外部通信は発生しません。
## 既読・star同期を追加する条件
@@ -47,7 +112,9 @@ FreshRSS APIに条件付き更新がない操作もあり得るため、対応
既読・starの保持期間を分離し、古い記事を再取得しただけで未読へ戻る挙動を防ぎます。
高度な自動分類、全文収集、reader向け互換APIはFreshRSSとの機能競争として追加しません。
定期event、条件付きGET、host別同時数、timeout、応答サイズ、展開サイズ、backoffを設けます。XML外部entityを無効にし、feed HTMLを安全化します。redirect/DNSを含むSSRF対策、外部画像の同意、個人購読URLや認証情報の秘匿が必要です。
初期版では全体を直列化し、上記の予算内で取得します。将来の並列化時にhost別同時数・公平性・
指数backoff/Retry-Afterを追加します。RSS 2.0とAtomを対象とし、XML外部entityは展開しません。
外部画像の同意付き表示は未実装で、現在は一律に取得・表示しません。
OPMLは購読の入出力として扱い、既読・star・全本文のバックアップと同一視しません。importはpreview・追加/置換選択・重複確認を行い、既存購読を黙って削除しません。
@@ -55,9 +122,32 @@ OPMLは購読の入出力として扱い、既読・star・全本文のバック
既定はURL、出典、短いメモの保存です。全文保存は取得可能性・利用条件・個人用途等を確認する独立操作とし、feedが短いからといって有料記事を自動取得しません。保存先が自動公開範囲なら内容と添付の公開を明示確認します。
Wiki単独は親Path配下の `rss-{request UUID}` に新規作成します。既存Pathを上書きせず、Page・Path・
初回Revision・活動outbox・再送receiptを同じDB transactionで保存します。権限はtransaction内でも
再確認します。初期版の単独保存は通常Wiki空間のみで、独自所有契約を持つ`/u`・`/g`は対象外です。
タスクも作成する場合は既存capture APIの原子的なWiki+タスク保存を使います。この経路のPathは
既存契約の`mail-{request UUID}`です。途中失敗時は部分的なPage/タスクを残さず、同じ要求で再試行できます。
保存先の公開範囲確認を必須にし、取得済み本文のコピーは別チェックとします。
購読削除で明示保存したWikiやタスクは消しません。内蔵cacheを削除しても既存Wikiへの参照と
再送receiptは残します。文書payloadの不変ファイルは既存Document Storeに保存するため、DB失敗時に
未参照payloadが残る可能性は既存GC契約に従い、参照のないPage/Pathとは区別します。
## TODOと受け入れ
RSS-1:read-only FreshRSS fixture。RSS-2:安全な共通一覧と出典付きWiki保存。RSS-3:FreshRSSへの明示的な既読/star操作。RSS-4:内蔵簡易readerとOPML。オフライン、欠落ID、巨大feed、未知HTML、同期再送、他user情報、feed削除後の保存Page維持を試験します。内蔵とFreshRSSの正本を混ぜないこと、停止時の自動切替がないこと、移行後も保存済みWiki/タスクが残ることを両provider共通の受入条件とします。
- [x] RSS-1:read-only FreshRSS connectorと合成fixture。実接続の受入は別。
- [x] RSS-2:安全な共通一覧、出典付きWiki保存、任意のタスク化、ダッシュボード。
- [ ] RSS-3:FreshRSSへの明示的な既読/star操作と送信状態・競合・再送の契約。
- [x] RSS-4a:内蔵簡易reader、購読設定、既読・star、背景取得。
- [ ] RSS-4b:OPML export/importのpreview、重複確認、明示移行。
- [ ] RSS-5:FreshRSS実環境の接続先・版・API資格情報を指定してread-only受入。
- [ ] RSS-6:大規模利用時の公平性、host別並列上限、Retry-After/backoff、資格情報rotation UI。
- [ ] RSS-7:FreshRSSの購読一覧・カテゴリを使うnavigation。現在の左ペインはPagesWikiに登録したsourceとそのフォルダで、FreshRSSの全購読一覧ではない。
隔離試験はRSS/Atom・FreshRSS login/read、欠落ID・巨大/不正feed、条件付きGET、失敗時cache保持、
本人分離・失効・readonly、二重送信・版競合・旧worker拒否、migration再実行/失敗rollback、
Wiki保存失敗の原子性を含みます。Chromiumの1440px/390pxで一覧・本文・検索・キー操作・
Wiki保存を試験します。実FreshRSS、newsboat、実機Safariの受入はこの合成試験に含めません。
## 実施段階
@@ -69,7 +159,8 @@ RSS-1:read-only FreshRSS fixture。RSS-2:安全な共通一覧と出典付
待たず、schedulerで有界に更新し、取得済みcacheと鮮度を表示する。source停止・失効も検証する。
3. **Wiki保存とタスク化**:タイトル・URL・出典・短いメモをpreviewし、保存先Pathを選ぶ。
既存captureと権限確認を再利用し、二重送信・保存先競合・自動公開範囲を検査する。全文保存は
独立した明示操作。タスク作成が失敗しても保存済みWikiを消さず、部分成功と再試行方法を示す。
独立した明示操作。Wiki単独保存とWiki+タスクの原子保存を分け、要求内の失敗では部分成功を
残さない。過去に保存済みのWikiは別のタスク作成失敗で削除しない。
4. **ダッシュボードとprovider完成**:読める記事だけのwidget、内蔵簡易readerとOPML、
FreshRSSの明示的な既読/star操作を段階的に追加する。接続先・対象版の指定後に実環境で
read-only→書込の順に受入し、read-only連携を有効化しただけで外部状態を変更しない。
+3 -2
View File
@@ -1,6 +1,7 @@
# 実装残件台帳
更新日:2026-11-08。照合基準は `e65ca56`(作業履歴・日次メールの後続実装まで)。
更新日:2026-11-08。全体照合基準は `e65ca56`(作業履歴・日次メールの後続実装まで)。
RSS-01はその後の内蔵reader・FreshRSS読取・共通UI実装まで個別更新。
設計書の大項目をそのまま未実装機能と数えず、既存機能の続きとして着手できる単位に整理する。
実装順は本書、個別契約はリンク先、過去の経緯は[原ロードマップ](../implementation-roadmap.md)と
[実装記録](../implementation-status.md)を参照する。将来の更新でも以下のIDを再利用する。
@@ -110,7 +111,7 @@ P0は認可・整合性・復旧の安全条件、P1は日常利用の回復性
| ID / 優先 | 状態・次の作業 | 着手ゲート・最初の検証 | 詳細 |
| --- | --- | --- | --- |
| RSS-01 / P2 | 未実装・役割決定済み:内蔵簡易正本+本格運用のFreshRSS正本 | 共通UI、合成fixture→Wiki保存・タスク化。FreshRSSの接続先・版を指定して受入。newsboatは同じFreshRSSへ接続。二重正本・停止時の自動切替なし | [RSS](feeds.md) |
| RSS-01 / P2 | 一部実装:内蔵簡易正本、FreshRSS読取connector、3ペインUI・キー操作、Wiki保存・タスク化・dashboard | 残件はOPML、FreshRSS既読/star書戻し、実接続受入、公平性/backoff。managed schema feeds v1・隔離fixture。本番未反映。二重正本・停止時の自動切替なし | [RSS](feeds.md) |
| IMAP-01 / P3 | 未実装・選定待ち:IMAP読取同期 | provider/認証/保持を決める。UIDVALIDITY/UID、添付量、外部画像、失効をfixture化。neomutt captureは実装済みで別 | [メール](mail.md) |
| TICKET-01 / P3 | 未実装:queue/番号/workflow/外部依頼者 | 共有範囲と状態遷移を定義、同時採番・失効・監査。既存個人タスクをticketと呼び替えない | [タスクとticket](tasks-tickets.md) |
| EXT-01 / P3 | built-inのみ:第三者manifest/署名/隔離runtime、停止・rollback・観測 | capability・secret・host・予算・export契約。任意コードをGoプロセス内へ直接ロードしない | [拡張](extensions.md) |