diff --git a/docs/design/ja/feeds.md b/docs/design/ja/feeds.md index 83d895d..0bd137a 100644 --- a/docs/design/ja/feeds.md +++ b/docs/design/ja/feeds.md @@ -37,7 +37,7 @@ FreshRSSの記事・既読・starは取得しますが、状態の変更は送 FreshRSS passwordを設定時以外にブラウザへ返さず、login tokenはbackend内でのみ利用します。 資格情報は既存の暗号化機構を使い、Domain・所有者・source UUID・用途に束縛します。 -cacheはsource UUID、remote item ID、title、安全なテキスト本文、記事URL、公開日時、配信元、 +cacheはsource UUID、remote item ID、title、安全化したHTML本文とテキスト本文、記事URL、公開日時、配信元、 フォルダ、read/starを保持します。取得時刻・ETag・Last-Modified・失敗分類はsource側に持ちます。 IDなしRSSは記事URL、URLもなければ題名・日時・本文の組合せから代替キーを作り、題名だけで 重複排除しません。Atomはentry IDを使います。[Atom仕様](https://www.rfc-editor.org/rfc/rfc4287)。 @@ -46,14 +46,19 @@ IDなしRSSは記事URL、URLもなければ題名・日時・本文の組合せ newsboat/neomuttを参考に、デスクトップは左から購読元・一行記事一覧・本文の3ペインとします。 一覧には未読/star、日付、配信元、件名を並べます。狭幅は一覧と本文を切り替え、スマホでは -行とボタンのタッチ領域を広げます。設定と保存フォームは本文ペイン内に置き、モーダルを増やしません。 +行とボタンのタッチ領域を広げます。モバイルの共通ナビはアイコンのみとし、名称はアクセシブル名と +tooltipに残します。タブ名は「RSS」、原文リンクはアイコンです。件数・保持上限・操作の説明は常設せず、 +キー案内は`?`で表示します。設定と保存フォームは本文ペイン内に置き、モーダルを増やしません。 `j/k`・上下矢印で移動、`Enter/l`で本文、`Esc/h`で一覧、`/`で件名・配信元検索、`n`で次の未読、 `m`で既読切替、`*`でstar、`r`で背景更新予約、`?`でキー案内です。フォーム入力・IME変換中は 一覧ショートカットを抑止します。FreshRSSでは`m`と`*`も外部変更を行いません。 -本文は常にtext表示です。script・画像・CSS・Wiki macroを実行せず、記事表示のための外部画像や -原文サイトのfetchも行いません。検索とページングは保存済みcacheだけを対象にし、画面表示で +HTML本文は見出し・表・箇条書き・強調・リンクを保持して描画し、plain textは文字情報として表示します。 +server側の許可リストでscript・イベント属性・任意CSS・form・iframe・画像等を除去し、表示時にも再検査します。 +Shadow DOMでWiki UIと表示スタイルを分離し、本文リンクは安全なHTTP(S) URLに解決して別タブで開きます。 +Wiki macroは展開せず、記事表示のための外部画像や原文サイトのfetchも行いません。 +検索とページングは保存済みcacheだけを対象にし、画面表示で feed取得の完了を待ちません。ダッシュボードには任意追加のRSS widgetを用意します。 ### APIと保存層 @@ -71,7 +76,9 @@ API prefixは `/_/api/v1/extension/organizer.feeds/`。Domain内の本人専用 | `POST state` | 内蔵read/starの条件付き変更。FreshRSSは拒否 | | `POST note` | 公開範囲確認付きのWiki単独保存。request_idと入力hashで再送を識別 | -managed schema `feeds` v1に `feed_sources`、`feed_items`、`feed_states`、`feed_note_receipts`を追加します。 +managed schema `feeds` v1に `feed_sources`、`feed_items`、`feed_states`、`feed_note_receipts`を追加し、 +v2で`feed_items.body_html`を追加します。既存のテキスト本文・既読・starは保持し、条件付きGETのvalidatorを +一度クリアして次回背景取得でHTMLを取り直します。migration前のworkerは設定versionで無効化します。 既存テーブルを破壊・再構成しません。SQLiteのforeign_keys設定に依存せず削除を完遂するtriggerを 持ちます。内蔵read/starを本文cacheから分離し、記事を保持窓から落としても状態は黙って消しません。 DBは内蔵購読・状態・保存receiptの正本であり、全体を捨てられるcacheとは扱いません。 @@ -89,7 +96,7 @@ sourceのprovider・URL・資格情報の変更は別sourceを作る契約です | source更新間隔 | 5〜1440分、既定30分。取得候補になる間隔であり、混雑時の完了時刻保証ではない | | 通信予算 | 1 source 8秒、batch 35秒、応答/展開後本文4 MiB | | 外部接続 | 公開HTTPS/443のみ。DNS検査・接続先固定、内部アドレス・redirect・proxyを拒否 | -| 内蔵記事cache | 1 source最大500件、本文32 KiB。超過本文は切詰めを明示 | +| 内蔵記事cache | 1 source最大500件、text本文32 KiB・HTML本文128 KiB。HTML上限超過はtextへフォールバックし、text切詰めを明示 | | 内蔵read/star | 1 source最大10,000件。上限では新規状態保存を拒否し、既存状態を捨てない | | FreshRSS | reading-list最新200件の窓を取得。更新成功時はその窓で置換し、全履歴同期とはしない | | 再試行 | 次の設定間隔まで待機。手動予約にも最終成功から60秒の制限、取得中の重複claim拒否 | diff --git a/internal/server/feeds.go b/internal/server/feeds.go index 2173ca9..bdab51d 100644 --- a/internal/server/feeds.go +++ b/internal/server/feeds.go @@ -172,6 +172,8 @@ func (s *Server) handleFeeds(w http.ResponseWriter, r *http.Request) { taskError(w, e) return } + // Defense in depth for restored/older caches, not just freshly fetched data. + v.BodyHTML = feedHTML(v.BodyHTML, v.URL) writeEventJSON(w, 200, map[string]any{"item": v}) return case key == "state" && r.Method == "POST": @@ -195,8 +197,8 @@ func (s *Server) handleFeeds(w http.ResponseWriter, r *http.Request) { http.NotFound(w, r) } func init() { - translations["en"]["feeds.title"] = "RSS reader" - translations["ja"]["feeds.title"] = "RSSリーダー" + translations["en"]["feeds.title"] = "RSS" + translations["ja"]["feeds.title"] = "RSS" translations["en"]["feeds.help"] = "Private local feeds and read-only FreshRSS integration" translations["ja"]["feeds.help"] = "個人用の簡易RSSとFreshRSS読取連携" } diff --git a/internal/server/feeds_fetch.go b/internal/server/feeds_fetch.go index cfca5a6..4390e6d 100644 --- a/internal/server/feeds_fetch.go +++ b/internal/server/feeds_fetch.go @@ -19,15 +19,71 @@ import ( "unicode/utf8" "github.com/microcosm-cc/bluemonday" + xhtml "golang.org/x/net/html" "golang.org/x/net/html/charset" "pageswiki/internal/store" ) var errFeedInvalid = errors.New("invalid_feed") var feedTextPolicy = bluemonday.StrictPolicy() +var feedHTMLPolicy = func() *bluemonday.Policy { + p := bluemonday.NewPolicy() + p.AllowElements("p", "div", "span", "br", "hr", "h1", "h2", "h3", "h4", "h5", "h6", "strong", "b", "em", "i", "u", "s", "del", "ins", "sub", "sup", "mark", "small", "blockquote", "pre", "code", "kbd", "samp", "ul", "ol", "li", "dl", "dt", "dd", "table", "caption", "thead", "tbody", "tfoot", "tr", "th", "td", "a") + p.AllowAttrs("href", "target", "rel").OnElements("a") + p.AllowAttrs("colspan", "rowspan", "scope").OnElements("th", "td") + p.AllowStandardURLs() + p.AllowRelativeURLs(false) + return p +}() + +// Keep article structure without granting fetched HTML script, style, form, +// embedding or automatic network capabilities. Wiki capture still uses Body. +func feedHTML(raw, base string) string { + if raw == "" || len(raw) > 128<<10 { + return "" + } + z := xhtml.NewTokenizer(strings.NewReader(raw)) + var out strings.Builder + markup := false + for { + typeOf := z.Next() + if typeOf == xhtml.ErrorToken { + if z.Err() != io.EOF { + return "" + } + break + } + if typeOf == xhtml.StartTagToken || typeOf == xhtml.SelfClosingTagToken { + markup = true + tok := z.Token() + if tok.Data == "a" { + attrs := []xhtml.Attribute{} + for _, attr := range tok.Attr { + if attr.Key == "href" { + if link := feedLink(base, attr.Val); link != "" { + attrs = append(attrs, xhtml.Attribute{Key: "href", Val: link}) + } + } + } + tok.Attr = append(attrs, xhtml.Attribute{Key: "target", Val: "_blank"}, xhtml.Attribute{Key: "rel", Val: "noopener noreferrer"}) + } + out.WriteString(tok.String()) + } else { + out.Write(z.Raw()) + } + } + if !markup { + return "" + } + clean := feedHTMLPolicy.Sanitize(out.String()) + if len(clean) > 128<<10 { + return "" + } + return clean +} func feedText(raw string, limit int) string { - // Text-only reader: no remote images, CSS, script, macros or active HTML. + // Plain text for fallback and inert Wiki/task capture. for _, tag := range []string{"
", "", "Text
" || len(requests) != 2 { t.Fatal(items, e, requests) } for _, bad := range []string{"http://example.org/feed", "https://127.0.0.1/feed", "https://10.0.0.1/feed", "https://example.org:8443/feed", "https://user:pass@example.org/feed"} { @@ -185,6 +185,45 @@ func TestFreshRSSReadOnlyContract(t *testing.T) { } } } + +func TestFeedHTMLFormattingAndIsolation(t *testing.T) { + raw := `Bold
| Cell |
| 項目 | 内容 |
|---|---|
| 本文 | HTML表示 |