feat(feeds): add opt-in Gecko relay and folder shortcuts
Document engine redistribution requirements; exclude upstream engine assets and keep the viewer disabled by default.
This commit is contained in:
1 parent
b23e63d4c6
commit
5321d613b4
37 files changed
+2051
-29
No files matched your search
@@ -0,0 +1,77 @@
|
||||
# Gecko連携の再配布条件
|
||||
|
||||
PagesWiki v0.13.0は、自作の連携コードと中継サービスのソースを配布し、Geckoエンジンは同梱しません。
|
||||
実験機能`viewer.gecko`は既定無効のままです。既存3イメージのリリースにエンジンを追加せず、
|
||||
専用relayも上流エンジンを含まないDockerfileとして提供します。
|
||||
本書は今回追加した部品の配布判断と残件を整理するもので、プロジェクト全体の法務監査ではありません。
|
||||
|
||||
## 部品と適用条件
|
||||
|
||||
| 部品 | 固定する出典・版 | ライセンスと配布時の扱い |
|
||||
| --- | --- | --- |
|
||||
| PagesWiki連携・Go relay | このリポジトリのリリースcommit | 自作コード。上流の実装をコピーせずWispフレーム仕様に対応。GeckoのライセンスをWiki全体へ一律適用しない |
|
||||
| Go runtime / 標準ライブラリ | relayのビルドに使うGo 1.25系 | BSD-3-Clause。実ビルド環境のLICENSEを専用イメージ内`/licenses/Go.txt`へ収録 |
|
||||
| golang.org/x/net | v0.35.0、WebSocket実装 | BSD-3-Clause。モジュールのLICENSEを`/licenses/golang-x-net.txt`へ収録 |
|
||||
| Gecko / Mozillaの第三者コード | Firefox fork `2e1e835a5da5907e5ceef19aade58a7493f1e34d` | 主にMPL-2.0。ただし多数の個別licenseがあり、MPLだけの表示では不足。固定commitの総合noticeと該当sourceを扱う |
|
||||
| gecko.js wrapper / WASM追加コード | v0.0.1 `eadcb5fa828d7e8b54ae2df13b6b3208f6553944` | 後述のMPL追加commitを確認。固定配布物にはLICENSE一式がないため、tarをそのまま再公開しない |
|
||||
| Emscripten runtime / WasmFS | 6.0.1と上流のpatch | Emscripten本体はMITまたはUIUC/NCSA。libc等のruntime依存には別noticeがあるため、ツールチェーンの最上位LICENSEだけでは棚卸し完了としない |
|
||||
| zstddec | 0.2.0 | npm metadataは`MIT AND BSD-3-Clause`。JS wrapperと組み込まれたdecoderの両noticeを保持 |
|
||||
| Liberation fonts | 上記Firefox commit内のPDF.js standard_fonts | SIL OFL 1.1。著作権表示・OFL本文・Reserved Font Namesを保持 |
|
||||
|
||||
relayのruntimeイメージは`FROM scratch`とし、Goバイナリとlicenseだけを含めます。
|
||||
Alpine/BusyBoxを新たに再配布する構成にはしません。`go list -deps`でrelayにリンクされる外部Go moduleは
|
||||
`golang.org/x/net v0.35.0`のみと確認しています。ビルド用イメージと配布用runtimeイメージは区別します。
|
||||
|
||||
## 固定版とMPL宣言の関係
|
||||
|
||||
上流v0.0.1のcommitにはルートLICENSEがなく、翌日の
|
||||
[`ac40f56c85060bd49dfc36ca60490f97dd270c50`](https://github.com/HeyPuter/firefox-wasm/commit/ac40f56c85060bd49dfc36ca60490f97dd270c50)
|
||||
でMPL-2.0のLICENSEが追加されています。
|
||||
[固定版からの比較](https://github.com/HeyPuter/firefox-wasm/compare/eadcb5fa828d7e8b54ae2df13b6b3208f6553944...ac40f56c85060bd49dfc36ca60490f97dd270c50)
|
||||
の変更はLICENSE、Makefile、README、chrome demoの2ファイルです。
|
||||
`gecko.js/js`、`gecko.js/src`、`gecko.js/lib`、`gecko.js/emsdk-patches`はこの間に変更されていません。
|
||||
この事実を追加コードのMPL宣言の根拠として記録しますが、生成された全バイナリの第三者noticeを代替するものではありません。
|
||||
|
||||
v0.0.1の[Makefile](https://github.com/HeyPuter/firefox-wasm/blob/eadcb5fa828d7e8b54ae2df13b6b3208f6553944/Makefile)
|
||||
はFirefox forkのcommit `2e1e835a5da5907e5ceef19aade58a7493f1e34d`とEmscripten 6.0.1を指定しています。
|
||||
後続Makefileの参照先変更を混ぜず、再現には固定版側を使います。
|
||||
|
||||
固定版の[GRE縮小スクリプト](https://github.com/HeyPuter/firefox-wasm/blob/eadcb5fa828d7e8b54ae2df13b6b3208f6553944/gecko.js/stage-gre-min.sh)
|
||||
は`chrome/toolkit/content/global/license.html`を明示的に除外し、LiberationのTTFをコピーします。
|
||||
そのため、配布tarの存在やSHA-256一致だけでnoticeの充足を判断しません。
|
||||
|
||||
Wispのwire protocolは独立実装しています。固定版エンジンは独自の`gecko.js/lib/wisp-net.js`を使います。
|
||||
pnpm-lockにある`@mercuryworkshop/wisp-js`はdemo側依存で、lockfileに記載があることだけを根拠に
|
||||
PagesWiki relayの依存物・ライセンスとは扱いません。
|
||||
|
||||
## エンジンを配布する場合に必要な作業
|
||||
|
||||
MPLはファイル単位の義務であり、別実装のWiki全体をMPLへ変更するという意味ではありません。
|
||||
一方、WASMやJavaScriptを閲覧者のブラウザへ送信することも配布として扱う必要があります。
|
||||
**「イメージへ入れず、外部mountから配信すれば再配布ではない」という整理はしません。**
|
||||
[Mozilla MPL FAQ Q8・Q10・Q11・Q16・Q17](https://www.mozilla.org/en-US/MPL/2.0/FAQ/)、
|
||||
[MPL 2.0本文の3章](https://www.mozilla.org/en-US/MPL/2.0/)。
|
||||
|
||||
エンジンの本番有効化・再公開前に次を完了します。
|
||||
|
||||
1. 実際の配布WASM/JS/埋め込みGREと、対応するsource・patch・依存版を照合する。
|
||||
2. Mozillaの固定commitの総合notice、MPL本文、Emscripten/runtime、zstddec、fontの各著作権・licenseを収録する。
|
||||
Mozillaの総合noticeはbuild条件による表示があるため、未処理のHTMLを置くだけで完了としない。
|
||||
3. 受領者がnoticeと対応sourceの取得先を閲覧できる画面/ファイルを用意する。
|
||||
ソースは固定commitで指し、PagesWiki側でエンジンを変更した場合は変更も含める。
|
||||
4. 提供するsourceとnoticeの可用性・保全、配布物とのhash対応を検査する。
|
||||
5. Mozillaの商標はコードlicenseとは別に扱い、Firefoxの公式配布であるとの表現やロゴの流用をしない。
|
||||
|
||||
現時点では2・3・4の配布用bundleが未完成です。今回のrelease artifactにエンジンは載せず、
|
||||
本番では中継用鍵・資産mount・`viewer.gecko`の有効化を追加しません。
|
||||
エンジン非同梱の連携コードと、通常のRSSフォルダショートカットはリリース対象です。
|
||||
|
||||
## 一次資料
|
||||
|
||||
- [Gecko forkのLICENSEと商標注意](https://github.com/MercuryWorkshop/firefox/blob/2e1e835a5da5907e5ceef19aade58a7493f1e34d/LICENSE)
|
||||
- [同commitのMozilla総合notice](https://github.com/MercuryWorkshop/firefox/blob/2e1e835a5da5907e5ceef19aade58a7493f1e34d/toolkit/content/license.html)
|
||||
- [Liberationの著作権とOFL](https://github.com/MercuryWorkshop/firefox/blob/2e1e835a5da5907e5ceef19aade58a7493f1e34d/toolkit/components/pdfjs/content/web/standard_fonts/LICENSE_LIBERATION)
|
||||
- [Emscripten 6.0.1 LICENSE](https://github.com/emscripten-core/emscripten/blob/6.0.1/LICENSE)
|
||||
- [zstddec 0.2.0 metadata](https://registry.npmjs.org/zstddec/0.2.0)
|
||||
- [Go LICENSE](https://go.dev/LICENSE)
|
||||
- [golang.org/x/net v0.35.0 LICENSE](https://go.googlesource.com/net/+/refs/tags/v0.35.0/LICENSE)
|
||||
@@ -0,0 +1,149 @@
|
||||
# RSS Gecko中継の試験導入
|
||||
|
||||
RSS本文上で原文を読むための、端末側Gecko WASMと自前Wisp中継の実験機能です。
|
||||
通常の新規タブ・iframe表示は変更しません。DBスキーマ変更はありません。
|
||||
本番への自動導入・自動有効化は行いません。
|
||||
|
||||
## 構成と有効化条件
|
||||
|
||||
PagesWikiのログイン済み・activeな利用者だけが、
|
||||
`/_/api/v1/extension/organizer.feeds/browser/`以下を使います。
|
||||
同じDomainで`organizer.feeds`と`viewer.gecko`の両方が有効で、
|
||||
本体に中継URLと共有鍵ファイルが設定されていることが必要です。
|
||||
`viewer.gecko`はmanifestで既定無効です。個人設定の「RSSの記事リンクの開き方」で
|
||||
Geckoを選ぶと、RSS画面だけにCOOP/COEPを追加します。選択済みでも管理者が無効化した場合は新規タブへ戻ります。
|
||||
|
||||
ブラウザには中継の鍵を渡しません。本体が認証後に30秒の署名付きgrantを発行して内部HTTP要求へ追加します。
|
||||
WebSocketではOriginも検査し、grantは一回限りです。既存接続の認証・利用者状態・拡張の有効状態は5秒間隔で再検査します。
|
||||
中継はCookie、WikiのBearer token、FreshRSSの資格情報を受け取りません。
|
||||
|
||||
## 固定するエンジン
|
||||
|
||||
[HeyPuter/firefox-wasm v0.0.1](https://github.com/HeyPuter/firefox-wasm/releases/tag/v0.0.1)を使います。
|
||||
対応commitは`eadcb5fa828d7e8b54ae2df13b6b3208f6553944`です。
|
||||
|
||||
配布物`gecko.js-v0.0.1.tar.gz`のSHA-256:
|
||||
|
||||
```text
|
||||
bac28056a00ef6e5fb4345117e73d3629e75aca00dac71389fabbce39c018a73
|
||||
```
|
||||
|
||||
展開後の`gecko.js/dist/`をread-onlyで`/gecko`へmountします。起動時に次の両ファイルのhashを確認し、
|
||||
欠損・改変・異なる版の混在があれば中継は起動しません。
|
||||
|
||||
| ファイル | SHA-256 |
|
||||
| --- | --- |
|
||||
| gecko.js | e5aeebffd21106eccf23b1219316221add5e95085bc5a1bfb941117cfcd75ef7 |
|
||||
| gecko.wasm.zst | ebd6c75179152624d9644865e11792ed25cadc714d9e0985f412baf9c637a086 |
|
||||
|
||||
資産URLにも`assets/v0.0.1/`を含め、版をまたいだJS/WASMのcache混在を避けます。
|
||||
初回にはJSと圧縮WASMの合計38,175,359 bytes(約36.4MiB)の転送とWASMの展開・compileが必要です。
|
||||
本体のDocker buildにFirefoxのソースビルドを加えません。
|
||||
|
||||
`Dockerfile.gecko-relay`は自前の中継バイナリだけを含みます。エンジンは同梱・再配布しません。
|
||||
**エンジンをイメージへ同梱する場合だけでなく、mountした資産を利用者へ配信する前にもnoticeと対応sourceの提供が必要です。**
|
||||
固定版のMPL宣言、第三者依存物、今回の配布範囲は[再配布条件](gecko-redistribution.md)を参照してください。
|
||||
v0.13.0の本番配備ではエンジンを配信せず、機能の有効化も行いません。
|
||||
|
||||
## 配置
|
||||
|
||||
任意の追加ファイル`docker-compose.gecko.yml`を通常のCompose定義に重ねます。
|
||||
このoverlayは`app`だけへ接続設定を追加し、`app2`は自動変更しません。
|
||||
|
||||
必要な環境変数:
|
||||
|
||||
| 変数 | 内容 |
|
||||
| --- | --- |
|
||||
| PAGESWIKI_GECKO_KEY_PATH | 32文字以上の十分ランダムな共有鍵のファイル絶対Path。appとrelayへ同じread-only mount |
|
||||
| PAGESWIKI_GECKO_ASSETS_DIR | hash確認した`gecko.js/dist`の絶対Path |
|
||||
| PAGESWIKI_GECKO_FRONT_SUBNET | 内部接続網。既定`172.24.0.0/27`。既存LANとの重複を避ける |
|
||||
| PAGESWIKI_GECKO_EGRESS_SUBNET | 中継の外向き網。既定`172.24.0.32/27` |
|
||||
|
||||
鍵はイメージ、Git、コマンド引数、ログへ含めません。relayはUID/GID `10001:10001`で動きます。
|
||||
mount元ファイルをこのUIDまたはGIDで読み取り可能にし、他の利用者から読めない権限にしてください。
|
||||
本体の`PAGESWIKI_GECKO_RELAY`は内部の固定URL、`PAGESWIKI_GECKO_KEY_FILE`はmount先です。
|
||||
これらは初回参照時に読み込むため、変更・鍵ローテーション時は本体とrelayを再起動します。
|
||||
|
||||
設定確認・試験起動の例:
|
||||
|
||||
```sh
|
||||
docker compose -f docker-compose.yml -f docker-compose.gecko.yml config --quiet
|
||||
docker compose -f docker-compose.yml -f docker-compose.gecko.yml build gecko-relay
|
||||
docker compose -f docker-compose.yml -f docker-compose.gecko.yml up -d gecko-relay app
|
||||
```
|
||||
|
||||
本体も今回の実装を含むイメージに更新する必要があります。既存のregistry/deploy用overrideがある場合は
|
||||
それも指定し、意図せず旧イメージや開発ビルドを本番へ適用しないでください。
|
||||
|
||||
### 外向き通信の制限
|
||||
|
||||
relayは公開ポートを持たず、通常のWikiネットワークやDBデータをmountしません。
|
||||
ただしDocker bridgeの分離だけでは外向き通信を制限できません。試験導入前にホストまたは外部firewallで、
|
||||
relayのegressから管理網・社内網・metadata・Wiki/DBホストへの到達を拒否し、公開TCP 80/443と管理されたDNSだけを許可します。
|
||||
rootless Dockerとrootful Dockerでは適用点が異なるため、ホスト固有のiptablesをこのoverlayから自動変更しません。
|
||||
|
||||
アプリケーション側でもIPv4/IPv6のprivate、loopback、link-local、特殊用途アドレスを拒否します。
|
||||
名前解決で返された全アドレスを検証してから、そのIPを直接dialします。検証後の再名前解決はしません。
|
||||
UDP、80/443以外のTCP、単一ラベルのホスト名は拒否します。
|
||||
これはWisp v1フレームを用いた**制限付きTCP profile**であり、Wispの全機能互換サーバーではありません。
|
||||
|
||||
## 上限と監視
|
||||
|
||||
| 対象 | 上限 |
|
||||
| --- | --- |
|
||||
| 同時セッション | Domain+本人ごとに1、サービス全体4 |
|
||||
| 同時TCP stream | セッションごと16 |
|
||||
| 接続試行 | セッションごと256 |
|
||||
| 合計転送量 | セッションごと送受信合計256MiB |
|
||||
| 帯域 | セッションごと送受信合計2MiB/s、初期burst 2MiB |
|
||||
| セッション期限 | 15分 |
|
||||
| WebSocket受信idle | 90秒 |
|
||||
| 宛先接続 | 名前解決込み8秒、個別dial 2秒 |
|
||||
| relayコンテナ | 256MiB、0.5 CPU、64 PIDs、read-only、capabilitiesなし |
|
||||
| 閲覧プロファイル | volatileな32MiB・2,048 entries、端末のOPFSへ永続化しない |
|
||||
|
||||
relayの稼働状態・接続数・送受信bytes・拒否数は、コンテナ内の次の操作でJSON取得できます。
|
||||
鍵はファイルから読み、標準出力には含めません。counterは再起動でリセットします。
|
||||
|
||||
```sh
|
||||
docker compose -f docker-compose.yml -f docker-compose.gecko.yml exec gecko-relay gecko-relay --status
|
||||
```
|
||||
|
||||
`/health`は内容なしの死活確認、`/status`は署名付き内部要求だけに応答します。
|
||||
CPU・メモリはコンテナ監視を使います。設定画面の資源グラフへの統合は未完了です。
|
||||
記事URL、本文、プロファイル内容、資格情報はrelayログに記録しません。
|
||||
|
||||
## 無効化と切り戻し
|
||||
|
||||
管理画面の拡張一覧で`viewer.gecko`を無効化できます。UIが使えない場合は、対象Domainを選択した
|
||||
ローカル`data/pageswiki-cli`で次を実行します。
|
||||
|
||||
```text
|
||||
extension viewer.gecko off
|
||||
```
|
||||
|
||||
既存WebSocketは次の認証再検査時に終了します。新たな閲覧も拒否し、RSSの原文リンクは新規タブへ戻ります。
|
||||
緊急時はrelayコンテナを停止します。DB移行の巻き戻しは不要です。
|
||||
|
||||
## 受入と制約
|
||||
|
||||
自動テストでは外部アクセスしない合成Wisp応答を使い、実際のGecko WASMで描画、canvasクリックによる遷移、
|
||||
ビューア内の「戻る」、iframe削除後の接続終了を確認します。実FreshRSS、外部カレンダー、メール本文は使いません。
|
||||
専用イメージのbuildと、`--network none`・非root・read-only・資源制限付きの一時コンテナで、
|
||||
固定資産の起動時検査と`--status`も確認済みです。本番の中継・ネットワーク設定は変更していません。
|
||||
|
||||
```sh
|
||||
go test -race ./internal/geckorelay ./internal/server -run 'TestGrant|TestDestinations|TestRelay|TestAssets|TestFeedGeckoAuthorization|TestFeedGeckoWebsocket'
|
||||
PAGESWIKI_BROWSER_TEST=1 PAGESWIKI_GECKO_TEST_ASSETS=/verified/gecko.js/dist go test ./internal/server -run '^TestFeedGeckoChromium$' -count=1
|
||||
node internal/server/testdata/feed-gecko-profile.mjs
|
||||
```
|
||||
|
||||
原文クリック時にだけ起動し、閉じるとiframe・worker・接続を破棄します。タブを60秒非表示にした場合も閉じます。
|
||||
再表示では静的資産のHTTP cacheを使えますが、エンジンは再起動します。
|
||||
戻る/進むは最大64件のURLを再読み込みする方式です。上流の最小GREにはSessionStoreFunctionsがなく、
|
||||
標準のhistory.back()が失敗するため、フォーム内容やスクロール位置を復元する履歴ではありません。
|
||||
画面のcanvasは最大1920×1080、experimental WASM JITとGPUは無効です。
|
||||
|
||||
本番の標準機能に昇格する前に、HTTPSサイトと証明書エラーの表示、Safari/iPhone SE、IME、コピー、
|
||||
find、実サイト互換性、複数タブ・起動失敗時のUX、低メモリ端末の測定、コンテナ外向きfirewallを検証します。
|
||||
外部ページのiframe拒否とは別の仕組みですが、すべてのサイトでの動作や軽さを保証するものではありません。
|
||||
@@ -0,0 +1,39 @@
|
||||
# PagesWiki v0.13.0
|
||||
|
||||
RSSフォルダのキーボード移動と、既定無効のGecko原文ビューア基盤を追加するminor releaseです。
|
||||
エンジン配布を含まない範囲でリリースします。通常のRSS表示・新規タブ・sandbox iframeは維持します。
|
||||
|
||||
## 変更
|
||||
|
||||
- Shift+j/kでFreshRSSの前後の分類フォルダを選択。検索条件、未読/star絞り込みを維持。
|
||||
- 認証付きの独立Wisp TCP relayと、Gecko用の本文上popup、個人設定を実装。
|
||||
- relayは公開TCP 80/443限定、DNS解決後の全IP検査、固定IPへの接続、接続数・帯域・通信量・期限の制限。
|
||||
- ログアウト・利用者状態・拡張無効化を既存WebSocketにも反映。
|
||||
- upstream v0.0.1をhash固定。閲覧プロファイルはメモリのみ、終了時はiframeを破棄。
|
||||
- 戻る/進むは最大64件のビューア内URL履歴を再読み込み。通常ブラウザのフォーム状態復元ではない。
|
||||
- 拡張manifestの既定無効をサーバーとローカルCLIへ反映。
|
||||
- 専用relayはscratch runtimeとし、実ビルドのGo・x/netのBSD licenseを収録。
|
||||
|
||||
## 再配布と本番の範囲
|
||||
|
||||
[再配布条件](../gecko-redistribution.md)にGecko、WASM用追加コード、Emscripten、zstddec、フォントを整理しました。
|
||||
GeckoのJS/WASM/フォントをGit、通常3イメージ、release assetへ同梱しません。
|
||||
relay Dockerfileと試験用Compose overlayは提供しますが、CIの配布イメージは従来の3種類です。
|
||||
|
||||
固定版生成物にはMozillaの総合noticeが含まれないため、エンジン配布用notice/source bundleは残件です。
|
||||
外部mountからのブラウザ配信も再配布として扱い、今回の本番では鍵・asset mount・relay起動・
|
||||
`viewer.gecko`の有効化を追加しません。
|
||||
通常のRSSフォルダショートカットは利用できます。
|
||||
|
||||
## 互換性と検証
|
||||
|
||||
DBスキーマ変更はありません。RSSリンクモード`gecko`は既存preferences JSONの追加値です。
|
||||
未構成・無効時は新規タブ表示に戻り、既存利用者の設定を自動変更しません。
|
||||
旧版でpreferencesを保存する際、新しい値が残っていれば`tab`または`embedded`へ戻す必要があります。
|
||||
|
||||
Go全体テスト、関連race検査、CLI、配布ツール、Chromiumでの1440/390px RSS回帰と実Geckoによる
|
||||
合成Wisp記事の描画・クリック遷移・戻る・終了を検証対象とします。実FreshRSS・外部カレンダー・メール本文は検証に使いません。
|
||||
Safari、IME/copy/find、実HTTPSの互換性と証明書エラー、低メモリ・長時間負荷、監視UI統合、
|
||||
本番の外向きfirewallは実験機能の昇格前の残件です。
|
||||
|
||||
構成・上限・切り戻しは[Gecko中継の試験導入](../gecko-relay.md)、機能の進捗は[RSS設計](../../design/ja/feeds.md)を参照してください。
|
||||
Reference in new issue
Block a user