37 Commits
Author SHA1 Message Date
Anya Tokugawa 16e572397b ci: serialize test packages to reduce SQLite initialization contention
Build and publish container images / images (push) Successful in 13m10s
Release container images / release (push) Successful in 25s
2026-11-08 05:42:30 +09:00
Anya Tokugawa bfed3d20f5 feat(feeds): cache FreshRSS subscriptions and category navigation
Build and publish container images / images (push) Failing after 6m7s
2026-11-08 04:48:55 +09:00
Anya Tokugawa 7fe64113c7 feat: add previewed atomic OPML subscription import and export
Build and publish container images / images (push) Failing after 7m31s
2026-11-08 04:39:54 +09:00
Anya Tokugawa 38daea737d feat: render RSS HTML bodies and simplify reader navigation
Build and publish container images / images (push) Successful in 12m32s
2026-11-08 04:00:27 +09:00
Anya Tokugawa 0d8997972c feat: add private RSS reader and read-only FreshRSS integration
Build and publish container images / images (push) Failing after 6m19s
2026-11-08 03:35:02 +09:00
Anya Tokugawa 0c2cf263b6 docs: define embedded and FreshRSS source authority [skip ci] 2026-11-08 02:48:14 +09:00
Anya Tokugawa 269f835c3a docs: prioritize feature subprojects starting with RSS [skip ci] 2026-11-08 02:45:25 +09:00
Anya Tokugawa b9e775de13 docs: reconcile implementation backlog and priorities [skip ci] 2026-11-08 02:40:55 +09:00
Anya Tokugawa e65ca56f92 feat: add audited work records and controlled digest retries
Build and publish container images / images (push) Successful in 12m27s
2026-11-08 02:35:29 +09:00
Anya Tokugawa 6e0aecdfb3 docs: record wallpaper palette v0.10.0 deployment [skip ci] 2026-11-07 23:14:51 +09:00
Anya Tokugawa 0964fdc5b7 feat: adapt home appearance to wallpaper colors
Build and publish container images / images (push) Successful in 10m56s
Release container images / release (push) Successful in 18s
2026-11-07 22:51:56 +09:00
Anya Tokugawa c7aa4fd7dd docs: record monthly mail layout release and deployment [skip ci] 2026-11-06 10:07:41 +09:00
Anya Tokugawa 1a451023f0 feat: support mailing-list and monthly mail capture paths
Build and publish container images / images (push) Successful in 11m59s
Release container images / release (push) Successful in 22s
2026-11-06 09:51:45 +09:00
Anya Tokugawa 543814cbd6 docs: record Japanese mail subject fix and v0.8.1 deployment [skip ci] 2026-11-06 09:18:02 +09:00
Anya Tokugawa 3262f88005 fix: use subject-independent identities for captured mail Wiki paths
Build and publish container images / images (push) Successful in 11m59s
Release container images / release (push) Successful in 25s
2026-11-06 09:02:34 +09:00
Anya Tokugawa 0b6343aff0 docs: record mail Wiki release and production deployment [skip ci] 2026-11-06 08:49:38 +09:00
Anya Tokugawa 80d297dab4 feat: atomically capture task mail into Wiki and persist destination defaults
Build and publish container images / images (push) Successful in 11m26s
Release container images / release (push) Successful in 20s
2026-11-06 08:34:29 +09:00
Anya Tokugawa 52b501d1ce docs: record pages-cli v0.2.0 TLS option release [skip ci] 2026-11-06 07:48:29 +09:00
Anya Tokugawa 7187af42ed docs: record CLI runner release and move NeoMutt guidance [skip ci] 2026-11-06 07:21:58 +09:00
Anya Tokugawa 8733645747 docs: record public CLI repository and runner prerequisite [skip ci] 2026-11-06 07:09:53 +09:00
Anya Tokugawa 9861b19f7b docs: record v0.7.1 deployment and CLI distribution preparation [skip ci] 2026-11-06 02:25:02 +09:00
Anya Tokugawa fdb411a896 Document v0.7.1 release artifacts and compatibility [skip ci] 2026-11-04 10:25:49 +09:00
Anya Tokugawa a6bf3dfe41 Refine task editor layout and personal reminder defaults
Build and publish container images / images (push) Successful in 11m12s
Release container images / release (push) Successful in 17s
2026-11-04 10:12:25 +09:00
Anya Tokugawa 8fd0b6ec8b Record v0.7.0 organizer production deployment [skip ci] 2026-11-04 00:24:46 +09:00
Anya Tokugawa 6ba30bc9f4 Unify organizer navigation and add personal widget dashboard
Build and publish container images / images (push) Successful in 12m38s
Release container images / release (push) Successful in 23s
2026-11-04 00:05:16 +09:00
Anya Tokugawa a9249009f0 docs: record v0.6.0 CardDAV rollout and backup retention [skip ci] 2026-11-02 09:06:59 +09:00
Anya Tokugawa 19e12f96a8 Add private CardDAV synchronization and contact revision recovery
Build and publish container images / images (push) Successful in 13m39s
Release container images / release (push) Successful in 18s
2026-11-02 08:41:15 +09:00
Anya Tokugawa 433169c7e7 docs: record v0.5.0 productivity and contacts rollout [skip ci] 2026-11-01 23:18:14 +09:00
Anya Tokugawa 8988e5a2f8 Apply task defaults to inline subtask capture
Build and publish container images / images (push) Successful in 16m25s
Release container images / release (push) Successful in 24s
2026-11-01 22:32:55 +09:00
Anya Tokugawa b4792bb175 Add task capture, work reports, daily digests and private contacts
Build and publish container images / images (push) Successful in 16m37s
2026-11-01 22:28:16 +09:00
Anya Tokugawa 50b8b0323f docs: record v0.4.0 CLI editing rollout [skip ci] 2026-11-01 21:50:31 +09:00
Anya Tokugawa 93f4ecb8f4 Enable CLI language-aware editing and reuse OIDC authentication
Build and publish container images / images (push) Successful in 14m31s
Release container images / release (push) Successful in 27s
2026-11-01 21:31:04 +09:00
Anya Tokugawa 5821254535 docs: record v0.3.0 CLI OIDC rollout and verification [skip ci] 2026-11-01 20:55:25 +09:00
Anya Tokugawa 60f5fb1881 Add OIDC browser approval and PKCE session handoff for pages CLI
Build and publish container images / images (push) Successful in 14m39s
Release container images / release (push) Successful in 25s
2026-11-01 20:26:45 +09:00
Anya Tokugawa 2af87b4f58 docs: record v0.2.1 logging hotfix rollout [skip ci] 2026-11-01 20:03:38 +09:00
Anya Tokugawa a36934e72c Fix event log writer contention and report persistence failures safely
Build and publish container images / images (push) Successful in 16m17s
Release container images / release (push) Successful in 39s
Take the SQLite writer lock before reading job/policy facts, bound acquisition and cancellation, preserve atomic raw logs and counters, and avoid replaying successful business operations on logging failure. Tested the isolated nine-file release slice with the full Go suite, race tests and go vet.
2026-11-01 19:40:26 +09:00
Anya Tokugawa 0f686aa2fb docs: record v0.2.0 production rollout and logging follow-up [skip ci] 2026-11-01 15:42:12 +09:00
184 changed files with 15659 additions and 258 deletions

No files matched your search

+2 -2
View File
@@ -35,8 +35,8 @@ jobs:
[worker.oci]
max-parallelism = 2
- name: Test release tooling
run: node --test tools/ci/release-images.test.mjs
- name: Test release tooling and wallpaper palette
run: node --test tools/ci/release-images.test.mjs static/js/home-palette-core.test.cjs
- name: Test
uses: https://github.com/docker/build-push-action@263435318d21b8e681c14492fe198d362a7d2c83 # v6.18.0
+4 -1
View File
@@ -11,7 +11,10 @@ RUN go mod download
COPY . .
FROM source AS test
RUN go test ./...
# Test packages create independent SQLite stores. Serialize packages to avoid
# concurrent server/store initialization exhausting the shared runner's I/O.
# Keep production database deadlines and the complete test suite unchanged.
RUN go test -p 1 ./...
FROM source AS runtime
RUN go build -o /pageswiki ./cmd/pageswiki
+4
View File
@@ -9,6 +9,10 @@ language-neutral; existing English source documents remain here for traceability
and future aligned translations, not as automatically current English editions.
- Concepts and boundaries: chapters 1–6.
- [Organizer navigation and personal dashboard](ja/organizer-dashboard.md): shared navigation,
personal settings, resizable widgets, owner-scoped layout storage and extension boundaries.
- [Task capture, work reporting and private address book](ja/task-productivity-contacts.md):
shared Web/CLI API, neomutt, defaults, daily digest and home search commands.
- Existing product and runtime: chapters 7–11.
- Organizer / task / calendar / RSS / mail / HTML editing proposals: chapters 12–17.
- Operations, i18n, ordered work, decisions and sources: chapters 18–22.
+87 -17
View File
@@ -1,5 +1,59 @@
# Architecture Implementation Roadmap
## Current backlog reconciliation (2026-11-08)
Use the [Japanese implementation backlog](ja/implementation-backlog.md) for the current
execution order, stable task IDs, acceptance criteria and explicit holds. Baseline: `e65ca56`.
Broad historical checkboxes below may contain implemented slices; they are not a count of
unimplemented features. Source completion, physical-client acceptance and production rollout
remain separate gates. The 2026-10-31 UX priorities below are historical context.
## Daily email history and controlled retries (2026-11-08)
- [x] Private, paginated delivery history and explicit same-day retry from personal settings.
- [x] Durable request receipts, attempt-generation fencing, opt-out/version/revocation rechecks and duplicate-delivery acknowledgment.
- [x] Bounded 90-day detail cleanup; preserve daily reservations and retry receipts permanently.
- [x] Additive schema v4 with old-state preservation, interrupted-migration rollback and integrity tests.
- [ ] Production rollout; backup restoration must reconcile external SMTP effects before resuming delivery.
- [ ] Retention controls, safe receipt compaction, queued-request cancellation and Inbox outcomes.
See [delivery contracts and recovery](ja/task-digest-delivery.md).
## Work history and project reporting (2026-11-08)
- [x] Owner-scoped paginated work history with inline correction/cancellation and lazy revision display.
- [x] Atomic immutable audit snapshots, optimistic concurrency, current authorization and cross-Domain overlap checks.
- [x] Exclude cancelled time from reports; aggregate by current project without per-project queries.
- [x] Task/dashboard navigation, Japanese/English UI and desktop/mobile browser coverage.
- [ ] Production rollout with an aligned DB backup; old binaries must not read the upgraded DB.
- [ ] Revoked-Domain recording recovery, cancellation restoration and audit retention policy.
See [work history contracts and migration](ja/task-productivity-contacts.md).
## Organizer dashboard (2026-11-02)
- [x] Common navigation for tasks, calendars, contacts and dashboard; home/navbar contacts entry.
- [x] Owner-only personal settings at `/-/sys/config?panel=organizer`, without expanding admin permissions.
- [x] Task tabs, today/tomorrow tasks, daily completion, calendar and activity widgets; reorder/resize and versioned layout persistence.
- [ ] Shared dashboards, multiple widget instances and sandboxed third-party widgets.
See [dashboard contracts](ja/organizer-dashboard.md). Production rollout is a separate gate.
## Task productivity and private contacts (2026-11-01)
- [x] Add idempotent task capture API and neomutt configuration reference.
- [x] Extend pages-cli with task planning, start/stop records, reports and private contact lookup.
- [x] Add per-user defaults, accomplishment heatmap and opt-in daily SMTP task digest.
- [x] Add home search commands with project/calendar suggestions and explicit creation confirmation.
- [x] Add private contacts CRUD, trash/restore, vCard import/export and unknown-property preservation.
- [x] Add private CardDAV serving with isolated credentials, conditional writes, bounded reports and sync tokens; revision preview/restore and whole-book export (2026-11-02).
- [ ] Shared address books, external CardDAV connectors and physical-device compatibility.
See [CardDAV operation and limits](../operations/carddav-contacts.md). The private profile is not full CardDAV compliance; production rollout is tracked separately.
See [contracts and remaining scope](ja/task-productivity-contacts.md). These checks describe
the implemented slice; production rollout and test evidence are recorded separately.
## Current highest priority (2026-10-31)
The user-prioritized [daily UX / browser / editor / CLI backlog](ja/priority-ux-20261031.md)
@@ -52,10 +106,18 @@ deployment separately; a source checkpoint includes the pre-existing dirty workt
See [component names, boundaries and acceptance criteria](ja/component-names.md).
All eight initial component extractions are implemented; unchecked items describe remaining capabilities.
Released and deployed as [v0.2.0](../operations/deployments/2026-11-01-v0.2.0.md) on 2026-11-01.
- [x] Eliminate AddEventLog deferred read-to-write transaction contention with writer-first
acquisition, atomic raw-log/bucket writes and independent concurrent-writer tests.
Completion-log failure does not replay successful business work; see [Dregarnuhr](ja/dregarnuhr.md).
- [ ] Recover missing logs, improve event-only fallback/retention and define completion/log
atomicity. Writer-first acquisition does not guarantee all logs survive prolonged contention.
### Storage portability and operations (2026-09-27)
Implemented and fixture-tested in the working tree; **not deployed**.
Implemented and fixture-tested; included in the [v0.2.0 production release](../operations/deployments/2026-11-01-v0.2.0.md).
This does not mark the unchecked backend/HA capabilities below as implemented.
- [x] Immutable local Document Store contract, bounded materialization and streaming archive access.
- [x] Resumable document backfill with store identity, UUID cursor and batch checkpoints.
@@ -111,7 +173,10 @@ See [active notification contract](ja/active-notifications.md) and
- [x] Private local calendar time-block links, durable retry intents, current event time/ETag lookup, unlink tombstones; imported/shared/public calendars excluded.
- [x] Persistent Pomodoro: start/pause/resume/finish/cancel, one active session per principal, conditional transitions, bounded scheduler completion and Inbox notification.
- [x] Today bounded estimates/current local time blocks/recorded focus intervals, overlap and incomplete-total indicators. Calendar event summaries include an explicitly approved task-title snapshot, never notes.
- [ ] Personal capacity, carry-over and period/project reports; historical focus-span backfill; calendar reminders, notification defaults/quiet hours/digests; Pomodoro personal defaults/cycles and routines.
- [x] Daily carry-over, work-period/current-project reports, personal notification defaults and
opt-in daily task digest with delivery history and manual retry (source through 2026-11-08).
- [ ] Personal capacity, historical focus-span backfill, general calendar reminders, quiet hours,
Pomodoro personal defaults/cycles and routines; see TASK-01 / ORG-01 in the current backlog.
See [time-block and Pomodoro contracts](ja/task-planning-focus.md) for API, privacy,
two-store recovery, polling limits and remaining work. Canonical calendars and task
@@ -160,14 +225,16 @@ System-service plugins are distinct from document adapters. See
- [x] Separate system-extension catalog and settings area for trusted built-ins.
- [x] Unified execution/resource monitor (running jobs only), paginated job history with lazy logs.
- [x] Protect group owners from ordinary member downgrades and atomically retain an owner during concurrent removal.
- [ ] Transactional activity outbox and Domain/principal recent-edit projections.
- [x] Transactional Domain-sequenced activity outbox and independent typed consumer checkpoints;
task/project source mutations append atomically. See [delivery contract](ja/outbox-delivery.md).
- [ ] General Domain/principal recent-edit projections, consumer operations and safe outbox retention.
- [x] Diary/blog initial built-ins: Page UUID metadata, calendar/recent entries,
categories, read-filtered indices, per-Domain enable/disable and registration UI.
See [initial scope](diary-blog-plugins.md); this is authenticated, existing-Page registration only.
- [x] Diary/blog atomic Markdown new-post composition, transactional metadata/Revision,
embedded-asset freezing, idempotent retry and create/write enforcement.
- [ ] Diary/blog: anonymous metadata approval/feeds,
recent comments and safe resumable tDiary import; declarative time/OS/sunset theme rules.
- [x] Diary/blog approved anonymous metadata and full-body RSS feeds; see [current scope](ja/blog-diary.md).
- [ ] Recent comments and safe resumable tDiary import; declarative time/OS/sunset theme rules.
- [x] Diary/blog per-Domain prefixes, optional keyword URL planner, multiple articles
per day, and authenticated Domain-root diary/blog entry view (2026-09-17).
Legacy Page registration remains available.
@@ -181,8 +248,8 @@ System-service plugins are distinct from document adapters. See
filter, legacy-query redirects, and canonical calendar/filter/pagination navigation.
- [x] Local same-Campus diary/blog index/calendar projection without copying articles;
source and destination read-policy filtering, source body/edit links, target write guard.
- [ ] Project article bodies on destination host, approved anonymous projection,
cross-instance source transport/revocation and source-setting federation.
- [x] Same-instance destination-host article bodies, approved anonymous projection and RSS.
- [ ] Cross-instance source transport/revocation and source-setting federation.
- [ ] Rankings, reactions and moderated Page/inline comment services.
- [ ] Linkding-compatible bookmark-source injection with scoped credentials.
- [ ] Explicit external-search fallback and PagesWiki/GROWI/PukiWiki connectors.
@@ -426,7 +493,8 @@ See [Home layouts and sidebar design](navigation-home-sidebar.md).
manifests, inert HTML, mutation invalidation and denial/revocation tests.
- [ ] Extend those gates to anonymous discovery/dependencies and delegated
shares with full impact-aware mutation/alias handling.
- [ ] Add Domain groups, group Role bindings, and `/g/` management surfaces.
- [x] Add Domain groups, group Role bindings, and `/g/` management surfaces.
Full authorization auditing and external group mapping remain separate gates.
- [ ] Add explicit OIDC/LDAP group mappings and policy-version invalidation;
LDAP authentication must remain usable without enabling group synchronization.
- [ ] Add auditable policy decisions.
@@ -443,11 +511,12 @@ These items must land before the later feature that depends on them. They are
listed separately because they replace concrete single-feature assumptions
without changing user-visible Page identity.
- [ ] Put filesystem `DocumentRoot` access behind the seekable, content-addressed
Document Store interface before adding S3 or multi-node payload placement.
- [ ] Generalize topology/event-job records into a versioned transactional
Domain event outbox before notifications, feeds, metrics, comments, or DR
consume mutation events.
- [x] Introduce the seekable, content-addressed Document Store interface and Geduldh
local payload/materialization adapter. External backends, legacy context propagation
and placement contracts remain open; see [Geduldh](ja/geduldh.md).
- [x] Introduce a transactional Domain event outbox with typed subscriptions and checkpoints.
- [ ] Extend producer coverage and replay/retention contracts before new consumers depend on it;
see [remaining delivery work](ja/outbox-delivery.md).
- [ ] Add a typed extension manifest and provider registry before adding third-
party transpilers, widgets, scanners, storage backends, or themes.
- [ ] Inventory process-local sessions, caches, preview slots, scheduler state,
@@ -520,10 +589,11 @@ without changing user-visible Page identity.
- [ ] Formalize a Domain-sequenced event outbox for Page, Revision, Path,
topology, policy, share, comment, reaction, quality, and federation events.
- [ ] Add Page/Spot/Street/Quartier subscription and change-notification rules.
- [ ] Add a per-Principal notification inbox with unread state, grouping,
filtering, retention, cursor pagination, and authorization-safe deep links.
- [ ] Add delivery channels for Web inbox, email digest, webhook, and future
push adapters, with retry/dead-letter state in the event scheduler.
- [x] Per-Principal Inbox, unread state, cursor pagination, topbar/modal/detail UI,
task/broadcast producers and current-authorization checks for supported types.
- [ ] General notification grouping/filtering/retention and new-producer authorization coverage.
- [x] Web Inbox, opt-in Web Push and daily task email; their delivery contracts are distinct.
- [ ] General channel subscriptions, webhook delivery, quiet hours and retry/dead-letter operations.
- [ ] Add recently edited and recently viewed Page projections; keep private
activity private and provide retention/opt-out controls.
- [ ] Add privacy-aware Page view counters with bot filtering, idempotent event
+26
View File
@@ -1,5 +1,9 @@
# Implementation status and hardening backlog
2026-11-08 reconciliation: use the [current Japanese implementation backlog](ja/implementation-backlog.md)
for actionable IDs, priorities, dependencies and acceptance gates, based on `e65ca56`.
This is a source/document audit, not a production audit or a new deployment.
For the consolidated current reading order, use the [Japanese handbook](ja/index.md)
and [decision register](ja/decisions.md). Dated entries below preserve history;
older statements about missing anonymous navigation, blog publication or RSS are
@@ -13,6 +17,28 @@ security.
## Current state
2026-11-08 digest follow-up: private delivery history and explicit same-day retry
are implemented in source. Manual requests are queued for the existing scheduler;
attempt IDs fence stale completions, and consent/version/authorization are checked
again before SMTP. Detailed terminal attempts expire after 90 days, while daily
reservations and request receipts remain. Additive schema v4 and recovery rules
preserve duplicate prevention; production rollout remains deferred. See
[delivery history and migration](ja/task-digest-delivery.md).
2026-11-08 work history: owner-only bounded history, inline correction/cancellation,
immutable audit snapshots and project-level reports are implemented in source.
Cancelled spans leave the report but not the audit. Task/dashboard navigation and
Japanese/English desktop/mobile UI are connected. Schema migration v3 requires an
aligned DB backup before production rollout; do not hot-swap older binaries onto
the upgraded DB. See [contracts and remaining scope](ja/task-productivity-contacts.md).
The dated task/inbox paragraphs below describe earlier slices. VTODO, time blocks,
Pomodoro, active notifications, daily task email, private CardDAV and the organizer
dashboard have since been implemented. Their remaining work is shared access,
external connectors, conflict resolution and retention, not reimplementation of
the existing private interfaces. The [Japanese roadmap](ja/roadmap.md) tracks the
current order.
2026-09-25 task reminders: explicit per-task due/planned-date switches and a local
notification time now schedule owner-only Inbox reminders. Reservations are updated
in the source transaction; the bounded scheduler rechecks current state/authority,
+5 -5
View File
@@ -1,6 +1,6 @@
# 14. 予定・iCalendar・CalDAV・連絡先
状態:カレンダー部分は2026-09-22にローカル正本・Plan UI・限定CalDAVを実装開始。最新の契約・実装範囲・残作業は [カレンダー詳細設計](calendar-implementation.md) を参照。以下の旧順序/URI案より同設計を優先する。連絡先と外部同期は引き続き設計案。
状態:カレンダー部分は2026-09-22にローカル正本・Plan UI・限定CalDAVを実装開始。最新の契約・実装範囲・残作業は [カレンダー詳細設計](calendar-implementation.md) を参照。2026-11-01に個人アドレス帳のCRUD・vCard入出力・neomutt検索、2026-11-02に個人CardDAV提供・履歴復元・一括exportを実装した。[個人アドレス帳の実装契約](task-productivity-contacts.md)と[CardDAV運用](../../operations/carddav-contacts.md)を以下の旧URI案より優先する。共有アドレス帳と外部CardDAV connectorは引き続き設計案。
## 四つのレイヤー
@@ -8,8 +8,8 @@
| --- | --- | --- |
| Wiki URL | 人が開く説明・知識への入口 | rename可能なPage Path |
| iCalendar | 予定・タスク等の交換形式 | export/import、UIDと元データを保持 |
| CalDAV | カレンダー資源を扱うWebDAV拡張 | remote connector、将来の提供面 |
| CardDAV / vCard | 連絡先の通信 / データ形式 | 個人・共有address book |
| CalDAV | カレンダー資源を扱うWebDAV拡張 | 読取remote connectorと限定VEVENT/VTODO提供面は実装済み |
| CardDAV / vCard | 連絡先の通信 / データ形式 | 個人address book提供は実装済み、共有・外部connectorは後続 |
iCalendarとCalDAVは同義ではなく、`.ics`を配信するだけでCalDAVサーバーにはなりません。vCardとCardDAVも区別します。[RFC 5545](https://www.rfc-editor.org/rfc/rfc5545)、[RFC 4791](https://www.rfc-editor.org/rfc/rfc4791)、[RFC 6350](https://www.rfc-editor.org/rfc/rfc6350)、[RFC 6352](https://www.rfc-editor.org/rfc/rfc6352)。
@@ -29,7 +29,7 @@ local item UUID、calendar UID、remote href、Wiki Page UUIDを対応表に持
connectorはremote ETagとlocal versionを別々に持ち、更新前の値で条件付き操作します。ETagをDocument SHA-256と仮定しません。対応サーバーではcollection sync-tokenを利用する案ですが、無効なtokenからの再同期と未対応時のboundedな全量照合も必要です。[WebDAV同期仕様](https://www.rfc-editor.org/rfc/rfc6578)。
通信失敗では外部削除と見なさず、tombstoneは確認できた削除だけです。両側で変更された場合はbase/local/remoteを比較し、内容を保存した競合状態へ移します。勝手な最新版上書きはしません。
外部connectorの設計では、通信失敗を外部削除と見なさず、tombstoneは確認できた削除だけにします。双方向書込を追加する際はbase/local/remoteを保存して競合選択へ進めます。これを現在の全DAV入口の挙動とは扱いません。タスク提供面では利用者指定により無条件PUT/DELETEを上書き受理し履歴を保持します。競合候補・通知・採否選択は[所属統一の後続](task-dav-project-unification.md)で、読取外部カレンダーconnectorとは別契約です。
## 連絡先
@@ -37,7 +37,7 @@ address bookの所有者・共有範囲、contact UUID、remote UID、複数メ
## URL/API案と実装順
人向けは `/v/organizer`、APIは `/_/api/v1/extension/organizer.{calendar|contacts}/…` を候補とします。**未実装・未予約**です。DAV提供面はroot discovery、認証、標準メソッドとルーターの衝突を調査してから決めます。Wiki PathをそのままDAV collectionにしません。
旧案の `/v/organizer` ではなく、連絡先の実装は `/v/plan/contacts`、APIは `/_/api/v1/extension/organizer.contacts/`、CardDAV提供面は `/_/api/v1/carddav/` を使います。Wiki PathをそのままDAV collectionにしません。以下の順序案のうち、個人アドレス帳と限定DAV提供は実装済み、共有と外部connectorは後続です。
1. ICS/vCard fixture、入出力preview、警告、重複防止。
2. local calendar/agenda・連絡先一覧、権限・version試験。
+4
View File
@@ -210,3 +210,7 @@ Grammaratur から server/store/db/render/compiler へ戻る依存は作らな
- 本番DB・本番ネットワーク・取り込み済み外部カレンダーへのアクセスは行っていない。
8部品の初期分離はソース変更と検証まで完了。commit・push・本番展開は本作業に含めていない。
その後の明示的なリリース依頼により、同日 `v0.2.0` としてcommit・push・CI・本番反映を完了した。
[配布digest・移行・復旧点・開始ログ競合の継続課題](../../operations/deployments/2026-11-01-v0.2.0.md)
は初期分離の検証記録と分けて管理する。
+2 -2
View File
@@ -27,7 +27,7 @@
| ADR-O1 | organizerはtyped metadataと任意Page参照 | タスク初版は専用表+既存CAS Document Store(2026-09-24)。通常のObject閲覧・リンク・削除の権限境界を拡大せず、個人所有を確実に分離する。DBは捨てられる索引ではない。[実装契約](tasks-implementation.md) |
| ADR-O2 | task共通部+ticket workflow | 提案。番号・外部依頼者・遷移権限の要件確認 |
| ADR-O3 | ICS/vCard入出力→read-only DAV→双方向 | 推奨順。対象サーバー/clientを選んで互換表を作る |
| ADR-O4 | FreshRSS正本+PagesWiki connector+newsboat | 第一候補。利用環境・追加運用負荷を確認。内蔵readerは代案 |
| ADR-O4 | 簡易利用は内蔵正本、本格運用はFreshRSS正本+PagesWiki connector+newsboat | 2026-11-08利用者指定で採用。内蔵・FreshRSS読取・共通UI・OPML入出力まで実装。source単位で正本を分離し、自動fallbackや二重管理はしない。外部書戻しは残件。実環境の接続先・版・資格情報は別途指定 |
| ADR-O5 | IMAP read-only、Wikiコピーは明示操作 | 初期設計方針。providerとsampleが実装前提 |
| ADR-O6 | HTMLパーツを先行し全面WYSIWYGは保留 | 提案。round-tripと操作改善の評価でgo/no-go |
| ADR-O7 | Wiki Pathと外部UID/hrefを分離 | 共通の設計制約。rename fixtureを全connectorで実施 |
@@ -35,7 +35,7 @@
## 未決事項
利用するFreshRSSの有無と版、対象CalDAV/CardDAV client、IMAP provider、taskの共有単位、ticketの依頼者公開範囲、保持期限、外部接続を許可するhost、RPO/RTO、WYSIWYG採用基準です。これらが未決でもlocal fixtureと設計は進められますが、外部サービスを勝手に立ち上げたり資格情報を流用したりしません。
利用するFreshRSSの接続先・版・資格情報、対象CalDAV/CardDAV client、IMAP provider、taskの共有単位、ticketの依頼者公開範囲、保持期限、外部接続を許可するhost、RPO/RTO、WYSIWYG採用基準です。これらが未決でもlocal fixtureと設計は進められますが、外部サービスを勝手に立ち上げたり資格情報を流用したりしません。
## 文書運用
+42 -2
View File
@@ -71,9 +71,48 @@ SQLiteの単一 `UPDATE ... RETURNING` で選択とclaimを行い、同じジョ
3. 業務ハンドラーのpanicを失敗として記録・再試行対象にする。panicの内容自体は記録しない。
4. キャンセル状態のDB読込失敗を「キャンセルなし」と扱わない。業務処理を止め、失敗経路へ送る。
5. worker contextが取り消されても、独立した5秒contextで完了保存を試みる。
保存失敗はログへ出す。旧式の設定・ログ用DB呼出しにはcontext未対応部分が残るため、
保存失敗はログへ出す。旧式の設定用DB呼出しにはcontext未対応部分が残るため、
保存処理全体の厳密な5秒上限を保証するものではない。
## v0.2.0後の優先修正:ログ保存競合
2026-11-01、ソース実装・合成データ検証。基点は `0f686aa`。
同日20:00 JST、[v0.2.1として本番反映](../../operations/deployments/2026-11-01-v0.2.1.md)した。
v0.2.0本番観察で開始ログ保存のSQLITE_BUSY_SNAPSHOT(517)が発生したため、
読取transactionをwriterへ昇格させる `AddEventLog` を修正した。
- `AddEventLogContext` は専用接続の `BEGIN IMMEDIATE` で書込権を先に取得し、
イベント型/保持policyの読取、rawログ、集約bucketを同じtransaction内で扱う。
DBスキーマ・公開API・ジョブの実行規則は変更しない。
- 予算は最大2秒、呼出し元に短い期限があればそちらを優先する。
接続取得後のSQLite busy待機を50msに限定し、BEGINのBUSYだけを10〜80ms間隔で再試行する。
書込開始後やCOMMIT応答不明時の再送はしない。これにより内部retryの二重集計を避ける。
OS/接続初期化/ドライバの停止までを含む厳密な実時間保証ではない。
- 取消時も独立した最大1秒のcleanupでROLLBACKと接続のbusy_timeout復元を試みる。
transaction状態や待機設定を確定できない接続はpoolへ戻さない。
- 通常のイベント型取得はJob UUIDの主キー検索。履歴全走査やOR条件のsortを
writer lock内で行わない。Job不在かつEvent UUID指定時のみ従来のfallbackを使う。
空のEvent UUIDで無関係なジョブを拾わない。DB読取エラーを既定policyで隠さない。
- rawログとbucketの途中失敗は両方rollback。ログ保存が成功した場合のみ両方を確定する。
これはログ呼出し間のexactly-once保証ではなく、単一呼出し内の原子性である。
- 完了状態を保存後にログだけ失敗した場合は `ErrEventCompletionLog` を返す。
server adapterは `finish-log failed` として報告し、完了状態を失敗へ変えたり
成功した業務処理を再実行したりしない。開始/進捗の失敗も別stageで報告する。
- ログ保存失敗の診断はcomponent、Job UUID、イベント型、エラー分類/SQLite codeだけ。
ドライバの生メッセージ、SQL、進捗本文、payload、認証情報はcomposeログへ転載しない。
受入試験は独立8接続の320件ログと別writer、原子rollback、取消後の再利用・待機設定復元、
readonly、空ID誤分類、policy読取失敗、主キー利用、完了/retry状態の維持、
開始・進捗・完了の失敗診断と秘密の非露出を対象とする。
全Goテスト(`go test ./... -count=1`)、全Go vet、関連store/server試験のrace検査
(3回)が成功。通常の関連store試験は20回反復して確認した。
テストは一時DBと合成ジョブのみ。本番DB・外部カレンダー・実通知先は使用しない。
長時間ロックで保存できなかったログの自動回収、完了状態とログ自体の一体commit、
event-only fallback検索や保持処理の最適化は後続。v0.2.0タグは変更せず、
新しいPATCH版v0.2.1として別途検証・公開した。
## 未実装:リース・HA・終了処理
**atomic claimは期限付きリースではない。現時点は単一writerプロセスの運用を前提とする。**
@@ -88,7 +127,8 @@ exactly-onceの配送・実行は保証しない。外部副作用の冪等性
- [ ] 成功後・完了保存前の障害、lease更新停止、旧workerの遅延完了を障害注入試験する。
- [ ] アプリケーションの停止contextをschedulerに接続し、受付停止・実行中処理のdrain・期限付き終了を実装する。
- [ ] 各業務ハンドラーへcontextを伝播する。現状は独自のBackground/timeoutを使う処理も残る。
- [ ] 古い設定・ログDB呼出しをcontext対応にする。完了保存失敗の回収方針も定義する。
- [x] 開始/進捗/完了ログのcontext伝播、有界writer取得、ログ保存失敗の診断(v0.2.1で本番反映)。
- [ ] 古い設定DB呼出しをcontext対応にする。完了保存失敗・欠落ログの回収方針も定義する。
コアのLoop/Runnerはキャンセルを受け付けるが、現行アプリケーションは従来どおり
Background contextで起動する。これをgraceful shutdown対応済みとは扱わない。
+227 -14
View File
@@ -1,24 +1,131 @@
# 15. RSSビューア・FreshRSS・newsboat
状態:設計案。既存のブログRSS「配信」と、本章の外部RSS「購読」は別機能。
状態:内蔵簡易reader、FreshRSS読取connector、共通viewer、Wiki保存・タスク化、ダッシュボードを実装。
OPMLの確認付き追加取り込み・書出し、FreshRSS購読・カテゴリのnavigationも実装済み。FreshRSSへの書戻しは残件。本番反映と実FreshRSSへの接続は未実施。
既存のブログRSS「配信」と、本章の外部RSS「購読」は別機能。
## 選択肢と推奨する試作順
2026-11-08:利用者指定のサブプロジェクト順で最初に実施する。内蔵readerは簡易利用の
正本、本格運用はFreshRSSを正本とする。実環境の接続先・版・資格情報は別途指定する。
| 案 | 正本 | 利点 | 追加する責任 |
## 正本と責務
| モード | 正本 | PagesWikiの役割 | 範囲 |
| --- | --- | --- | --- |
| PagesWiki内蔵reader | ローカルの購読と状態 | Wiki保存と一体のUI | 取得・既読・同期・client対応を全て持つ |
| FreshRSS connector | FreshRSSの購読・既読 | 既存reader資産を利用 | API互換性、権限、cacheと失効 |
| newsboat単独の橋渡し | newsboat側の購読・状態 | CLI利用に合わせやすい | ローカル連携経路・export/importの設計 |
| 内蔵簡易reader | PagesWikiの購読・フォルダ・既読・star | feed取得、保持上限内の記事保存、閲覧とWiki保存 | 個人の簡易利用。外部reader向け同期サーバーや高度なルール機能は初期範囲外 |
| FreshRSS連携 | FreshRSSの購読・フォルダ・記事・既読・star | 表示用cache、連携UI、Wiki保存・タスク化 | 本格運用。PagesWikiは独立した購読・既読の正本を重ねない |
| newsboat等のclient | 接続先FreshRSS | PagesWikiと同じ正本を使う別clientとして扱う | PagesWiki経由の代理同期やnewsboatのDB共有は行わない |
FreshRSSにはGoogle Reader互換APIがあり、APIの有効化と専用passwordを使います。newsboatにはFreshRSS連携が用意され、カテゴリのtag化やstar操作を扱えます。[FreshRSS公式API](https://freshrss.github.io/FreshRSS/en/developers/06_GoogleReader_API.html)、[newsboat公式マニュアル](https://newsboat.org/releases/2.42/docs/newsboat.html#_freshrss)。
このため最初の候補は **FreshRSSを正本、PagesWikiを読取connector、newsboatを同じFreshRSSのclient** とする構成です。これは設計上の提案で、ユーザー環境のFreshRSS導入・採用決定ではありません。PagesWikiがnewsboatをサーバー上で起動したり、そのSQLiteを共有したりする必要はありません。
本格運用は **FreshRSSを正本、PagesWikiとnewsboatをそのclient** とする構成を採用します。
内蔵簡易readerも別providerとして提供し、共通の一覧・保存UIを使用します。FreshRSSを
PagesWiki全体の必須依存にはせず、外部サービスの新設・接続は設定時の明示操作とします。
## 読取MVP
sourceは一つのproviderに束縛し、記事キーはDomain/所有者/source UUID/remote IDで
区別します。同じURLの記事でも別sourceの既読を自動統合しません。FreshRSSのcacheは
再取得可能な派生データですが、内蔵の購読・状態は正本として保全対象にします。
購読一覧、フォルダ、記事一覧、外部原文、Wiki保存を提供します。初期段階では表示しただけでFreshRSSへ既読を送りません。UIには「読取専用・既読は同期していない」と明示します。ブラウザへFreshRSS password/tokenを渡さず、backend connectorがsecret参照を使います。
FreshRSS停止時は取得済みcacheと鮮度・接続状態を示し、内蔵正本へ自動切替しません。
外部操作の未送信状態は正本と区別し、成功していない既読・starを同期済みと表示しません。
内蔵からFreshRSSへの移行はOPML等による明示的なexport/importとし、初期版では既読・star・
記事IDの完全移行を保証しません。移行完了の確認前に内蔵データを削除しません。
最小cache案はsource UUID、remote feed/item ID、title、safe excerpt/body hash、canonical URL、published/updated/fetched時刻、remote state/versionです。IDなしRSSにはfeed単位の保守的な代替キーを使い、題名だけで重複排除しません。Atomはentry IDと更新情報を持つ形式です。[Atom仕様](https://www.rfc-editor.org/rfc/rfc4287)。
## 実装済みの読取機能
`/v/feeds` に購読一覧、フォルダ、記事一覧、外部原文へのリンク、Wiki保存を提供します。
FreshRSSの記事・既読・starは取得しますが、状態の変更は送信しません。UIにも読取専用と明示し、
FreshRSS passwordを設定時以外にブラウザへ返さず、login tokenはbackend内でのみ利用します。
資格情報は既存の暗号化機構を使い、Domain・所有者・source UUID・用途に束縛します。
cacheはsource UUID、remote item ID、title、安全化したHTML本文とテキスト本文、記事URL、公開日時、配信元、
フォルダ、read/starを保持します。取得時刻・ETag・Last-Modified・失敗分類はsource側に持ちます。
IDなしRSSは記事URL、URLもなければ題名・日時・本文の組合せから代替キーを作り、題名だけで
重複排除しません。Atomはentry IDを使います。[Atom仕様](https://www.rfc-editor.org/rfc/rfc4287)。
### 高密度ビューア
newsboat/neomuttを参考に、デスクトップは左から購読元・一行記事一覧・本文の3ペインとします。
一覧には未読/star、日付、配信元、件名を並べます。狭幅は一覧と本文を切り替え、スマホでは
行とボタンのタッチ領域を広げます。モバイルの共通ナビはアイコンのみとし、名称はアクセシブル名と
tooltipに残します。タブ名は「RSS」、原文リンクはアイコンです。件数・保持上限・操作の説明は常設せず、
キー案内は`?`で表示します。設定と保存フォームは本文ペイン内に置き、モーダルを増やしません。
`j/k`・上下矢印で移動、`Enter/l`で本文、`Esc/h`で一覧、`/`で件名・配信元検索、`n`で次の未読、
`m`で既読切替、`*`でstar、`r`で背景更新予約、`?`でキー案内です。フォーム入力・IME変換中は
一覧ショートカットを抑止します。FreshRSSでは`m`と`*`も外部変更を行いません。
HTML本文は見出し・表・箇条書き・強調・リンクを保持して描画し、plain textは文字情報として表示します。
server側の許可リストでscript・イベント属性・任意CSS・form・iframe・画像等を除去し、表示時にも再検査します。
Shadow DOMでWiki UIと表示スタイルを分離し、本文リンクは安全なHTTP(S) URLに解決して別タブで開きます。
Wiki macroは展開せず、記事表示のための外部画像や原文サイトのfetchも行いません。
検索とページングは保存済みcacheだけを対象にし、画面表示で
feed取得の完了を待ちません。ダッシュボードには任意追加のRSS widgetを用意します。
### APIと保存層
API prefixは `/_/api/v1/extension/organizer.feeds/`。Domain内の本人専用で、匿名・他人のsourceには
アクセスできません。readonlyアカウントは読取のみです。すべての応答はprivate/no-storeとします。
| endpoint | 操作 |
| --- | --- |
| `GET sources` / `POST sources` | source一覧/追加・設定更新。新規はUUIDで再送を識別、更新はversion CAS |
| `POST sources/{uuid}/refresh` | 次回背景取得を予約。画面から外部通信しない |
| `POST sources/{uuid}/delete` | versionを照合してsource・cache・内蔵read/starを削除 |
| `GET items` | source/unread/starred/件名・配信元で絞り込み、100件単位のkeysetページング |
| `GET catalog?source=…` | 本人のFreshRSS購読・カテゴリの取得済み一覧。外部通信なし |
| `GET item?source=…&id=…` | 本人の記事本文 |
| `POST state` | 内蔵read/starの条件付き変更。FreshRSSは拒否 |
| `POST note` | 公開範囲確認付きのWiki単独保存。request_idと入力hashで再送を識別 |
| `GET opml/export` | 本人の内蔵購読をOPML 2.0としてダウンロード |
| `POST opml/preview` | ファイルを解析し、追加可能・登録済み・重複・未対応等を返す。保存・外部通信なし |
| `POST opml/import` | 選択行を再解析・検査し、確認時の購読設定と一致する場合だけ原子的に追加 |
managed schema `feeds` v1に `feed_sources`、`feed_items`、`feed_states`、`feed_note_receipts`を追加し、
v2で`feed_items.body_html`を追加します。既存のテキスト本文・既読・starは保持し、条件付きGETのvalidatorを
一度クリアして次回背景取得でHTMLを取り直します。migration前のworkerは設定versionで無効化します。
v3で`feed_import_receipts`を追加し、購読の一括追加と再送記録を同時保存します。
v4でsourceに購読一覧、記事にremote feed ID・カテゴリIDを追加します。FreshRSSの旧workerを
versionで無効化し、次の背景取得を予約します。内蔵sourceのversion・取得予約は変更しません。
既存テーブルを破壊・再構成しません。SQLiteのforeign_keys設定に依存せず削除を完遂するtriggerを
持ちます。内蔵read/starを本文cacheから分離し、記事を保持窓から落としても状態は黙って消しません。
DBは内蔵購読・状態・保存receiptの正本であり、全体を捨てられるcacheとは扱いません。
sourceのprovider・URL・資格情報の変更は別sourceを作る契約です。設定versionとworker claimの
両方を照合し、停止/削除/設定更新後に古い取得結果を書き戻しません。完了保存時にも本人の
所属・状態・extension有効状態をwriter transaction内で確認します。
### 背景取得の上限
| 項目 | 初期実装の値・挙動 |
| --- | --- |
| 個人のsource数 | Domain・本人ごとに32 |
| 定期event | `feed.source.sync`、既定60秒周期、低優先度、1回最大4 sourceを直列取得 |
| source更新間隔 | 5〜1440分、既定30分。取得候補になる間隔であり、混雑時の完了時刻保証ではない |
| 通信予算 | 1 source 8秒、batch 35秒、応答/展開後本文4 MiB |
| 外部接続 | 公開HTTPS/443のみ。DNS検査・接続先固定、内部アドレス・redirect・proxyを拒否 |
| 内蔵記事cache | 1 source最大500件、text本文32 KiB・HTML本文128 KiB。HTML上限超過はtextへフォールバックし、text切詰めを明示 |
| 内蔵read/star | 1 source最大10,000件。上限では新規状態保存を拒否し、既存状態を捨てない |
| FreshRSS | reading-list最新200件の窓を取得。更新成功時はその窓で置換し、全履歴同期とはしない |
| FreshRSS購読一覧 | 最大1,000購読、1購読64カテゴリ、保存JSON 1 MiB。記事と同じ取得予算で収集 |
| 再試行 | 次の設定間隔まで待機。手動予約にも最終成功から60秒の制限、取得中の重複claim拒否 |
内蔵は条件付きGET、304ではcacheを保持します。どちらのproviderも通信・認証・構文失敗で
前回cacheを消しません。sourceには安全な失敗分類と最終成功日時を表示し、イベントログには
成功/失敗件数だけを記録します。資格情報・生本文・秘密を含み得るURLをログへ出しません。
extension無効化は画面・API・取得・完了保存に適用します。購読を登録するまで外部通信は発生しません。
### FreshRSSの購読とカテゴリ
背景取得ではlogin後にreading-listと`subscription/list`を読み、両方に成功した場合だけ
記事・購読一覧を同じtransactionで置換します。一方の取得失敗、上限超過、不正なsnapshotでは
前回の両cacheを保持します。記事が取得窓内にない購読も一覧には残します。
左ペインでFreshRSS sourceを選ぶとカテゴリ選択・購読名の検索・購読一覧を表示します。
カテゴリは表示名でなくremote category ID、購読は`origin.streamId`とsubscription IDを対応させます。
同名でも混同せず、複数カテゴリに属する購読も扱います。`GET items`の`feed`/`category`は
source指定と組み合わせ、既存の未読・star・検索・keysetページングと併用できます。
絞り込み対象は最新200記事のcache内に限られ、購読を選んでも履歴全件を外部取得しません。
購読の追加・削除やカテゴリの編集はFreshRSS側で行います。
## 既読・star同期を追加する条件
@@ -26,16 +133,122 @@ server-authoritative stateと未送信の操作を分けます。操作ごとの
FreshRSS APIに条件付き更新がない操作もあり得るため、対応版の実機fixtureで競合動作を確認するまで完全な双方向同期を約束しません。
## 内蔵fetcherを選ぶ場合
### 書戻しの次段階設計
定期event、条件付きGET、host別同時数、timeout、応答サイズ、展開サイズ、backoffを設けます。XML外部entityを無効にし、feed HTMLを安全化します。redirect/DNSを含むSSRF対策、外部画像の同意、個人購読URLや認証情報の秘匿が必要です。
以下は未実装のRSS-3です。購読navigationの追加だけでは書戻しを有効にしません。
sourceごとに既定OFFの書戻し設定を設け、操作は`read`または`starred`の一項目と希望値に限定します。
cache内の他項目を同時に送らず、全件既読・購読編集も初期対象に含めません。
OPMLは購読の入出力として扱い、既読・star・全本文のバックアップと同一視しません。importはpreview・追加/置換選択・重複確認を行い、既存購読を黙って削除しません。
操作記録は記事cacheから分離し、Domain・本人・request_id、source・記事ID、対象項目、希望値、
source version、状態、claim期限を保持します。同一request_idの同じ入力は同じ記録を返し、
違う入力は拒否します。同じ記事に未解決の操作がある間は次の操作を受け付けません。
受付APIは外部通信せず、低優先度workerが送信します。記録数とworkerの時間予算は必ず有限にします。
| 状態 | 次の処理 |
| --- | --- |
| queued | sourceの有効状態・書戻し設定・version・本人の権限を再検査してclaim。古すぎる未送信操作は中止 |
| preparing | FreshRSSの現在値を取得。すでに希望値なら書き込まず確認済み。異なる場合だけ変更tokenを取得 |
| sending | この状態をDBに確定してから変更を送る。再起動やtimeoutでも自動再送しない |
| confirmed | 送信後の読取で希望値を確認。確認できた値だけcacheへ反映 |
| unknown | 送信済みか適用済みか判断できない。成功扱いにせず、利用者の再確認操作を待つ |
| checking | unknownの再確認。読取のみで、希望値ならconfirmed、異なれば競合として提示 |
| failed / cancelled / conflict | 原因を示して終了。新たに送る場合は利用者の明示操作を必要とする |
通常取得と書戻しはsourceのleaseを共有し、古い取得結果が書戻し後の値を上書きしないようにします。
設定変更・無効化・削除は未送信操作を止めますが、すでに外へ送った要求は取り消せません。
その場合はunknownを保持し、設定変更後のcacheへ旧workerが反映することを拒否します。
外部clientとの同時変更を原子的に防げないAPIでは、確認直後に状態が再変更される可能性もあります。
readbackは観測結果であり、exactly-onceやリモートCASの保証とは区別します。
受入テストは、opt-inなしの拒否、同じ操作の再送、別項目の保持、送信前の権限失効、
送信直後の応答喪失、worker停止・再起動、unknownの読取専用再確認、source削除・設定変更、
通常取得との排他、他clientによる同時変更を含めます。実サービスを使わない合成fixtureで
これらを通した後、指定版FreshRSSでの受入を別途行います。
## 内蔵簡易reader
購読追加/削除、フォルダ、記事一覧、既読/未読、star、更新間隔と保持上限を初期範囲に
します。取得は背景ジョブで行い、更新失敗で購読や状態を消しません。記事本文cacheと
既読・starの保持期間を分離し、古い記事を再取得しただけで未読へ戻る挙動を防ぎます。
高度な自動分類、全文収集、reader向け互換APIはFreshRSSとの機能競争として追加しません。
初期版では全体を直列化し、上記の予算内で取得します。将来の並列化時にhost別同時数・公平性・
指数backoff/Retry-Afterを追加します。RSS 2.0とAtomを対象とし、XML外部entityは展開しません。
外部画像の同意付き表示は未実装で、現在は一律に取得・表示しません。
### OPML入出力
RSSツールバーの`⇄`から、本文ペイン内でファイル選択・確認・追加を行います。書出しは本人の内蔵購読の
名前・URL・フォルダをOPML 2.0に保存し、停止中の購読も含みます。FreshRSS接続・資格情報は含めません。
購読URLのqueryに秘密がある場合はそのURLも書き出されるため、ファイルは本人用として扱います。
既読・star・記事本文・有効状態・更新間隔のバックアップではありません。
取込はUTF-8のOPML 1.0/1.1/2.0を対象とします。OPMLは購読と階層outlineを交換する形式であり、
この実装はfeed購読部分のみ扱います。[OPML公式仕様](https://2005.opml.org/spec2.html)。
ネストしたフォルダは`親 / 子`という一つのフォルダ名へ投影します。名前のmarkupは文字情報にし、
`include`・外部outline・HTMLページの参照は取得しません。コメント扱いのoutline配下も追加対象外です。
確認表では、追加・登録済み・ファイル内重複・未対応URL/形式・名前不正を区別し、追加可能な行を選択します。
HTTPS/443と内部アドレス拒否の既存契約は維持し、ファイル取り込みを検証の迂回経路にはしません。
初期版は**追加のみ**で、置換/既存購読の削除は提供しません。有効状態と更新間隔は追加時に指定します。
保存後のfeed取得は既存の背景eventが行い、previewやimportのHTTP request中には通信しません。
上限はファイル512 KiB、記事購読候補500行、outline 1,000個、XML階層16段です。既存sourceと合わせた
32件上限を確認画面とwriter transactionの両方で検査します。既存・ファイル内重複は、hostの大小文字・
既定443 port・空pathを正規化して判定します。queryの順序、pathの大小文字、redirect先を同一視しません。
previewはsource UUID・設定versionのsnapshotを返し、適用時に一致しなければ412で再確認を求めます。
選択行の再解析、本人・Domain・有効状態の確認、source追加とreceipt保存を一つのtransactionで実行します。
同じrequest_id・同じ入力は保存結果を返し、入力が異なれば拒否します。後でsourceを削除してもreceiptを
保持するため、古い要求を再送して購読が復活することはありません。receiptはDomain・本人ごとに1,000件まで
保持し、上限時は新しいimportを拒否します。既存のWiki/タスク・既読/starは変更しません。
## Wiki保存と権利・公開
既定はURL、出典、短いメモの保存です。全文保存は取得可能性・利用条件・個人用途等を確認する独立操作とし、feedが短いからといって有料記事を自動取得しません。保存先が自動公開範囲なら内容と添付の公開を明示確認します。
Wiki単独は親Path配下の `rss-{request UUID}` に新規作成します。既存Pathを上書きせず、Page・Path・
初回Revision・活動outbox・再送receiptを同じDB transactionで保存します。権限はtransaction内でも
再確認します。初期版の単独保存は通常Wiki空間のみで、独自所有契約を持つ`/u`・`/g`は対象外です。
タスクも作成する場合は既存capture APIの原子的なWiki+タスク保存を使います。この経路のPathは
既存契約の`mail-{request UUID}`です。途中失敗時は部分的なPage/タスクを残さず、同じ要求で再試行できます。
保存先の公開範囲確認を必須にし、取得済み本文のコピーは別チェックとします。
購読削除で明示保存したWikiやタスクは消しません。内蔵cacheを削除しても既存Wikiへの参照と
再送receiptは残します。文書payloadの不変ファイルは既存Document Storeに保存するため、DB失敗時に
未参照payloadが残る可能性は既存GC契約に従い、参照のないPage/Pathとは区別します。
## TODOと受け入れ
RSS-1:read-only FreshRSS fixture。RSS-2:安全な一覧と出典付きWiki保存。RSS-3:必要なら既読/star送信。RSS-4:内蔵reader採用判断とOPML。オフライン、欠落ID、巨大feed、未知HTML、同期再送、他user情報、feed削除後の保存Page維持を試験します。
- [x] RSS-1:read-only FreshRSS connectorと合成fixture。実接続の受入は別。
- [x] RSS-2:安全な共通一覧、出典付きWiki保存、任意のタスク化、ダッシュボード。
- [ ] RSS-3:FreshRSSへの明示的な既読/star操作と送信状態・競合・再送の契約。
- [x] RSS-4a:内蔵簡易reader、購読設定、既読・star、背景取得。
- [x] RSS-4b:OPML export/importのpreview、選択追加、重複確認、原子的な保存と再送防止。置換・状態移行は範囲外。
- [ ] RSS-5:FreshRSS実環境の接続先・版・API資格情報を指定してread-only受入。
- [ ] RSS-6:大規模利用時の公平性、host別並列上限、Retry-After/backoff、資格情報rotation UI。
- [x] RSS-7:FreshRSSの購読一覧・カテゴリを使うnavigation。同名ID分離、複数カテゴリ、cache内絞り込み、背景での原子的更新、失敗時保持。
隔離試験はRSS/Atom・FreshRSS login/read、欠落ID・巨大/不正feed、条件付きGET、失敗時cache保持、
本人分離・失効・readonly、二重送信・版競合・旧worker拒否、migration再実行/失敗rollback、
Wiki保存失敗の原子性を含みます。Chromiumの1440px/390pxで一覧・本文・検索・キー操作・
Wiki保存を試験します。実FreshRSS、newsboat、実機Safariの受入はこの合成試験に含めません。
## 実施段階
1. **共通契約とfixture**:Domain/本人のsource所有、provider ID、remote ID、cursor、取得予算、
最終成功/失敗と無効化を定義する。FreshRSS読取connectorを合成fixtureで先に検証し、
内蔵providerも同じ表示契約へ接続する。sourceの資格情報をブラウザ・ログへ出さない。
2. **読取UIと背景取得**:購読/フォルダ、記事の一行一覧、本文表示、出典リンクを用意する。
デスクトップでは一覧を見渡せる配置、スマホでは一覧と本文を切り替える。画面表示で外部fetchを
待たず、schedulerで有界に更新し、取得済みcacheと鮮度を表示する。source停止・失効も検証する。
3. **Wiki保存とタスク化**:タイトル・URL・出典・短いメモをpreviewし、保存先Pathを選ぶ。
既存captureと権限確認を再利用し、二重送信・保存先競合・自動公開範囲を検査する。全文保存は
独立した明示操作。Wiki単独保存とWiki+タスクの原子保存を分け、要求内の失敗では部分成功を
残さない。過去に保存済みのWikiは別のタスク作成失敗で削除しない。
4. **ダッシュボードとprovider完成**:読める記事だけのwidget、内蔵簡易readerとOPML、
FreshRSSの明示的な既読/star操作を段階的に追加する。接続先・対象版の指定後に実環境で
read-only→書込の順に受入し、read-only連携を有効化しただけで外部状態を変更しない。
各段階で無効化、件数・時間・容量上限、移行の再実行、ユーザー/Domain間の分離を試験する。
source解除時のcache清掃と、利用者が明示保存したWiki/タスクの保持は別操作とする。
+148
View File
@@ -0,0 +1,148 @@
# 実装残件台帳
更新日:2026-11-08。全体照合基準は `e65ca56`(作業履歴・日次メールの後続実装まで)。
RSS-01はその後の内蔵reader・FreshRSS読取・共通UI実装まで個別更新。
設計書の大項目をそのまま未実装機能と数えず、既存機能の続きとして着手できる単位に整理する。
実装順は本書、個別契約はリンク先、過去の経緯は[原ロードマップ](../implementation-roadmap.md)と
[実装記録](../implementation-status.md)を参照する。将来の更新でも以下のIDを再利用する。
## 調査範囲と状態の読み方
日本語設計書、原ロードマップ、実装記録と、対応するstore/HTTP handler/テストを静的照合した。
全エンドポイントの再監査や本番の再試験ではない。実データ、外部カレンダー、メールボックスには
アクセスしていない。独立した `anya/pages-cli` の現行HEAD・配布バイナリも今回の照合対象外。
- **実装済み**:記載した範囲のコードと試験がある。全機能完成・本番適用を意味しない。
- **一部実装**:基盤や初期機能はあるが、記載した後続が必要。
- **未実装**:設計・TODOの段階。API例や予約URIだけでは利用可能としない。
- **確認待ち**:実装の追加ではなく、指定端末・環境・運用での受入が必要。
- **保留**:利用者の保留指定、外部環境の選定、保存契約の合意が必要。
P0は認可・整合性・復旧の安全条件、P1は日常利用の回復性と負荷、P2は機能拡張、P3は
別サブプロジェクト。P0の記載は全項目で現に障害や脆弱性を再現したという意味ではない。
本番反映は別作業とし、今はソースと隔離fixtureを進められる。
## 未実装として数え直さないもの
| 範囲 | 確認できる実装 | 残す境界・根拠 |
| --- | --- | --- |
| 8つの命名部品 | GrammaraturからSeheweitまでの初期分離 | 分離はHA・全provider対応の完成ではない。[部品一覧](component-names.md) |
| イベントログ競合 | writer lockを先に取得、raw/bucket原子保存、完了ログ失敗で業務を再実行しない | `event_log_write.go`、`event_log_write_test.go`、`event_log_reporting_test.go`。[Dregarnuhr](dregarnuhr.md)。ログ欠落の自動回収は別件 |
| 共通outbox | Domain sequence、型別購読、checkpoint、タスクと正本の同時保存 | `activity_outbox.go`。[配送契約](outbox-delivery.md)。全producer・保持・分散配送は未完成 |
| タスク | 日別計画・持ち越し、親子、Wikiメモ、時間枠、Pomodoro、既定値、達成度・プロジェクト集計 | [生産性と連絡先](task-productivity-contacts.md)、[日別計画](task-daily-notes.md)。共有・日課・競合採否は別件 |
| 作業記録・日次メール | 作業訂正/取消/監査、配信履歴、同日手動再送、世代fence | `task_work_history*.go`、`task_digest_history*.go`。managed schema v3/v4。本番未反映 |
| オーガナイザー | 共通ナビ、個人設定、配置/サイズを保存するダッシュボード | [ダッシュボード](organizer-dashboard.md)。共有・任意widget runtimeとは別 |
| 連絡先 | 個人帳、vCard、履歴復元、trash、個人CardDAVとsync-token | [運用契約](../../operations/carddav-contacts.md)。外部CardDAV connector・共有帳・全端末互換ではない |
| DAV | 共通principal/資格情報、限定VEVENT/VTODO、プロジェクト対応、既定リスト名変更 | [所属統一](task-dav-project-unification.md)。CardDAVのsync-tokenを全CalDAV対応と読み替えない |
| グループ・公開 | `/g/` 管理、built-in管理グループ、匿名children/tree/City、明示/自動公開 | `groups_handler.go`、`groups_inheritance.go`、[公開契約](publication.md)。委譲shareと完全な権限配信は別 |
| 承認・通知 | 要求/決裁APIの限定slice、共通Inbox、アナウンス、タスク通知、Web Push | `publication_approval_api.go`。[Schutzaria](schutzaria.md)。継承reviewer・定足数・現行Revision再検査・決裁UIは残件 |
| ブログ・日記 | 作成、公開、同一Campus・同一instanceの射影、本文RSS、記事ナビ | [ブログ・日記](blog-diary.md)。遠隔射影、コメント、tDiary importは別 |
| エディタ | E1–E5、下書き、条件付き保存、競合確認、復元、言語分岐、保護HTML | [編集契約](editor-resilience.md)。全入口の同一契約・E6共同編集は未完成 |
| ストレージ・DR | Geduldhローカル不変payload、migration台帳、offline snapshot/verify/restore/手動promote | `internal/dr/snapshot.go`、`node.go`。[DR計画](dr-delivery-plan.md)。オンライン同期・自動切替ではない |
## 次の実施順
2026-11-08、利用者指定により、大きな機能を提供するサブプロジェクトを以下の順で進める。
前案の小規模な回復・基盤改善を先に一巡する順序は、この順序へ置き換える。
| 順番 | サブプロジェクト | 主な残件ID | 利用できる機能のまとまり |
| --- | --- | --- | --- |
| 1 | RSS・情報収集オーガナイザー | RSS-01 | 購読・フォルダ・記事一覧、出典付きWiki保存、タスク化、ダッシュボード連携 |
| 2 | 構造化ドキュメントと編集部品 | CSV-01、DIAGRAM-01、EDIT-01の関連部分 | CSV埋め込み/編集、図表部品挿入、nwdiag/Draw.io等のpreviewと安全な保存 |
| 3 | 料理レシピ管理 | RECIPE-01 | 材料・手順・分量変更・材料検索・買い物リスト |
| 4 | タスク・プロジェクト管理の第2段階 | TASK-01、DAV-01、REC-01/02、ORG-01の関連部分 | 日課・週次計画・capacity・依存関係・進捗・同期競合の採否 |
| 5 | 共同作業・公開承認・共有 | PUB-01、SHARE-01、COLLAB-01の関連部分 | 承認者Inbox/決裁、公開影響確認、期限付き共有、権限総覧 |
各表のP0〜P3は安全性・負荷等の性質を示す分類として残し、このサブプロジェクト順を覆す
一律の実行順にはしない。AUTH-01、OUT-01、QUEUE-01、STORE-01等は、対象機能に必要な
範囲を各段階へ組み込む。必須の認可・DB整合性・再送防止は省略せず、無関係な基盤改修を
すべて完了させるまで機能開発を止める構成にも戻さない。
最初のRSSは[着手単位](feeds.md#実施段階)に従う。内蔵は簡易正本、本格運用はFreshRSS正本と
する方針を採用。接続先・版・資格情報は別途指定し、まずprovider契約と合成fixtureで一覧・
保存フローを検証する。各サブプロジェクトはUI・API・
保存・試験が揃った単位でコミットし、本番反映は別ゲートとする。
別セッションとの保存層の競合がある場合は、該当ファイルの作業境界を合意してから進める。
## A. 整合性・回復・認可
| ID / 優先 | 状態・次の作業 | 依存・完了条件 | 詳細 |
| --- | --- | --- | --- |
| REC-01 / P1 | 一部実装:失効Domainの取り残された作業記録を終了・回復 | 現在の文書閲覧権限を再付与せず、本人の停止に必要な最小情報だけ扱う。他Domainタイトル非露出、同時停止・新規開始・失効競合を検証 | [作業記録](task-productivity-contacts.md) |
| REC-02 / P1 | 一部実装:取消からの復元、監査保持/export | REC-01と既存CAS。復元も新監査版、重複時間再検査、履歴の削除と正本の保持を分離。保持期間を決めるまで削除しない | 同上 |
| AUTH-01 / P0 | 一部実装:policy snapshot・ユーザー領域事前読込、更新時の認可fence | 入口一覧を作り、revokeと更新、alias、owner移管、公開境界移動をfixture化。接続1本でも認可callbackが別接続待ちにならない | [Schutzaria](schutzaria.md)、[認証](auth-permissions.md) |
| AUTH-02 / P0 | 一部実装:identity連結解除・メール所有・最後の管理者保護、外部group mapping | OIDC/LDAP認証自体は維持。由来付きgrant、解除・同期失効・最後の管理者の並行操作を検証 | [認証](auth-permissions.md) |
| PUB-01 / P0 | 一部実装:承認者継承/定足数/対象再検証/決裁UI、広域公開影響のページング | AUTH-01。現行source/policy/generation一致、権限失効後の決裁拒否、alias・依存Asset・移動で公開を広げない | [公開](publication.md) |
| PUSH-01 / P0 | 一部実装:claim世代をattemptから分離、購読version付き削除、Retry-After | 古いworker結果と新購読の競合、送信成功後DB失敗、lease超過を注入。配送はexactly-onceと表現しない | [Ordoschnellic](ordoschnellic.md) |
| QUEUE-01 / P0 | 一部実装:終了context/drain、汎用lease・heartbeat・fencing | 所有世代を比較して完了、旧worker遅延完了を拒否。全worker/CLIを含むwriter契約が揃うまで多重運転しない | [Dregarnuhr](dregarnuhr.md) |
| OUT-01 / P1 | 一部実装:未接続producer、consumer別再生/backoff/公平性、保持 | consumer変更時のbootstrap、一意キーtombstone、最遅必須consumerを含む安全な清掃。heads/checkpointだけ残して履歴を安易に削除しない | [outbox](outbox-delivery.md) |
| MAIL-01 / P1 | 一部実装:キュー中再送の取消、Inbox結果、保持設定/receipt整理 | attempt世代、同意、設定versionを再検査。詳細90日整理と重複防止記録の寿命を区別。SMTP結果不明を自動再送しない | [日次メール](task-digest-delivery.md) |
| STORE-01 / P0 | 一部実装:legacy schema/context整理、整合snapshot・restore契約、GC pin | migrationの再実行・途中失敗・旧データ保持・参照整合性。DB、CAS、可変正本、暗号鍵、外部副作用を一体で復旧判断 | [保存移植性](../storage-portability-and-operations.md)、[Geduldh](geduldh.md) |
## B. スケーリングと日常UX
| ID / 優先 | 状態・次の作業 | 依存・完了条件 | 詳細 |
| --- | --- | --- | --- |
| SEARCH-01 / P1 | 一部実装:現行head/Domain/言語別索引、H1 metadata、再開可能backfill | AUTH-01。候補上限を網羅性と混同せず、watermark・continuation・日本語検索・起動時間を測定。失効した結果をcacheから戻さない | [Mestionora](mestionora.md) |
| CITY-01 / P1 | 一部実装:生成由来/手動上書き/除外tombstone、局所reconcile | OUT-01の既存基盤を再利用。同入力で無変更、rename/merge後も手動名を保持、URL更新と所属の整合性 | [City](knowledge-city.md)、原ロードマップCITY-A〜D |
| NAV-01 / P1 | 一部実装:directory索引、有界children/Cityページング、共通sidebar | AUTH-01、CITY-01。隠れた件数・ラベルを出さず、Domain全件読込に依存しない。巨大階層の時間・行数・heapを測定 | [ナビ](navigation-search.md) |
| RENDER-01 / P1 | 一部実装:provider版付きcache、同一描画の集約/同時数/清掃、隔離 | 描画をforegroundより低優先にする。停止・更新・認可失効・cache破損・容量不足・外部参照を検証 | [Kunstzeal](kunstzeal.md) |
| OBS-01 / P1 | 一部実装:情報源別availability、収集共有、rollup/清掃予算、component metrics | 欠測を0としない。返却点数だけでなく走査量を制限。CPU/RAMを根拠なくproviderへ按分しない。SNMPは別選定 | [Seheweit](seheweit.md) |
| EDIT-01 / P1 | 一部実装:新規GET時のPage作成を保存まで延期、全入口CAS、block単位保護HTML/挿入palette | 既存E1–E5を回帰。Page+Path+初回Revisionを原子的に作り、閉じるだけでは空Pageを残さない。PlainText変換は欠落を明示 | [編集](editor-resilience.md)、[日常UX](priority-ux-20261031.md) |
| UX-01 / P1 | 一部実装:idle session timeout/個人短縮設定、独立CLIとの契約整理 | 絶対期限とは区別。読み取りpollだけで無期限延長しない。CLI本体の検索・転送等は独立repoを確認して別issue化 | [日常UX](priority-ux-20261031.md)、[CLI契約](remote-cli.md) |
## C. オーガナイザーと利用機能
| ID / 優先 | 状態・次の作業 | 依存・完了条件 | 詳細 |
| --- | --- | --- | --- |
| DAV-01 / P1 | 一部実装:上書き競合の候補保存、Inbox、比較/採否 | task履歴と通知を原子的に対応付け、再同期で候補を重複させない。別人・別Domainへ候補本文を漏らさない | [所属統一](task-dav-project-unification.md) |
| DAV-02 / P2 | 一部実装:VTODO時刻期限/繰返し/alarm、VEVENT temporal拡張、差分同期 | 対応profileを分離。未知propertyの保持・拒否、削除tombstone、期限切れtokenからの復旧。選定clientで認定するまで完全準拠としない | [共通DAV](caldav-common.md)、[calendar](calendar-implementation.md) |
| TASK-01 / P2 | 一部実装:日別capacity、一括計画、focus backfill、Pomodoro周期/日課 | 見積・実績・予定を混同せず、次回生成を冪等化。親子2階層と一般依存DAGを別に扱う | [時間枠](task-planning-focus.md)、[タスク](tasks-tickets.md) |
| ORG-01 / P2 | 一部実装:一般予定通知、共有タスク/アドレス帳、owner回復 | AUTH-01、OUT-01。共有相手失効、担当だけでは本文権限を増やさない、通知の重複抑止。外部CardDAV書込は別ゲート | [予定・連絡先](calendar-contacts.md) |
| DASH-01 / P2 | 一部実装:同種widget複数、共有layout、plugin widget | 個人layoutとの分離、配置版競合、widgetごとの認可/取得上限。第三者実行はEXT-01後 | [dashboard](organizer-dashboard.md) |
| SHARE-01 / P2 | 未実装:委譲share URL、期限/失効/監査、説明可能な権限総覧 | AUTH-01、PUB-01。login/adapter/federation資格情報と別目的、単一Page投影、caveat・依存物の失効を検証 | [公開](publication.md)、[Schutzaria](schutzaria.md) |
| COLLAB-01 / P2 | 一部実装:Page等の変更購読、最近閲覧/編集、集約通知。コメント/反応/評価は未実装 | OUT-01。現在権限で再投影、private履歴のopt-in/保持。inline commentはRevision変更時の孤立・再接続を扱う | [拡張](extensions.md) |
| BLOG-01 / P2 | 一部実装:安全なtDiary import、最近コメント、遠隔ブログ射影 | COLLAB-01、遠隔はFED-01。importは再開/重複抑止/dry-run。同一instance射影を再実装しない | [ブログ・日記](blog-diary.md) |
| CSV-01 / P2 | viewerのみ実装:別Documentを投影するCSV macro/editor、ODS境界 | 行列・セル・総量上限、Revision固定、権限、CSV引用/改行fixture。表示HTMLをCSV正本へ逆流させない | [表設計](extensions.md) |
| DIAGRAM-01 / P2 | 一部実装:nwdiag/Draw.io provider、slide preview/editor | RENDER-01。安全なSVG・include拒否・renderer版固定、ticket/CAS保存、print。既存Excalidraw/Krokiとは分ける | [Kunstzeal](kunstzeal.md) |
| RECIPE-01 / P2 | 未実装:構造化レシピmetadataとPage投影の初期slice | 材料・数量・未知単位を保持、人数変更は派生値、Asset認可、版競合、出典・公開確認 | [料理レシピ](recipe-management.md) |
## D. 選定・別サブプロジェクト
| ID / 優先 | 状態・次の作業 | 着手ゲート・最初の検証 | 詳細 |
| --- | --- | --- | --- |
| RSS-01 / P2 | 一部実装:内蔵簡易正本、FreshRSS読取connector、3ペインUI・HTML本文、Wiki保存・タスク化・dashboard、OPML確認付き入出力 | 残件はFreshRSS既読/star書戻し、購読/カテゴリnavigation、実接続受入、公平性/backoff。managed schema feeds v3・隔離fixture。本番未反映。二重正本・停止時の自動切替なし | [RSS](feeds.md) |
| IMAP-01 / P3 | 未実装・選定待ち:IMAP読取同期 | provider/認証/保持を決める。UIDVALIDITY/UID、添付量、外部画像、失効をfixture化。neomutt captureは実装済みで別 | [メール](mail.md) |
| TICKET-01 / P3 | 未実装:queue/番号/workflow/外部依頼者 | 共有範囲と状態遷移を定義、同時採番・失効・監査。既存個人タスクをticketと呼び替えない | [タスクとticket](tasks-tickets.md) |
| EXT-01 / P3 | built-inのみ:第三者manifest/署名/隔離runtime、停止・rollback・観測 | capability・secret・host・予算・export契約。任意コードをGoプロセス内へ直接ロードしない | [拡張](extensions.md) |
| FED-01 / P3 | 一部実装:管理設定ACK/鮮度、選択権限情報の署名付きDomain配信 | 既存group継承を保持。origin/sequence/競合/revoke/再参加を定義し、独立ローカルgrantを消さない | [Campus](campus-federation.md) |
| BACKEND-01 / P3 | 未実装:S3/SFTP、読取WebDAV/SSH、外部SQL、設定/復旧UI | STORE-01。conditional create、Range、破損・切断・遅延・mount喪失の共通試験。単なるmountを正式対応としない | [Geduldh](geduldh.md)、[運用](operations.md) |
| DR-01 / P3 | D1未実装:DR01〜13、LB/HA、controller/data authority分離 | 最初は型・pure state machine・mock probe。writer境界合意、fence設備、RPO/RTO、復旧訓練なしで自動昇格しない | [DR実施計画](dr-delivery-plan.md) |
| NETWORK-01 / P3 | 未実装:IPAM/DNS/資産管理、検疫scanner | 型付き正本、権限、dry-run→承認→apply、冪等性。スキャン/外部DNS更新を閲覧リクエスト内で行わない | [拡張](extensions.md)、[原ロードマップ](../implementation-roadmap.md) |
| CONTENT-01 / P3 | 未実装部分:他Wiki記法、widget、外部検索/Linkding、時刻・日没theme | provider単位の送信同意・上限・失効・変換欠落試験。既存壁紙色themeと時刻条件themeを区別 | [拡張](extensions.md)、[viewer/editor](viewer-editor.md) |
### 明示的に保留するもの
- **HOLD-01**:`/tasks/` 配下のメールWikiルーティング調査。利用者の棚上げ指定を維持。関連未コミットファイルを今回の実装・文書コミットへ混ぜない。
- **HOLD-02**:vim.wasm runtime改善とnativeアプリ起動。既存設定UIは残すが、自動的に再開しない。
- **HOLD-03**:全面WYSIWYG、E6 CRDT/OT共同編集。まずEDIT-01と認可/presence契約、保存量・オフライン・競合モデルを確定する。
- **HOLD-04**:本番への反映。作業履歴/日次メールのv3/v4移行を含む同世代保全と隔離復元試験、容量確認、SMTP副作用照合が必要。古いbinaryを新schemaへ向ける切戻しは禁止。
## 実装と分けて管理する受入
| ID | 確認待ち | 今回確認していない範囲 |
| --- | --- | --- |
| ACCEPT-01 | iPhone SE/Safariのカレンダー、IME、電話handoff | Chromiumの狭幅fixtureだけでは実機受入としない |
| ACCEPT-02 | Pushの背景受信・再訪・logout・VAPID rotation | 同意済みテスト端末を使う。実通知先へ勝手に送信しない |
| ACCEPT-03 | CardDAV/CalDAV clientごとの操作matrix | 過去のTasks.org動作確認は保持するが、全版・全操作の保証に広げない |
| ACCEPT-04 | 独立pages-cliの現行契約・配布物 | このrepoの旧Python版でWindows/TLS設定/配布状態を判定しない |
## 完了・コミット・文書更新の規則
変更単位ごとに契約、実装、拒否/競合/再送/上限試験を揃えてコミットする。DB変更では
旧schema fixture、migration再実行、途中失敗rollback、参照整合性、復旧方式を必要条件にする。
破壊的変更・GC・外部副作用は、単に全Goテストが通ることだけで実施可能と判定しない。
完了時は本書の該当IDと詳細書の状態を同時更新し、ソースcommit、試験、release、本番適用を
別々に記録する。旧Phaseの大項目は後続が残る限り丸ごとチェックせず、完了sliceを分ける。
残件の総数を完了率には使わない。各行は規模が異なり、着手時に実装・受入単位へ分割する。
+11 -3
View File
@@ -1,9 +1,17 @@
# PagesWiki 開発設計書
更新日:2026-09-19。日本語の統合設計版。実装の変更履歴ではなく、現在の境界と次の設計判断を確認するための入口です。
更新日:2026-11-08(統合版の初版は2026-09-19)。実装の変更履歴ではなく、現在の境界と次の設計判断を確認するための入口です。
## この設計書の読み方
**次に実装する作業は[実装残件台帳](implementation-backlog.md)を入口にする。** `e65ca56`を基準に、実装済みsliceと後続、優先順、依存・完了条件、実機確認待ちと保留を整理した。古い大項目の未チェックを、そのまま全機能未実装と解釈しない。
2026-11-08追加:[日次タスクメールの配信履歴と手動再送](task-digest-delivery.md)。予約・要求receipt・詳細履歴の保持境界と、DB移行・復旧時の二重送信防止。
2026-11-02追加:[オーガナイザーの共通ナビゲーションと個人ダッシュボード](organizer-dashboard.md)。配置可能なウィジェット、個人設定への統合、保存・認可・読込負荷の契約。
2026-11-01追加:[タスク作成・作業記録・達成度レポート・日次メール・個人アドレス帳](task-productivity-contacts.md)。[neomuttとCLIの操作リファレンス](../../operations/neomutt-tasks.md)も参照。
- **実装済み**:利用できる機能の範囲。関連する制約や未監査部分も併記します。
- **設計案**:今回具体化した方針。API・テーブル・既定値は、実装や互換性試験で確定させます。
- **TODO**:未実装の作業。記述やURL例が存在しても利用可能とは限りません。
@@ -48,6 +56,6 @@
21. [決定事項・矛盾の整理・未決事項](/lab/pageswiki-dev/decisions)
22. [原資料との対応と外部仕様](/lab/pageswiki-dev/sources)
## 今回の範囲
## 初版の範囲とその後の更新
今回行うのは設計の再整理と日本語設計書の配置です。オーガナイザー、外部サービス、DAVサーバー、メールアカウント、公開権限の新設は行いません。設計書の配置も匿名公開の許可とは別です。
2026-09-19の初版は設計整理と日本語設計書の配置を対象にした。その後の実装は各章の日付付き記録と残件台帳に反映する。2026-11-08の再照合は文書とソースの静的確認であり、本番データの監査・外部サービスへの接続・本番適用は行っていない。設計書の配置も匿名公開の許可とは別です。
+80
View File
@@ -0,0 +1,80 @@
# オーガナイザーのナビゲーションと個人ダッシュボード
タスク・カレンダー・連絡先の入口を共通化し、個人設定と日々の振り返りを分離する。ダッシュボードは本人の作業を見る画面であり、サーバーの実行状態・リソース監視画面とは別に扱う。以下は2026-11-02のソース実装範囲で、2026-11-04にv0.7.0として本番へ反映した。移行・検証・復旧点は[本番反映記録](../../operations/deployments/2026-11-04-v0.7.0.md)を参照する。
## 入口と設定の配置
各オーガナイザー画面に、ダッシュボード・タスク・カレンダー・連絡先・個人設定の共通ナビゲーションを置く。有効な拡張機能だけを表示し、現在の画面を強調する。トップ画面とログイン中のナビバーに、ダッシュボードと連絡先を直接開くアイコンを追加する。
| 入口 | 役割 |
| --- | --- |
| `/v/plan/dashboard` | ウィジェット形式の個人ダッシュボード |
| `/v/plan/tasks` | 既存のインライン編集可能なタスク一覧 |
| `/v/plan` | 既存のカレンダー表示。保存されたビューを尊重 |
| `/v/plan/contacts` | 個人アドレス帳・履歴・CardDAV接続 |
| `/-/sys/config?panel=organizer` | タスクの既定値、日次メール、既定のカレンダー |
旧 `/v/plan/tasks/report` はダッシュボードの達成度ウィジェットへ、旧 `/v/plan/tasks/settings` は個人設定へ303リダイレクトする。カレンダーの表示選択ダイアログはその場の表示変更に使い、既定値の永続化は個人設定へ移す。
個人設定は通常の設定画面と同じURI体系・テーマを使うが、専用の軽量な画面として返す。GET/HEADかつ正確な `panel=organizer` の場合だけ個人向けハンドラーに振り分け、管理用設定やアカウント一覧は取得・描画しない。POSTの管理者チェックは緩和しない。保存先は既存の本人用APIであり、一般利用者に管理権限を付与しない。
## タスク編集画面と通知既定値
2026-11-04の追加実装(v0.7.0の本番反映には含まない)では、デスクトップの編集画面を最大1180px幅の2カラムへ整理した。左側は件名・状態・整理先・プロジェクト・メモと作業アクション、右側は取り組む日・期限・見直す日・工程日付・優先度・工数・複雑度・Inbox通知とする。主要項目は1024×768でもスクロールなしで表示でき、低いウィンドウや詳細設定展開時には入力部分だけをスクロールする。保存操作はフッターに残す。
状態・整理先・複雑度はnative radioの単一選択を使い、選択中の項目をテーマ色と下線で示す。状態・整理先には記号を添え、複雑度は1〜5の数値と段階表示を併用する。ラベル、キーボード操作、読み取り専用制限は維持する。担当者UUID、プロジェクト検索、Wiki連携は詳細設定に折りたたみ、入力検証エラー時には展開する。
760px以下では1カラムにし、主な入力と選択ボタンは44px以上のタッチ領域を確保する。個人設定には新規タスクの期限日・取り組む日のInbox通知と通知時刻を設ける。適用条件と既存データの扱いは[タスク通知](task-reminders.md)を参照する。
## ウィジェット
初期構成は次の6種類。任意のHTML・iframe・外部URL・スクリプトを登録する機能ではなく、サーバーが許可する組み込みIDを使う。
| ID | 内容 |
| --- | --- |
| `progress` | 今日に計画したタスクの完了数と達成率 |
| `today` | 今日の計画と今日までの期限超過を含む未完了タスク |
| `tomorrow` | 明日の計画または期限の未完了タスク |
| `tasks` | Inbox / Backlog / Someday / Review / Incomplete / Done タブ付き一覧 |
| `schedule` | 既定カレンダーにある今日の予定 |
| `activity` | 完了数・ポイント・作業時間・集中時間、日別ヒートマップ |
タブはウィジェットの枠内で内容を切り替える。iframeを使わず、ページやブラウザ履歴を移動しない。タスク件名や右上の矢印は既存の詳細・一覧へ移動する。タスクの編集操作は従来の一覧・詳細画面を利用する。
達成率の分母は `planned_on=今日`、分子はそのうち `status=done` の件数。取りやめ・アーカイブ・プロジェクトを除く。日付はドメインのタイムゾーンで判定する。対象0件は100%でなく「—」を表示する。期限超過を含む「本日のタスク」の件数とは意図的に異なり、画面に定義を明記する。ヒートマップのポイント計算は[タスクの集計契約](task-productivity-contacts.md)に従う。
## 配置と保存
デスクトップは12列グリッド。幅は3〜12列、高さは2〜10単位、1単位の表示基準は72pxと12pxの間隔。順序に従ってグリッドへ配置するため、幅の組み合わせによって空白が生じる。任意の絶対座標を保持するレイアウトではない。
歯車で配置モードを開き、ハンドルのドラッグで並べ替え、右下のハンドルでサイズを変える。矢印ボタンと幅・高さの選択欄でも同じ操作が可能。追加・除去・初期配置への復帰に対応し、「配置を保存」で確定する。タブの選択も配置の一部として保存できる。未保存の離脱を警告し、保存失敗・競合時には編集中の配置を残す。ブラウザ再起動をまたぐ未保存レイアウトの下書きは持たない。
スマホは1列とタッチ向け操作へ切り替え、デスクトップ用の幅を上書きしない。カード内の長い一覧はスクロールする。並べ替えは矢印でも行える。幅指定とドラッグリサイズはスマホでは非表示。
保存は `organizer_dashboard_layouts` のDomain・本人を複合キーにし、JSONにウィジェットID・幅・高さ・選択タブだけを持つ。`task-productivity` managed migration v2でテーブルを追加する。既存v1の定義を変更しない。タスク既定値・メール同意とは別のversionを使い、配置保存が配信時刻や送信直前の同意チェックに影響しないようにする。
APIは `/_/api/v1/extension/organizer.tasks/` 配下。
| 操作 | 契約 |
| --- | --- |
| GET `dashboard` | `{version, widgets}`。未保存なら初期配置 |
| PUT `dashboard` | GETしたversionとwidgetsを送る。競合412、不正422、読み取り専用403 |
| GET `progress` | `{date, total, done}`。一覧の表示上限とは無関係にSQL集計 |
空配列は空のダッシュボードとして保持する。同じウィジェットの重複、未知ID、不正なタブやサイズは拒否する。新規APIは通常のセッション認証を使い、CalDAV資格情報を受け付けない。匿名には返さず、レスポンスは `private, no-store`。ダッシュボードは `organizer.tasks` の有効化に従い、カレンダー無効時は予定を取得しない。
## 読み込み負荷
ウィジェットの初期読込・全更新は最大2ジョブを並行実行し、定期ポーリングしない。タブ切替では旧リクエストを中断し、後から到着した古い応答を採用しない。タスクは1回20件のカーソルページング。予定は既存upcoming APIに `period=day` を追加し、ドメインの当日0時から翌日0時までだけを問い合わせ、最大20件を表示する。続きはカレンダー本体へ移動する。達成度は既存report APIの期間・件数上限を引き継ぐ。
## 検証と後続範囲
合成データで、所有者分離、CAS、読み取り専用、匿名拒否、管理設定への権限拡大がないこと、空配置、禁止ウィジェット、メール設定の不変、今日の集計・予定範囲を検証する。ブラウザではデスクトップとスマホの導線、タブ、設定保存、配置保存、横はみ出しを確認し、デスクトップのドラッグ・リサイズには実ポインター入力を使う。本番の外部取り込みカレンダーは検証に使わない。
次段階は以下を別途設計する。
- ウィジェットの複数インスタンス、プロジェクト等の個別フィルターと保存スキーマversion。
- 共有ダッシュボード。個人の配置やタスク権限を暗黙に共有しない。
- 外部プラグインウィジェットの権限宣言・実行制限・障害隔離・リソース観測。
- 画面外ウィジェットの遅延読込と、必要時だけの変更通知による更新。
- データ移行後の切戻し手順。旧イメージのschema checkに新しいversionを無視させず、バックアップ保全と移行検証を伴ってリリースする。
+8 -7
View File
@@ -26,7 +26,7 @@
- [x] 共通ナビの◐からプリセットを選択、リロードせず切替。host限定Cookieに保持し、Domain既定に戻せる。登録済みテーマのみ許可。Domain設定/アカウントの全端末設定ではなくブラウザ上書き。失敗時は現在テーマを保持する。
- [x] 絶対セッション期限:設定→セッション、5〜43200分、既定1440分。Domain単位で新規ブラウザ/APIログイン(OIDC/LDAPを含む)に適用。発行時にDBの期限を固定し、Cookie/APIのexpires_inにも反映。既存セッションの期限とCalDAVアプリパスワードは変更しない。管理者認可とサーバ側失効をfixture検証。
- [ ] 無操作タイムアウトとアカウント別の短縮上書き:background pollingを人間の操作とみなさないactivity契約、再認証、既存セッションへの即時適用を別途設計する。
- [x] 電話連絡先の初期実装(2026-11-01ローカル検証済み、本番未反映):本人編集、独立した公開範囲、表示用文字列と正規化した `tel:` リンク。公開は明示確認とプロフィール/ドメイン上限に従う。クリックなしで発信しない。
- [x] 電話連絡先の初期実装(2026-11-01 v0.2.0本番反映済み):本人編集、独立した公開範囲、表示用文字列と正規化した `tel:` リンク。公開は明示確認とプロフィール/ドメイン上限に従う。クリックなしで発信しない。
### 4. Cityの表示名
@@ -37,9 +37,10 @@
### 5. セッション付きCLI/TUI
- [x] HTTPクライアント初期版 `pages-cli`/コマンド `pages`(2026-11-01ホストのユーザーPATHへ配置済み。実ユーザログインは未実施):configureによる接続先・既定プロファイル・言語管理、パスワード/TOTP、Bearer保持・失効、ls/cd/cat/view/get、既存Page edit/put、Path補完、メモリ内履歴、検索候補、ブラウザ引き継ぎ。詳細と原設計整合は [遠隔CLI](remote-cli.md)。既存DB直アクセスCLIは変更しない。
- [ ] 既存 `data/pageswiki-cli` を拡張する専用起動コマンドとセッション保持。履歴や資格情報に0600相当の保護と失効/ログアウトを設ける。
- [ ] `Ctrl+P` のfuzzy検索と、ローカル `$EDITOR` 編集。現在版/ETagを保持してアップロード時の競合を検出し、上書き・差分・キャンセルを選べるようにする。
- [ ] パスワード認証に加え、ターミナルにURLを表示するブラウザ認証(OIDC)。既存Web認証と同じ本人性/MFA制約を適用し、短命・単回の認可コード+PKCEやdevice-flow相当の仕様を検討する。URLや履歴に長期トークンを含めない。
- [x] 専用起動コマンドとセッション保持は独立HTTPクライアント `pages` として実装。既存 `data/pageswiki-cli` のDB直接操作とは分離し、資格情報に0600の保護と失効/ログアウトを設ける。
- [x] ローカル `$EDITOR` 編集、現在Revisionを指定した保存、409時の原稿保全(分離前のHTTPクライアント)。
- [ ] `Ctrl+P` のfuzzy検索と競合の対話選択。独立CLI側の現状を確認して追跡する。サーバーの新規作成契約とは分ける。
- [x] ターミナルにURLを表示するブラウザ認証(OIDC)。`pages login --oidc [--no-browser]`、S256、5分の単回grant、確認コード/CSRF/TOTP、失効再確認、poll・発行上限を実装。2026-11-01 v0.3.0でサーバー・ホストCLIへ本番反映済み。実providerでの本人承認は利用者確認が残る。契約は[遠隔CLI](remote-cli.md)を参照。
- [ ] ターミナル表示が難しい内容はブラウザに引き継ぐ。short linkは認証を迂回しない内部リンクとし、公開share link発行とは分離する。自動公開しない。
## チェックポイントと進捗
@@ -93,9 +94,9 @@
- 電話番号は3〜15桁、先頭の+、表示用の空白・ハイフン・括弧に限定。内線、URIパラメータ、サービスコード、制御文字、任意スキームを拒否。空欄保存は番号を消去してprivateに戻す。
- JA/ENの説明・フォーム・保存後アンカーを追加。デスクトップ1440px/375pxで実ブラウザの入力・保存・telリンク・フォーム幅を検証。iPhoneの電話アプリ起動そのものは未検証。
- store/HTTPで本人・匿名・他メンバー・管理者・越境・公開確認・公開撤回・競合・不正番号を検証。個人情報の本文を監査ログへ追加しない。CardDAV、住所録、複数番号、内線は後続。
- **本番反映済みfix2にはこの機能を含めない。** 次回リリースでは追加componentの適用と、旧版への切り戻し条件を別途検証する。
- fix2時点では未反映だったが、v0.2.0で追加componentの適用と切り戻し条件を検証し本番反映した。[リリース記録](../../operations/deployments/2026-11-01-v0.2.0.md)を参照。
### 新規DBの初期接続競合(後続修正、本番未反映)
### 新規DBの初期接続競合(v0.2.0本番反映済み)
全体回帰で `TestSQLMigrationLedgerConcurrencyAndChecksum` がまれにSQLITE_BUSYとなることを確認。診断メッセージをmigration connection取得/BEGINに分け、2,000回の反復で接続取得段階の失敗を再現した。`sql.Open` がlazyのため、最初の並行接続でWALへの切替が競合していた。
@@ -123,7 +124,7 @@
現行 `data/pageswiki-cli` はSQLite/Document Storeへ直接アクセスする運用CLI。shell、補完、履歴、`$PAGER`/`$EDITOR` は既にあるが、Web認証を受けるリモートクライアントではない。Webユーザの認可をSQLite直アクセスへ継ぎ足さず、HTTP transportを持つ別コマンド(仮称 `pageswiki remote`)として段階導入する。
2026-11-01:試作名 `data/pageswiki-remote` から、ユーザ指定によりサブプロジェクト `pages-cli`/実行名 `pages` へ整理。`pages configure` と既定値により通常操作のprofile/lang引数を不要とした。以下は全体計画であり、Ctrl+P、OIDCハンドオフ、新規作成、強制上書きの対話選択、short linkは未実装。[初期版の範囲・制限・検証](remote-cli.md)を参照。
2026-11-01:試作名 `data/pageswiki-remote` から、ユーザ指定によりサブプロジェクト `pages-cli`/実行名 `pages` へ整理。`pages configure` と既定値により通常操作のprofile/lang引数を不要とした。OIDCハンドオフはv0.3.0で本番反映・利用者確認済み。既存Pageの言語分岐と編集はv0.4.0で対応済み。新規Pageの原子的な作成は別件。2026-11-06以降のCLI本体は独立repoを正とし、Ctrl+P・転送・配布対応等の現状を旧同梱版だけで判定しない。[範囲・制限・検証](remote-cli.md)を参照。以下の番号付き項目は初期実装時の契約で、すべて未着手という意味ではない。
1. パスワード+TOTPの既存JSONログイン、失効/logout、接続先・Principal・Domain別セッション保存。秘密情報はコマンド引数/履歴/ログへ出さず、保存先0700・資格情報0600相当、TLS検証必須。
2. `ls/cd/view/get/edit` と現在Pathの保持。検索は認可付き・件数制限・キャンセル可能なAPIを使用し、`Ctrl+P` のfuzzy選択へ接続。端末の制御シーケンスは本文/タイトルから除去する。
+3 -3
View File
@@ -1,6 +1,6 @@
# 6. 公開・承認・共有・匿名ナビゲーション
状態:明示的なRevision公開、Street/Spotの自動公開、匿名ナビゲーションは実装済み。承認者Inboxは受信者単位の保存・既読APIまで実装済みで、承認要求の生成・決裁UI・配送ワーカーはTODO。共有URL管理もTODO。
状態:明示的なRevision公開、Street/Spotの自動公開、匿名ナビゲーションは実装済み。承認要求の登録・限定決裁APIと受信者別Inboxは実装済み。上位方針・reviewer継承、定足数、現行Revisionの再検証、決裁UIを含む公開運用フローは未完成。共有URL管理もTODO。2026-11-08、`publication_approval_api.go`と照合。
## 三つの異なるもの
@@ -42,9 +42,9 @@ Domain・Quartierもrequiredの上限制約を設定できます。automaticは
状態はdraft → requested → approved / rejected / expired / supersededを案とします。取り消し・公開撤回は別監査イベントです。上位の承認必須設定を下位が解除できないこと、自動公開との優先順位、本人承認の可否を実装前に確定します。
共通通知Inboxの第一段階として、`notification_inbox`にDomain・受信者・イベント・種別を保存し、同じ組合せを重複排除します。`GET /_/api/v1/notifications` は現在のPrincipalに限定して `unread`、`limit`、`before` のkeyset取得を行い、`POST/PATCH /_/api/v1/notifications/read` は同じDomain・受信者の通知だけを既読化します。通知は権限や承認を付与せず、本文や秘密を保存しません。承認要求からの生成と再表示時の権限再検査は次段階です。
共通通知Inboxの第一段階として、`notification_inbox`にDomain・受信者・イベント・種別を保存し、同じ組合せを重複排除します。`GET /_/api/v1/notifications` は現在のPrincipalに限定して `unread`、`limit`、`before` のkeyset取得を行い、`POST/PATCH /_/api/v1/notifications/read` は同じDomain・受信者の通知だけを既読化します。通知は権限や承認を付与せず、承認対象の本文や秘密を保存しません。要求登録からの限定的なInbox生成は下記のAPIに接続済み。現行対象の再検査を含む完全な決裁フローは次段階です。
承認要求の対象(Path/Object/RevisionのハッシュとJSON)、policy version、generation、期限、要求者を`publication_requests`に固定保存し、決裁履歴を`publication_decisions`へ追記します。期限付きpending要求はスケジューラが小さなbatchでexpiredへ遷移させます。レビュアーの現在権限を再検査する決裁APIとInbox UIは、まだ公開していません。
承認要求の対象(Path/Object/RevisionのハッシュとJSON)、policy version、generation、期限、要求者を`publication_requests`に固定保存し、決裁履歴を`publication_decisions`へ追記します。期限付きpending要求はスケジューラが小さなbatchでexpiredへ遷移させます。Domain管理者向けの限定決裁APIは存在しますが、委譲レビュアーの決裁UI・完全な公開承認フローを提供した状態ではありません。
認証済みのDomain管理者向けに、`POST /_/api/v1/publication/requests`でboundedな対象manifestを登録できます。idempotency keyで再送をまとめ、指定されたレビュアーがDomain管理権限を持つ場合だけInbox通知を作成します。`POST /_/api/v1/publication/requests/{uuid}/decisions`はDomainとgenerationを再検査し、承認・拒否をCASで一度だけ適用します。上位方針の継承、定足数、対象Revisionの現在性検査は、公開運用へ進む前の残タスクです。
+106 -9
View File
@@ -1,7 +1,16 @@
# pages-cli:`pages` HTTPクライアント
2026-11-06:利用者向けの[クライアント契約](https://git.anya.jp/anya/pages-cli/src/branch/main/docs/client-contract.md)と[NeoMutt連携](https://git.anya.jp/anya/pages-cli/src/branch/main/docs/neomutt.md)は独立した公開pages-cliリポジトリへ移転した。本書はサーバー側のHTTP・OIDC認証契約、結合テストと導入履歴を保持する。下記のv0.3.0/v0.4.0は分離前のサーバー同梱版の番号であり、独立CLIはv0.1.0から採番する。
2026-11-08整理:以下のPython実装・Windows未対応・TLSバイパスなし等の記述と末尾の
「次段階」は分離前の同梱版の記録であり、独立CLIの現行制約ではない。独立版の実装・配布・
残件は上記repoを正とする。今回の文書照合では独立版HEADを取得していない。
サーバー側の新規作成/CAS等の後続は[残件台帳 EDIT-01 / UX-01](implementation-backlog.md)で追跡する。
2026-11-01。合成データで検証済み。同日、本番サーバのCity更新と合わせてクライアントをホストの `/home/anya/.local/bin/pages` に配置した。実ユーザの資格情報取得・ログイン・本番Page編集は未実施。接続設定とログインは利用者が行う。[反映記録](../../operations/deployments/2026-11-01-city-pages-cli.md)。
v0.3.0のOIDCログインは利用者の動作確認済み。v0.4.0ではOIDC承認時の追加ローカルTOTPを廃止し、CLIの `auto` 言語選択と既存Pageの新規言語版編集を実装した。2026-11-01 21:48 JSTに本番サーバー/PATH上のCLIへ反映済み。[v0.4.0反映記録](../../operations/deployments/2026-11-01-v0.4.0.md)。
## 原設計との整合
原設計の [Address Model](../address-model.md)、[URI](../uri.md)、[認証バックエンド](../auth-backend.md)、[エディタの保存契約](editor-resilience.md)を使用する。
@@ -13,7 +22,7 @@
- 旧認証設計にはCookie中心の記載が残るが、実装済みのJSONログインはBearerセッションを発行する。CLIはこのフローを使用し、Web Cookieを抽出しない。
- `data/pageswiki-cli` は信頼されたローカル運用ツールとして維持。遠隔版はサブプロジェクト `pages-cli`、実行名 `pages`(`pages-cli/pages`)とし、DB・Document Storeを直接開かない。
サーバAPI/DBスキーマの追加・変更はない。初期実装はPython 3.9以降の標準ライブラリで動作するUnix系クライアント(fcntl、readline使用)。Windowsネイティブ版は未対応。
初期のパスワード版にはサーバAPI/DBスキーマの追加・変更はない。後続のOIDC引き継ぎでは下記のauthエンドポイントとmanaged component `cli-auth` v1を追加する。Python 3.9以降の標準ライブラリで動作するUnix系クライアント(fcntl、readline使用)。Windowsネイティブ版は未対応。
## 利用方法
@@ -24,7 +33,7 @@ pages login
pages status
pages
# ワンショット。--lang はコマンドより前に指定する。
# ワンショット。editでは --lang をコマンドの後にも指定可能。
pages ls /manual
pages edit /manual/start
pages get /manual/start ./start.html
@@ -32,7 +41,7 @@ pages put ./start.html /manual/start --base REVISION_UUID
pages logout
```
配置方法と詳しい設定例は [pages-cli README](../../../pages-cli/README.md)。既定プロファイル名は `default`、編集言語は `und`。`pages configure --lang ja` で変更し、`configure set --profile work --origin ... --username ... --lang en` で接続先を追加する。`configure use work` で既定を切り替え、通常操作ではprofile/langの引数を省略する。一時的な `--profile`/`--lang` 上書きも残す。
配置方法と詳しい設定例は [pages-cli README](../../../pages-cli/README.md)。既定プロファイル名は `default`、新規プロファイルの編集言語は `auto`。既存の明示設定は保持する。`pages configure --lang auto` で表示対象の言語に追従し、`--lang ja` なら日本語版を指定する。`configure set --profile work --origin ... --username ... --lang en` で接続先を追加し、`configure use work` で既定を切り替える。一時的な `--profile`/`--lang` 上書きも残す。
設定は `config.json` の version/default_profile/profiles と、各接続のorigin/username/langに限定。パスワード・Bearerは設定表示へ含めない。configureはネットワーク通信をせず、ログイン中のorigin/username変更を拒否する。mainは設定ロック→セッションロックの順で取得し、起動時の接続先すり替えを防ぐ。手編集時も保存したセッションの接続先・アカウントとの一致を確認してから使用する。logoutは設定を手編集した場合でも、保存済みの元接続先に対して失効する。
@@ -47,11 +56,13 @@ TabはPath候補を取得し、上下キーは当該プロセス内の履歴を
- `get ADDRESS LOCAL` は最大64 MiBの正本を取得し、SHA-256を照合する。ローカル出力は0600で新規作成し、既存ファイルを上書きしない。Revision UUIDを表示する。
- `cat` はpipe時に正本バイト列を出力。TTY時には制御文字を除去する。`view` はテキストを `$PAGER`(既定less)に渡し、HTMLを端末上で実行しない。
- `edit` は `$EDITOR`(既定vi)をshellを介さず起動。HTMLはauthoring Markdownが既定、その他の対応テキストは原文。`--format raw` でHTMLを直接編集できる。`--format markdown` はHTML文書専用。
- `auto` はRaw HEADのRevision UUIDから言語を確認し、その言語の現在headを再取得する。以降の保存・競合比較はその言語に固定し、途中で通常表示の言語が変わっても追従しない。
- 明示言語のheadがなければ表示対象のRevisionを下書きとして読み込む。保存先言語と空の `base_revision_uuid` を保持し、保存時点でもheadがないことをCASで確認する。元の言語版は変更しない。これは内容の分岐であり自動翻訳ではない。無変更で閉じれば新規Revisionは作らない。
- ローカル作業ファイルは0700の一時ディレクトリ内に0600で保存。成功・無変更時は削除、失敗/409/通信断時は原稿とrecovery.jsonを保持して場所を表示する。recovery.jsonにはorigin、UUID、基点Revision、言語、形式を記録し、Bearerは含めない。
- 409では最新内容とローカル原稿の差分を表示し、保存は停止する。自動マージ、強制上書き、自動再送はしない。応答喪失時は取得してサーバの状態を確認してから再試行する。
- `put` は既存Pageの既存言語のみ。`--base` が必須で、現在headと不一致なら送信しない。サーバ保存も同じbaseでCASを行う。編集を保持したい場合は最新を取得して差分を確認し、調整済み原稿とその最新Revisionを明示して保存する。
- `put --format markdown` はauthoring変換を使用。rawは正本形式を保持する。ローカル拡張子で保存MIMEを勝手に変更しない。テキスト編集は1 MiB、JSON送信は2 MiBまで。
- `rev:` は取得専用。新規Page、未作成の言語head、バイナリ編集、Asset更新は拒否する。新規作成のためにエディタGETの副作用を利用しない。
- `rev:` は取得専用。新規Path/Page、バイナリ編集、Asset更新は拒否する。新規作成のためにエディタGETの副作用を利用しない。新規言語版も保存APIで既存Pageの書込権限を検査する。
- `open` は同一originのPath/UUID/Revisionビューアをブラウザで開く。BearerはURLに含めず、ブラウザ側のログインが必要。共有リンクは自動発行しない。
## HTTP契約
@@ -67,7 +78,67 @@ TabはPath候補を取得し、上下キーは当該プロセス内の履歴を
| HTMLへの復帰 | POST `/_/api/v1/render/markdown`、authoring=true、projection=false |
| CAS保存 | POST `/_/api/v1/revisions/save` |
一覧は既存の件数制限を維持し、truncatedを表示する。巨大な全階層を再帰取得しない。読み取りのRaw言語選択は既存サーバの候補選択に従うが、編集は指定言語のheadを必須とし、存在しない場合は拒否する。
一覧は既存の件数制限を維持し、truncatedを表示する。巨大な全階層を再帰取得しない。読み取りのRaw言語選択は既存サーバの候補選択に従う。`auto` はRawのlang指定を省略し、実際に選択されたRevisionの言語をeditor/stateのmetadataで確認する。明示言語のheadがない場合だけ、同APIのrevision指定で元の内容を読み込む。元のRevision UUIDを保存の基点に流用せず、空の基点で新規言語版を作る。
## OIDCブラウザ引き継ぎ
`pages login --oidc` はブラウザを開き、`--no-browser` はURLだけを表示する。
CLI側に受信ポートは不要で、SSH先から開始して別のPC/スマホで承認できる。
接続先のOIDC設定・既存アカウントとの対応を再利用し、新たなprovider登録は不要。
ユーザー名未指定なら認証結果をセッションに保存する。指定済みなら一致を検査し、
不一致時は新セッションを失効させるリクエストを送って保存を止める。
設定上のusernameと認証結果のusernameは別々に保持し、接続先・アカウントの手編集対策を維持する。
### プロトコル
[RFC 8628](https://datatracker.ietf.org/doc/html/rfc8628)の別端末承認・ポーリングの考え方と、
[RFC 7636](https://www.rfc-editor.org/rfc/rfc7636)のS256照合を参照する。
これはPagesWiki専用のsession handoffであり、汎用OAuth Device Authorization Serverの
discovery/grant_type/client registrationへの完全準拠を標榜しない。
| 入口 | 用途 |
| --- | --- |
| POST `/_/auth/cli/start` | formの`code_challenge`、`code_challenge_method=S256`で開始 |
| GET `/_/auth/cli/verify?request=...` | OIDCへの入口と、認証後の本人・接続先確認/承認フォーム |
| GET `/_/auth/oidc?cli=...` | 既存のnonce・state・PKCE・署名検証を使うOIDCフロー |
| POST `/_/auth/cli/verify` | browser session、CSRF、request、確認コードで承認/拒否 |
| POST `/_/auth/cli/token` | formの`device_code`、`code_verifier`を照合して単回交換 |
1. CLIは暗号学的乱数のverifierを生成し、そのSHA-256を送る。サーバは独立した256bitの
public request ID/device codeと32bit確認コードを生成する。
返却するverification URIは同一origin内の固定Path。CLIもPath形式を厳密に検査する。
2. ブラウザは既存CookieがあってもOIDCフローを通る。新しいOIDC callbackで作られた
browser sessionにリクエストを一度だけ束縛する。他ブラウザによる再束縛を拒否。
3. callbackだけではCLIへ認証情報を渡さない。承認画面はterminalの確認コード入力を要求し、
フォーム内にコードを埋め込まない。本人が開始した操作だけ承認するよう警告する。
同一origin検査+browser tokenとrequestに束縛したCSRFを使用する。
4. OIDC認証後の承認で追加のローカルTOTPは要求しない。プロバイダーの認証ポリシーを使用する。
OIDC成功だけをMFA成功とは扱わず、未検証のMFA levelを加算しない。
ローカルパスワードログイン時のTOTP要件は変更しない。
5. CLIは5秒間隔でpoll。pendingのみ継続し、slow_downで間隔を5秒ずつ最大30秒へ増やす。
拒否・失効・ネットワーク障害・交換応答の喪失では自動再送しない。
6. grantの消費と専用`pw_api_`セッション発行を同じtransactionで確定する。
Principal/Domain membership/承認元browser sessionの失効・期限を再検査する。
セッションは既存の権限評価に従い、期限はDomain設定と承認元session期限の短い方。
MFA levelを保持する。ブラウザCookieや外部provider tokenをCLIへ流用しない。
### 永続化・上限
- managed component `cli-auth` v1に短期状態を保存。既存authテーブルやURIは改名しない。
- grantは5分で失効。確認失敗は最大5回、OIDC開始は1grantあたり3回まで。
- 同一Domainで5分間に64件まで、全体の保持件数は4096件まで。発行前に作成10分超の行を削除する。
上限判定は単一INSERT内で行い、並行発行で超過しない。長期履歴にはしない。
- device code/確認コード/browser tokenはハッシュだけを保存。verifierはCLIのメモリだけ。
新しいAPI Bearerの平文は既存0600セッションファイルだけに保存する。
- 外向け応答はno-store、承認ページはno-referrer・frame禁止。Bearer・verifier・確認コードを
URLに含めない。リクエスト本文をアクセスログへ記録しない運用を前提とする。
- read-onlyインスタンスは発行・承認・交換しない。初期化は通常のmanaged schema手順に従う。
v0.2.0へ戻す前には追加componentを含む互換性を確認し、schema履歴を削除して回避しない。
HTTP応答が失われた場合にセッションが発行済みの可能性は残る。平文BearerをDBへ保持して
再配布する方式は採らず、利用者が設定画面で不要なセッションを失効する。
Ctrl+C時は未交換grantを即時サーバ削除せず、5分の期限で失効させる。
この上限は入口全体のDDoS対策ではない。reverse proxyでの一般的なリクエスト制限は別途必要。
## セキュリティと運用上の制限
@@ -82,14 +153,40 @@ TabはPath候補を取得し、上下キーは当該プロセス内の履歴を
Python unittest:origin制限、端末制御文字、別origin redirect遮断、非JSON/403/サイズ上限、TOTP、資格情報権限・symlink・並行実行拒否、authoring/CAS payload、ダウンロード上書き拒否、409時の原稿保全。
設定追加後は12件:既定値/複数接続切替/言語保存、一時上書き、設定表示からのトークン除外、セッション保持中の再接続先変更拒否、手編集での接続先不一致拒否も検査。HTTP統合試験では公開エントリーポイントのconfigure→login→引数省略のls/status/edit→logoutを通す。
Python単体試験22件:既定値/複数接続切替/言語保存、一時上書き、設定表示からのトークン除外、接続先変更拒否、PKCE、poll間隔、URL検査、アカウント不一致、取消、通信断、username未指定でのsession保持、開始API未対応/OIDC無効時の診断、autoの言語とhead固定、新規言語版の空CAS、無変更終了、競合時の言語固定を検査する。
Goの `TestRemoteCLIHTTPIntegration`:一時DBと本物のHTTPハンドラでログイン、一覧、編集状態、authoring変換、保存、古いRevision拒否、Rawハッシュ、immutable拒否、存在しない言語拒否、put、ログアウト後の拒否を検査。Pythonがないビルド環境ではこの統合試験をskipする。外部カレンダーや本番資格情報は使わない。
Goの `TestRemoteCLIHTTPIntegration`:一時DBと本物のHTTPハンドラでログイン、一覧、編集状態、authoring変換、保存、古いRevision拒否、Rawハッシュ、immutable拒否、新規言語版作成と並行作成の409、元言語の保持、日本語版のみ存在するPageのauto編集、put、ログアウト後の拒否を検査。Pythonがないビルド環境ではこの統合試験をskipする。外部カレンダーや本番資格情報は使わない。
OIDCは署名付き模擬providerによるcallback→承認→交換のHTTP試験、12並行交換で1sessionのみ、
越境・別origin・期限・失効・MFA・不正コード・発行上限・途中失敗rollbackを検査する。
`TestRemoteCLIOIDCIntegration`ではPython CLIから実際のHTTP経由でconfigure→OIDC待機/交換→一覧→authoring保存→logoutを実行する。
この試験のブラウザ操作だけはfixtureの承認ブリッジを使い、実OIDC callbackは別のHTTP試験で検証する。
承認画面のChromium試験は1440px/390pxで実フォームとCookieによる承認を確認する。
v0.3.0の本番OIDCログインは利用者確認済み。追加TOTP省略はローカルTOTP有効の合成アカウントでも検証し、MFA levelを不当に上げないことと既存の検証済みlevelの継承を確認する。
2026-11-01のv0.3.0公開時の実行結果:全Goテスト(キャッシュなし)、全Go vet、関連store/serverのrace検査、
Python 18件、OIDCとパスワードのCLI HTTP統合試験、承認画面と既存CookieログインのChromium試験が成功。
CLI承認画面のモバイルスクリーンショットも確認した。実機Safariは未確認。
前段のイベントログ修正を保持し、OIDCは機能追加としてv0.3.0で公開した。
同日20:52 JSTに本番サーバーとユーザーPATH上のCLIへ反映済み。
[本番反映記録](../../operations/deployments/2026-11-01-v0.3.0.md)にCI再実行、schema移行、公開API確認と復旧条件を記載した。
サーバーとCLIの両方が必要。開始APIの404/405/501は未対応または接続先の誤りとして明示し、
OIDC無効の403と区別する。エラー時のログイン要求は自動再送せず、資格情報も保存しない。
同日の後続変更でも全Goテスト(キャッシュなし)、全Go vet、CLI関連store/serverのrace検査、
Python 22件、承認画面と既存CookieログインのChromium試験が成功した。
`TestRemoteCLILanguageForkRequiresWritePermission`で、有効なreadonlyセッションからの言語版作成が403になり、Revisionが残らないことも確認した。
この後続変更はv0.4.0で配布し、同日21:48 JSTに本番へ反映した。実ユーザーの文書編集は行わず、利用者による操作確認に委ねる。
ソースのチェックポイント:`.deployment-backups/dev-cli-oidc-20261101/source-after.tar.gz`
(SHA-256 `3e4228cd53b4220dffe43a80b4ed02c0bd757a8b3845829b7d3a77a64b0e9c4b`)。
OIDC関連18ファイルのみで、本番DB・鍵・セッション・前段のログ保存修正は含まない。
変更前はGitの`0f686aa`と比較し、対象ファイル単位で復元する。作業ツリー全体をresetしない。
次段階の順序:
1. Ctrl+Pによる検索選択、補完の引用文字/途中カーソル対応、永続履歴の明示opt-in。
2. 新規Page+Path+初回Revisionの原子的な作成API、create/upload-only権限、並行作成の衝突、言語分岐。
2. 新規Page+Path+初回Revisionの原子的な作成API、create/upload-only権限、並行作成の衝突。既存Pageの言語分岐は実装済み。
3. 競合の対話選択・復旧コマンド、巨大転送のstreamingとキャンセル、mget/mput(globのlocal/remoteを明示)。
4. OIDCブラウザ認証の短命・単回・PKCE相当ハンドオフ。既存device approvalをそのまま転用せず、本人確認・Domain・CLIリクエストを束縛する。
4. OIDC引き継ぎの本番schema適用・サーバ/CLI配布と利用者確認はv0.3.0で完了。追加TOTP省略と言語編集改善はv0.4.0で配布済み。schema v1の定義は変更しない。
5. OS keyring、Windows対応、非公開の短縮リンク引き継ぎ。自動的な公開shareは行わない。
+21 -3
View File
@@ -1,9 +1,27 @@
# 20. 実装順序と受け入れ条件
状態:2026-09-19再整理。旧Phase番号は原ロードマップとの対応用に残し、実装は依存関係とリスク順に進めます。
状態:2026-11-08再照合。旧Phase番号は原ロードマップとの対応用に残し、実装は依存関係とリスク順に進めます。
現在の作業単位・優先順・受入条件は[実装残件台帳](implementation-backlog.md)に集約しました。
以下の日付付き追記と旧優先表は経緯を残すものです。共通outbox、限定DAV、個人連絡先、
HTML保護、Inboxなどの初期sliceは実装済みで、旧表の項目全体が新規開発という意味ではありません。
2026-11-08の利用者指定により、**RSS・情報収集 → 構造化ドキュメント/編集部品 →
料理レシピ → タスク・プロジェクト管理の第2段階 → 共同作業・公開承認・共有**の順で進めます。
必要な認可・整合性・性能対策は各機能の受入条件へ組み込みます。以前の回復・基盤改善を
先に一巡する推奨順は置き換え、下記の日付付き「次は」は当時の記録として扱います。
## 優先順
2026-11-08:[日次メールの配信履歴・手動再送・保持境界](task-digest-delivery.md)をソース実装。migration v4は旧予約を保持し、詳細整理後も日別予約と要求receiptを残す。本番反映は保留して整合性検証を優先する。次は失効Domainに取り残された作業記録の回復、取消済み作業記録の復元と監査保持。共有・外部書き込みは別段階。
2026-11-08:[作業記録の訂正・取消と監査履歴、プロジェクト別集計](task-productivity-contacts.md#作業記録の訂正と取消)をソース実装。タスク一覧・ダッシュボードから履歴画面へ接続。DBのmanaged migration v3を伴うため、本番反映はバックアップと別工程にする。日次メールの配信結果・手動再送・保持契約は同日の後続実装へ進んだ。失効Domainに取り残された作業記録の回復、共有、外部書き込みは残件。
2026-11-02:[共通ナビゲーション・個人設定・ウィジェットダッシュボード](organizer-dashboard.md)を実装。タスク/カレンダー/連絡先の導線統一、トップ・ナビバーの連絡先、個人別の配置・サイズ保存。ソース実装と本番反映は区別し、共有・外部ウィジェットは後続。
2026-11-02:[個人CardDAV提供と履歴復元・一括export](../../operations/carddav-contacts.md)を実装。専用資格情報、条件付き更新、変更tokenと削除tombstone、bounded REPORTを追加。09:04:17 JSTに[v0.6.0として本番2系統へ反映](../../operations/deployments/2026-11-02-v0.6.0.md)。共有アドレス帳・外部CardDAV connector・実機互換確認は同資料の後続範囲。
2026-11-01:[タスク作成・作業記録・達成度・日次メール・個人アドレス帳](task-productivity-contacts.md)を追加。Web/CLI/neomuttの共通capture、時間記録、既定値、検索コマンドを接続。作業記録の事後訂正と日次メールの再送・保持境界は2026-11-08の実装へ進んだ。
2026-10-31:ユーザ指定により[日常操作・ブラウザ・エディタ・CLI](priority-ux-20261031.md)を次期開発の最優先とする。下記の従来機能追加より優先するが、認可・データ保全の安全条件は省略しない。TODO、受け入れ条件、復元用チェックポイントを同文書に集約する。
2026-09-27追記:`organizer.tasks 0.11.1`で[既定タスクリスト名の変更](task-dav-default-list-name.md)を実装し、12:51 JSTに[本番両インスタンスへ反映](../../operations/deployments/2026-09-27-default-task-list-name.md)。PROPPATCH 405を解消し、利用者・domain別の表示名を保存、全探索結果へ反映する。実機再試行は確認待ち。色・アイコン・通常プロジェクトのPROPPATCHは別件。
@@ -28,7 +46,7 @@
| P1-3 | 検索・decode・大容量 | 現行上限と測定 | current-only検索、隔離、stream、cancel |
| P2-1 | 通知と承認Inbox | P0、outbox | 現在権限で再表示・決裁・失効 |
| P2-2 | HTMLパーツ | round-trip fixture | macro/asset/未知HTMLを壊さない |
| P2-3 | local task | extension契約、原子的ジャーナル | 個人タスク/プロジェクト・Inbox通知・個人local時間枠・永続化Pomodoro・Todayの見積/時間枠/集中集約を実装済み。次は計画持ち越し、日課、共有 |
| P2-3 | local task | extension契約、原子的ジャーナル | 個人タスク/プロジェクト・Inbox通知・個人local時間枠・永続化Pomodoro・日別計画と持ち越し・作業記録訂正と集計・日次メール再送を実装済み。次は失効Domainの作業記録回復、日課、共有 |
| P2-4 | RSS読取・Wiki保存 | connector共通部 | FreshRSS fixtureと安全なcopy |
| P2-6 | 料理レシピ管理 | Document/Asset、検索、権限 | 材料・分量・手順・調理時間・人数・タグを構造化し、単位変換と安全な共有を検証 |
| P3 | calendar/contact/mail | import/secret/競合契約 | read-only同期、明示copy、障害復旧 |
@@ -51,7 +69,7 @@ P2以降の順序は利用価値で入れ替え可能ですが、P0の該当安
- 認証・グループ:実装あり。全endpoint監査・identity lifecycleが残り。
- 匿名公開・children/tree/City:実装あり。大規模影響確認、share、承認Inboxが残り。
- ブログ・日記・公開射影・本文RSS:実装あり。遠隔射影、コメント、tDiary等が残り。
- オーガナイザー:カレンダーと限定CalDAV、個人タスク/プロジェクト・個別ONのInbox通知、個人local時間枠と永続化Pomodoroあり。[タスク実装契約](tasks-implementation.md)、[時間枠とPomodoro](task-planning-focus.md)参照。一般のカレンダー予定通知・共有・VTODO、RSS購読・IMAPは未実装。
- オーガナイザー:カレンダーと限定CalDAV、個人タスク/プロジェクト・VTODO同期・個別ONのInbox通知・個人local時間枠・永続化Pomodoro・日次メール・個人CardDAV・ウィジェットダッシュボードあり。[タスク実装契約](tasks-implementation.md)、[時間枠とPomodoro](task-planning-focus.md)、[タスク所属とDAV同期](task-dav-project-unification.md)参照。一般のカレンダー予定通知・共有、DAV競合候補の通知と採否選択、RSS購読・IMAPは残件。
- 全面WYSIWYG、native app起動、第三者runtime、vim.wasm改善:判断待ちまたは保留。
## 共通のDone
+81
View File
@@ -0,0 +1,81 @@
# 日次タスクメールの配信履歴と手動再送
2026-11-08、`organizer.tasks 0.14.0` のソース実装。個人設定で配信試行を確認し、当日分を明示的に再送できる。送信は既存の `task.digest.deliver` イベントが行い、Webリクエスト内ではSMTPに接続しない。本番反映は別工程とする。
## 利用者の操作と公開範囲
入口は `/-/sys/config?panel=organizer` の「メール配信履歴・再送」。初期は閉じておき、開いたときだけ履歴を取得する。自動ポーリングは行わず、更新ボタンとページ送りを用意する。PCは表、スマホは表の領域内だけ横スクロールする。
本人・現在のDomainの履歴だけを返す。管理者権限は他人の履歴を読む根拠にならない。readonlyは閲覧だけ可能。無効化したタスク拡張へのAPIアクセスは拒否する。履歴には対象日、定期/手動/移行前の区分、状態、更新時刻、理由コードだけを表示する。本文・宛先・SMTP認証情報・生のエラーを保存しない。
再送は保存済みの配信設定が有効で、当日の配信試行が既に存在する場合だけ可能とする。初回配信の前倒しや過去日のまとめ送りは含めない。現在のタスクから本文を再構成し、現在の本人のアカウントメールアドレスへ送る。元のメールの完全な再現ではない。設定画面の未保存値は使わない。
送信済みまたは結果不明の場合は、受信状況を確認し、重複配信の可能性を了承するチェックを必須にする。送信中・待機中には次の再送を受け付けない。同じDomain・本人・日付につき、手動要求は最大5件。処理前に中止された要求も回数に含める。
## API
基点は `/_/api/v1/extension/organizer.tasks/`。既存の個人タスクAPIと同じ認証を用いる。CalDAV専用資格情報を一般APIの資格情報へ拡張しない。
| 操作 | URI | 内容 |
| --- | --- | --- |
| GET | `digest-history?limit=25&after=...` | 新しい順のitems、次のcursor、設定timezoneのtoday、当日のcurrent、手動要求数retries、配信設定enabled、retention_days |
| POST | `digest-history/retry` | request_id、day、expected_attempt、duplicate_acknowledgedを受け取り、受付成功は202とrequest_id |
一覧は1〜100件、既定50件、Webは25件。`created_ms, uuid` のkeysetを使う。cursorは256 bytes以内。expected_attemptは一覧で取得した当日のcurrent.uuidをそのまま送る。
要求IDはクライアント生成のcanonical UUID。同じ要求IDと同じ内容の再送は新たな予約を作らない。異なる内容での再利用、古いexpected_attempt、実行中、上限到達は412。対象日が現在の配信timezoneの今日でない場合や、必要な重複確認がない場合は422。配信設定OFF、readonly、権限不足は拒否する。APIはSMTP有効設定とアカウントのメール形式も確認する。
Webはネットワーク失敗時に同じ要求IDを保持して再試行する。受付済みの要求をGETで観測した場合は、再送を重ねず状態表示へ切り替える。古い要求のreceiptがある場合は、日付が過ぎたり詳細履歴が整理された後の同内容再送にも既存の受付IDを返す。新しいSMTP処理は起こさない。受付応答はメールの到達を意味しない。
## 状態とワーカー
| 状態 | 意味 | 次の扱い |
| --- | --- | --- |
| queued | 手動要求をDBで受付済み | スケジューラがclaimする |
| sending | 1つの試行が送信処理を担当 | 通常はsent、uncertain、cancelledへ遷移 |
| sent | SMTP処理が正常終了 | 受信箱への到達保証ではない。手動再送には確認が必要 |
| uncertain | SMTP結果が不明、またはワーカー中断の可能性 | 自動再送しない。手動再送には確認が必要 |
| cancelled | SMTPに渡す前に処理中止 | 原因を確認し、当日なら手動で再予約できる |
イベントは60秒周期。定期配信の候補は最大20件、手動キューは最大10件を取得し、両者を交互に処理する。全体の時間予算は30秒で、残りは次回へ持ち越す。手動キューは受付時の設定versionを固定する。claim時に権限・拡張機能・配信同意・設定version・対象日を確認し、変更されていれば送信中止にする。
SMTP直前にも、現在の権限・メールアドレス・同意version・拡張状態・対象日・試行IDを読み取りtransactionで再確認する。2分以上古いclaimでは送信を開始しない。処理の終了は現在の試行IDと状態が一致するときだけ保存し、古いワーカーが新しい試行を完了扱いにできないようにする。
10分以上sendingのままの試行は、イベントの保守処理で最大100件ずつuncertainへ移す。これは「未送信」との断定ではない。プロセス停止・長い休止・SMTPの応答喪失では送信済みの可能性がある。SMTPとDBを一つのtransactionにできないため、exactly-onceや、休止した古いプロセスからのネットワーク送信を完全に取り消す保証はしない。明示確認付きの再送でこの不確実性を扱う。
理由コードはSMTP未設定、タスク取得失敗、設定・権限変更、拡張無効化、対象日経過、SMTP結果不明、ワーカー中断に限定する。イベントログには件数だけを残す。
## DBの正本と保持境界
正本はSQLite。配信に関する以下の3つを分離する。
| テーブル | 役割 | 保持 |
| --- | --- | --- |
| organizer_digest_deliveries | Domain・本人・日付の予約と現在の試行ID/状態 | 恒久。日別の自動二重配信を防ぐ |
| organizer_digest_requests | 手動要求IDと要求内容・重複確認・受付時刻 | 恒久。同じ要求の再受付を防ぐ |
| organizer_digest_attempts | 個々の試行状態・理由・日時 | 終端状態のupdated_msから90日。queued/sendingは削除対象外 |
詳細の削除はイベント1回につき最大500件で、日時と状態のindexから選ぶ。設定や再送受付は別のwriter transactionで行い、削除と同じSQLite書き込みロックに従う。日別予約と手動receiptを削除・再作成しない。詳細が期限切れになると古い予約が指す試行の詳細行は存在しなくなるが、予約の状態と重複防止機能は残る。現時点では恒久記録の圧縮・失効は実装しない。
## 移行と復旧
task-productivityのmanaged migration v4で、既存の日別予約へattempt_uuidを追加し、試行・受付receiptのテーブルとindexを作る。既存の日別予約を削除せず、元のstateとupdated_msを保ってlegacy試行へ対応付ける。旧試行の設定version・timezoneは不明として扱い、現在の設定から過去の同意を推測しない。
DDL、旧データの対応付け、migration台帳の更新は同じtransactionで完了する。途中失敗なら旧スキーマと予約へ戻る。再実行でIDや予約を再生成しない。前段のv3を含め、旧migration定義の書き換えは行わない。
本番反映前には、書き込みを停止した整合DBバックアップと、対応するイメージを確保する。反映後にschema version、予約数、legacy試行との対応、`PRAGMA integrity_check` を確認する。旧イメージは更新DBに接続しない。forward-fixを基本とし、旧DBへ戻す場合は更新後の書き込みを保全して照合する。
特にメールはDB外で送信されるため、送信開始後のバックアップ復元だけでは重複防止を復元できない。復旧時はイベントの自動送信を止め、更新後の予約・receiptを保全して照合し、送信済みか不明な分を自動再送しないこと。移行・反映・復旧の成功と、実際の受信箱への到達は別の確認である。
## 受け入れ条件と後続
- 旧予約の全状態を保つ移行、反復、途中失敗のrollback、DB integrity check。
- 二重クリック・応答喪失後の同一要求、異内容再利用、当日制約、5回上限。
- readonly・別本人・未認証・配信OFF・権限失効・設定変更・日付経過の拒否または送信中止。
- 古い試行の送信前チェックと完了通知の拒否、SMTP結果不明の扱い。
- 詳細を削除した後も、手動receipt再送や日別自動claimで配信が復活しないこと。
- fake SMTPを用いた予約から送信・結果保存までの試験。ブラウザはPCと390px幅。
検証結果:`go test ./...`、`go vet ./...`、追加の受付競合・権限・保持境界テストの `-race`、JavaScript構文検査が成功。Chromiumの1440px・390pxで、履歴の遅延読込、重複確認、受付応答の喪失後の同一ID再試行、キュー処理後の状態表示を確認した。DB移行の反復・途中失敗のrollbackと `PRAGMA integrity_check` は隔離DBで確認。本番DBは変更していない。
後続は保持期間の管理UI、恒久receiptの安全な圧縮、当日予約の明示取消、配信結果のInbox連携、複数ワーカーの運用メトリクス。共有送信先・任意宛先・過去日の送信はこの機能へ暗黙に追加しない。
@@ -0,0 +1,129 @@
# タスク作成と作業記録と個人アドレス帳
タスクの入口をWeb・CLI・メールで共通化する。タスク、作業記録、既定値、配信設定、連絡先はDomainと本人に属する。既存のタスクAPI・CalDAVを変更せず、個人向けAPIを追加する。管理者であることだけでは他人のデータを読めない。
## 作成API
基点は `/_/api/v1/extension/organizer.tasks/`。通常のログインセッションのBearer認証を使う。CalDAV専用資格情報はこのAPIの資格情報ではない。
| 操作 | Methodと相対URI | 契約 |
| --- | --- | --- |
| タスクを作る | POST `capture` | UUIDのrequest_id、titleが必須。notes、project_uuid、assignee_uuid、due_on、start_on、planned_on、review_on、estimate_minutes、complexityを指定可能 |
| 既定値 | GET / PUT `preferences` | PUTはGETしたversionを含める。競合は412 |
| 実行中の記録 | GET `work` | itemがnullなら停止中 |
| 開始 | POST `work` | action=start、uuid、task_uuid。開始時刻はサーバーで記録 |
| 終了 | POST `work` | action=stopとGETで得たitem。versionで条件付き更新 |
| 作業一覧 | GET `work-history?from=YYYY-MM-DD&to=YYYY-MM-DD&limit=50&after=...` | fromを含みtoを含まない期間と重なる本人の記録。最大367日、1ページ最大100件、取消済みを含む |
| 作業の履歴 | GET `work-history/{uuid}?before=VERSION` | 新しい版から最大100件。nextが0なら終了。それ以外は次のbeforeへ渡す |
| 作業の訂正・取消 | POST `work` | action=correctまたはcancel、uuid、version、reasonが必須。終了済み・未取消の記録のみ |
| レポート | GET `report?from=YYYY-MM-DD&to=YYYY-MM-DD` | fromを含み、toを含まない。ドメインのtimezone、最大367日 |
| 予定を作る | POST `calendar-capture` | request_id、calendar_uuid、title、from、to。本人所有・非公開・非共有・外部sourceなしのカレンダー限定 |
captureは省略した項目に本人の既定値を適用する。日付の空文字は既定値を使わず明示的に解除する。日数は作成日のドメインtimezoneにおける暦日で、0は当日、空欄は未設定。担当者UUIDは計画上の注記であり、所有権の移転や閲覧権限の付与ではない。
Webの新規作成・クイック追加・サブタスク追加でも既定値を読む。サブタスクのプロジェクト・優先度・bucketは親の所属を優先する。既存汎用items APIとCalDAVではクライアント指定を尊重し、新しいcaptureの既定値を暗黙適用しない。
同じrequest_id・同じ要求内容の再送は既存タスクを返す。最初の保存後に既定値やタスクが更新されても作り直さない。同じrequest_idで別内容を送ると412。要求のreceiptとタスクRevisionは同一トランザクションで保存する。captureのJSON入力は2 MiBまで、その他の作成・更新は32 KiBまで。件名300 UTF-8 bytes、メモ16 KiBまで。
### メール本文のWiki保存
v0.9.0は任意の `wiki_suffix` をcaptureに追加する。CLI v0.4.0はML連番なら `リスト名/連番`、それ以外は `YYYY/MM/UUID`(Message-IDあり)または `YYYY/MM/原文SHA-256`(なし)を送る。Dateの記載タイムゾーンの年月を採用し、不正・欠落時のみ初回取り込みUTC年月を用いる。判定はCLIで確定してoutboxに保持する。リスト名はASCII英数字で始まる100文字以内の英数字・`._-`、連番は先頭ゼロ除去後最大20桁。複数表記は先頭を採用する。不正な表記は年月方式へフォールバックする。
サーバーはMLの2階層または年月の3階層だけを受理し、絶対Path・`.`・`..`・予約セグメント・query/fragment・不正年月・不正識別子を拒否する。解決した親Pathの下へ結合し、その完全Pathのread/create/write権限を検証する。衝突は409で、別Message-IDのタスクも部分作成しない。wiki_suffixはwiki_body指定時のみ許可する。省略時は従来の `mail-request_id` とし、旧receiptのhash・保存先を維持する。新CLIは旧サーバーに暗黙フォールバックしない。既存ページの自動移動、同じ件名・同じ連番の上書きは行わない。設定変更や月替わりで保留要求を書き換えず、異なるオプションでの上書きを拒否する。
v0.8.0ではcaptureに省略可能な `wiki_body` と `wiki_prefix` を追加する。wiki_bodyを省略した従来クライアントの契約・receipt hashは変えない。本文を指定した場合、親Pathは要求のwiki_prefix、個人preferencesのwiki_prefix、選択プロジェクトの関連WikiとNotesSubpath(未設定はtasks)の順に解決する。いずれもなければ422 `wiki_prefix_required`。空の明示指定も拒否する。個人設定はDomain・本人単位で、既存preferences JSONに保存するため新規schema migrationは不要。
本文は256 KiBまでのUTF-8テキスト。H1に件名、preに本文をHTMLエスケープして格納し、波括弧も実体参照にしてマクロを実行しない。v0.8.1、およびv0.9.0以降でwiki_suffixを省略した場合のPathは `親Path/mail-request_id`。CLIは接続先・本人・Message-ID(なければ原文SHA-256)からrequest_idを生成するため、Path末尾は件名・日本語の文字数・ML連番に依存しないASCIIになる。Message-ID自体はURLへ露出しない。既存Pathとの競合は409で、既存ページへ追記・上書きしない。新規Wikiのobject/path/revisionとactivity outbox、タスクのPageUUID、capture receiptは同一DBトランザクションで保存する。rollback時に未参照のcontent-addressed Documentファイルが残る可能性は既存DocumentStoreと同様だが、公開可能なページや片方だけのタスクは残さない。
v0.8.0の件名入りPathは自動移動しない。既存receiptの同一要求再送は元のページを返す。CLI v0.3.1は先頭のML連番を除去し、長い自動件名は300 UTF-8 bytes以内に文字境界で省略、変更前のSubjectをWiki本文へ保持する。旧版で保存済みの要求を新しい件名・本文で再作成すると412となるため、通信失敗した要求は保存済みoutboxのretryを使う。v0.8.1ではサーバーAPIの入力フィールド・receipt hash形式を変更していない。v0.9.0ではwiki_suffix未指定時のhashを維持し、指定時はsuffixもhashの対象に含める。
保存前に対象Pathへのread/create/write権限を検証する。個人タスクの所有権はWikiへの権限を付与しない。Wiki本文の公開範囲は保存先のACLに従うため、個人設定UIに注意を表示する。再送は既定値の再解決より前にreceiptを確認し、既定Pathの変更で重複作成しない。成功応答はitemとpage_pathを返し、タスクの既存メモ操作から関連Wikiへ移動できる。
個人設定の既定プロジェクトは保存済みUUIDを選択状態・既定選択状態の双方に反映する。最初の100候補にない場合も本人のitemを取得して名前を表示し、取得できない場合はUUIDを保持して別項目の保存で意図せず解除しない。CLIの本文抽出・再送・NeoMutt設定は独立pages-cliリポジトリを正本とする。
calendar-captureも同じUIDを再利用し、再送で既存予定を上書きしない。時刻は `2026-11-02T09:00` のドメイン時刻、またはオフセット付きRFC 3339。終了は開始後、最大31日。予定内容を取得する前にPersonalLocal制約をロック内で検査する。外部取り込みカレンダーの内容を読まない。
## 作業時間と達成度
Webのタスク行の▶から開始し、上部の作業記録欄で終了する。CLIは `task start UUID` / `task stop`。タイマーはサーバーで継続するので、ブラウザや端末を閉じても止まらない。停止はタスク完了とは別操作。忘れずに終了すること。同一人物で同時に開始できる記録は1件。
`/v/plan/dashboard` の達成度ウィジェットは完了数、ポイント、作業時間、Pomodoro集中時間を表示する。旧 `/v/plan/tasks/report` はここへ移動する。[配置・保存の契約](organizer-dashboard.md)を参照。ポイントは `1 + ceil(見積分数 / 30) × 複雑度`。複雑度は1〜5、未設定の旧タスクは1。見積なしは1ポイント。完了の取消は集計から除外し、再完了するとその日の実績になる。完了済みタスクの見積変更も現在のポイントへ反映される。これは個人の振り返り指標であり、人事評価や客観的生産性の尺度ではない。
深夜をまたぐ作業はローカル日付境界で分割し、夏時間の日も24時間固定にしない。Pomodoroと手動記録は別集計で、両者を合算しない。各系列は最大10,000件で、上限到達時はpartialを返して期間の絞り込みを促す。
### 作業記録の訂正と取消
2026-11-08に `organizer.tasks 0.13.0` としてソース実装。`/v/plan/tasks/work` で一覧と変更履歴を確認し、開始・終了をインラインで訂正する。タスク一覧とダッシュボードの達成度ウィジェットから移動できる。初期期間はドメイン時刻の今日を含む30日。ページ送りは開始時刻・UUIDのkeysetで行い、一度に全履歴を描画しない。変更履歴も開いた記録だけ取得する。スマホはラベル付き縦配置にし、操作部を44px以上とする。
訂正には `start_ms`・`end_ms`、または `start`・`end` の日時ペアを渡す。日時文字列はオフセット付きRFC 3339、あるいはドメインのタイムゾーンでの `YYYY-MM-DDTHH:mm[:ss]`。夏時間移行で存在しない・二通りに解釈できるローカル時刻は422。繰り返される時刻はAPIから明示オフセットを指定する。Webで未変更の時刻は元の瞬間をRFC 3339で送るため、ミリ秒やオフセットを失わない。
開始はUNIX epochより後、終了は開始より後かつ現在以前、訂正後の長さは31日以内。同じ本人の他の未取消記録と重なる区間は、別Domainも含めて412で拒否する。隣接区間は許可し、他Domainの記録内容は返さない。実行中は従来の終了操作を先に行う。`reason` は前後空白除去後1〜500 UTF-8 bytes、改行・NUL不可。Web入力は160文字まで。
取消は物理削除ではなく `cancelled_ms` を記録し、作業時間レポートから除外する。タスクの状態・完了ポイントは変更しない。元の時刻と全変更履歴は残る。訂正・取消後の自動復元、過去の記録の新規挿入はこの段階では扱わない。
現在値と監査snapshotは同じwriter transactionで保存する。認可・拡張機能の有効状態をロック内で再検査し、versionが一致しない更新は412。理由・変更前後の時刻・版・変更時刻を記録し、他人の記録を管理者権限だけで操作する経路は設けない。通信結果が不明な訂正・取消の再送もversionを検証し、古ければ412にする。最新値と履歴を再取得して判断する。Webは失敗時に入力を保持し、自動上書きしない。従来の開始・終了の再送契約は維持する。
移行前の記録には過去の編集履歴を捏造しない。初回の変更時に直前の値をbaselineとして捕捉する。baselineのchanged_msは捕捉時刻であり、過去の編集時刻ではない。未変更の旧記録を開いた際は現在値だけをbaselineとして表示する。
### プロジェクト別の集計
`report` の `projects` 配列にUUID・タイトル・完了数・ポイント・作業時間を返す。ダッシュボードの達成度ウィジェットに表を追加し、日付セルで選んだ日の内訳にも反映する。プロジェクトなしは独立した行とする。所属は現在のタスクから取得するため、過去時点の所属スナップショットではない。Pomodoroはプロジェクト表に合算しない。
集計は既存の上限付き取得結果を再利用し、プロジェクトごとに追加クエリを発行しない。10,000件上限でpartialとなる場合はプロジェクト表も部分集計であり、全件合計とは表示しない。
## 毎日のメール
`/-/sys/config?panel=organizer` の個人設定で本人が有効化する。旧 `/v/plan/tasks/settings` もここへ移動する。送信先は現在の本人のアカウントメールアドレスのみ。管理者のSMTP設定が必要。時刻はHH:mmとIANA timezoneを保存する。`task.digest.deliver` イベントが60秒周期で期限到来設定を最大20件ずつ処理する。キュー停止・負荷・SMTP遅延で配信時刻が遅れる場合がある。
当日の計画・期限到来タスクを最大100件送る。件名、期限、取り組む日、見積、タスクURLを含め、メモは送らない。送信直前にアカウント状態・同意のversion・送信先を再確認する。メールによる保存・転送の可能性があるため、既定は無効。
SMTPとSQLiteをまたぐexactly-onceは保証できない。送信前にDomain・本人・日付で予約し、結果不明の場合は自動再送しない。翌日は通常通り処理し、過去日の取りこぼしをまとめて送らない。
2026-11-08に `organizer.tasks 0.14.0` として[配信履歴・当日分の手動再送・詳細90日保持](task-digest-delivery.md)をソース実装。個人設定の折り畳み履歴から操作する。送信済み/結果不明の再送には重複の了承が必要。詳細の保持期限後も日別予約・再送receiptを残し、重複防止を維持する。migration v4とDB外のメール送信を考慮した復旧条件は同設計を参照。
## トップ検索コマンド
```text
add task 見積を確認 project:"開発 計画" cost:2h due:2026-11-03 review:2026-11-02 complexity:3
add task 文書を書く start:2026-11-02 planned:2026-11-02
add cal 打ち合わせ calendar:personal from:2026-11-02T09:00 to:2026-11-02T10:00
```
`project:` は名前またはUUID、候補を表示する。`calendar:` は名前・pretty_name・UUID、対象が1つだけなら省略可能。スペースを含む名前は引用符で囲む。工数は2h、30m、1.5hなど整数分に換算できる値。日付はYYYY-MM-DD。
Enterでは確認欄を表示し、「作成」で保存する。通常の検索候補への移動とは分離する。未知のオプション・重複指定・曖昧な名前は拒否。通信失敗時は同じ画面の再試行で同じrequest_idを使用する。トップ検索の入力は再読込をまたぐ永続下書きではない。
## 個人アドレス帳
画面は `/v/plan/contacts`、APIは `/_/api/v1/extension/organizer.contacts/`。拡張機能organizer.contactsを無効化すると読み書きとも停止する。Principal・プロフィール連絡先とは独立し、メール一致による自動アカウント紐付けはしない。
名前、複数メール・電話、所属、メモを編集できる。GET itemsはqとafterで最大100件ずつ検索・取得。POST itemsでUUID付き新規作成、GET items/UUIDで詳細、PUT items/UUIDでversionとIf-Matchを伴う条件付き更新。削除はdeleted=trueの同じPUTで行い、一覧から除外する。「削除済み」へ切り替えて復元できる(一覧APIのdeleted=1、更新時deleted=false)。削除したデータとvCard snapshotは保全される。
POST importは1件のUTF-8 vCard、GET items/UUID.vcfは書き出し。Webは最大2 MiB・200件のファイルを確認後に1件ずつ取り込み、失敗したカード番号を報告する。原子的な一括処理ではなく、成功分は保持する。同じUID・同じ内容は重複登録せず、同じUIDの異なる内容は412。UIDなしは入力バイト列のSHA-256から安定したUIDを補う。
vCard 3.0/4.0のUTF-8を対象とし、fold/unfold、テキストescape、複数のEMAIL/TEL、未知propertyを扱う。未対応propertyは保存・再出力し、PHOTO等の外部URLを取得しない。変更していない編集項目のparameterや繰り返しも保持する。変更した項目は画面の値で置換するため、その項目のTYPE等は外れる。vCard 2.1、ENCODING/CHARSET指定、壊れた行は欠落を起こす前に拒否する。1件64 KiBまで。
vCardの内容はDocumentStore snapshot、現在値と所有者・version・検索用projectionはSQLite、履歴はorganizer_contact_revisionsに保存する。DR snapshotのDocument参照抽出にも連絡先の現在・履歴を含める。一般のWiki/アセットURLに公開するための登録はしない。
2026-11-02に `organizer.contacts 0.2.0` として、個人CardDAV提供、変更履歴の確認・復元、全アドレス帳exportを追加した。履歴はGET `items/UUID/history` と `items/UUID/history/VERSION`、復元はPOST `items/UUID/restore` にrevision・version・If-Matchを渡し、新しい版を保存する。GET `export.vcf` は有効な連絡先のみ、最大5,000件・16 MiBを一括出力する。CardDAVのrootは `/_/api/v1/carddav/`。専用scope `contacts` を使い、既存CalDAVのallを拡張しない。[接続・同期・移行契約](../../operations/carddav-contacts.md)を参照。
## 移行と後続範囲
managed schemaにtask-productivityとcontactsを追加。task-productivityは既存organizer_items作成後に実行し、旧完了タスクを1回だけ集計projectionへ移す。既存スキーマ定義の改変ではない。切戻しでは旧版のschema checkが新コンポーネントを未知とするため、単に旧イメージを起動できるとは扱わない。データを消して戻さない。
- 連絡先の共有アドレス帳、外部CardDAV connector、重複候補mergeは別段階。個人CardDAV提供面と外部サービスの取り込みは区別する。
- 失効Domainで取り残された記録の管理用終了手順、取消済み記録の復元、作業監査履歴の保持期間、担当者への共有・通知は後続。
- 日次メールの保持期間UI、恒久receiptの圧縮・失効、配信結果のInbox連携は後続。現在は詳細90日、重複防止記録は恒久保持とする。
- vCard legacy変換・version間変換と履歴保持期間は後続。
利用手順は [neomuttとタスクCLI](../../operations/neomutt-tasks.md) を参照。
### 作業履歴の移行と検証
task-productivityのmanaged migration v3は、作業記録へのcancelled_ms追加、organizer_work_revisionsの作成、本人別の区間検索index追加を行う。既存の作業時刻・versionは保ち、既存記録は未取消とする。新しい監査データの正本はSQLiteで、アプリのDBバックアップに含める。
反映前に整合したDBバックアップを取得する。旧版は取消済み記録を正しく集計できず、schemaのversionも一致しないため、更新DBに旧イメージを向ける切戻しは禁止する。通常はforward-fixを選ぶ。復旧が必要ならアプリを停止し、移行前のDBと対応するイメージへ一緒に戻す。更新後の書き込みは別途保全・照合してから復旧する。本番反映は別工程。
受け入れ試験は、旧スキーマ移行の反復、本人・Domain分離、readonly・失効・無効化、版競合、重複時間、夏時間の欠落・重複、監査失敗時のrollback、並行訂正、取消による集計除外を対象とする。ブラウザはデスクトップと390px幅で訂正・取消・履歴・412時の入力保持を確認する。既存CLIの開始/終了とCalDAVの契約は変更しない。
2026-11-08の検証結果:`go test ./...`、`go vet ./...`、追加した競合・監査試験の `-race`、変更JSの構文検査が成功。Chromiumの1440px・390pxで、ダッシュボードのプロジェクト別表から履歴へ移動し、訂正・取消・監査表示・競合時の入力保持と横幅の収まりを確認した。すべて隔離fixtureによる試験で、本番移行は未実施。
+7 -3
View File
@@ -1,10 +1,14 @@
# タスク通知:予約・配信・取消
更新日:2026-09-25。個人タスクの期限日/計画日のInbox通知を実装。カレンダー通知、メール、OS push、集中タイマー、quiet hours、通知の集約は未実装。
更新日:2026-11-04。本書は個人タスクの期限日/取り組む日のInbox通知と、その個人既定値を扱う。日次メールやOS通知、集中タイマーは別機能として扱い、Inbox予約の配信条件と混同しない。
## 操作と既定値
タスク編集に「期限日にInboxへ通知」「取り組む日にInboxへ通知」と時刻入力を追加する。両方とも既定OFF。通知を選択した日付が必須で、未指定の時刻は09:00。期限は引き続き日付型であり、通知時刻によって時刻付きの締切へ変換しない。プロジェクトには通知を設定しない。
タスク編集に「期限日にInboxへ通知」「取り組む日にInboxへ通知」と時刻入力を置く。未設定の個人では両方ともOFF、未指定の時刻は09:00。通知を選択した日付は必須。期限は引き続き日付型であり、通知時刻によって時刻付きの締切へ変換しない。プロジェクトには通知を設定しない。
2026-11-04のソース更新では、個人設定 `/-/sys/config?panel=organizer` に期限日・取り組む日の通知既定値と通知時刻を追加した。Domain・本人ごとの既存preferences JSONに `notify_due`、`notify_planned`、`reminder_time` を保存する。DBスキーマ変更は不要。メールの日次配信とは独立した設定であり、古い設定の通知はOFFのまま、時刻は09:00として読む。
既定値は新規タスクだけに使い、既存タスクの設定や予約を一括変更しない。対応する日付がある場合だけ通知ONとし、日付のない簡易追加は許可する。新規編集画面で日付を入力した場合にも既定値を適用するが、利用者が通知を明示的に選び直した後はその選択を優先する。簡易追加・サブタスクはpreferencesの `defaults` を使用し、capture APIはリクエストの日付上書き後に通知の既定値を適用する。既存のitems APIの更新、CalDAV更新に個人既定値を強制しない。
保存時のドメイン設定のタイムゾーンをサーバー側で取得し、`reminder_timezone` に記録する。APIが指定した別のzoneを信用しない。設定画面のzone変更だけでは保存済み予約を動かさず、タスクの再保存で新しいzoneを適用する。編集画面には保存時に適用するzoneを表示する。
@@ -42,4 +46,4 @@ Inboxには一般的な通知文と対象UUIDだけを保存し、個人タス
テスト対象:初期OFF、指定日とzoneでの予約、夏時間、存在しない時刻、日付変更・完了・取消・アーカイブ・OFF、権限失効、拡張停止、期限切れ予約、同一機会の重複防止、並列配信、予約/Inbox挿入失敗時のrollback、現時点での件名表示、別所有者への漏えい防止。ブラウザでは通知設定の保存、バックグラウンド配信後の赤丸、Inbox表示まで隔離環境で確認する。
次段階:個人/ドメインの通知既定値、quiet hours、集約、予約状態の詳細表示、ローカルカレンダーの時間枠との関連付け・予定通知。外部から取り込んだカレンダー内容へのアクセスは、別途許可があるまで行わない。
次段階:ドメインの通知既定値、quiet hours、集約、予約状態の詳細表示、ローカルカレンダーの時間枠との関連付け・予定通知。外部から取り込んだカレンダー内容へのアクセスは、別途許可があるまで行わない。
+3 -3
View File
@@ -33,14 +33,14 @@ create/read/update/assign/transition/comment/manageは概念上分離します
iCalendarにはVTODOがあり、CalDAVはカレンダー資源を扱います。ただしクライアントごとのタスク・繰り返し対応を試験する必要があります。これは「CalDAVだけでチケット管理が完成する」という意味ではありません。[iCalendar](https://www.rfc-editor.org/rfc/rfc5545)、[CalDAV](https://www.rfc-editor.org/rfc/rfc4791)。
最初はlocal task一覧と期限表示、次にVTODOの明示export/import、最後に選定クライアントとの同期を検討します。workflow、コメント、細かな権限をVTODOへ無理に押し込みません。失われる情報を変換警告に残します。
local task一覧と期限表示、限定VTODO/CalDAV同期は実装済みです。次は上書き競合の候補保存と採否、時刻期限・繰り返し・アラーム・差分同期を個別に扱います。workflow、コメント、細かな権限をVTODOへ無理に押し込みません。失われる情報を変換警告に残します。
## 実装TODO
- TASK-1:個人local作成/取得/更新、version競合、Page参照、所有者限定一覧は実装済み。削除は復元可能なアーカイブ、物理削除は未提供。
- TASK-2:日付の期限/計画/見直し、タイトルフィルタ、archive、個別ONのInbox通知は実装済み。担当共有、通知集約、exportは未実装。
- TASK-3:checklist/依存とboundedな一覧・calendar射影。
- TASK-3:2階層サブタスク、boundedな一覧、日割り工程表・個人時間枠は実装済み。一般依存グラフ、共有、一括計画・日別capacityは後続。
- TICKET-1:queue・番号予約・workflow版・権限付き遷移。
- TASK-4:VTODO fixture、未対応property保持、繰り返し・同期の判断。
- TASK-4:限定VTODO fixtureと同期、プロジェクト対応・既定リスト名変更は実装済み。繰り返し・時刻期限・差分同期と競合候補の通知/採否は後続。[所属統一](task-dav-project-unification.md)と[残件台帳](implementation-backlog.md)を参照。
同時採番、二重POST、完了取消、夏時間・終日、assignee失効、本文削除を受け入れ試験にします。
+36
View File
@@ -43,6 +43,42 @@ Principalで直下の子だけを認可し、最大250件、`private, no-store`
modeをdata属性で指定する。これにより今後のストレージ、アダプタ、City設定でも
任意HTMLや専用ファイルブラウザを増やさず同じPickerを再利用できる。
## 実装済みの壁紙連動配色
壁紙の色調からアクセントとグラス面の配色を生成し、トップ画面 `/` とその上で開く
ダイアログにだけ適用する。通常のViewer、Editor、設定画面、ログイン画面の配色は
変更しない。iframe内に独立して表示されるビューにも配色は継承しない。
設定は `/-/sys/config?panel=home` またはトップ画面右下の歯車から行う。既存のトップ
画面設定と同じ管理権限を必要とし、ドメイン共通で保存する。歯車のダイアログでは
その場でプレビューし、キャンセル・ESCで保存前の状態に戻す。
| 項目 | 値と既定値 |
| --- | --- |
| 壁紙との色連動 | `off`、`accent`、`surface`。既定は `surface`(背景も連動) |
| 色の反映量 | 0–100。既定は35。0では元のテーマを維持 |
| 明暗 | `preserve`(既定、現在のテーマを維持)、`auto`(表示時の壁紙の明るさから判定) |
`home_wallpaper_palette` に `{"mode":"surface","strength":35,"brightness":"preserve"}`
の形式で保存する。明暗の自動判定は背景も連動する場合だけ有効。グラスの透明度は
既存の `home_glass_transparency` で独立して調整する。警告・エラー等の意味を持つ色は
上書きしない。壁紙がない場合、画像が壊れている場合、Canvasから色を読めない場合、
強制カラーモードの場合は元のテーマを維持する。
表示済みの画像を64×64へ縮小し、初回描画後のアイドル時間に平均色と彩度を重み付け
したアクセント候補を抽出する。追加の画像取得、サーバでの画像解析、定期ジョブは不要。
画像表示URLは選択したリビジョンに固定し、抽出結果をDomain UUIDと画像SHA256の組で
sessionStorageに最大24件保存する。キャッシュにはRGB値と透明部分の割合だけを保存し、
画像本体は保存しない。ストレージが使えない場合は表示中の画像から抽出する。
文字・リンクは推定したグラス背景とのコントラストを補正する。ただし画像の局所的な
明暗までは保証しないため、細かい柄で読みにくい場合は透明度を下げるか色連動をオフにする。
既存テーマを切り替えた際は新しいテーマを基準に再計算し、オフにするとそのテーマに戻る。
回帰テストは `node --test static/js/home-palette-core.test.cjs` と `TestHomePalette*`。
`PAGESWIKI_BROWSER_TEST=1` でブラウザテストを有効化すると、一時DBと合成画像を使い、
保存・キャンセル・再読み込み時のキャッシュ利用・テーマ切替・画面幅を通して検証する。
## サイドバー詳細設計(実装待ち)
管理画面のグループ化されたサイドバーは
+117
View File
@@ -0,0 +1,117 @@
# 個人アドレス帳の操作とCardDAV接続
`organizer.contacts 0.2.0` は、Webの個人アドレス帳と外部クライアントが同じ連絡先を編集するための限定CardDAV提供面を持つ。連絡先はDomainと所有者で分離し、管理者であることだけでは他人の連絡先を取得できない。共有アドレス帳や、PagesWikiから外部サービスを定期取得するconnectorは別の後続機能である。
2026-11-02、v0.6.0で本番2系統へ反映した。[展開とバックアップ整理の記録](deployments/2026-11-02-v0.6.0.md)を参照する。
## Webでの操作
入口は `/v/plan/contacts`。
- 名前、複数メールアドレス・電話番号、所属、メモを編集する。
- 「削除済み」の一覧から連絡先を復元する。削除は履歴を残す論理削除である。
- 個別の「変更履歴」で過去のvCardを確認し、選んだ版を新しい版として復元する。復元確認で未保存フォームの破棄を明示する。他の端末で変更されていた場合は412で止まり、再読み込みが必要になる。
- 「アドレス帳を書き出す」で有効な連絡先を1つの `.vcf` にまとめる。削除済みは含まない。上限は5,000件または16 MiBで、超過した場合は途中までのファイルを正常応答として返さない。
- ⇄ の「CardDAV連携」で、端末別の資格情報を発行・失効する。
vCardの未対応項目は保存・再出力するが、Webで変更した項目についてはその項目のTYPEなどのparameterを再現しない。PHOTO等の外部URLにはアクセスしない。vCard 2.1、ENCODING/CHARSET指定、1件64 KiBを超える画像入りカードなどは拒否する。詳細は[個人アドレス帳の実装契約](../design/ja/task-productivity-contacts.md)を参照。
## クライアントを接続する
1. Webに通常ログインし、連絡先画面の ⇄ を開く。
2. 端末名、読み取り専用または読み書き、有効期間を選び、パスワードを発行する。
3. 表示された認証情報IDとパスワードをクライアントに保存する。パスワードは再表示できない。
| 項目 | 値 |
| --- | --- |
| サーバーURL | `https://pages.anya.jp/_/api/v1/carddav/`。別DomainではそのDomainのHTTPS originを使う |
| ユーザー名 | 発行画面の認証情報ID。Wikiのユーザー名・メールアドレスではない |
| パスワード | 発行した連絡先専用パスワード |
| アドレス帳 | 自動検出される `PagesWiki Contacts` |
| discovery | `/.well-known/carddav` からAPI rootへ307転送 |
専用資格情報のscopeは `contacts`。既存の `tasks`、`calendar`、`all` は連絡先への権限を持たず、`all` の意味は予定とタスクのままである。連絡先の資格情報からWiki API、予定、タスクへアクセスできない。通常セッションのBearerでも本人のCardDAVを操作できるが、端末設定には用途を限定した資格情報を使う。
資格情報の管理は既存の `/_/api/v1/caldav-credentials` APIを共用する。作成時に `scope: "contacts"` を明示する。この管理API自体には通常のログインセッションが必要で、CardDAV資格情報による再発行はできない。HTTPSを必須とし、AuthorizationやvCard本文をログ・問い合わせに貼り付けない。
vdirsyncer 0.21.0では、合成データによる検出、取得、双方からの更新、新規作成、双方からの削除を検証した。設定例は以下の通り。実際の資格情報を含むファイルは所有者のみ読み取り可能にする。
```ini
[general]
status_path = "~/.local/state/vdirsyncer"
[pair contacts]
a = "contacts_local"
b = "contacts_remote"
collections = ["contacts"]
[storage contacts_local]
type = "filesystem"
path = "~/.local/share/contacts"
fileext = ".vcf"
[storage contacts_remote]
type = "carddav"
url = "https://pages.anya.jp/_/api/v1/carddav/"
username = "発行された認証情報ID"
password = "発行されたパスワード"
```
`contacts_local` のpath配下に `contacts` ディレクトリを作り、`vdirsyncer discover`、`vdirsyncer sync` を実行する。アドレス帳名の書き換えは未対応なので、`metadata = ["displayname"]` によるmetasyncは設定しない。全件削除はクライアントの安全機構が止める場合があり、意図した削除か確認するまで強制オプションを使わない。DAVx⁵・iOSの端末実機での検証は別途必要である。
## URIと通信契約
| URI | 役割と操作 |
| --- | --- |
| `/_/api/v1/carddav/` | OPTIONS、PROPFIND。current-user-principalとaddressbook-home-set |
| `/_/api/v1/carddav/{principal_uuid}/` | 本人のhome。OPTIONS、PROPFIND |
| `/_/api/v1/carddav/{principal_uuid}/contacts/` | 固定の個人アドレス帳。OPTIONS、PROPFIND、REPORT |
| 同上の `{resource_name}.vcf` | OPTIONS、PROPFIND、GET、HEAD、PUT、DELETE |
resource名は `.vcf` を含め5〜128 ASCII bytes、英数字・ハイフン・アンダースコア・ピリオドのみ、先頭ピリオドは禁止。Web作成分はUUID.vcf、クライアント作成分は受信した名前を固定対応表に保存する。UIDは同じ所有者・Domain内で一意かつ作成後は変更不可。名前とUIDが同じという仮定はしない。
取得時のETagはリソースのversionを表す。作成は `If-None-Match: *`、更新・削除は取得済みの `If-Match` が必要で、条件がない場合は428、競合時は412を返す。内容の正規化でPUTの入力バイト列と保存値が変わった場合は、PUT応答にETagを付けず再取得を要求する。vCardのUID欠落・変更・重複を黙って別人として保存しない。
PROPFINDはDepth 0または1。アドレス帳一覧は同じDB snapshotからtokenとメタデータを取得し、本文をロードせず最大5,000件を返す。上限超過は507で、欠落した一覧からクライアントが削除を誤推定することを避ける。
REPORTは以下の限定範囲を実装する。
- `addressbook-multiget`:同じアドレス帳の最大100 href。外部URLは取得しない。
- `addressbook-query`:最大200件のアドレス帳を対象とするbounded scan。propertyの存在・不在、text-match、anyof/allofを扱う。未知propertyも原文から検索する。parameter filterは未対応で、無視せずエラーにする。
- `sync-collection`:sync-level 1。最大200件ずつの差分、追加・更新・削除tombstoneを返す。続きがある場合はアドレス帳の507応答と次のtokenを207内に含める。クライアントはそのtokenで続行する。
不正なsync-tokenは403の `valid-sync-token`。クライアントはローカルデータを捨てず、再照合する。XMLは64 KiB、深さ12、要素1,000まででDTDを拒否する。全体の処理期限は20秒。取得・更新は `private, no-store` とする。
対応するvCardは既存のUTF-8 3.0/4.0保存profileで、通信では保存されたversionをそのまま返す。3.0↔4.0変換やaddress-dataの部分抽出はしない。別versionを明示要求された場合は拒否する。MKCOL、PROPPATCH、DAV ACL、共有・複数アドレス帳、MOVE/COPYは未対応。`DAV: 1, addressbook-access` はクライアント検出用に返すが、CardDAV全機能への準拠を意味しない。応答には `X-PagesWiki-CardDAV-Profile: private-addressbook` を付ける。
基本プロトコルは[RFC 6352](https://www.rfc-editor.org/rfc/rfc6352.html)、差分同期は[RFC 6578](https://www.rfc-editor.org/rfc/rfc6578.html)を参照する。text-matchは `i;octet` と、titlecase後の互換分解を使う `i;unicode-casemap` を扱う。[RFC 5051](https://www.rfc-editor.org/rfc/rfc5051.html)
## 保存と移行
contactsのmanaged schema v2を追加し、リリース済みv1の定義は変更しない。既存の連絡先と履歴を残したままresource名、変更sequence、DB epochを補う。変更sequenceは連絡先ごとの最新1行だけを保持し、論理削除も差分に残す。vCard snapshotと履歴の保管は従来通りであり、履歴自体の保持期間・GCは後続設計となる。
sync-tokenはDB epoch、Domain、所有者、sequenceに結び付く。DBバックアップを復元するとsequenceが過去へ戻り得るため、復元先を公開する前に停止状態で `organizer_contact_epoch` のvalueを新しい32-byte乱数のhexへ更新し、既存クライアントを再照合させる。tombstoneを物理削除する保守もtoken失効とセットで設計する。通常稼働中の自動purgeは実装しない。
切戻しには旧バイナリが新schema versionを拒否する場合がある。旧イメージへの交換だけを安全なrollbackとは扱わず、整合したDB・DocumentStoreのバックアップと復元手順を用意する。新しい連絡先秘密値は `pw_contactdav_` prefixを使い、旧版がタスク権限として誤解釈しない。
## 検証
2026-11-02に以下を合成データで実施した。本番連絡先や外部取り込みカレンダーの内容は検証に使用していない。
- `go test ./... -count=1`、`go vet ./...`。
- 連絡先・managed schemaのrace detector付きテスト。同時PUTは一方だけ204、他方は412となる。
- v1からv2への既存行保全・繰り返し起動、変更sequence更新、資格情報削除のmarker清掃。
- 読み取り専用・失効・別scope・extension無効化、カレンダーとタスクを無効にした場合の独立稼働。
- 201件の一覧と差分ページング、上限超過の明示、XML・UID・文字コード・Unicode検索の境界条件。
- vdirsyncer 0.21.0での往復同期、Chromiumのデスクトップとスマートフォン幅での保存・履歴確認・復元・一括export・資格情報発行と失効。
実クライアント試験は `PAGESWIKI_VDIRSYNCER` に実行ファイルを指定し、`go test ./internal/server -run '^TestContactDAVVdirsyncer$' -count=1` で再実行できる。ブラウザ試験は `PAGESWIKI_BROWSER_TEST=1` で `TestProductivityChromium` の `contacts-` サブテストを実行する。通常のテストでは外部クライアントとブラウザの試験をskipする。
## 次段階
- [ ] 複数・共有アドレス帳、read/write collaboratorと共有解除、管理者の代理操作境界。
- [ ] 外部CardDAV connector。ETagと同期receipt、競合保全、URLのSSRF対策、イベントキュー・停止スイッチ。
- [ ] 200件を超えるaddressbook-queryの索引化、parameter filter、vCard version変換の情報保持試験。
- [ ] 端末実機の互換試験、連絡先mergeの確認UI、履歴保持・削除ポリシー。
後続機能は現在の個人アドレス帳を暗黙に公開・共有しない。外部connectorの追加は資格情報の保存・外向き通信を新たに伴うため、現在のCardDAV提供面とは別の設定とする。
@@ -0,0 +1,126 @@
# PagesWiki v0.2.0 のリリースと本番反映
2026-11-01 15:38:54 JST、Giteaでビルドした `v0.2.0` を本番へ反映した。
対象は `app`、`app2`、`adaptor-gateway`、`excalidraw-viewer` の4サービス。
code-server、Kroki、Mermaidは再作成していない。
## ソースと配布物
- リリースcommit:`d5d21b78418683bc81ed384e0264102e39cd44ab`。
- 注釈付きGitタグ:`v0.2.0`。タグobject:`43b66076a98aa9730e722f8f788dcaaa7647498f`。
- [イメージビルド run 12](https://git.anya.jp/anya/wikipages/actions/runs/12):全工程成功。
- [リリース昇格 run 13](https://git.anya.jp/anya/wikipages/actions/runs/13):全工程成功。
- 公開済み `v0.1.1` から、機能追加を含むためSemVer運用規則に従いMINORを更新した。
8部品の初期分離に加え、未コミットだったエディタ復旧、ナビゲーション・テーマ、CLI、
保存基盤・schema管理・DR関連の実装と設計書を含む。
各設計書の未チェックTODOまで実装されたことを意味しない。
本書の記録用commitはリリースcommitと区別し、公開タグは付け替えない。
registry prefixは `git.anya.jp/anya/`。以下はmanifest digestであり、ローカルimage IDとは別。
| イメージ | v0.2.0 のdigest |
| --- | --- |
| pageswiki-app | `sha256:35096c46310c5e5d02c1cf56cf94f21f1b6917067c9689c4824c971af9fec1d7` |
| pageswiki-adaptor-gateway | `sha256:11f93ae28d00e82a92a0c32be7daee85f569b5b975decd8812be0dbe2baac482` |
| pageswiki-excalidraw-viewer | `sha256:ec42a59d47ef731df1492c3db35b44ac9717b2235c8ece3360017d38bbf25f07` |
3種類すべてでSHAタグとリリースタグのdigestが一致し、OCI revisionラベルもリリースcommitと一致した。
昇格時の再ビルドは行っていない。
## 検証と移行
commit前に全Goテストをキャッシュなしで実行、全Go vet、8部品のrace検査、
主要Chromiumテスト11本、Nodeテスト、Python CLIテスト19件が成功した。
エディタ再ビルド後の配布物は既存bundle・map・CSSとSHA-256が一致した。
Giteaのtestステージでも全Goテストが成功した。
本番旧版の管理対象8 componentはcurrent。候補版では `profile-contacts` のみpendingだった。
新しいprivate連絡先テーブルとmigration履歴の追加であり、Page本文の変換や既存行の削除はない。
確定済みバックアップの独立コピー2系統を、実際のCIイメージで起動した。
network none、CPU 2、メモリ2GiB、検証コピーだけのDR設定でworkersを無効にし、
外部enroll引数も省略した。本番への同期・通知送信・外部カレンダー同期は検証から実行しない。
外部インスタンスの検証を最初に `--no-default-campus` 単独で起動した際は、既存の引数制約で終了した。
この引数はenroll指定との併用が必要なため、隔離起動ではenrollを含め引数を省略して再試験した。
2系統ともhealthと追加後9 componentのschema checkが成功し、起動エラーはなかった。
外部enrollの実接続経路は隔離試験の対象外とし、本番起動時の結果を別に確認した。
本番切替後は次を確認した。
- 4コンテナのrevisionラベルがリリースcommitと一致。アプリ2台のimage IDも一致。
- localhost 3000/3001のhealth、公開HTTPSのhealth・ログインが200。
- 匿名エディタはURL正規化後にログイン画面へ誘導される。
- gatewayとExcalidrawのhealth成功、4コンテナの再起動回数0。
- アプリ2台とも管理対象9 componentがcurrent。
- 公開HTTPSから取得したeditor.js、command-bar.js、theme-picker.js、CodeMirror bundle、base CSSが配布元と一致。
これは全データの完全性検査、実機Safariの操作、長期負荷試験、外部認証providerの実ログインを完了した意味ではない。
外部から取り込んだカレンダーの内容は開いていない。
## バックアップと起動設定
保全先は `.deployment-backups/release-v0.2.0-20261101/`。親ディレクトリは0700。
- `before/data`・`before/data2`:事前保全。先行コピー後、アプリ2台とgatewayを停止して差分同期し、DBバイト一致・syncを確認して旧版を再開した。
- `cutover/data`・`cutover/data2`:15:38:47 JSTに確定した切替直前の整合コピー。
- `config/`:旧Composeファイルと `.env`。秘密値を設計書・Gitへ転記しない。
- 未変更ファイルのhardlink共有はbeforeとcutoverの間だけ。本番データとのhardlink共有はない。
- 隔離検証コピーと検証コンテナは削除済み。before/cutoverと既存バックアップは保持した。
初回事前同期では稼働中に変更されたDB等約6GBの再コピーが必要になり、停止時間が延びた。
切替直前の停止中同期は約30MB。今後はデータ量に応じた停止時間を事前に見積もる。
切替後のホスト空き容量は約33GB。バックアップ世代削除は別途判断し、自動pruneは行わない。
ローカルのGit無視対象 `.env.release` に `PAGESWIKI_IMAGE_TAG=v0.2.0` を記録した。
通常の秘密設定 `.env` と合わせて明示的に利用する。
```sh
docker compose --env-file .env --env-file .env.release \
-f docker-compose.yml -f docker-compose.registry.yml \
up -d --no-build --no-deps app app2 adaptor-gateway excalidraw-viewer
```
`pageswiki-app:latest`、`pageswiki-adaptor-gateway:latest`、`pageswiki-excalidraw-viewer:latest` の
ローカル互換タグもリリースイメージへ合わせた。registryのlatestは作成・更新していない。
再ビルドによる混在を避け、本番操作では上のregistry overlayと `--no-build` を使う。
## 復旧点
旧イメージはそれぞれ `rollback-before-v0.2.0-20261101` タグで保持した。
| ローカルrepository | 旧image ID |
| --- | --- |
| pageswiki-app | `sha256:bed6b2d3e497e72c26feba4edf225fd9c57d49546fec43db2f88f297fcd989ee` |
| pageswiki-adaptor-gateway | `sha256:b1ed3051eb63c17da8eee6632a7823423707568dd5bd92c77d47de4d85cfae75` |
| pageswiki-excalidraw-viewer | `sha256:7fee6cc8c18a6fd6fe9adec91047332f5591d0a90081a8e32e629f4e9437d3d3` |
profile-contactsのschema追加があるため、旧版へのimage差替えだけで安全とは扱わない。
復旧時は新規書込みを停止し、切替後データも保全してからデータ契約の互換性を確認する。
cutoverへ戻す場合は切替後の書込みが失われるため、別途承認と復旧対象の確認が必要。
schema履歴を削除して旧版のcheckを通す回避はしない。
## 継続課題
15:38:47〜15:40:47 JSTの観察で、appのイベント開始ログ保存に
`database is locked (517)` を6件検出した。他3サービスは0件。
すべて `component=dregarnuhr ... start-log failed` で、claimやfinishの失敗ではなかった。
該当する先頭2ジョブは1回目でsucceeded、観察時点の切替後作成ジョブ16件もすべてsucceededだった。
panic・fatal・ジョブ失敗・再起動は検出していない。
`AddEventLog` の実装は直前の本番イメージと同一であることを比較確認した。
読み取り後に書き込むdeferred transactionの競合が残っており、DregarnuhrのReportで失敗が可視化された。
ジョブ本体が継続しても、開始ログと対応する集約値が欠落するリスクはある。
今回のリリースでこの不具合を解消したとは扱わない。
- [ ] 優先修正:AddEventLogの読取→書込昇格を避けるtransaction方式と、有界な取消・待機・再試行を整備する。
- [ ] 独立DB接続・複数writerで、ログと集約値の原子性・重複なし・取りこぼしを検証する。
- [ ] 完了ログ等の既存呼出し元で握りつぶしている保存失敗も、本文・秘密を露出しない形で可視化する。
- [ ] 修正は新しいPATCH版としてビルド・検証・公開する。v0.2.0タグやdigestは付け替えない。
### 後続作業(リリース済み内容とは別)
`0f686aa` を基点に、上記ログ競合の修正をソースへ実装した。
契約と検証範囲は [Dregarnuhrのログ保存競合修正](../../design/ja/dregarnuhr.md#v020後の優先修正ログ保存競合) を参照。
修正は同日20:00 JSTに [v0.2.1として本番反映](2026-11-01-v0.2.1.md)した。
上記の継続課題・観察結果はv0.2.0切替時点の記録である。v0.2.0のイメージ・タグは変更していない。
@@ -0,0 +1,91 @@
# PagesWiki v0.2.1 のログ保存修正と本番反映
2026-11-01 20:00:00 JST、イベントログのSQLite書込競合を修正した `v0.2.1` を本番へ反映した。
対象は `app`、`app2`、`adaptor-gateway`、`excalidraw-viewer`。code-server、Kroki、Mermaidは再作成していない。
別作業で進行中のCLI認証変更は含めず、イベントログ関連の9ファイルだけをリリースした。
## リリース対象
- ソースcommit:`a36934e72cd68e4ce6ea27b944d00378ef316e8d`。
- 注釈付きGitタグ:`v0.2.1`。タグobject:`1ab0aca388cb24fc52edf4d6ac8dfadec526f6a7`。
- [ビルド run 14](https://git.anya.jp/anya/wikipages/actions/runs/14):全工程成功。
- [リリース昇格 run 15](https://git.anya.jp/anya/wikipages/actions/runs/15):全工程成功。
- SemVerのPATCH更新。v0.2.0のタグ・配布物は変更していない。
`AddEventLogContext` が読み取り前に `BEGIN IMMEDIATE` で書込権を取得し、
rawログと集約bucketを同じtransactionで保存する。書込権取得の待機と再試行を有界にし、
取消後はrollbackと接続設定の復元を行う。開始・進捗・完了ログの保存失敗は秘密を含まない分類で診断する。
完了ログだけの失敗で、成功済みの業務処理を再実行しない。
契約と残件は [Dregarnuhr](../../design/ja/dregarnuhr.md#v020後の優先修正ログ保存競合) を参照。
registry prefixは `git.anya.jp/anya/`。3種類ともSHAタグとリリースタグのmanifest digestが一致し、
OCI revisionラベルはソースcommitと一致した。タグ昇格時の再ビルドは行っていない。
| イメージ | v0.2.1 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:8b789f8f28a987bcb6f5ba2828fb00222716cce251a5b159a5e0bf7adba2cf46` |
| pageswiki-adaptor-gateway | `sha256:c7a288c6c01e1509d7e3dbbd22ded464747fc05d56ccb45410bed0ce8c1cd5b7` |
| pageswiki-excalidraw-viewer | `sha256:c08569a0a8a170067952e0e427154882da0e076454deb130143ef57b821071c7` |
## 検証
未コミットのCLI認証変更を含まない独立ソースコピーで、次を確認した。
- `go test ./... -count=1`:全件成功。
- `go test -race ./internal/store ./internal/server -run 'TestEvent(Log|Completion|Logging)' -count=3`:成功。
- `go vet ./...`:成功。
- Gitea CIの全Goテストとリリースツール試験:成功。
整合バックアップの独立コピー2系統をCIイメージで起動した。
network none、CPU 2、メモリ2GiB、コピーだけのDR設定でworkersを無効化し、外部enroll引数を省略した。
両方とも設定済みポート3000でhealthが成功し、起動ログのerror・failed・panic・fatalは0件だった。
管理対象9コンポーネントのschema checkはすべてcurrent。DBスキーマ追加・データ変換はない。
検証コピーと検証コンテナは削除し、整合バックアップは保持した。
本番切替後も、4サービスのrevision一致・再起動0回、アプリ2台のhealth、
公開HTTPSのhealth・ログインの200、gateway・Excalidrawのhealth、
アプリ2台の管理対象9コンポーネントcurrentを確認した。
外部から取り込んだカレンダーの内容は開いていない。
## ログ競合の観察
切替準備前のv0.2.0では、直近2分にappの開始ログ保存競合が7件発生し、ジョブ本体の失敗は0件だった。
切替後の確認は19:59:53 JSTを起点とし、composeログの失敗件数と、
読み取り専用DB接続によるジョブ状態・定型の開始/完了ログの件数だけを取得する。
payloadやイベント本文は出力しない。
19:59:53〜20:03:21 JSTの約3分28秒で、4サービスとも開始/進捗/完了ログ保存失敗、
SQLiteロック、ジョブ失敗、panic・fatalは0件だった。4サービスとも再起動0回を維持した。
この間に作成され完了したジョブはappで30件、app2で27件、すべてsucceededであり、
57件すべてに開始ログと完了ログが存在した。観察範囲では、修正前に発生していた開始ログの欠落は再現していない。
## 保全と起動設定
保全先は `.deployment-backups/release-v0.2.1-20261101/`。親ディレクトリは0700。
- `cutover/data`・`cutover/data2`:19:59:53 JSTに確定した切替直前の整合コピー。
- `config/`:切替前のCompose、`.env.release`、秘密値を含む `.env`。秘密設定は0600で保持し、Gitへ入れない。
- アプリ2台とgatewayを停止し、最終差分約6.22GBを同期。DBバイト一致とfilesystem sync後に新版を起動した。
- 未変更ファイルのhardlink共有はバックアップ間のみ。本番とのhardlink共有はない。既存バックアップは削除していない。
- 検証コピー削除後・本番切替後のホスト空き容量は約28GB。バックアップ世代の整理は別途判断する。
Git無視対象 `.env.release` の `PAGESWIKI_IMAGE_TAG` を `v0.2.1` に更新した。
```sh
docker compose --env-file .env --env-file .env.release \
-f docker-compose.yml -f docker-compose.registry.yml \
up -d --no-build --no-deps app app2 adaptor-gateway excalidraw-viewer
```
ローカル互換タグ `pageswiki-app:latest`、`pageswiki-adaptor-gateway:latest`、
`pageswiki-excalidraw-viewer:latest` もv0.2.1へ合わせた。registryのlatestは更新していない。
## 復旧点と後続監視
旧版v0.2.0は、上記3種類のローカルrepositoryの `rollback-before-v0.2.1-20261101` タグで保持した。
v0.2.0のregistryタグも利用できる。このPATCH版にschema変更はないが、復旧前には切替後の状態と互換性を確認する。
イメージ切替とデータ復元は別操作であり、バックアップへデータを戻すと切替後の書込みが失われる。
データ復元は別途承認・保全の上で行う。schema履歴を削除してcheckを通す回避はしない。
長時間ロックやI/O障害で保存できなかったログの自動回収、業務完了状態とログの一体commit、
リース・HA・終了処理は後続課題として残る。短時間の本番観察は長期負荷試験の代替ではない。
@@ -0,0 +1,95 @@
# PagesWiki v0.3.0 のCLI OIDC認証と本番反映
2026-11-01 20:52:08 JST、CLIのブラウザー経由OIDC認証を含むv0.3.0を本番へ反映した。
サーバーだけでなく、ホストの `/home/anya/.local/bin/pages` も同じリリースのCLIへ更新した。
以前の `Not found or not readable.` は、新CLIが要求する `POST /_/auth/cli/start` を
本番v0.2.1が持たず404を返していたためである。
## 配布物
- ソースcommit:`60f5fb18817d115a56b424dce2602198ac2c89f3`。
- 注釈付きGitタグ:`v0.3.0`。タグobject:`d02116577a79a1396b96c88fbadd7139dd158bd8`。
- [ビルド run 16](https://git.anya.jp/anya/wikipages/actions/runs/16):再実行で全工程成功。
- [リリース昇格 run 17](https://git.anya.jp/anya/wikipages/actions/runs/17):全工程成功。
- 後方互換な認証機能追加なので、SemVerのMINORを更新した。v0.2.1の配布物は変更していない。
対象はapp、app2、adaptor-gateway、excalidraw-viewer。code-server、Kroki、Mermaidは再作成していない。
registry prefixは `git.anya.jp/anya/`。3種類ともSHAタグとリリースタグのmanifest digestが一致し、
OCI revisionはソースcommitと一致する。昇格時の再ビルドは行っていない。
| イメージ | v0.3.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:49e7e5f0fffcefc3ac272a1e2a29308884065d1384f2e5df6d24717b1a4a65f5` |
| pageswiki-adaptor-gateway | `sha256:246e2f1150c814679ca01d0f8f8636e006fa70a280cb1ab4e934e2d84fa5aa46` |
| pageswiki-excalidraw-viewer | `sha256:a9d992e521dfc2e942dedc2ed0296dc30fd8d0b24d8591bf057cd9f7fe4c612f` |
## 認証の範囲
`pages login --oidc` はブラウザー承認を開始し、`--no-browser` は自動起動せずURLを表示する。
確認コードを入力し、必要なTOTPを確認した後、CLI専用のBearerセッションを取得する。
S256 PKCE、5分の有効期限、単回交換、Domain/origin/ブラウザーへの束縛、CSRF、
発行・poll・承認試行の上限を設ける。ブラウザーCookieやOIDC providerのトークンをCLIへ転送しない。
通信断で交換結果が不明な場合は自動再送しない。詳細は [遠隔CLI設計](../../design/ja/remote-cli.md) を参照。
開始APIの404/405/501は、CLI認証未対応または接続先の誤りを示す専用メッセージにした。
OIDC無効の403と区別し、未対応サーバーで権限不足と誤解されないようにした。
## 検証とCI再実行
- 全Goテストをキャッシュなしで実行し成功。
- `go test -race ./internal/store ./internal/server -run 'Test(CLI|RemoteCLI)' -count=3` と全Go vetが成功。
- Python CLIの18試験が成功。未対応サーバー・OIDC無効の診断、秘密を出力しないこと、自動再送しないことを含む。
- 署名付き模擬OIDC providerでcallbackから承認・単回交換・失効まで検証。
- Python CLIのHTTP統合試験で認証後のAPI利用を検証。
- 承認画面はChromiumの1440px/390pxで入力・承認・保存を確認し、モバイル画像も目視確認した。
最初のCIは、既存のカレンダー、検索、匿名公開、outboxテストでDB初期化/処理の
`context deadline exceeded` により失敗した。大容量コピーと時間帯が重なっておりI/O競合が疑われるが、原因を断定しない。
コピー完了後、同じcommitを再実行して全工程が成功した。タイムアウト延長・テスト除外・実装変更で通したものではない。
今後は大容量保全とCIを重ねず、runnerの資源分離・負荷計測を継続課題とする。
## スキーマ移行と本番確認
追加は `cli-auth` version 1の要求管理テーブル・索引とmigration履歴。
既存の文書・カレンダー・タスクの正本変換や既存行の削除はない。
v0.2.1切替直前の整合バックアップから独立コピーを2系統作り、CIイメージで起動した。
network none、CPU 2、メモリ2GiB、コピーだけのDR設定でworkers無効、外部enroll引数なしとした。
移行前はcli-authのみpending、起動後は10コンポーネントすべてcurrentで、health成功・起動エラー0件だった。
本番切替後も、4サービスのrevision一致・再起動0回、公開HTTPSのhealth/ログイン200、
アプリ2台とgateway・Excalidrawのhealth成功、2台とも10コンポーネントcurrentを確認した。
更新したホストCLIとリポジトリの実行ファイルはバイト一致した。
実ユーザーの資格情報を使わず、公開HTTPSで次を確認した。
- CLI開始APIが200を返し、有効期限300秒・poll間隔5秒の要求を作成する。
- 要求の承認入口が200でOIDCログインリンクを表示し、no-storeを返す。
- 未承認要求のtoken APIは `authorization_pending` を返し、セッションを発行しない。
この確認で作成した未承認要求1件は5分で失効する。確認コード・device code・verifierは出力/保存していない。
実OIDC providerでの本人ログインと最終承認は利用者による確認が残る。
外部から取り込んだカレンダーの内容は開いていない。
切替後の観察で、20:54:03 JSTに `city.reconcile` のexecute段階でSQLITE_BUSY(5)を1件検出した。
当該ジョブは2回目の自動再試行でsucceededとなった。認証処理や開始/進捗/完了ログ保存の失敗ではない。
panic・fatal・再起動はなく、イベントログ保存失敗も0件だった。
City再構成の書込競合と取消確認を含むexecute経路の切り分けは後続課題として残す。
## 保全と復旧
保全先は `.deployment-backups/release-v0.3.0-20261101/`。親ディレクトリは0700。
`cutover/data`・`cutover/data2` は20:52:02 JSTに確定した切替前の整合コピー。
20:51:28 JSTに停止を開始し、約6.22GBの最終同期・DBバイト一致・filesystem sync後、20:52:08 JSTに切替を完了した。
`config/` に旧Compose、`.env.release`、0600の `.env`、旧ホストCLIを保持した。
本番とのhardlink共有はない。既存バックアップは保持し、検証専用コピーだけを削除した。
切替後のホスト空き容量は約21GB。世代整理・別媒体への退避は自動削除せず別途判断する。
Git無視対象 `.env.release` は `PAGESWIKI_IMAGE_TAG=v0.3.0`。
通常の `.env` とregistry overlayを併用し、`up --no-build` で起動する。
ローカル3イメージのlatest互換タグもv0.3.0へ揃えた。registryのlatestは更新していない。
旧v0.2.1は各ローカルrepositoryの `rollback-before-v0.3.0-20261101` タグで保持した。
隔離コピーに対する旧版のschema checkは `cli-auth: unknown` で終了コード1となった。
**旧イメージへの差替えだけを検証済みの復旧手順とは扱わない。**
復旧前に書込みを止め、切替後データも保全し、追加component・発行済みセッションとの互換性を確認する。
schema履歴を消してcheckを通さない。バックアップ復元は切替後の書込みを失うため、別途承認と復旧範囲の確認を必要とする。
@@ -0,0 +1,82 @@
# PagesWiki v0.4.0 のCLI言語編集と本番反映
2026-11-01 21:48:37 JST、CLIの言語自動選択・新規言語版編集と、OIDC承認時の追加ローカルTOTP省略を本番へ反映した。
ホストの `/home/anya/.local/bin/pages` も同じリリースへ更新した。接続設定と保存済みセッションは変更していない。
## 配布物
- ソースcommit:`93f4ecb8f4be8a798e22c4816663fc6754cc1951`。
- 注釈付きGitタグ:`v0.4.0`。タグobject:`2f7a20f6deeb80f3e998426aaf7d3f2546eba7d8`。
- [ビルド run 18](https://git.anya.jp/anya/wikipages/actions/runs/18):初回で全工程成功。
- [リリース昇格 run 19](https://git.anya.jp/anya/wikipages/actions/runs/19):全工程成功。
- 公開CLIの機能追加を含むため、SemVerのMINORを更新した。公開済みタグは変更していない。
対象はapp、app2、adaptor-gateway、excalidraw-viewer。code-server、Kroki、Mermaidは再作成していない。
registry prefixは `git.anya.jp/anya/`。SHAタグとリリースタグのmanifest digest・image IDが一致し、
OCI revisionはソースcommitと一致する。リリース昇格時の再ビルドはない。
| イメージ | v0.4.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:d3c4fd22e1530bf85c1ec0451b731e57ede616a8f070922d517696957f3368ef` |
| pageswiki-adaptor-gateway | `sha256:08f796af86d60b851c80ad88acc1141d1240398f7b83697fe907e9b28b49bca1` |
| pageswiki-excalidraw-viewer | `sha256:adfdb46a4c4329366f1a66b918f3d5ba06b767723770b3f6e180566224193552` |
## 利用方法と互換性
OIDC経由のCLI承認では、ローカルTOTPが登録済みでも再入力を要求しない。
プロバイダー側の認証ポリシー、確認コード、明示承認、CSRF、PKCE、単回交換は維持する。
OIDC成功だけでMFA levelを加算せず、パスワードログイン時のローカルTOTP要件も変更しない。
新規CLIプロファイルの言語は `auto`。既存プロファイルの `und` 等は維持するため、必要に応じて変更する。
```sh
pages configure --lang auto
pages edit /対象のパス
# 一時指定、または明示的な言語版の作成
pages edit /対象のパス --lang auto
pages edit /対象のパス --lang en
```
`auto` は通常表示されるRevisionの言語を確定し、その言語の現在headを編集する。
明示言語のheadがない場合は既存内容を下書きとし、空のCAS基点で最初のRevisionを作成する。
元の言語版は変更せず、無変更終了では何も作らない。同時作成や更新は409で停止し、ローカル原稿を保持する。
新規Path/Page作成・自動翻訳は含まない。[CLI設計](../../design/ja/remote-cli.md)を参照。
## 検証
- 全Goテスト(キャッシュなし)、全Go vet、CLI関連store/serverのrace検査、Python単体22件が成功。
- 実HTTPハンドラと合成データで、auto編集、新規言語版、元言語保持、競合、失効、readonlyの書込拒否を確認。
- 模擬OIDC providerとローカルTOTP有効の合成アカウントで、追加TOTPなしの承認・交換を確認。
- Chromiumで1440px/390pxの承認画面と既存Cookieログインを確認。
- CIのテスト・3イメージのビルド・push・リリース昇格がすべて成功。
- 本番4サービスのrevision一致・再起動0回・health成功。公開HTTPSのhealth/ログインも200。
- 更新前後とも両インスタンスのmanaged schema 10コンポーネントがcurrent。今回のschema変更はない。
- イメージ内、リポジトリ、ホストPATH上のCLIが同じSHA-256。承認テンプレートに追加TOTP欄がないことも確認。
- 起動後の初期観察では、4サービスにpanic/fatal・DB lock・ジョブ失敗・errorログはなかった。
公開HTTPSでCLI開始→承認入口→未承認token交換の `authorization_pending` を確認した。
要求は1件だけ作成し、コード・verifier・device codeは表示/保存せず、セッションは発行していない。要求は5分で失効する。
実ユーザーの資格情報による最終承認・文書編集は行っていない。外部取り込みカレンダーの内容も開いていない。
## 保全と復旧
保全先は `.deployment-backups/release-v0.4.0-20261101/`、親ディレクトリは0700。
`config/` に旧Compose、`.env.release`、0600の `.env`、旧ホストCLIを保持した。
`cutover/data`・`cutover/data2` は21:48:21 JSTに最終同期を完了した停止時整合バックアップ。
21:47:30 JSTに停止を開始し、チェックサム比較による同期、DB関連ファイルのバイト一致、filesystem sync後に起動した。
対象4サービスの停止開始から再起動完了までは約67秒。
容量を抑えるため、前回バックアップの未変更ファイルだけをrsyncのlink-destで共有した。
本番データとのハードリンク共有はない。DBは別inodeであり、最終同期もin-place更新を使用していない。
バックアップ世代は不変として扱い、共有ファイルを直接編集しない。既存バックアップは削除していない。
切替後の空き容量は約14GB。世代の別媒体への退避・整理は後続の運用課題とする。
Git無視対象 `.env.release` は `PAGESWIKI_IMAGE_TAG=v0.4.0`。
通常の `.env` とregistry overlayを併用し、`up --no-build --no-deps` で対象4サービスだけを更新した。
ローカル3イメージのlatest互換タグもv0.4.0へ揃えた。registryのlatestは更新していない。
旧v0.3.0は各ローカルrepositoryの `rollback-before-v0.4.0-20261101` で保持した。
旧イメージの読み取り専用schema checkは、両退避DBで全コンポーネントcurrentとなった。
これはmanaged schemaの互換確認であり、復旧起動全体の実地試験ではない。
復旧時は進行中の編集・CLI承認を考慮し、書込みを停止して切替後データも保全したうえで、旧タグと旧CLIを使用する。
追加TOTP要件は旧版に戻る。DBバックアップの復元は切替後の書込みを失うため、自動で行わず別途承認を必要とする。
@@ -0,0 +1,74 @@
# PagesWiki v0.5.0 のタスク管理と個人アドレス帳の本番反映
2026-11-01 23:15:44 JST、タスク作成API、作業時間記録、達成度レポート、日次メール設定、個人アドレス帳、トップ検索の作成コマンドを本番へ反映した。ホストの `/home/anya/.local/bin/pages` も更新した。既存CLIの接続設定と保存済みセッションは変更していない。
## 配布物
- ソースcommit:`8988e5a2f8436708a5a591ef126261629d662f32`。
- 注釈付きGitタグ:`v0.5.0`。タグobject:`008b146b2f4fac75c76ad3e7606552e1ae12bc51`。
- [ビルド run 21](https://git.anya.jp/anya/wikipages/actions/runs/21):再実行のjob 23で全工程成功。
- [リリース昇格 run 22](https://git.anya.jp/anya/wikipages/actions/runs/22):全工程成功。
- 公開API・CLIの追加機能に対し、SemVerのMINORを更新した。既存のリリースタグは変更していない。
対象はapp、app2、adaptor-gateway、excalidraw-viewer。code-server、Kroki、Mermaidは再作成していない。
registry prefixは `git.anya.jp/anya/`。SHAタグとリリースタグのimage ID・manifest digestが一致し、linux/amd64のOCI revisionも上記commitと一致する。リリース昇格時の再ビルドはない。
| イメージ | v0.5.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:6e326d06244878af1f5eb9a562893136a2c6b5414b53f8edd477334f07f092d6` |
| pageswiki-adaptor-gateway | `sha256:097bd78daa97fd5d4de2aff1b58f93397176672421b4b1459a86408ab6f3e3f3` |
| pageswiki-excalidraw-viewer | `sha256:d8bbd27d3ef15a5fc41e87786b6074116fbda98375cccce341693e716325fa29` |
イメージ内、リポジトリ、ホストPATH上のCLIのSHA-256は、いずれも `d423d1a38cb931880e78e419188083592d9163cdd958ace86f58849d141c4f41`。
## 利用開始と機能範囲
| 入口 | 内容 |
| --- | --- |
| `/v/plan/tasks/settings` | プロジェクト・担当者・見積・複雑度・各日付の既定値、日次メールの時刻設定 |
| `/v/plan/tasks/report` | 日別の完了数・ポイントのヒートマップ、タスク別作業時間、Pomodoro時間 |
| `/v/plan/contacts` | 本人専用アドレス帳、複数メール・電話、検索、削除・復元、vCard入出力 |
| `pages task` | 作成・計画・完了、メールからの作成、作業開始・終了、レポート、設定 |
| `pages contacts` | 検索、neomuttの宛先補完、vCard入出力 |
| トップ検索 | `add task` と `add cal`、プロジェクト・カレンダー候補、明示確認後の作成 |
日次メールは既定で無効。本人の有効化、本人のメール登録、管理者のSMTP設定が必要。導入作業では実メールを送信していない。担当者UUIDは計画上の注記であり、所有権移転・閲覧権限付与ではない。
連絡先は個人アドレス帳として実装した。共有アドレス帳、CardDAV提供・外部双方向同期は未実装。作業記録の事後修正、配信結果不明時の手動再送、連絡先の履歴復元UI等も後続範囲とする。詳細と制約は [タスクと連絡先の設計](../../design/ja/task-productivity-contacts.md)、コマンド例は [neomuttとタスクCLI](../neomutt-tasks.md) を参照。
## 検証
- ローカルの全Goテスト、全Go vet、CLIのPython単体26件、検索コマンド解析テスト2件が成功。
- 最終版でタスク作成・作業記録・日次配信・予定作成・CLI実HTTP・連絡先のrace検査が成功。managed schemaの反復適用・readonly・旧完了タスクの移行も検査した。
- 合成データの実HTTPでCLIの作成、開始、終了、更新、完了、集計、連絡先入出力を検証した。SMTPは模擬サーバーで日本語本文・MIMEを検証した。
- Chromiumで新規5画面のデスクトップ/スマートフォン計10ケースと、既存タスク画面4サイズを検証した。最終のサブタスク既定値修正も両画面幅で再確認した。
- 本番4サービスが同じソースrevisionで稼働し、再起動回数は0。healthcheckを持つapp・Excalidrawはhealthy、appとapp2のローカルhealthは200、公開HTTPSのhealth・ログインは200。
- 本番の新規API4種は匿名要求を401・no-storeで拒否。設定・レポート・連絡先ページはログインへ303。新規・更新JS/CSS計8ファイルは公開HTTPSの内容とリリースソースのSHA-256が一致した。
- 両インスタンスのmanaged schemaはcontactsとtask-productivityを含む12コンポーネントすべてcurrent。起動後の初期観察では、4サービスにpanic/fatal・DB lock・ジョブ失敗・errorログはなかった。
本番の実ユーザー資格情報を使った新規タスク・連絡先の作成は行っていない。外部取り込みカレンダーの内容も開いていない。バックアップは内容を解釈しないファイル保全である。
### CI再実行の経緯
初回のjob 22では、既存の `TestSaveRevisionFreezesEmbeddedAssetHeads` が `db.Open` の段階で `initialize SQLite connection: context deadline exceeded` となった(8秒)。アセット機能のassertionへ到達する前の失敗で、新機能を含むserverパッケージは成功していた。
同一テストをローカルで20回連続実行して成功。同一commit・同一テスト条件のまま全CIを再実行し、job 23では全テストとビルド・pushが成功した。テストの削除・スキップ、DB期限の緩和はしていない。
後続のCI改善では、SQLiteの初期化遅延を計測し、テスト用ストレージとパッケージ並列度、BuildKitの永続キャッシュを見直す。一時的なI/O競合は候補だが、このログだけで原因を断定しない。
## 保全と復旧
保全先は `.deployment-backups/release-v0.5.0-20261101/`、親ディレクトリは0700。
`config/` に旧Compose、旧 `.env.release`、0600の `.env`、旧ホストCLIを保持した。
23:15:14 JSTに対象4サービスの停止を開始した。停止確認後に `cutover/data` と `cutover/data2` をチェックサム比較で最終同期し、DB関連ファイルのバイト一致・別inode・filesystem syncを確認して、23:15:37 JSTにバックアップ検証を終えた。23:15:44 JSTに再起動が完了した。停止開始から再起動完了までは約30秒。
変更されていないファイルは前回の不変バックアップをrsyncのlink-destとして共有した。本番ファイルとのハードリンク共有やin-place更新は行っていない。DBは事前コピーせず、停止後に一度だけコピーして一時的な必要容量を抑えた。共有されたバックアップファイルを直接編集してはいけない。
旧v0.4.0イメージを、各ローカルrepositoryの `rollback-before-v0.5.0-20261101` タグで保持した。旧版による読み取り専用schema checkでは、保全した両DBのmanaged schema 10コンポーネントがcurrent。これはschemaの検査であり、復旧起動全体の実地試験ではない。
今回の更新ではDBに新しいコンポーネントを追加している。旧イメージへの交換だけで安全に切り戻せるとは扱わない。復旧が必要な場合は書込みを停止し、切替後データも保全してから旧版との互換性を確認する。バックアップの復元は切替後の書込みを失うため、自動で実行しない。
Git無視対象 `.env.release` は `PAGESWIKI_IMAGE_TAG=v0.5.0`。通常の `.env` とregistry overlayを併用し、`up --no-build --no-deps` で対象4サービスだけを更新した。ローカルlatest互換タグはv0.5.0へ揃え、registryのlatestは変更していない。
切替後の空き容量は約7.3GB。既存バックアップ・旧イメージは削除していない。別媒体への保全確認と世代整理を、次の大容量操作より先に実施する。
@@ -0,0 +1,74 @@
# PagesWiki v0.6.0 のCardDAV本番反映とバックアップ整理
2026-11-02 09:04:17 JST、個人CardDAV、連絡先の履歴確認・復元、アドレス帳一括exportを本番2系統へ反映した。拡張機能は `organizer.contacts 0.2.0`。利用入口は `/v/plan/contacts`、CardDAVは `/_/api/v1/carddav/`。接続手順と限定対応範囲は[CardDAV運用資料](../carddav-contacts.md)を参照する。
## 配布物
- ソースcommit:`19e12f96a840bdeba2b378644918e333d2e688fe`。
- 注釈付きGitタグ:`v0.6.0`。タグobject:`93816c53d68449c7a604bbfed8c750362ed6a83e`。
- [ビルド run 23](https://git.anya.jp/anya/wikipages/actions/runs/23):再実行job 26でテスト・3イメージのビルド・push・後処理がすべて成功。
- [リリース昇格 run 24](https://git.anya.jp/anya/wikipages/actions/runs/24):job 27が成功。ビルド済みのSHAタグを再ビルドせず昇格した。
- 後方互換なAPI・機能追加に対してSemVerのMINORを更新した。既存タグは変更していない。
registry prefixは `git.anya.jp/anya/`。本番のapp、app2、adaptor-gateway、excalidraw-viewerは同じソースrevisionで稼働する。code-server、Kroki、Mermaidは再作成していない。CLIソースの変更はなく、ホストCLIの置換もしていない。
| イメージ | v0.6.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:21eefdbe838433db9b6abb20cd8467861e4e87ca894c8db90cd9292d69d0f868` |
| pageswiki-adaptor-gateway | `sha256:61ab1563ed1188ee710924d491670b148f7b9cb100ca74515fd94d270cb7a0af` |
| pageswiki-excalidraw-viewer | `sha256:e3a9fa82eee4f4f55a2eb271c142d2e069176b6acb3422899e9b6594d573b33c` |
Git無視対象 `.env.release` は `PAGESWIKI_IMAGE_TAG=v0.6.0`。通常の `.env` とregistry overlayを併用し、`up --no-build --no-deps` で対象4サービスのみ更新した。ローカルlatest互換タグはv0.6.0へ揃えた。registryのlatestは変更していない。
## バックアップの整理
ユーザーの削除指示を受け、次の旧世代だけを削除した。すべて `.deployment-backups/` 直下の通常ディレクトリであることと、対象path・filesystemを確認してから削除した。
- `prod-ux-20261101/`
- `release-v0.2.0-20261101/`
- `release-v0.2.1-20261101/`
- `release-v0.3.0-20261101/`
v0.4.0・v0.5.0切替前バックアップ、小規模な開発保全、rsync.log・rsync2.log、稼働データ、旧イメージは保持した。Docker全体のpruneは実行していない。
空き容量は作業開始時の約7.5 GBから、旧世代削除直後に約65 GBへ増加した。新しい復旧点とイメージを保管し、今回のリハーサル専用コピーを削除した後は約59 GBとなった。過去世代間で共有されるハードリンクがあるため、各ディレクトリの見かけの容量の合計と回収量は一致しない。
## 移行と保全
保全先は `.deployment-backups/release-v0.6.0-20261102/`。親ディレクトリは0700、保存した `.env` は0600。`config/` に旧Compose、旧 `.env.release`、`.env`、旧ホストCLIを保持する。`cutover/data` と `cutover/data2` が切替直前の整合バックアップである。
事前の読み取り専用チェックでは、本番2系統ともcontactsだけがv1からv2への更新待ちで、他の管理対象はcurrentだった。変更前のバックアップから独立したコピー2系統を作り、検証済みSHAイメージを `--network none`、DR設定の `workers_enabled=false` で起動した。両系統のhealthと管理対象12コンポーネントのschema checkが成功した。このコピーは本番に使用せず、検証コンテナ停止・削除後に破棄した。
本番切替前には、稼働イメージがv0.5.0であること、Composeと `.env` が保全時から変わっていないこと、新イメージのrevision、空き容量を確認した。
| 時刻 JST | 操作 |
| --- | --- |
| 09:03:41 | 対象4サービスの停止開始 |
| 09:04:11 | 停止確認後の最終バックアップ検証完了 |
| 09:04:17 | v0.6.0の再起動完了 |
停止開始から再起動完了までは約36秒。最終同期はチェックサム比較を使い、DB・WAL・SHM等のバイト一致、稼働ファイルと異なるinode、filesystem syncを確認した。変更のないファイルは過去の不変バックアップをrsyncのlink-destとして共有するが、本番ファイルとはハードリンク共有しない。in-place更新も使用しない。
旧v0.5.0イメージには各ローカルrepositoryで `rollback-before-v0.6.0-20261102` を付けて保持した。切替直前バックアップ2系統に対する旧版の読み取り専用schema checkでは、contacts v1を含む管理対象12コンポーネントがcurrentだった。これは復旧起動全体の実地試験ではない。
本番はcontacts v2へ移行済みであり、旧イメージへの交換だけを安全なrollbackとは扱わない。復旧時は書込みを停止して切替後データも保全し、互換性・書込み損失を確認する。バックアップ復元を自動実行しない。CardDAVのDBを過去へ戻す復旧では、公開前のepoch更新とクライアント再照合も必要になる。
## 検証結果
- リリース前の全Goテストをローカルで再実行して成功。リリースツールのNodeテストも成功。
- Giteaの全テスト、3イメージのビルド・公開、リリース昇格が成功。
- 本番4サービスのソースrevision一致、再起動0回。healthcheckを持つappとExcalidrawはhealthy、app2もコンテナ内healthが200。
- 両本番DBはcontacts v2を含む管理対象12コンポーネントすべてcurrent。
- 公開HTTPSの `/health` とログイン入口は200。連絡先画面の匿名アクセスは303、CardDAVと連絡先の一覧・一括export APIは401、well-known discoveryは307。
- 公開HTTPSで配信されたcontacts.js、contact-history.js、task-dav-settings.js、contacts.css、dav-settings.cssのSHA-256がリリースソースと一致。
- 初期観察では4サービスのログにpanic、fatal、DB lock、job failed、scheduler claim failed、errorレベルの該当なし。
認証済みの実ユーザーで本番連絡先を作成・更新する試験は行っていない。CardDAVの往復同期とWeb操作は前段の合成データ試験で確認した。外部取り込みカレンダーの内容は開いておらず、保全は内容を解釈しないファイルコピーである。
### CI再実行
初回job 25は既存の `TestCityAutoPlanSameSpotNameInDifferentStreets` で `initialize SQLite connection: context deadline exceeded` となった。configFixtureのDB接続初期化段階であり、Cityのassertionに入る前の失敗だった。
同じテストをローカルで20回反復して成功。同一commit・同一テスト条件のままCIを1回再実行し、job 26で全工程が成功した。テストの削除・スキップや、DBの期限延長はしていない。
v0.5.0のCIでも別テストのSQLite初期化時に同種の症状が出ている。後続のCI改善では、テスト一時領域のI/O計測、tmpfs利用の評価、パッケージ並列度、BuildKitキャッシュを検討する。このログだけでストレージを原因と断定しない。
@@ -0,0 +1,54 @@
# PagesWiki v0.7.0 のオーガナイザー本番反映
2026-11-04 00:23:30 JST、オーガナイザーの共通ナビゲーション、個人設定、ウィジェット形式のダッシュボードを本番2系統へ反映した。ダッシュボードは `/v/plan/dashboard`、個人設定は `/-/sys/config?panel=organizer`、連絡先は `/v/plan/contacts`。仕様と後続範囲は[設計書](../../design/ja/organizer-dashboard.md)を参照する。
## 配布物
- ソースcommit:`6ba30bc9f4ae4a8b53b909ebe6597eb8f52fa0ef`。
- 注釈付きGitタグ:`v0.7.0`。タグobject:`25f59e33bf90699426e9515fc62efa262268385d`。
- [ビルド run 25](https://git.anya.jp/anya/wikipages/actions/runs/25):job 28でテスト、3イメージのビルド・pushが成功。
- [リリース run 26](https://git.anya.jp/anya/wikipages/actions/runs/26):job 29で既存SHAイメージの昇格が成功。再ビルドしていない。
- 後方互換な機能追加としてSemVerのMINORを更新。既存リリースタグは変更していない。
registry prefixは `git.anya.jp/anya/`。
| イメージ | v0.7.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:30ebc4e568087d791f7381313a93b963e18c81b7f51a93923b3d874c8a1b90b8` |
| pageswiki-adaptor-gateway | `sha256:0373dd70c0c8097ccccd61302c83b48502e47a8fd256335bb44297afd6ac6eca` |
| pageswiki-excalidraw-viewer | `sha256:381f31eb6754743ee8116b11230f522e0c726345cdb12f4f21f050fb13b64105` |
`.env.release` を `PAGESWIKI_IMAGE_TAG=v0.7.0` に更新し、通常の `.env` とregistry overlayを併用して `up --no-build --no-deps` でapp、app2、adaptor-gateway、excalidraw-viewerのみ再作成した。ローカルlatest互換タグも同版へ揃えた。registryのlatest、code-server、Kroki、Mermaid、ホストCLIは変更していない。
## 移行とバックアップ
今回の管理対象スキーマ変更は `task-productivity` v1からv2への更新で、個人別配置を保存する `organizer_dashboard_layouts` を追加する。他の管理対象コンポーネントは変更なし。
独立した旧バックアップのコピー2系統を、実際のリリースイメージで起動した。ネットワークは `none`、DR設定は `workers_enabled=false` とし、外部連携とバックグラウンド処理を無効化した。両系統のhealthと管理対象12コンポーネントのschema checkが成功した。リハーサル専用コピーとコンテナは検証後に削除した。
保全先は `.deployment-backups/release-v0.7.0-20261104/`。親ディレクトリは0700、保存した `.env` は0600。`config/` に旧Compose、`.env`、旧 `.env.release` を保存し、`cutover/data` と `cutover/data2` に停止時点の整合バックアップを保持する。
| 時刻 JST | 操作 |
| --- | --- |
| 00:22:08 | 対象4サービスの停止開始 |
| 00:23:23 | 停止後の最終バックアップ検証完了 |
| 00:23:30 | v0.7.0の再起動完了 |
停止開始から再起動完了まで82秒。停止後にチェックサム付きrsyncで最終同期し、差分ゼロ、DB・WAL・SHM等のバイト一致、本番ファイルとは異なるinode、filesystem syncを確認した。変更のないファイルは過去の不変バックアップをlink-destとして共有するが、本番ファイルとはハードリンク共有しない。
旧v0.6.0の3イメージをローカルタグ `rollback-before-v0.7.0-20261104` で保持した。切替直前バックアップ2系統に旧v0.6.0を用いた読み取り専用schema checkを実行し、task-productivity v1を含め管理対象12コンポーネントがcurrentだった。旧世代バックアップとイメージは削除していない。今回の一時リハーサルコピー削除後の空き容量は約46 GiB。
本番はtask-productivity v2に移行済みのため、旧イメージへの交換だけを安全なrollbackとは扱わない。復旧時は書込みを止め、切替後データも別途保全し、互換性と書込み損失を確認する。バックアップ復元は自動実行しない。CardDAVデータも過去へ戻す場合は、公開前のepoch更新とクライアント再照合が必要となる。
## 検証結果
- ローカルの `go test ./...`、`go vet ./...`、リリースツールのNodeテスト8件、`git diff --check` が成功。
- `TestProductivityChromium` のデスクトップ・スマホの10ケースが成功。合成データによる配置保存、実ポインターによるドラッグ・リサイズ等を確認。
- Giteaの全Goテスト、3イメージのビルド・公開、リリース昇格が成功。
- 本番4サービスのソースrevision一致、再起動0回。appとExcalidrawはhealthy、app2も内部healthが成功。
- 本番2系統の管理対象12コンポーネントはすべてcurrent。schema checkの対象外であるlegacy領域の完全性検査を意味するものではない。
- 公開HTTPSのhealthとログイン画面は200。ダッシュボードと個人設定の匿名アクセスは303、dashboard・progress APIとCardDAV入口は401。
- 公開HTTPSのorganizer-dashboard.js、organizer-settings.js、task-productivity.js、contacts.js、tasks.js、calendar.js、organizer.css、home.cssのSHA-256がソースと一致。
- 切替直後の対象4サービスのログでは、panic、fatal、DB lock、job failed、scheduler claim failed、errorレベルの該当件数は0。
本番の実ユーザーデータを作成・更新するUI試験は行っていない。認証済み操作は合成データのブラウザ・API試験で検証した。外部から取り込んだカレンダー要素にはアクセスしていない。バックアップは内容を解釈しないファイルコピーとして実施した。
@@ -0,0 +1,29 @@
# PagesWiki v0.7.1 本番反映
2026-11-06 02:11:04 JST、本番のapp・app2・adaptor-gateway・excalidraw-viewerをv0.7.1へ更新した。タスク編集画面の2カラム化と個人別Inbox通知既定値を反映した。配布物とdigestは[リリース記録](../releases/2026-11-04-v0.7.1.md)を参照する。ソースrevisionは `a6bf3dfe41bec1896acf6a047562f79b6028836b`。
## 切替と保全
公開済み3イメージのdigestとrevisionを照合した。旧バックアップの独立コピー2系統で、ネットワークなし・DR workers無効の起動確認と管理対象12コンポーネントのschema checkを実施し、成功した。
`.deployment-backups/release-v0.7.1-20261106/` に旧Compose、`.env`、旧 `.env.release` と切替直前の `cutover/data`・`cutover/data2` を保持する。親ディレクトリ0700、保存した `.env` は0600。停止後のチェックサム付き最終同期、差分ゼロ、DB・WAL・SHMのバイト一致、稼働ファイルと異なるinodeを確認した。変更のないファイルは過去の不変バックアップとのみlink-destで共有する。
| 時刻 JST | 操作 |
| --- | --- |
| 02:09:36 | 対象4サービスの停止開始 |
| 02:10:58 | 最終バックアップ検証完了 |
| 02:11:04 | v0.7.1の起動完了 |
停止開始から起動完了まで88秒。`.env.release` をv0.7.1に設定し、registry overlayで対象サービスだけ `up --no-build --no-deps` した。旧v0.7.0イメージには `rollback-before-v0.7.1-20261106` を付けて保持した。ローカルlatestは新バージョンへ揃えた。registry latest、code-server、Kroki等は変更していない。旧バックアップは削除せず、今回のリハーサルコピーだけを停止・検証後に削除した。終了時の空き容量は約40 GiB。
DBスキーマはv0.7.0と同じ。旧版へ戻して個人設定を再保存すると新しい通知既定値を失う可能性があるため、切戻しは書込みを停止して現行データも保全し、互換性を確認する。バックアップの自動復元は行わない。
## 本番確認
- 対象4サービスのrevision一致、起動状態正常、再起動0回。appとExcalidrawのhealthcheckはhealthy。app2の内部healthも成功。
- 両系統の管理対象12コンポーネントはcurrent。これはlegacy領域を含む全データの完全性検査ではない。
- 公開HTTPSのhealthとログイン入口は200。匿名のタスク画面・個人設定は303、preferences APIとCardDAV入口は401。
- 公開されたtasks.js、task-productivity.js、tasks.cssのSHA-256がv0.7.1ソースと一致。
- 初期ログのpanic、fatal、DB lock、job failed、scheduler claim failed、errorレベルの該当件数は0。
本番の実ユーザーデータを作成・更新するUI試験は行っていない。認証済み操作はリリース前の合成データ試験で確認済み。外部取り込みカレンダー要素にはアクセスせず、バックアップは内容を解釈しないファイルコピーとした。ホストのCLIはこの切替では置き換えていない。
@@ -0,0 +1,30 @@
# PagesWiki v0.8.0 本番反映
2026-11-06 08:48:35 JST、本番のapp・app2・adaptor-gateway・excalidraw-viewerをv0.8.0へ更新した。このホストの `/home/anya/.local/bin/pages` も公開ELFのpages-cli v0.3.0へ更新した。機能・配布物は[リリース記録](../releases/2026-11-06-mail-wiki.md)を参照する。
## 保全と切替
`.deployment-backups/release-v0.8.0-20261106/` に構成とデータを保全した。configには旧 `.env`、`.env.release`、Compose、旧CLIの `pages-before-v0.3.0` がある。親ディレクトリ0700、構成コピー0600。data・data2は内容を解釈しないファイルコピーで、外部取り込みカレンダー要素にはアクセスしていない。
最終 `cutover/data`・`cutover/data2` は対象サービス停止後にchecksum付きrsyncで確定し、差分ゼロ、DB・WAL・SHMのバイト一致と稼働元と異なるinodeを確認した。未変更ファイルは前回の不変バックアップとのみlink-destで共有する。稼働元へのハードリンクは作らない。既存バックアップは削除していない。
| 時刻 JST | 操作 |
| --- | --- |
| 08:47:23 | 対象4サービス停止開始 |
| 08:48:29 | 最終バックアップ検証完了 |
| 08:48:35 | v0.8.0起動完了 |
停止開始から起動完了まで72秒。リリースイメージとSHAイメージのID・source revision一致を確認してから、`.env.release` をv0.8.0へ変更し、registry overlayの `up --no-build --no-deps` で対象4サービスだけ更新した。旧v0.7.1イメージは `rollback-before-v0.8.0-20261106` を付けて保持し、ローカルlatestを新リリースへ揃えた。registry latest、code-server、Kroki等は変更しない。
DBスキーマ変更はない。新イメージをネットワークなし・読み取り専用で起動するschema checkを切替前に両データ系統へ実施した。切戻し時は書込みを停止して現状も保全し、新CLIのWiki保存を停止する。旧版で個人設定を保存するとwiki_prefixが失われ得る。バックアップの自動復元は行っていない。
## 検証
- 対象4コンテナのsource revisionは `80d297dab40871b42ff2afb2ab6212661c465248` と一致。起動正常、再起動0回。appとExcalidrawはhealthy、app2の内部healthも成功。
- 両系統の管理対象12コンポーネントはcurrent。legacy領域を含む全データ完全性の検査ではない。
- 公開HTTPSでhealth・ログインは200。匿名のタスク・個人設定は303、preferences API・CardDAVは401。
- 公開tasks.js・task-productivity.js・tasks.cssのSHA-256がv0.8.0と一致。
- 初期ログのpanic、fatal、DB lock、job failed、scheduler claim failed、errorレベルの一致件数は0。
- ホストCLIは公開ELFとバイト一致し、versionは0.3.0、from-mailの新オプションも確認した。既存資格情報・セッション・NeoMutt設定は変更していない。
認証済みのメール取り込み・個人設定操作は一時DBと合成データで検証し、本番にテストメールやタスクを追加していない。利用者の既定Pathは自動設定せず、保存先のACLを確認したうえで本人が選択する。反映後の空き容量は約33 GiB。
+10
View File
@@ -0,0 +1,10 @@
# NeoMutt連携ドキュメントの移転
NeoMuttとpages CLIによるメールからのタスク作成、作業時間の記録・レポート、日次メール設定、連絡先の宛先補完の利用手順は、独立した公開リポジトリへ移転した。
- [NeoMuttとタスク・連絡先の操作ガイド](https://git.anya.jp/anya/pages-cli/src/branch/main/docs/neomutt.md)
- [NeoMutt設定ファイル例](https://git.anya.jp/anya/pages-cli/src/branch/main/examples/neomuttrc)
- [CLIの接続・保存・安全性の契約](https://git.anya.jp/anya/pages-cli/src/branch/main/docs/client-contract.md)
- [CLIリポジトリと配布物](https://git.anya.jp/anya/pages-cli)
利用者向け手順と設定例の正本はpages-cli側とし、このページは既存リンクの移転案内として残す。サーバーAPI・権限・DB・通知ジョブの設計は引き続き[タスクと連絡先の設計](../design/ja/task-productivity-contacts.md)で管理する。PagesWiki側の `pages-cli/` はHTTP結合テスト用の固定スナップショットであり、独立CLIの配布元ではない。
+35
View File
@@ -0,0 +1,35 @@
# pages-cliの公開リポジトリと配布
2026-11-06、サーバー本番をv0.7.1へ更新した後、pages-cliを[公開リポジトリ anya/pages-cli](https://git.anya.jp/anya/pages-cli)へ切り出し、[v0.1.0](https://git.anya.jp/anya/pages-cli/releases/tag/v0.1.0)をGitea Actionsから公開した。ソースとLinux/amd64成果物はログイン不要で取得できる。
同日、実行単位の `--insecure` / `-k` を追加したv0.2.0を公開した。最新の変更・TLS試験・配布確認は[v0.2.0リリース記録](releases/2026-11-06-pages-cli-v0.2.0.md)を参照。以下の切り出し・初回検証記録はv0.1.0時点のもの。
## ソースと互換性
`git subtree split --prefix=pages-cli` でCLI配下の5コミットを抽出した。抽出先の基点は `d3f4e668c448289f8cf264e4b7286ad772cf2d05`。サーバー側のCLIスナップショットは `pages-cli/pages`、SHA-256は `d423d1a38cb931880e78e419188083592d9163cdd958ace86f58849d141c4f41`。
独立先はCLIをルートの `pages` として保持し、独立SemVerの初版を0.1.0とする。サーバーのv0.7.1と番号を連動させない。`--version` とHTTP User-AgentをCLIのVERSIONへ合わせる。接続先・言語・セッション保存場所は変更しない。
独立したローカルリポジトリは `/home/anya/prj/pages/pages-cli` に配置し、originを公開Giteaリポジトリへ接続した。配布準備コミットは `e4fb4f309f9257498af678c3ae37d22039081b15`、公開用の説明修正後のコミットは `e3f1be2f6f99ced3d287cbe2155c3d614b0a133b`。公開前にCLIのみの履歴と追跡対象を確認し、秘密情報候補はテスト用の架空資格情報だった。サーバーの履歴・設定・データは含めない。
v0.1.0のソースは `7fa71eceb1ecbed84ad3bc904af3f3a473624b92`。NeoMutt連携ガイド、設定例、クライアント契約を独立リポジトリへ移転し、tar.gzにも同梱した。サーバーの旧ドキュメントは移転案内、HTTP/OIDCサーバー内部設計と結合テストはサーバー側に保持する。
サーバー側の3つのGo結合テストはCLIのスナップショットを参照している。切り出し時点では削除せず、独立リポジトリを正本にした後、レビュー済みリビジョンに固定して明示更新する。サーバーCI中に認証付きgit fetchを増やしたり、最新CLIへ暗黙追従したりしない。DB直接操作CLI `data/pageswiki-cli` は切り出し対象外。
## 配布方式
Linux/amd64はPython同梱ELF、tar.gz、ソーススクリプト、ビルドメタデータ、SHA256SUMSを生成する。Python 3.11のDebian 12イメージをdigest固定し、PyInstaller 6.22.0を使用する。最低glibcは2.36、Alpine/muslは対象外。rpm/debは後続で、まずELFを提供する。
Gitea Actionsのmain pushはテストとビルド、vタグはさらにRelease添付まで行う。draftへ全ファイルを添付後に公開し、公開済み同名ファイルのハッシュが異なれば停止する。API呼出しはジョブtokenを使用し、権限不足時のみCLIリポジトリ限定のrelease tokenを別途設定する。既存のサーバー用PATを自動コピーしない。
macOS用のnative buildジョブはrunner接続後に有効化する。Windows/amd64はfcntl・readline・所有者/権限検査の移植が必要で、未検証exeを公開しない。詳細TODOは独立作業コピーの `WINDOWS-TODO.md` に保持する。PyInstallerはクロスコンパイラではなく、OSごとの実ビルド・検証が必要。[公式説明](https://www.pyinstaller.org/en/stable/)
## 検証と残件
ソース単体テスト32件、実ELFのconfigure・合成HTTPログイン・タスク一覧・メール取り込み時の本文非送信・NeoMutt宛先検索・対話シェル・不正な資格情報ファイル権限の拒否・ログアウトを確認した。テストは一時ディレクトリと合成HTTPサーバーのみを使用し、本番ユーザーの資格情報は使用しない。
既存cp01dのホストにリポジトリ専用の `cp01d-pages-cli` を追加し、[初回CI run 29](https://git.anya.jp/anya/pages-cli/actions/runs/29)、[移転後CI run 30](https://git.anya.jp/anya/pages-cli/actions/runs/30)、[v0.1.0 Release CI run 31](https://git.anya.jp/anya/pages-cli/actions/runs/31)が成功した。既存runnerは変更していない。配置・停止方法は[runner運用記録](pages-cli-runner.md)を参照。
Releaseはジョブtokenで公開でき、追加PATは不要だった。添付5ファイルを匿名ダウンロードし、SHA256SUMS記載の4生成物を照合、ダウンロードしたELFの上記スモークテストを実施した。tar.gz内のREADME・NeoMuttガイド・クライアント契約・設定例がソースと一致し、メタデータのsource_revisionがタグ先コミットと一致することも確認した。
残件はmacOS runnerの設置、Windows移植とrunnerでの検証。実行ファイルのコード署名、macOS公証、rpm/debは後続。リポジトリ公開はオープンソースライセンスの新規付与とは別の操作であり、独自コードへのライセンスは追加していない。
+34
View File
@@ -0,0 +1,34 @@
# cp01d上のpages-cli専用runner
2026-11-06、既存のPagesWiki用runnerを維持したまま、同じcp01ホストへpages-cli用runnerを追加した。Giteaの登録名は `cp01d-pages-cli`、登録範囲は公開リポジトリ `anya/pages-cli` のみ。既存の `cp01d` は `anya/wikipages` 専用のまま変更していない。
## 配置と起動
- SSH接続先は既存設定の `cp01`。rootful Dockerを使用する。
- Composeは `/var/container/gitea/runner-pages-cli/compose.yml`、プロジェクト名は `gitea-pages-cli`。
- コンテナ名は `gitea-pages-cli-runner`、登録情報は `runner-pages-cli/data/.runner`(0600)。配置ディレクトリは0700。
- runner設定は `runner-pages-cli/config.yaml`。capacity=1、timeout=2h、TLS検証有効、ジョブのprivileged=false。
- イメージは既存と同じrunner v3.5.0のdigest `gitea/runner@sha256:66b7da94dc7dcadb2e076bec6928221336a9a637196399281c4b766fe1288242`。
- 既存ネットワーク `anya-npm-net` と `git.anya.jp:172.18.0.10` の名前解決を使用。新規ネットワークやサブネットは作成していない。
```sh
# cp01上で実行。既存のGitea・PagesWiki用runnerには影響しない。
sudo docker compose -p gitea-pages-cli \
-f /var/container/gitea/runner-pages-cli/compose.yml up -d --no-deps runner
# 新規ジョブの引受けを止める場合。実行中ジョブを確認してから行う。
sudo docker compose -p gitea-pages-cli \
-f /var/container/gitea/runner-pages-cli/compose.yml stop runner
```
既存Gitea Composeへの依存を避け、追加runnerだけを独立Composeで管理する。restart=unless-stopped。サーバーや既存runnerの再起動・再登録は不要。既存Gitea用のComposeファイルだけを指定した操作では追加runnerは管理されない。
## 認証と公開ジョブ
登録トークンはCLIリポジトリ専用APIで取得し、暗号化SSHの標準入力から登録時の一時コンテナ環境へ渡した。Compose、Git、通常起動時の環境変数に登録トークンは保存しない。登録後は `.runner` を使う。`.runner` はコピー・公開せず、バックアップ時も権限を維持する。
ジョブラベルは `ubuntu-latest`。公開リポジトリのmain・バージョンタグ・手動実行のみを対象とし、外部PR実行は設定していない。Docker socketを使うため、ジョブにはホストに対する強い権限がある。レビューしていない外部コードをこのrunnerで実行しない。既存runnerとDocker daemonを共有するため、両runnerが同時に各1ジョブを実行できる。今後並列数を増やす場合はCPU・メモリ・ディスク負荷を確認する。
初回の既存待機ジョブrun 29と、NeoMutt移転後のrun 30が成功した。run 30では32件のテストと実ELFによる合成ログイン、メール→タスク、宛先検索、対話シェル、権限検査、ログアウトを確認した。macOS runnerは未接続のため対応ジョブを無効化している。
v0.1.0タグのrun 31ではRelease添付と公開も成功した。Giteaのジョブtokenを利用し、追加PATやActions secretは作成していない。公開後の匿名ダウンロードとSHA256照合、実バイナリの合成API試験も成功した。
@@ -0,0 +1,41 @@
# PagesWiki v0.7.1 リリース
2026-11-04、タスク編集画面の整理と個人別のInbox通知既定値を含むv0.7.1を公開した。Gitタグと3つのコンテナイメージを作成済み。リリース作成と本番切替は分離し、2026-11-06に[本番反映](../deployments/2026-11-06-v0.7.1.md)を完了した。
## 変更内容
- タスク編集をデスクトップでは左右2カラムへ整理。左に件名・状態・整理先・プロジェクト・メモ、右に日付・工数・複雑度・通知を配置する。
- 状態・整理先・複雑度を、選択中の状態が分かるラジオボタン型UIに変更。担当者UUID、検索、Wiki連携は詳細設定へ折りたたむ。
- 小型スマホでは1カラムとタッチ向けの入力領域を維持する。
- 個人設定に、新規タスクの期限日・取り組む日のInbox通知ON/OFFと通知時刻を追加する。日付のない簡易追加を許可し、既存タスクの通知設定は変更しない。
詳細は[オーガナイザー設計](../../design/ja/organizer-dashboard.md)と[タスク通知設計](../../design/ja/task-reminders.md)を参照する。
## 配布物
- ソースcommit:`a6bf3dfe41bec1896acf6a047562f79b6028836b`。
- 注釈付きGitタグ:`v0.7.1`。タグobject:`d25b4569ef9711a8b42f4085a2d78de3b7b5935f`。
- [ビルド run 27](https://git.anya.jp/anya/wikipages/actions/runs/27):job 30のテスト・3イメージのビルド・push・後処理がすべて成功。
- [リリース run 28](https://git.anya.jp/anya/wikipages/actions/runs/28):job 31の全工程が成功。SHAタグのイメージを再ビルドせず昇格した。
registry prefixは `git.anya.jp/anya/`。昇格処理でソースrevisionとlinux/amd64を確認し、昇格元・先のmanifest digestが一致することを検証した。
| イメージ | v0.7.1 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:6cd80934ddbd7e8876f2b4c4e02b3a7f31ae1ecc8bcc88ea30637101f099b99e` |
| pageswiki-adaptor-gateway | `sha256:fb4b5a488ccc1683ad4032cb61071ce9a433db7bcacde23f484daa8c5bfac7e9` |
| pageswiki-excalidraw-viewer | `sha256:b4a146ec43756bded73ceeec08b006f22100b354a957c685e05337d70190ce3c` |
今回の採番は利用者指定のv0.7.1とした。通知既定値の機能追加を含むため、通常の機能追加でMINORを増やす[運用規則](../versioning.md)の個別例外であり、規則全体は変更していない。公開済みタグの付け替えとlatestの更新は行っていない。
## 互換性と適用時の注意
DBスキーマとmanaged migrationのversionは変更しない。既存preferences JSONに `notify_due`、`notify_planned`、`reminder_time` を追加する。古い設定では通知OFF、時刻09:00として読み込む。既存タスクへの一括適用は行わない。
旧版に戻した後で個人設定を保存すると、新しい通知既定値が失われる可能性がある。スキーマ変更がなくても、切替前の設定・データの保全と切戻し時の書込み確認は必要。今回のリリース作成ではデプロイ用バックアップの作成・削除、本番データ更新、サービス再起動は行っていない。
## 検証
実装段階で全Goテスト、go vet、JS構文検査、差分検査、合成データのブラウザテストが成功した。ブラウザではPC・1024×768のノートPC・390px幅と320px幅のスマホ・英語表示、通知既定値の保存と適用、明示的な通知OFFの保持、再編集を検証した。本番のユーザーデータや外部取り込みカレンダーを検証に使用していない。
今回のリリースCIでも全Goテストとリリースツールのテストが成功した。サーバーパッケージは201.686秒、ストアは104.383秒で成功し、再実行は不要だった。配布物はレジストリへ公開済み。2026-11-06に本番適用と稼働確認を完了した。詳細は[本番反映記録](../deployments/2026-11-06-v0.7.1.md)を参照する。
@@ -0,0 +1,45 @@
# ML連番・年月別メール保存先
PagesWiki v0.9.0とpages-cli v0.4.0は、メール本文を関連Wikiへ保存するとき、ML連番を優先してPathを決める。ML連番がないメールは年月で分割する。件名は表示に使い、日本語件名を識別用Pathには使わない。
| 優先順 | 判定 | 保存先 |
| --- | --- | --- |
| 1 | 先頭のML連番あり(例: `[hogehoge 00123]`) | `親Path/hogehoge/123` |
| 2 | ML連番なし、Message-IDあり | `親Path/YYYY/MM/UUID` |
| 3 | どちらもなし | `親Path/YYYY/MM/原文SHA-256` |
UUIDは接続先・本人・Message-IDから従来どおり生成する。Message-ID自体はURLへ露出しない。年月はメールのDateヘッダーに記載されたタイムゾーンを尊重する。Date欠落・不正時は初回取り込み時のUTC年月を採用し、再送用outboxへ保存する。月をまたいで同一の保留メールを再入力しても保存先は変えない。
MLリスト名はASCII英数字で始まる100文字以内の英数字・ピリオド・ハイフン・アンダースコア。連番は最大20桁で先頭ゼロを除く。安全なML表記として認識できないものは年月方式にする。同じML連番の別メールは409で拒否し、タスクの部分作成や既存Wikiの上書きを行わない。
APIの追加フィールドは省略可能なwiki_suffixのみ。省略時の旧Path・receipt hashは維持する。新CLIの本文取り込みには新サーバーが必要。既存メールの一括移動は行わず、旧版で保持済みの再送要求はそのまま扱う。DBスキーマ変更はない。
## ソースと検証
- サーバー: `1a451023f09f483f5efff450dc2c951c925eb999`
- CLI: `e22af6a0ecc2b001d6cc0d41901470f535fd8126`
- 手元のGo全体テスト・go vet、CLI単体44件が成功。
- サーバーCI run 43の全体テストが成功。合成メールを使うHTTP結合試験は手元で実行し、Wiki Pathと本文取得を検証した。
- CLI main CI run 42、タグCI run 44が成功。公開添付5ファイルを匿名取得し、4生成物のSHA-256を検証した。
- 公開ELFでUTF-8/ISO-2022-JP件名、ML連番Path、Dateのローカル年月、Message-ID由来UUID、Message-IDなし原文hashの各保存先を確認した。同梱ELF・ガイドと検証済みソースの一致も確認した。
- [CLI v0.4.0](https://git.anya.jp/anya/pages-cli/releases/tag/v0.4.0)と[NeoMuttガイド](https://git.anya.jp/anya/pages-cli/src/tag/v0.4.0/docs/neomutt.md)を公開。
## リリースと本番反映
[サーバーCI run 43](https://git.anya.jp/anya/wikipages/actions/runs/43)の全工程成功後、[run 45](https://git.anya.jp/anya/wikipages/actions/runs/45)で同じSHAイメージをv0.9.0へ昇格した。公開タグの付け替え・リリース時の再ビルドは行っていない。本番取得時にイメージIDとソースrevisionの一致を検証した。
| イメージ | v0.9.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:4a9b0b85330dac915e73e1aa5155f4691e46b2de945c76f1e14ae9735533a99b` |
| pageswiki-adaptor-gateway | `sha256:4ff0dc5565537ae9d157df9515ac3b9df67090f1a69d8cc26f2bea5943885017` |
| pageswiki-excalidraw-viewer | `sha256:32a643778dff894f0ba679864e401d5605f80ad28bc4bd85bbcde453f2bc4127` |
2026-11-06 10:05:28 JSTに対象4サービスを停止開始、10:06:31に最終バックアップ照合完了、10:06:37に起動完了。停止から起動まで69秒。app・app2・adaptor gateway・Excalidraw viewerをregistry overlayでv0.9.0に更新し、他のサービスは変更していない。`.env.release`を更新し、ローカルlatestタグも稼働イメージへ揃えた。
保全先は `.deployment-backups/release-v0.9.0-20261106/`。旧構成と `cutover/data`・`cutover/data2` を保存し、停止後のchecksum付き同期・差分ゼロ・DB/WAL/SHMのバイト一致・稼働元と異なるinodeを確認した。変更のないファイルは前回の不変バックアップとだけlink-destで共有する。旧イメージは `rollback-before-v0.9.0-20261106` で保持し、既存バックアップは削除していない。
このホストの `/home/anya/.local/bin/pages` は公開ELF v0.4.0へ原子的に置換し、バイト一致とversionを検証した。旧CLIは保全先configの `pages-before-v0.4.0` に保持する。独立CLIの作業用リポジトリも公開コミット・タグへ同期した。資格情報・セッション・個人設定は変更していない。
対象4コンテナのrevision一致・起動・再起動0回、appとExcalidrawのhealthy、app2内部health、初期ログのエラーパターン0件を確認した。公開HTTPSのhealth・ログインは200、匿名のタスク画面・個人設定画面は303、preferences API・CardDAVは401。配信されたtasks.js・task-productivity.js・tasks.cssはリリースとSHA-256一致。両系統の管理対象12コンポーネントのschema checkは前後ともcurrent。ただしlegacy領域を含めた全データ完全性検査ではない。
実メール本文・外部取り込みカレンダーは検証に使用していない。本番には合成メールやタスクを追加せず、認証済み操作は一時DBで試験した。保全は内容を解釈しないファイルコピー。完了時の空き容量は約19 GiB。切戻し時もまず書込み停止と現状保全を行い、バックアップを自動復元しない。
@@ -0,0 +1,40 @@
# 日本語メール件名とWiki Pathの修正
PagesWiki v0.8.1とpages-cli v0.3.1はメールの表示名とPathの識別子を分離する。v0.8.0は件名全体をURLへ含め、CLIは300 UTF-8 bytesを超える件名を取り込み前に拒否していた。短い日本語Pathそのものは合成HTTP試験で取得可能だが、実メールの失敗入力は取得していないため、報告されたすべての失敗が同じ原因とは断定しない。
## 動作
- Wiki Pathの末尾は `mail-request_id`。接続先・本人・Message-IDから生成済みのUUIDを利用し、件名の文字コード・記号・長さに依存しない。Message-IDそのものをURLへ露出しない。Message-IDなしは原文SHA-256から識別する。
- MIME Subjectを復号後、先頭の `[list 123]`・`[list:123]`・`[list#123]` を除去する。Re:/Fw:/Fwd:は維持し、その後の連番も除去する。連番を含まない `[重要]` や途中の括弧はそのまま。
- 自動件名は300 UTF-8 bytes以内に文字境界で省略し「…」を付ける。元のSubjectはWiki本文へ保持する。明示的な `--title` は連番除去・省略をせず、上限を超えたら拒否する。
- 既存ページのPath・タスク名を一括更新しない。既存receiptを使った同一要求の再送は元のページを返す。旧版で保存済みのメールを新しい本文・件名で再作成すると412となるため、通信失敗分は保持済み要求の `task retry` を使う。
個人設定の既定Wiki親Pathと保存先ACLは従来通り。APIフィールド・receipt hash形式・DBスキーマは変更しない。
## ソースと確認
サーバーの対象コミットは `3262f8800547e8ea343fe290153d4abc84ebd0d0`、CLIは `541c2bd069b5507281b0dde2810243447c098e71`。サーバーのCLI結合テスト用コピーも同じソースへ更新した。
CLI単体42件、全Goテスト、go vetを実施した。合成メールの日本語SubjectからWikiを作成し、関連メモAPIからPathを取得して本文をHTTP取得する結合テストが成功した。既存の日本語PathのHTTP取得・URLエンコードと再送時の非移動も検証した。
[CLI v0.3.1](https://git.anya.jp/anya/pages-cli/releases/tag/v0.3.1)はmain CI run 38、タグCI run 40で成功。公開添付5ファイルを匿名ダウンロードし、4生成物のSHA-256を照合した。公開ELFでUTF-8/ISO-2022-JPのSubject、ML連番除去、元件名保持、Message-IDによる同一識別子、通常のログイン・メール取り込み・連絡先スモークを確認した。
## リリースと本番反映
[サーバーCI run 39](https://git.anya.jp/anya/wikipages/actions/runs/39)の全工程が成功し、[run 41](https://git.anya.jp/anya/wikipages/actions/runs/41)で検証済みSHAイメージをv0.8.1へ昇格した。ソースrevisionとリリースイメージの一致を確認した。公開タグの付け替えは行っていない。
| イメージ | v0.8.1 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:44aa267d010568e6dd83354839d976429dc979ed283888009457bffcc2d37119` |
| pageswiki-adaptor-gateway | `sha256:5ccf30103cf4f01a49de0d80289736cbca9cde6f0e34661a39652b3468843533` |
| pageswiki-excalidraw-viewer | `sha256:33b44cc2c061c3b66ce8e1124b9e25c43584aec508669564c9f4a260e1c53454` |
2026-11-06 09:15:57 JSTに対象4サービスの停止を開始、09:17:03に最終バックアップ照合完了、09:17:09にv0.8.1起動完了。停止から起動まで72秒。`.env.release` を更新し、registry overlayの対象4サービスだけを `up --no-build --no-deps` した。code-serverやKroki等は変更していない。
`.deployment-backups/release-v0.8.1-20261106/` に構成と `cutover/data`・`cutover/data2` を保持する。停止後のchecksum付き同期と差分ゼロ、DB・WAL・SHMのバイト一致と稼働元と異なるinodeを確認した。変更のないファイルは前回の不変バックアップとのみlink-destで共有する。旧イメージは `rollback-before-v0.8.1-20261106` を付けて保持した。既存バックアップは削除しない。
このホストの `/home/anya/.local/bin/pages` を公開ELFのv0.3.1へ原子的に置換し、バイト一致・versionを確認した。旧CLIは保全先configの `pages-before-v0.3.1` に保持する。利用者の資格情報・セッション・個人設定は変更していない。独立CLIリポジトリも対象コミットとタグへ同期した。
両系統の管理対象12コンポーネントは切替前後ともcurrent。全コンテナのrevision一致、起動正常・再起動0回、appとExcalidrawのhealthy、app2内部health、初期ログのエラーパターン0件を確認した。公開HTTPSのhealth・ログインは200、匿名のタスク・個人設定は303、preferences API・CardDAVは401。配信されたtasks.js・task-productivity.js・tasks.cssはリリースとSHA-256一致。これはlegacy領域を含む全データ完全性検査ではない。
実メール本文・外部取り込みカレンダーは検証に使用していない。本番には合成メールやタスクを追加せず、認証済み操作は一時DBで確認した。保全は内容を解釈しないファイルコピー。完了時の空き容量は約26 GiB。切戻しは書込みを停止し現状も保全して実施し、バックアップを自動復元しない。
@@ -0,0 +1,42 @@
# メール本文のWiki保存
PagesWiki v0.8.0とpages-cli v0.3.0で、NeoMuttからのメール取り込みを関連Wikiページ付きタスク作成へ拡張した。2026-11-06に本番サーバーと、このホストのCLIへの反映を完了した。別の端末ではサーバーv0.8.0以降への接続を確認してからCLIを更新する。
## 利用方法と互換性
個人設定 `/-/sys/config?panel=organizer` に「メール本文の既定Wiki親Path」を追加した。既定プロジェクトも現在の選択を表示し、候補の先頭100件にない場合は個別取得する。
```sh
pages task preferences --wiki-prefix /YOUR/MAIL/PATH
pages task from-mail < message.eml
```
メール本文は保存先Wikiの公開範囲・閲覧権限に従う。非公開を保証する特別なPath名はないため、保存先の権限を先に確認する。タスクのメモ閲覧・編集から本文ページを開ける。タスクとWikiは同一トランザクションで保存する。
CLIの本文非送信は `--metadata-only`。旧 `--include-body` は既定動作の別名として残す。旧版で取り込み済みのメールに異なる内容を再送すると412となり、本文追加のために既存ページを暗黙上書きしない。
サーバーの新しいcaptureフィールドは任意で、従来CLIの要求hashを維持する。schema migrationはなく、WikiPrefixは既存preferences JSONに追加する。旧版へ切り戻す場合、新CLIのWiki保存を停止する。旧サーバーで個人設定を再保存すると新フィールドを落とす可能性があるので注意する。
## ソースと検証
独立CLIの対象コミットは `cde94ed936ddfa1911809f3d1a824bd48a815223`、サーバーは `80d297dab40871b42ff2afb2ab6212661c465248`。サーバー内の `pages-cli/pages` と `test_productivity.py` はこのCLIソースに明示更新した結合テスト用スナップショットで、配布元ではない。
- CLI単体テスト41件、合成HTTP経由のログイン・メール取り込み・連絡先・ログアウト。
- GoのメールWiki作成、既定Path・明示Path・プロジェクト配下、再送、権限拒否、衝突、本文上限、トランザクションのロールバック。
- 独立CLIスナップショットとGo APIの結合テスト。作成したページがタスクのメモ操作から開けることを確認。
- Chromiumのデスクトップ・スマホ幅で、現在のプロジェクト選択・フォームリセット・Wiki Path保存を確認。デスクトップでは候補の先頭ページにないプロジェクトも検証。
- 全Goテスト、go vet、JS構文検査、リリースツール8件も成功。オーガナイザーの全ブラウザ回帰15ケース(小型スマホ・英語を含む)も成功。
## 公開結果
[CLIのmain CI run 34](https://git.anya.jp/anya/pages-cli/actions/runs/34)と[タグCI run 36](https://git.anya.jp/anya/pages-cli/actions/runs/36)が成功し、[pages-cli v0.3.0](https://git.anya.jp/anya/pages-cli/releases/tag/v0.3.0)を公開した。Linux/amd64 ELF、tar.gz、ソース、メタデータ、SHA256SUMSの5添付を匿名取得した。4生成物のチェックサムとsource_revision、同梱ガイド・設定例を照合し、配布ELFで合成HTTPスモークとTLS回帰6件を実施した。macOS/Windowsの配布状態は変更しない。
[サーバービルド run 35](https://git.anya.jp/anya/wikipages/actions/runs/35)は全工程成功。[リリース run 37](https://git.anya.jp/anya/wikipages/actions/runs/37)でSHAイメージを再ビルドせずv0.8.0へ昇格した。Gitタグは注釈付きで、公開済みタグを付け替えていない。
| イメージ | v0.8.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:1817474559818898bd75c0bcc3e9ef7d0d02879604b46bd082668be557922482` |
| pageswiki-adaptor-gateway | `sha256:264d545d8b8c8f9d1e48f79153f3a91d1d446f9e7cd3b067d8f3f7338d04053f` |
| pageswiki-excalidraw-viewer | `sha256:dbfcac6071db55f34ea52b7c00bdeb624ff2d71a9c8cdab5b5e522e8b745d38b` |
本番反映と切戻し用保全は[本番切替記録](../deployments/2026-11-06-v0.8.0.md)を参照。外部取り込みカレンダーや実メール本文は検証のために読んでいない。
@@ -0,0 +1,30 @@
# pages-cli v0.2.0
2026-11-06、独立CLIへ実行単位のTLS検証スキップを追加し、[v0.2.0](https://git.anya.jp/anya/pages-cli/releases/tag/v0.2.0)を公開した。機能追加としてSemVerのMINORを増やした。サーバー本番はv0.7.1のままで、サービスの再起動・設定変更は不要。
## 動作
グローバルオプション `--insecure` / `-k` をコマンドの前に置く。指定した呼出しのCLI通信のみ証明書・ホスト名の検証をスキップする。設定とセッションには保存せず、既定は検証有効のまま。対話シェルでは終了まで有効。言語指定で編集用Clientを作り直す場合も指定を引き継ぐ。
```sh
pages --insecure login
pages -k task list
pages -k edit /guide --lang ja
pages -k login --oidc --no-browser
pages -k logout
```
警告は標準エラーへ出し、JSONやNeoMutt宛先候補へ混ぜない。`configure` は通信せず保存対象でもないため `-k configure` を拒否する。Python全体のTLS既定値は変更せず、OIDCブラウザやプロバイダーの証明書検証も変更しない。
期限切れ・ホスト名不一致も許容するため、通信相手の真正性を保証できず、資格情報を中間者に盗まれる危険がある。信頼できる検証環境でのみ明示指定する。遠隔HTTP、リダイレクト追従、TLS障害後の自動バイパス・自動再送は引き続き許可しない。利用者向けの正本は[CLI README](https://git.anya.jp/anya/pages-cli/src/tag/v0.2.0/README.md)と[NeoMuttガイド](https://git.anya.jp/anya/pages-cli/src/tag/v0.2.0/docs/neomutt.md)。
## リリースと検証
- ソースコミット:`59ab4c5b26e14a43dd372e5d8f7b6ef5df77a501`。
- [main CI run 32](https://git.anya.jp/anya/pages-cli/actions/runs/32)と[tag Release CI run 33](https://git.anya.jp/anya/pages-cli/actions/runs/33)が成功。
- ソース回帰試験38件、TLS試験スイート6件、既存の合成APIスモークテストが成功。TLS試験のログイン・タスク操作・対話シェル・ログアウトは生成ELFを呼び出して確認した。
- TLS試験は一時生成した自己署名証明書とlocalhost HTTPSのみ。既定拒否、明示指定時の成功、ホスト名検証、通常のCA信頼、リダイレクト拒否、非永続化、OIDC開始・交換、言語指定編集への引継ぎを確認。
- 公開された5添付を匿名取得し、SHA256SUMS記載の4生成物を照合。ダウンロードしたELFをサブプロセス試験対象に指定し、TLS試験スイート6件と合成APIスモークテストを再実行した。
- メタデータのsource_revision、tar.gz内のELF、更新した利用ガイドが対象ソース・公開ELFと一致。
配布はLinux/amd64、glibc 2.36以上。macOS/Windowsバイナリは今回未配布。v0.1.0のタグ・成果物は維持した。ユーザーのインストール済み `pages` は自動で置き換えていない。証明書検証のスキップはRelease公開やGiteaアクセスには使用していない。
@@ -0,0 +1,39 @@
# 壁紙連動配色のリリース
PagesWiki v0.10.0は、トップ画面の壁紙からアクセントとグラス面の配色を生成する機能を追加した。2026-11-07に本番反映済み。対象ソースは `0964fdc5b72a1ec24709d87172aaccb985e41c78`。公開APIの非互換変更とDBスキーマ変更はない。保留中のメール保存先 `/tasks` の調査変更は含めない。
## 操作と適用範囲
トップ画面右下の歯車、または `/-/sys/config?panel=home` から、色連動のオフ・アクセントのみ・背景も連動、反映量、明暗判定を選ぶ。既定は背景も連動・35%・現在の明暗を維持。グラス透明度は独立した設定を維持する。管理権限が必要なドメイン共通設定であり、ダイアログでの変更は保存前にプレビューできる。
通常Viewer・Editor・設定画面・ログイン画面には動的配色を適用しない。警告色などの意味を持つ色は変更しない。画像の追加取得はせず、表示済みの画像を64×64に縮小して描画後に解析する。色の抽出結果だけをDomain UUIDと画像SHA256単位でsessionStorageへ保存する。詳しくは[壁紙連動配色の設計](../../design/navigation-home-sidebar.md#実装済みの壁紙連動配色)を参照。
## 検証
- 手元のGo全体テスト、go vet、配色計算とリリースツールのJavaScriptテストが成功。
- 一時DBと合成画像を用いたChromiumテストで、デスクトップ・390px幅の保存、キャンセル、テーマ切替、追加取得なし、キャッシュ再利用・破損時再生成、画像エラー時の復元を確認。
- 非管理者からの設定変更は403。トップ画面以外に配色用スクリプトが混入しないことを検証。
- スマホ幅で検索+ブックマーク画面の横はみ出しを修正。
- [CI run 46](https://git.anya.jp/anya/wikipages/actions/runs/46)の初回job 60は既存の `TestAssetReferencesAreDomainScopedAndIncludeHistoricalHeads` の一時SQLite接続初期化で5秒タイムアウト。検査本体に入る前の失敗で、今回その処理の変更はない。手元で該当テストを10回連続成功後、同一コミットのjob 61を再実行し、全体テストが成功(server 170.870秒、store 84.240秒)。テスト省略やタイムアウト変更は行っていない。
CIでSQLite初期化のタイムアウトが再発する場合は、runnerのI/O負荷とパッケージ間の並列実行を調査する。本番の接続タイムアウトをこの事象だけで緩和しない。
## リリースと本番反映
[CI run 46](https://git.anya.jp/anya/wikipages/actions/runs/46)の再実行でテスト・3イメージのビルド・公開・後処理が成功。そのコミットに注釈付きタグ `v0.10.0` を付けてpushし、[release run 47](https://git.anya.jp/anya/wikipages/actions/runs/47)で再ビルドせずに昇格した。本番で取得したイメージのsource revisionとmanifest digestはリリース結果と一致する。
| イメージ | v0.10.0 manifest digest |
| --- | --- |
| pageswiki-app | `sha256:d43c5827e92ab8eef28290edd5d405f84d2c3480315d552cf5afe535bcf8a02d` |
| pageswiki-adaptor-gateway | `sha256:6882e44ec667fd4fcaecf7a21a25dfb3432a1aa8c6e54c1d0e9fabe3dd448e50` |
| pageswiki-excalidraw-viewer | `sha256:638e02520ce06c2d8267dc8514a4d6544ea8bf70f2d24a368193dad5e6aaa38d` |
23:12:21 JSTに対象4サービスを停止開始、23:13:31に最終バックアップ照合完了、23:13:37に起動完了。停止から起動まで76秒。`.env.release` をv0.10.0へ変更し、registry overlayの `up --no-build --no-deps` でapp・app2・adaptor gateway・Excalidraw viewerを更新した。ローカルlatestタグも同じイメージに揃えた。レジストリlatest、独立CLI、code-server、Kroki等は変更していない。
保全先は `.deployment-backups/release-v0.10.0-20261107/`。親ディレクトリ0700、構成コピー0600。旧 `.env`・`.env.release`・Composeと停止時点の `cutover/data`・`cutover/data2` を保持する。前回の不変バックアップとのみlink-destで共有し、checksum付き同期後の差分ゼロ、DB・WAL・SHM等のバイト一致と稼働元とのinode相違を確認した。旧v0.9.0イメージは `rollback-before-v0.10.0-20261107` タグで保持。旧バックアップや旧イメージは削除していない。完了時の空き容量は約12GiB。
切替後、4コンテナのsource revision一致・running・再起動0回、appとExcalidrawのhealthy、app2内部healthを確認した。起動直後のログでpanic・fatal・database locked・job failed等の検索パターンは0件。公開HTTPSのhealth・ログインは200、匿名のタスク画面・ホーム設定画面は303、preferences API・CardDAVは401。配信されたhome-palette.js、home-palette-core.js、home-appearance.js、home.css、config.cssはリリースソースとSHA256一致。両DBの管理対象12コンポーネントのschema checkは前後ともcurrentで、全データ完全性検査ではない。
認証後の設定操作は一時DBで試験し、本番の設定値やユーザデータを検証目的で変更していない。外部取り込みカレンダーと実メール本文を取得・表示していない。バックアップは内容を解釈しないファイルコピーとバイト照合のみ。
切戻しでは最初に書込みを停止し、切替後のデータも別途保全する。今回の新設定は旧版では利用されず、DBスキーマの差分はないが、稼働中データへバックアップを自動で上書きしない。旧構成は保全先configにある。
+1 -1
View File
@@ -508,7 +508,7 @@ func publish(stage, target string) error {
func verifyReferences(ctx context.Context, database *sql.DB, seen map[string]bool) error {
// Only authoritative references, not derived projection/preview caches. Some
// installations predate optional modules, hence the explicit table check.
for _, ref := range [][2]string{{"revisions", "document_hash"}, {"assets", "head_document_hash"}, {"asset_head_history", "document_hash"}, {"organizer_items", "document_hash"}, {"organizer_revisions", "document_hash"}} {
for _, ref := range [][2]string{{"revisions", "document_hash"}, {"assets", "head_document_hash"}, {"asset_head_history", "document_hash"}, {"organizer_items", "document_hash"}, {"organizer_revisions", "document_hash"}, {"organizer_contacts", "hash"}, {"organizer_contact_revisions", "hash"}} {
var exists bool
if err := database.QueryRowContext(ctx, "SELECT EXISTS(SELECT 1 FROM sqlite_master WHERE type='table' AND name=?)", ref[0]).Scan(&exists); err != nil {
return err
+3 -1
View File
@@ -21,7 +21,9 @@ type Manifest struct {
func Catalog() []Manifest {
return []Manifest{
{ID: "organizer.tasks", APIVersion: 1, Version: "0.11.1", Kind: "tasks", Scope: "domain", NameKey: "tasks.title", DescriptionKey: "tasks.help", Capabilities: []string{"tasks.own.read", "tasks.own.write"}, Events: []string{"organizer.task.changed", "organizer.project.changed"}, SettingsPanel: "extensions", Builtin: true, Enabled: true, ResourceClass: "foreground+background+index"},
{ID: "organizer.feeds", APIVersion: 1, Version: "0.1.0", Kind: "feeds", Scope: "domain", NameKey: "feeds.title", DescriptionKey: "feeds.help", Capabilities: []string{"feeds.own.read", "feeds.own.write"}, Events: []string{"feed.source.sync"}, SettingsPanel: "extensions", Builtin: true, Enabled: true, ResourceClass: "background+network+index"},
{ID: "organizer.contacts", APIVersion: 1, Version: "0.2.0", Kind: "contacts", Scope: "domain", NameKey: "contacts.title", DescriptionKey: "contacts.help", Capabilities: []string{"contacts.own.read", "contacts.own.write"}, Events: []string{}, SettingsPanel: "extensions", Builtin: true, Enabled: true, ResourceClass: "foreground+index"},
{ID: "organizer.tasks", APIVersion: 1, Version: "0.14.0", Kind: "tasks", Scope: "domain", NameKey: "tasks.title", DescriptionKey: "tasks.help", Capabilities: []string{"tasks.own.read", "tasks.own.write"}, Events: []string{"organizer.task.changed", "organizer.project.changed", "task.digest.deliver"}, SettingsPanel: "extensions", Builtin: true, Enabled: true, ResourceClass: "foreground+background+index"},
{ID: "organizer.calendar", APIVersion: 1, Version: "0.2.0", Kind: "calendar", Scope: "domain", NameKey: "calendar.title", DescriptionKey: "calendar.help", Capabilities: []string{"calendar.read", "calendar.write"}, Events: []string{}, SettingsPanel: "extensions", Builtin: true, Enabled: true, ResourceClass: "foreground+index"},
{ID: "content.diary", APIVersion: 1, Version: "0.1.0", Kind: "diary", Scope: "domain", NameKey: "periodical.diary", DescriptionKey: "periodical.diary_help", Capabilities: []string{"path.read", "path.write", "domain.extensions.manage"}, Events: []string{"periodical.registered", "periodical.removed"}, SettingsPanel: "diary", Builtin: true, Enabled: true, ResourceClass: "foreground+index"},
{ID: "content.blog", APIVersion: 1, Version: "0.1.0", Kind: "blog", Scope: "domain", NameKey: "periodical.blog", DescriptionKey: "periodical.blog_help", Capabilities: []string{"path.read", "path.write", "domain.extensions.manage"}, Events: []string{"periodical.registered", "periodical.removed"}, SettingsPanel: "blog", Builtin: true, Enabled: true, ResourceClass: "foreground+index"},
+185
View File
@@ -0,0 +1,185 @@
package server
import (
"context"
"crypto/sha256"
"crypto/subtle"
"encoding/base64"
"errors"
"net"
"net/http"
"net/url"
"regexp"
"strings"
"time"
"pageswiki/internal/store"
)
var cliProofPattern = regexp.MustCompile(`^[A-Za-z0-9_-]{43}$`)
var cliVerifierPattern = regexp.MustCompile(`^[A-Za-z0-9._~-]{43,128}$`)
func cliOrigin(r *http.Request) string { return strings.ToLower(externalURL(r, "")) }
func cliSecureTransport(r *http.Request) bool {
if requestIsHTTPS(r) {
return true
}
host := r.Host
if h, _, err := net.SplitHostPort(host); err == nil {
host = h
}
return host == "localhost" || host == "127.0.0.1" || host == "::1" || host == "[::1]"
}
func cliVerifyPath(id string) string { return "/_/auth/cli/verify?request=" + url.QueryEscape(id) }
func cliConsentCSRF(token, id string) string {
sum := sha256.Sum256([]byte("pages-cli-consent:" + token + ":" + id))
return base64.RawURLEncoding.EncodeToString(sum[:])
}
func (s *Server) handleCLIAuth(w http.ResponseWriter, r *http.Request, action string) {
w.Header().Set("Cache-Control", "private, no-store")
w.Header().Set("Referrer-Policy", "no-referrer")
w.Header().Set("X-Frame-Options", "DENY")
if !cliSecureTransport(r) {
writeEventJSON(w, 400, map[string]string{"error": "https_required"})
return
}
ctx, cancel := context.WithTimeout(r.Context(), 5*time.Second)
defer cancel()
r = r.WithContext(ctx)
domain := s.domainUUIDForRequest(r)
config, err := s.store.AuthProviderConfig(domain, "oidc")
if err != nil || !config.Enabled {
writeEventJSON(w, 403, map[string]string{"error": "oidc_disabled"})
return
}
if action == "cli/verify" {
s.verifyCLIAuth(w, r)
return
}
if r.Method != http.MethodPost {
w.Header().Set("Allow", "POST")
http.Error(w, "method not allowed", 405)
return
}
r.Body = http.MaxBytesReader(w, r.Body, 4096)
if err := r.ParseForm(); err != nil {
writeEventJSON(w, 400, map[string]string{"error": "invalid_request"})
return
}
switch action {
case "cli/start":
challenge := r.PostForm.Get("code_challenge")
if !cliProofPattern.MatchString(challenge) || r.PostForm.Get("code_challenge_method") != "S256" {
writeEventJSON(w, 400, map[string]string{"error": "invalid_request"})
return
}
id, device, code, err := s.store.StartCLIAuth(ctx, domain, cliOrigin(r), challenge)
if err != nil {
cliAuthError(w, err)
return
}
writeEventJSON(w, 200, map[string]any{"device_code": device, "verification_uri": cliVerifyPath(id), "user_code": code[:4] + "-" + code[4:], "expires_in": 300, "interval": 5})
case "cli/token":
device, verifier := r.PostForm.Get("device_code"), r.PostForm.Get("code_verifier")
if !cliProofPattern.MatchString(device) || !cliVerifierPattern.MatchString(verifier) {
writeEventJSON(w, 400, map[string]string{"error": "invalid_request"})
return
}
token, name, expires, err := s.store.ExchangeCLIAuth(ctx, domain, cliOrigin(r), device, verifier)
if err != nil {
cliAuthError(w, err)
return
}
writeEventJSON(w, 200, map[string]any{"access_token": token, "token_type": "Bearer", "username": name, "expires_in": max(1, (expires-time.Now().UnixMilli())/1000)})
default:
http.NotFound(w, r)
}
}
func cliAuthError(w http.ResponseWriter, err error) {
code, status := "temporarily_unavailable", 503
switch {
case errors.Is(err, store.ErrCLIPending):
code, status = "authorization_pending", 400
case errors.Is(err, store.ErrCLISlowDown):
code, status = "slow_down", 400
case errors.Is(err, store.ErrCLIExpired):
code, status = "expired_token", 400
case errors.Is(err, store.ErrAccessDenied):
code, status = "access_denied", 403
case errors.Is(err, store.ErrCLILimit):
code, status = "too_many_requests", 429
}
writeEventJSON(w, status, map[string]string{"error": code})
}
func (s *Server) verifyCLIAuth(w http.ResponseWriter, r *http.Request) {
if r.Method != http.MethodGet && r.Method != http.MethodPost {
w.Header().Set("Allow", "GET, POST")
http.Error(w, "method not allowed", 405)
return
}
r.Body = http.MaxBytesReader(w, r.Body, 4096)
if err := r.ParseForm(); err != nil {
http.Error(w, "invalid request", 400)
return
}
id := r.URL.Query().Get("request")
if r.Method == http.MethodPost {
id = r.PostForm.Get("request")
}
if !cliProofPattern.MatchString(id) {
http.NotFound(w, r)
return
}
domain := s.domainUUIDForRequest(r)
grant, err := s.store.CLIAuthRequest(r.Context(), domain, cliOrigin(r), id)
if err != nil {
http.Error(w, "CLI request expired; restart pages login --oidc", 410)
return
}
data := map[string]any{"CLIAuth": true, "CLIOrigin": grant.Origin, "CLIRequest": id}
if grant.State != "pending" {
data["CLIDone"] = true
s.renderAuthPage(w, r, data)
return
}
if grant.BrowserHash == "" {
if r.Method != http.MethodGet {
http.Error(w, "OIDC login required", 403)
return
}
data["CLILogin"] = "/_/auth/oidc?cli=" + url.QueryEscape(id)
s.renderAuthPage(w, r, data)
return
}
token := s.authTokenFromRequest(r)
sum := sha256.Sum256([]byte(token))
hash := base64.RawURLEncoding.EncodeToString(sum[:])
principal, err := s.store.PrincipalForSession(domain, token)
if !strings.HasPrefix(token, "pw_browser_") || hash != grant.BrowserHash || err != nil {
http.Error(w, "This request belongs to another browser. Restart CLI login.", 403)
return
}
data["CLIUsername"] = principal.Username
data["CLICSRF"] = cliConsentCSRF(token, id)
if r.Method == http.MethodPost {
if !validBrowserMutationOrigin(r) || subtle.ConstantTimeCompare([]byte(r.PostForm.Get("csrf")), []byte(cliConsentCSRF(token, id))) != 1 {
http.Error(w, "invalid approval origin or token", 403)
return
}
decision := r.PostForm.Get("decision")
if decision != "approve" && decision != "deny" {
http.Error(w, "invalid decision", 400)
return
}
err = s.store.DecideCLIAuth(r.Context(), domain, cliOrigin(r), id, token, r.PostForm.Get("user_code"), r.PostForm.Get("totp"), decision == "approve")
if err != nil {
data["Error"] = translate(s.getLocale(domain), "auth.cli_invalid")
} else {
data["CLIDone"] = true
}
}
s.renderAuthPage(w, r, data)
}
+91
View File
@@ -0,0 +1,91 @@
package server
import (
"context"
"encoding/json"
"net/http"
"net/http/httptest"
"os"
"os/exec"
"path/filepath"
"strings"
"testing"
"time"
"pageswiki/internal/store"
)
func TestCLIConsentChromium(t *testing.T) {
if os.Getenv("PAGESWIKI_BROWSER_TEST") != "1" {
t.Skip("opt-in Chromium")
}
for _, width := range []string{"1440", "390"} {
t.Run(width, func(t *testing.T) {
s, api, domain := configFixture(t)
if err := s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "oidc", Enabled: true, Issuer: "https://id.example", ClientID: "client"}); err != nil {
t.Fatal(err)
}
browser, err := s.store.CreateBrowserAuthSession(domain, s.mustCLIPrincipal(t, domain, api), 0)
if err != nil {
t.Fatal(err)
}
var code string
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
if r.Method == "GET" && r.URL.Path == "/_/auth/cli/verify" {
r.AddCookie(&http.Cookie{Name: authCookieName, Value: browser})
rec := httptest.NewRecorder()
s.handleAuth(rec, r)
for k, values := range rec.Header() {
w.Header()[k] = values
}
s.setAuthCookie(w, r, browser)
encoded, _ := json.Marshal(code)
script := `<script>(async()=>{try{
const form=document.querySelector('.auth-form'); if(!form)throw Error('missing consent form');
if(document.documentElement.scrollWidth>innerWidth+2)throw Error('horizontal overflow');
const field=form.elements.user_code; if(getComputedStyle(field).backgroundColor==='rgba(0, 0, 0, 0)')throw Error('input theme missing');
field.value=` + string(encoded) + `; const data=new URLSearchParams(new FormData(form)); data.set('decision','approve');
const response=await fetch(form.action,{method:'POST',body:data}); const html=await response.text();
if(!response.ok||html.includes('name="user_code"'))throw Error('approval failed');
document.body.dataset.vimReady='true';
}catch(e){const p=document.createElement('pre');p.id='error';p.textContent=e.message;document.body.append(p)}})();</script>`
w.WriteHeader(rec.Code)
_, _ = w.Write([]byte(strings.Replace(rec.Body.String(), "</body>", script+"</body>", 1)))
return
}
if strings.HasPrefix(r.URL.Path, "/_/auth/") {
s.withAuthorization(http.HandlerFunc(s.handleAuth)).ServeHTTP(w, r)
return
}
s.withAuthorization(s.mux).ServeHTTP(w, r)
}))
defer server.Close()
origin := strings.Replace(server.URL, "127.0.0.1", "localhost", 1)
id, _, c, err := s.store.StartCLIAuth(context.Background(), domain, origin, strings.Repeat("c", 43))
if err != nil {
t.Fatal(err)
}
code = c
if err := s.store.BindCLIAuth(context.Background(), domain, origin, id, browser); err != nil {
t.Fatal(err)
}
ctx, cancel := context.WithTimeout(context.Background(), 40*time.Second)
defer cancel()
screenshot := ""
if dir := os.Getenv("PAGESWIKI_BROWSER_ARTIFACTS"); dir != "" {
if err := os.MkdirAll(dir, 0755); err != nil {
t.Fatal(err)
}
screenshot = filepath.Join(dir, "cli-consent-"+width+".png")
}
command := exec.CommandContext(ctx, "node", "internal/server/testdata/vim-browser-smoke.mjs", origin+cliVerifyPath(id), t.TempDir(), screenshot, width, "900")
if out, err := command.CombinedOutput(); err != nil {
t.Fatalf("consent browser: %v %s", err, out)
}
grant, err := s.store.CLIAuthRequest(context.Background(), domain, origin, id)
if err != nil || grant.State != "approved" {
t.Fatalf("not persisted: %+v %v", grant, err)
}
})
}
}
+32
View File
@@ -0,0 +1,32 @@
package server
func init() {
for lang, entries := range map[string]map[string]string{
"ja": {
"auth.cli_title": "ターミナルからのアクセスを承認",
"auth.cli_warning": "自分で pages login --oidc を開始した場合のみ続行してください。他人から送られたURLや確認コードを使って承認しないでください。有効期限は開始から5分です。",
"auth.cli_account": "ログインするアカウント",
"auth.cli_access": "このCLIはあなたの現在の権限で閲覧・編集できます。専用セッションは設定画面から失効できます。",
"auth.cli_code": "ターミナルに表示された確認コード",
"auth.cli_approve": "このCLIを承認する",
"auth.cli_deny": "拒否する",
"auth.cli_done": "リクエストは処理済みです。ターミナルに戻って結果を確認してください。この画面は閉じられます。",
"auth.cli_invalid": "確認コードが正しくないか、リクエストが失効しました。5回失敗した場合はCLIでログインをやり直してください。",
},
"en": {
"auth.cli_title": "Approve terminal access",
"auth.cli_warning": "Continue only if you started pages login --oidc yourself. Never approve a URL or code sent by someone else. This request expires five minutes after creation.",
"auth.cli_account": "Account",
"auth.cli_access": "This CLI can read and edit using your current permissions. Its separate session can be revoked in Settings.",
"auth.cli_code": "Confirmation code shown in your terminal",
"auth.cli_approve": "Approve this CLI",
"auth.cli_deny": "Deny",
"auth.cli_done": "This request has been processed. Return to your terminal to check the result. You may close this page.",
"auth.cli_invalid": "Incorrect confirmation code or expired request. After five failed attempts, restart login from the CLI.",
},
} {
for key, value := range entries {
translations[lang][key] = value
}
}
}
+182
View File
@@ -0,0 +1,182 @@
package server
import (
"crypto/sha256"
"encoding/base64"
"encoding/json"
"net/http"
"net/http/httptest"
"net/url"
"strings"
"testing"
"pageswiki/internal/store"
)
func cliForm(s *Server, path string, form url.Values, cookie, origin string) *httptest.ResponseRecorder {
r := httptest.NewRequest("POST", "https://localhost"+path, strings.NewReader(form.Encode()))
r.Header.Set("Content-Type", "application/x-www-form-urlencoded")
if origin != "" {
r.Header.Set("Origin", origin)
}
if cookie != "" {
r.AddCookie(&http.Cookie{Name: authCookieName, Value: cookie})
}
w := httptest.NewRecorder()
s.withAuthorization(http.HandlerFunc(s.handleAuth)).ServeHTTP(w, r)
return w
}
func TestCLIAuthOIDCFlow(t *testing.T) {
s, api, domain := configFixture(t)
principal := s.mustCLIPrincipal(t, domain, api)
// An enrolled local factor must not add a second challenge to OIDC consent.
if _, err := s.store.DB.Exec(`INSERT INTO auth_credentials(uuid,principal_uuid,kind,identifier,secret_hash,created_at_ms,updated_at_ms,enabled) VALUES('cli-test-totp',?,'totp',?,'synthetic-invalid',1,1,1)`, principal, principal); err != nil {
t.Fatal(err)
}
p := newOIDCTestProvider(t)
previous := oidcVerifier
oidcVerifier = p.verifier
t.Cleanup(func() { oidcVerifier = previous })
if err := s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "oidc", Enabled: true, Issuer: p.server.URL, ClientID: "client", ClientSecret: "secret", OIDCMatchBy: "preferred_username"}); err != nil {
t.Fatal(err)
}
verifier := strings.Repeat("x", 43)
sum := sha256.Sum256([]byte(verifier))
start := cliForm(s, "/_/auth/cli/start", url.Values{"code_challenge": {base64.RawURLEncoding.EncodeToString(sum[:])}, "code_challenge_method": {"S256"}}, "", "")
if start.Code != 200 {
t.Fatalf("start %d %s", start.Code, start.Body.String())
}
var grant struct {
Device string `json:"device_code"`
URI string `json:"verification_uri"`
Code string `json:"user_code"`
}
if err := json.Unmarshal(start.Body.Bytes(), &grant); err != nil {
t.Fatal(err)
}
u, _ := url.Parse(grant.URI)
id := u.Query().Get("request")
verify := httptest.NewRecorder()
s.handleAuth(verify, httptest.NewRequest("GET", "https://localhost"+grant.URI, nil))
if verify.Code != 200 || !strings.Contains(verify.Body.String(), "/_/auth/oidc?cli=") || strings.Contains(verify.Body.String(), grant.Device) {
t.Fatalf("verify landing: %d %s", verify.Code, verify.Body.String())
}
begin := httptest.NewRecorder()
s.beginOIDC(begin, httptest.NewRequest("GET", "https://localhost/_/auth/oidc?cli="+id, nil))
if begin.Code != 302 {
t.Fatalf("oidc begin %d %s", begin.Code, begin.Body.String())
}
location, _ := url.Parse(begin.Header().Get("Location"))
claims := oidcTestClaims(p.server.URL)
claims["nonce"] = location.Query().Get("nonce")
p.mu.Lock()
p.idToken = oidcTestToken(t, p.key, map[string]string{"alg": "RS256", "kid": "one"}, claims)
p.mu.Unlock()
callback := httptest.NewRequest("GET", "https://localhost/_/auth/callback/oidc?code=code&state="+url.QueryEscape(location.Query().Get("state")), nil)
for _, cookie := range begin.Result().Cookies() {
callback.AddCookie(cookie)
}
complete := httptest.NewRecorder()
s.completeOIDC(complete, callback)
if complete.Code != 303 || complete.Header().Get("Location") != grant.URI {
t.Fatalf("oidc callback %d %s", complete.Code, complete.Body.String())
}
var browser string
for _, cookie := range complete.Result().Cookies() {
if cookie.Name == authCookieName {
browser = cookie.Value
}
}
if browser == "" {
t.Fatal("missing browser session")
}
consent := httptest.NewRequest("GET", "https://localhost"+grant.URI, nil)
consent.AddCookie(&http.Cookie{Name: authCookieName, Value: browser})
w := httptest.NewRecorder()
s.handleAuth(w, consent)
if w.Code != 200 || !strings.Contains(w.Body.String(), `name="user_code"`) || !strings.Contains(w.Body.String(), cliConsentCSRF(browser, id)) {
t.Fatalf("consent %d %s", w.Code, w.Body.String())
}
if strings.Contains(w.Body.String(), `name="totp"`) {
t.Fatal("OIDC consent repeated local TOTP")
}
form := url.Values{"request": {id}, "csrf": {cliConsentCSRF(browser, id)}, "user_code": {grant.Code}, "decision": {"approve"}}
if w := cliForm(s, "/_/auth/cli/verify", form, browser, "https://evil.example"); w.Code != 403 {
t.Fatal("cross-origin approval accepted")
}
bad := url.Values{"request": {id}, "csrf": {"bad"}, "user_code": {grant.Code}, "decision": {"approve"}}
if w := cliForm(s, "/_/auth/cli/verify", bad, browser, "https://localhost"); w.Code != 403 {
t.Fatal("CSRF accepted")
}
other, err := s.store.CreateBrowserAuthSession(domain, s.mustCLIPrincipal(t, domain, browser), 0)
if err != nil {
t.Fatal(err)
}
if w := cliForm(s, "/_/auth/cli/verify", form, other, "https://localhost"); w.Code != 403 {
t.Fatal("other browser accepted")
}
approved := cliForm(s, "/_/auth/cli/verify", form, browser, "https://localhost")
if approved.Code != 200 || strings.Contains(approved.Body.String(), `name="user_code"`) {
t.Fatalf("approve: %d %s", approved.Code, approved.Body.String())
}
poll := url.Values{"device_code": {grant.Device}, "code_verifier": {verifier}}
exchange := cliForm(s, "/_/auth/cli/token", poll, "", "")
if exchange.Code != 200 {
t.Fatalf("exchange %d %s", exchange.Code, exchange.Body.String())
}
var result struct {
Token string `json:"access_token"`
Username string `json:"username"`
}
if err := json.Unmarshal(exchange.Body.Bytes(), &result); err != nil {
t.Fatal(err)
}
if !strings.HasPrefix(result.Token, "pw_api_") || result.Username != "admin" || result.Token == browser {
t.Fatal("invalid delegated credential")
}
if _, err := s.store.PrincipalForSession(domain, result.Token); err != nil {
t.Fatal(err)
}
if w := cliForm(s, "/_/auth/cli/token", poll, "", ""); w.Code == 200 {
t.Fatal("replay accepted")
}
if err := s.store.RevokeAuthSession(result.Token); err != nil {
t.Fatal(err)
}
if _, err := s.store.PrincipalForSession(domain, result.Token); err == nil {
t.Fatal("CLI session not revocable")
}
}
func (s *Server) mustCLIPrincipal(t *testing.T, domain, token string) string {
t.Helper()
p, err := s.store.PrincipalForSession(domain, token)
if err != nil {
t.Fatal(err)
}
return p.UUID
}
func TestCLITransportAndMethods(t *testing.T) {
for _, host := range []string{"localhost.attacker.test", "127.0.0.10", "wiki.example"} {
if cliSecureTransport(httptest.NewRequest("POST", "http://"+host+"/_/auth/cli/start", nil)) {
t.Fatal("insecure remote", host)
}
}
s, _, domain := configFixture(t)
if err := s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "oidc", Enabled: true, Issuer: "https://id.example", ClientID: "client"}); err != nil {
t.Fatal(err)
}
for _, path := range []string{"start", "token"} {
w := httptest.NewRecorder()
s.handleAuth(w, httptest.NewRequest("GET", "https://localhost/_/auth/cli/"+path, nil))
if w.Code != 405 {
t.Fatalf("GET %s %d", path, w.Code)
}
}
w := cliForm(s, "/_/auth/cli/start", url.Values{"code_challenge": {strings.Repeat("x", 43)}, "code_challenge_method": {"plain"}}, "", "")
if w.Code != 400 {
t.Fatal("plain challenge accepted")
}
}
+22 -2
View File
@@ -14,7 +14,7 @@ import (
"time"
)
type oidcChallenge struct{ Verifier, Nonce, Return, Issuer, ClientID, BrowserHash string }
type oidcChallenge struct{ Verifier, Nonce, Return, Issuer, ClientID, BrowserHash, CLIRequest string }
func logOIDCFailure(stage, domainUUID, issuer string, err error) {
host := "invalid"
@@ -56,6 +56,19 @@ func (s *Server) beginOIDC(w http.ResponseWriter, r *http.Request) {
}
ctx, cancel := context.WithTimeout(r.Context(), 8*time.Second)
defer cancel()
cliRequest := r.URL.Query().Get("cli")
returnPath := safeReturnPath(r.URL.Query().Get("return"))
if cliRequest != "" {
if !cliSecureTransport(r) || !cliProofPattern.MatchString(cliRequest) {
http.Error(w, "invalid CLI request", 400)
return
}
if err := s.store.BeginCLIAuth(ctx, domainUUID, cliOrigin(r), cliRequest); err != nil {
http.Error(w, "invalid CLI request", 400)
return
}
returnPath = cliVerifyPath(cliRequest)
}
metadata, err := fetchOIDCMetadata(ctx, config.Issuer)
if err != nil {
logOIDCFailure("discovery", domainUUID, config.Issuer, err)
@@ -64,7 +77,7 @@ func (s *Server) beginOIDC(w http.ResponseWriter, r *http.Request) {
}
verifier, nonce, browser := randomURLToken(32), randomURLToken(24), randomURLToken(32)
browserDigest := sha256.Sum256([]byte(browser))
state, err := s.store.CreateAuthChallenge(domainUUID, "", "oidc", oidcChallenge{Verifier: verifier, Nonce: nonce, Return: safeReturnPath(r.URL.Query().Get("return")), Issuer: config.Issuer, ClientID: config.ClientID, BrowserHash: base64.RawURLEncoding.EncodeToString(browserDigest[:])}, 5*time.Minute)
state, err := s.store.CreateAuthChallenge(domainUUID, "", "oidc", oidcChallenge{Verifier: verifier, Nonce: nonce, Return: returnPath, Issuer: config.Issuer, ClientID: config.ClientID, BrowserHash: base64.RawURLEncoding.EncodeToString(browserDigest[:]), CLIRequest: cliRequest}, 5*time.Minute)
if err != nil {
http.Error(w, err.Error(), 500)
return
@@ -197,6 +210,13 @@ func (s *Server) completeOIDC(w http.ResponseWriter, r *http.Request) {
http.Error(w, err.Error(), 500)
return
}
if challenge.CLIRequest != "" {
if err := s.store.BindCLIAuth(r.Context(), domainUUID, cliOrigin(r), challenge.CLIRequest, token); err != nil {
_ = s.store.RevokeAuthSession(token)
http.Error(w, "CLI request expired or already used; restart login", 400)
return
}
}
s.setAuthCookie(w, r, token)
http.Redirect(w, r, challenge.Return, http.StatusSeeOther)
}
+4
View File
@@ -101,6 +101,10 @@ func (s *Server) authTokenFromRequest(r *http.Request) string {
func (s *Server) handleAuth(w http.ResponseWriter, r *http.Request) {
action := strings.Trim(strings.TrimPrefix(r.URL.Path, "/_/auth"), "/")
domainUUID := s.domainUUIDForRequest(r)
if strings.HasPrefix(action, "cli/") {
s.handleCLIAuth(w, r, action)
return
}
switch action {
case "wallpaper":
s.handleAuthWallpaper(w, r)
+12 -5
View File
@@ -79,21 +79,25 @@ func readDAV(w http.ResponseWriter, r *http.Request) (davNode, error) {
func xmlText(s string) string { var b bytes.Buffer; xml.EscapeText(&b, []byte(s)); return b.String() }
type davResponse struct {
href string
props map[xml.Name]string
status int
href string
props map[xml.Name]string
status int
errorXML string
}
func davProperty(ns, key, value string) (xml.Name, string) {
return xml.Name{Space: ns, Local: key}, value
}
func writeDAV(w http.ResponseWriter, rows []davResponse, requested []davNode) {
func writeDAV(w http.ResponseWriter, rows []davResponse, requested []davNode, syncToken ...string) {
var b strings.Builder
b.WriteString(`<?xml version="1.0" encoding="UTF-8"?><d:multistatus xmlns:d="DAV:" xmlns:c="urn:ietf:params:xml:ns:caldav">`)
b.WriteString(`<?xml version="1.0" encoding="UTF-8"?><d:multistatus xmlns:d="DAV:" xmlns:c="urn:ietf:params:xml:ns:caldav" xmlns:a="urn:ietf:params:xml:ns:carddav">`)
for _, row := range rows {
b.WriteString("<d:response><d:href>" + xmlText(row.href) + "</d:href>")
if row.status != 0 {
fmt.Fprintf(&b, "<d:status>HTTP/1.1 %d %s</d:status>", row.status, http.StatusText(row.status))
if row.errorXML != "" {
b.WriteString("<d:error>" + row.errorXML + "</d:error>")
}
} else {
present, missing := strings.Builder{}, strings.Builder{}
props := requested
@@ -122,6 +126,9 @@ func writeDAV(w http.ResponseWriter, rows []davResponse, requested []davNode) {
}
b.WriteString("</d:response>")
}
if len(syncToken) == 1 {
b.WriteString("<d:sync-token>" + xmlText(syncToken[0]) + "</d:sync-token>")
}
b.WriteString("</d:multistatus>")
w.Header().Set("Content-Type", "application/xml; charset=utf-8")
w.WriteHeader(207)
+3
View File
@@ -60,6 +60,9 @@ func (s *Server) handleCalendarUpcoming(w http.ResponseWriter, r *http.Request,
start = day
}
end := start.AddDate(0, 0, 31)
if r.URL.Query().Get("period") == "day" {
end = start.AddDate(0, 0, 1)
}
for _, c := range cs {
if !selected[c.ID] {
continue
+11
View File
@@ -61,6 +61,17 @@ func TestCalendarUpcomingDefaultsAndBounds(t *testing.T) {
if !strings.Contains(w.Header().Get("Cache-Control"), "no-store") {
t.Fatal("private response cached")
}
w = calendarRequest(s, token, "GET", calendarAPI+"upcoming?period=day", "", "")
if w.Code != 200 || json.Unmarshal(w.Body.Bytes(), &result) != nil {
t.Fatal(w.Code, w.Body)
}
now := time.Now().In(s.getLocation(domain))
end := time.Date(now.Year(), now.Month(), now.Day()+1, 0, 0, 0, 0, s.getLocation(domain))
for _, event := range result.Events {
if !event.Start.Before(end) {
t.Fatal("tomorrow event in today's widget", event.Start)
}
}
if w = calendarRequest(s, "", "GET", calendarAPI+"upcoming", "", ""); w.Code != 403 {
t.Fatal("anonymous access", w.Code)
}
+23
View File
@@ -98,6 +98,10 @@ func (s *Server) handleConfig(
w http.ResponseWriter,
r *http.Request,
) {
if personalOrganizerSettings(r) {
s.handleOrganizerSettings(w, r)
return
}
domainUUID := s.domainUUIDForRequest(r)
principal := s.requestPrincipal(r)
currentDomain := s.domainForRequest(r)
@@ -286,6 +290,11 @@ func (s *Server) handleConfig(
}
case "home":
palette, paletteErr := s.parseHomePalette(domainUUID, r.Form)
if paletteErr != nil {
http.Error(w, paletteErr.Error(), http.StatusBadRequest)
return
}
if controlled, e := s.store.DomainEntryControlled(domainUUID); e != nil || controlled {
http.Error(w, translate(s.getLocale(domainUUID), "periodical.controlled"), http.StatusConflict)
return
@@ -340,6 +349,10 @@ func (s *Server) handleConfig(
http.Error(w, err.Error(), http.StatusInternalServerError)
return
}
if err = s.saveHomePalette(domainUUID, palette); err != nil {
http.Error(w, err.Error(), http.StatusInternalServerError)
return
}
if err = s.store.SetConfigInDomain(domainUUID, "home_wallpaper_opacity", strconv.Itoa(wallpaperOpacity)); err != nil {
http.Error(w, err.Error(), http.StatusInternalServerError)
return
@@ -459,6 +472,11 @@ func (s *Server) handleConfig(
}
case "home-appearance":
palette, paletteErr := s.parseHomePalette(domainUUID, r.Form)
if paletteErr != nil {
http.Error(w, paletteErr.Error(), http.StatusBadRequest)
return
}
if controlled, e := s.store.DomainEntryControlled(domainUUID); e != nil || controlled {
http.Error(w, translate(s.getLocale(domainUUID), "periodical.controlled"), http.StatusConflict)
return
@@ -468,6 +486,10 @@ func (s *Server) handleConfig(
http.Error(w, parseErr.Error(), http.StatusBadRequest)
return
}
if err = s.saveHomePalette(domainUUID, palette); err != nil {
http.Error(w, err.Error(), http.StatusInternalServerError)
return
}
if err = s.store.SetConfigInDomain(domainUUID, "home_glass_transparency", strconv.Itoa(glassTransparency)); err != nil {
http.Error(w, err.Error(), http.StatusInternalServerError)
return
@@ -1060,6 +1082,7 @@ func (s *Server) handleConfig(
"HomeWallpaperPath": homeWallpaperPath,
"HomeWallpaperOpacity": homeWallpaperOpacity,
"HomeGlassTransparency": s.homeGlassTransparency(domainUUID),
"HomePalette": s.homePalette(domainUUID),
"HomeLayout": s.homeLayout(s.domainUUIDForRequest(r)),
"HomeBookmarks": s.homeBookmarksText(s.domainUUIDForRequest(r)),
"VirtualFolderPages": s.getVirtualFolderPages(s.domainUUIDForRequest(r)),
+1
View File
@@ -22,5 +22,6 @@ func configPanelGroups(locale string, plugins []adapterPlugin) []configPanelGrou
groups[4].Panels = append(groups[4].Panels, configPanelLink{"adapter-" + plugin.ID, plugin.Name})
}
groups = append(groups, configPanelGroup{"extensions", translate(locale, "extension.title"), []configPanelLink{link("extensions", "extension.catalog"), link("diary", "periodical.diary"), link("blog", "periodical.blog")}})
groups = append(groups, configPanelGroup{"organizer", translate(locale, "organizer.title"), []configPanelLink{link("organizer", "organizer.settings")}})
return groups
}
+586
View File
@@ -0,0 +1,586 @@
package server
import (
"context"
"database/sql"
"encoding/xml"
"errors"
"io"
"mime"
"net/http"
"net/url"
"strconv"
"strings"
"time"
"unicode"
"golang.org/x/text/unicode/norm"
"pageswiki/internal/store"
)
const contactDAV = "/_/api/v1/carddav/"
const cardNS = "urn:ietf:params:xml:ns:carddav"
func contactDAVRoute(p string) bool {
return p == strings.TrimSuffix(contactDAV, "/") || strings.HasPrefix(p, contactDAV) || p == "/.well-known/carddav"
}
func contactDAVError(w http.ResponseWriter, status int, ns, condition string) {
w.Header().Set("Content-Type", "application/xml; charset=utf-8")
w.WriteHeader(status)
io.WriteString(w, `<?xml version="1.0"?><d:error xmlns:d="DAV:"><p:`+condition+` xmlns:p="`+xmlText(ns)+`"/></d:error>`)
}
func contactDAVStoreError(w http.ResponseWriter, err error) {
switch {
case errors.Is(err, sql.ErrNoRows):
w.WriteHeader(404)
case errors.Is(err, store.ErrTaskConflict):
w.WriteHeader(412)
case errors.Is(err, store.ErrContactUIDConflict):
contactDAVError(w, 403, cardNS, "no-uid-conflict")
case errors.Is(err, store.ErrContactSyncToken):
contactDAVError(w, 403, davNS, "valid-sync-token")
case errors.Is(err, store.ErrAccessDenied):
w.WriteHeader(403)
case errors.Is(err, store.ErrTaskInvalid):
contactDAVError(w, 403, cardNS, "valid-address-data")
default:
http.Error(w, "address book operation failed", 500)
}
}
func contactDAVRow(base string, item store.ContactDAVItem) davResponse {
row := davResponse{href: base + item.Name}
if item.Deleted {
row.status = 404
return row
}
size := len(item.VCard)
if item.Size > 0 {
size = item.Size
}
row.props = map[xml.Name]string{
{Space: davNS, Local: "getetag"}: xmlText(store.ContactETag(item.Contact)),
{Space: davNS, Local: "resourcetype"}: "",
{Space: davNS, Local: "getcontenttype"}: "text/vcard; charset=utf-8",
{Space: davNS, Local: "getcontentlength"}: strconv.Itoa(size),
{Space: cardNS, Local: "address-data"}: xmlText(item.VCard),
}
return row
}
func contactBookRow(base, token string, writable bool) davResponse {
return davResponse{href: base, props: map[xml.Name]string{
{Space: davNS, Local: "displayname"}: "PagesWiki Contacts",
{Space: davNS, Local: "resourcetype"}: "<d:collection/><a:addressbook/>",
{Space: davNS, Local: "current-user-privilege-set"}: davPrivileges(writable),
{Space: davNS, Local: "sync-token"}: xmlText(token),
{Space: "http://calendarserver.org/ns/", Local: "getctag"}: xmlText(token),
{Space: cardNS, Local: "addressbook-description"}: "Private contacts",
{Space: cardNS, Local: "max-resource-size"}: "65536",
{Space: cardNS, Local: "supported-address-data"}: `<a:address-data-type content-type="text/vcard" version="3.0"/><a:address-data-type content-type="text/vcard" version="4.0"/>`,
{Space: cardNS, Local: "supported-collation-set"}: `<a:supported-collation>i;unicode-casemap</a:supported-collation><a:supported-collation>i;octet</a:supported-collation>`,
{Space: davNS, Local: "supported-report-set"}: `<d:supported-report><d:report><a:addressbook-query/></d:report></d:supported-report><d:supported-report><d:report><a:addressbook-multiget/></d:report></d:supported-report><d:supported-report><d:report><d:sync-collection/></d:report></d:supported-report>`,
}}
}
func (s *Server) handleContactDAV(w http.ResponseWriter, r *http.Request) {
ctx, cancel := context.WithTimeout(r.Context(), 20*time.Second)
defer cancel()
r = r.WithContext(ctx)
w.Header().Set("Cache-Control", "private, no-store")
domain := s.domainUUIDForRequest(r)
if !s.systemExtensionEnabled(domain, "organizer.contacts") {
http.NotFound(w, r)
return
}
if r.URL.Path == "/.well-known/carddav" {
w.Header().Set("Location", contactDAV)
w.WriteHeader(307)
return
}
actor, writable, _, credential, ok := s.davActor(w, r, "contacts", false)
if !ok {
return
}
// davActor authenticates the principal; storage rechecks active membership,
// ownership and the extension switch even on reads.
snapshot, err := s.store.ContactDAVSnapshot(ctx, domain, actor, "", 0)
if err != nil {
contactDAVStoreError(w, err)
return
}
principal := contactDAV + actor + "/"
book := principal + "contacts/"
p := r.URL.Path
root := p == contactDAV || p == strings.TrimSuffix(contactDAV, "/")
home := p == principal || p == strings.TrimSuffix(principal, "/")
collection := p == book || p == strings.TrimSuffix(book, "/")
name := ""
if !root && !home && !collection {
if !strings.HasPrefix(p, book) {
http.NotFound(w, r)
return
}
name = strings.TrimPrefix(p, book)
if !store.ValidContactDAVName(name) {
http.NotFound(w, r)
return
}
}
w.Header().Set("DAV", "1, addressbook-access")
w.Header().Set("X-PagesWiki-CardDAV-Profile", "private-addressbook")
allow := "OPTIONS, PROPFIND"
if collection {
allow += ", REPORT"
}
if name != "" {
allow += ", GET, HEAD"
if writable {
allow += ", PUT, DELETE"
}
}
w.Header().Set("Allow", allow)
if r.Method == "OPTIONS" {
w.WriteHeader(204)
return
}
if r.Method == "PROPFIND" {
depth := r.Header.Get("Depth")
if depth != "0" && depth != "1" {
contactDAVError(w, 403, davNS, "propfind-finite-depth")
return
}
n, e := readDAV(w, r)
if e != nil || n.XMLName.Local != "" && n.XMLName != (xml.Name{Space: davNS, Local: "propfind"}) {
w.WriteHeader(400)
return
}
var requested []davNode
if prop := n.child(davNS, "prop"); prop != nil {
requested = prop.Children
}
if name != "" {
c, e := s.store.ContactDAVResource(ctx, domain, actor, name)
if e != nil {
contactDAVStoreError(w, e)
return
}
if c.Deleted {
w.WriteHeader(404)
return
}
row := contactDAVRow(book, store.ContactDAVItem{Contact: c, Name: name})
delete(row.props, xml.Name{Space: cardNS, Local: "address-data"})
writeDAV(w, []davResponse{row}, requested)
return
}
var rows []davResponse
if collection {
rows = append(rows, contactBookRow(book, snapshot.Token, writable))
if depth == "1" {
data, e := s.store.ContactDAVInventory(ctx, domain, actor)
if e != nil {
contactDAVStoreError(w, e)
return
}
if data.More {
contactDAVError(w, 507, davNS, "number-of-matches-within-limits")
return
}
for _, c := range data.Items {
row := contactDAVRow(book, c)
delete(row.props, xml.Name{Space: cardNS, Local: "address-data"})
rows = append(rows, row)
}
rows[0] = contactBookRow(book, data.Token, writable)
}
} else {
href := principal
if root {
href = contactDAV
}
rows = append(rows, davResponse{href: href, props: map[xml.Name]string{
{Space: davNS, Local: "resourcetype"}: "<d:collection/><d:principal/>",
{Space: davNS, Local: "displayname"}: "PagesWiki Contacts",
{Space: davNS, Local: "current-user-principal"}: "<d:href>" + principal + "</d:href>",
{Space: davNS, Local: "principal-URL"}: "<d:href>" + principal + "</d:href>",
{Space: cardNS, Local: "addressbook-home-set"}: "<d:href>" + principal + "</d:href>",
{Space: davNS, Local: "current-user-privilege-set"}: davPrivileges(false),
}})
if depth == "1" {
rows = append(rows, contactBookRow(book, snapshot.Token, writable))
}
}
writeDAV(w, rows, requested)
return
}
if r.Method == "REPORT" && collection {
s.contactDAVReport(w, r, domain, actor, book)
return
}
if name == "" {
w.WriteHeader(405)
return
}
c, err := s.store.ContactDAVResource(ctx, domain, actor, name)
if err != nil && !errors.Is(err, sql.ErrNoRows) {
contactDAVStoreError(w, err)
return
}
exists := err == nil && !c.Deleted
if r.Method == "GET" || r.Method == "HEAD" {
if !exists {
w.WriteHeader(404)
return
}
tag := store.ContactETag(c)
w.Header().Set("ETag", tag)
if contactETagMatch(r.Header.Get("If-None-Match"), tag, true) {
w.WriteHeader(304)
return
}
w.Header().Set("Content-Type", "text/vcard; charset=utf-8")
w.Header().Set("Content-Length", strconv.Itoa(len(c.VCard)))
if r.Method == "GET" {
io.WriteString(w, c.VCard)
}
return
}
if r.Method != "PUT" && r.Method != "DELETE" {
w.WriteHeader(405)
return
}
if !writable {
w.WriteHeader(403)
return
}
if r.Method == "DELETE" && !exists {
w.WriteHeader(404)
return
}
match, none := r.Header.Get("If-Match"), r.Header.Get("If-None-Match")
if match != "" && none != "" {
w.WriteHeader(400)
return
}
if match != "" && (!exists || !contactETagMatch(match, store.ContactETag(c), false)) || none != "" && exists && contactETagMatch(none, store.ContactETag(c), true) {
w.WriteHeader(412)
return
}
if exists && match == "" {
w.WriteHeader(428)
return
}
if !exists && match == "" && none != "*" {
w.WriteHeader(428)
return
}
raw := ""
if r.Method == "PUT" {
media, params, e := mime.ParseMediaType(r.Header.Get("Content-Type"))
if e != nil || media != "text/vcard" && media != "text/x-vcard" || params["charset"] != "" && !strings.EqualFold(params["charset"], "utf-8") {
contactDAVError(w, 415, cardNS, "supported-address-data")
return
}
data, e := io.ReadAll(http.MaxBytesReader(w, r.Body, 65536))
if e != nil {
w.WriteHeader(413)
return
}
raw = string(data)
if values := store.ContactPropertyValues(store.Contact{VCard: raw}, "UID"); len(values) != 1 || values[0] == "" {
contactDAVError(w, 403, cardNS, "valid-address-data")
return
}
if v := params["version"]; v != "" {
values := store.ContactPropertyValues(store.Contact{VCard: raw}, "VERSION")
if len(values) != 1 || values[0] != v {
contactDAVError(w, 415, cardNS, "supported-address-data")
return
}
}
}
saved, e := s.store.SaveContactDAV(ctx, domain, actor, credential, name, raw, c.Version, r.Method == "DELETE")
if e != nil {
contactDAVStoreError(w, e)
return
}
if r.Method == "DELETE" {
w.WriteHeader(204)
return
}
// RFC 6352: a transformed PUT representation must be fetched again by client.
if saved.VCard == raw {
w.Header().Set("ETag", store.ContactETag(saved))
}
if exists {
w.WriteHeader(204)
} else {
w.Header().Set("Location", book+name)
w.WriteHeader(201)
}
}
func contactETagMatch(value, tag string, weak bool) bool {
for _, v := range strings.Split(value, ",") {
v = strings.TrimSpace(v)
if weak {
v = strings.TrimPrefix(v, "W/")
}
if v == "*" || v == tag {
return true
}
}
return false
}
func (s *Server) contactDAVReport(w http.ResponseWriter, r *http.Request, domain, actor, book string) {
if depth := r.Header.Get("Depth"); depth != "" && depth != "0" && depth != "1" {
w.WriteHeader(400)
return
}
n, err := readDAV(w, r)
if err != nil {
w.WriteHeader(400)
return
}
prop := n.child(davNS, "prop")
if prop == nil || len(prop.Children) == 0 {
w.WriteHeader(400)
return
}
for _, p := range prop.Children {
if p.XMLName == (xml.Name{Space: cardNS, Local: "address-data"}) && (len(p.Children) > 0 || p.attr("content-type") != "" && p.attr("content-type") != "text/vcard" || p.attr("version") != "" && p.attr("version") != "3.0" && p.attr("version") != "4.0") {
contactDAVError(w, 403, cardNS, "supported-address-data")
return
}
}
requested := prop.Children
rows := []davResponse{}
if n.XMLName == (xml.Name{Space: davNS, Local: "sync-collection"}) {
level := n.child(davNS, "sync-level")
token := n.child(davNS, "sync-token")
if level == nil || level.Text != "1" || token == nil {
w.WriteHeader(400)
return
}
limit := 200
if l := n.child(davNS, "limit"); l != nil {
num := l.child(davNS, "nresults")
if num == nil {
w.WriteHeader(400)
return
}
v, e := strconv.Atoi(num.Text)
if e != nil || v < 1 {
w.WriteHeader(400)
return
}
if v < limit {
limit = v
}
}
data, e := s.store.ContactDAVSnapshot(r.Context(), domain, actor, token.Text, limit)
if e != nil {
contactDAVStoreError(w, e)
return
}
for _, c := range data.Items {
rows = append(rows, contactDAVRow(book, c))
}
if data.More {
rows = append(rows, davResponse{href: book, status: 507, errorXML: "<d:number-of-matches-within-limits/>"})
}
writeContactDAV(w, rows, requested, data.Token)
return
}
if n.XMLName == (xml.Name{Space: cardNS, Local: "addressbook-multiget"}) {
count := 0
for _, h := range n.Children {
if h.XMLName != (xml.Name{Space: davNS, Local: "href"}) {
continue
}
count++
if count > 100 {
contactDAVError(w, 507, davNS, "number-of-matches-within-limits")
return
}
u, e := url.Parse(h.Text)
if e != nil || u.User != nil || u.RawQuery != "" || u.Fragment != "" || u.Host != "" && (!strings.EqualFold(u.Host, r.Host) || u.Scheme != "https" && u.Scheme != "http") || !strings.HasPrefix(u.Path, book) || !store.ValidContactDAVName(strings.TrimPrefix(u.Path, book)) {
w.WriteHeader(400)
return
}
name := strings.TrimPrefix(u.Path, book)
c, e := s.store.ContactDAVResource(r.Context(), domain, actor, name)
if errors.Is(e, sql.ErrNoRows) {
rows = append(rows, davResponse{href: book + name, status: 404})
continue
}
if e != nil {
contactDAVStoreError(w, e)
return
}
rows = append(rows, contactDAVRow(book, store.ContactDAVItem{Contact: c, Name: name}))
}
if count == 0 {
w.WriteHeader(400)
return
}
writeContactDAV(w, rows, requested)
return
}
if n.XMLName != (xml.Name{Space: cardNS, Local: "addressbook-query"}) {
contactDAVError(w, 403, davNS, "supported-report")
return
}
filter := n.child(cardNS, "filter")
if filter != nil && !validContactFilter(*filter) {
contactDAVError(w, 403, cardNS, "supported-filter")
return
}
// A bounded full scan is explicit; never return a truncated 207 as a complete
// address book, which would make clients infer deletions. Sync is paginated.
data, e := s.store.ContactDAVSnapshot(r.Context(), domain, actor, "", 200)
if e != nil {
contactDAVStoreError(w, e)
return
}
if data.More {
contactDAVError(w, 507, davNS, "number-of-matches-within-limits")
return
}
limit := 200
if l := n.child(cardNS, "limit"); l != nil {
num := l.child(cardNS, "nresults")
if num == nil {
w.WriteHeader(400)
return
}
v, e := strconv.Atoi(num.Text)
if e != nil || v < 1 {
w.WriteHeader(400)
return
}
if v < limit {
limit = v
}
}
for _, c := range data.Items {
if filter == nil || matchContactFilter(c.Contact, *filter) {
rows = append(rows, contactDAVRow(book, c))
}
}
if len(rows) > limit {
contactDAVError(w, 507, davNS, "number-of-matches-within-limits")
return
}
writeContactDAV(w, rows, requested)
}
func writeContactDAV(w http.ResponseWriter, rows []davResponse, requested []davNode, token ...string) {
for _, p := range requested {
if p.XMLName == (xml.Name{Space: cardNS, Local: "address-data"}) && p.attr("version") != "" {
for _, row := range rows {
if v, ok := row.props[xml.Name{Space: cardNS, Local: "address-data"}]; ok && !strings.HasPrefix(v, xmlText("BEGIN:VCARD\r\nVERSION:"+p.attr("version")+"\r\n")) {
contactDAVError(w, 403, cardNS, "supported-address-data")
return
}
}
}
}
writeDAV(w, rows, requested, token...)
}
func validContactFilter(n davNode) bool {
if n.attr("test") != "" && n.attr("test") != "anyof" && n.attr("test") != "allof" {
return false
}
for _, p := range n.Children {
if p.XMLName != (xml.Name{Space: cardNS, Local: "prop-filter"}) || p.attr("name") == "" || p.attr("test") != "" && p.attr("test") != "anyof" && p.attr("test") != "allof" {
return false
}
for _, c := range p.attr("name") {
if !(c >= 'a' && c <= 'z' || c >= 'A' && c <= 'Z' || c >= '0' && c <= '9' || c == '-') {
return false
}
}
for _, m := range p.Children {
switch m.XMLName {
case xml.Name{Space: cardNS, Local: "is-not-defined"}:
if len(p.Children) != 1 {
return false
}
case xml.Name{Space: cardNS, Local: "text-match"}:
if m.attr("collation") != "" && m.attr("collation") != "i;unicode-casemap" && m.attr("collation") != "i;octet" {
return false
}
if m.attr("match-type") != "" && m.attr("match-type") != "contains" && m.attr("match-type") != "equals" && m.attr("match-type") != "starts-with" && m.attr("match-type") != "ends-with" {
return false
}
if m.attr("negate-condition") != "" && m.attr("negate-condition") != "yes" && m.attr("negate-condition") != "no" {
return false
}
default:
return false
}
if len(m.Children) > 0 {
return false
}
}
}
return true
}
func matchContactFilter(c store.Contact, n davNode) bool {
if len(n.Children) == 0 {
return true
}
all := n.attr("test") == "allof"
result := all
for _, p := range n.Children {
values := store.ContactPropertyValues(c, p.attr("name"))
match := len(values) > 0
if len(p.Children) > 0 {
and := p.attr("test") == "allof"
match = and
for _, m := range p.Children {
hit := false
if m.XMLName.Local == "is-not-defined" {
hit = len(values) == 0
} else {
for _, v := range values {
query := m.Text
if m.attr("collation") != "i;octet" {
v = norm.NFKD.String(strings.Map(unicode.ToTitle, v))
query = norm.NFKD.String(strings.Map(unicode.ToTitle, query))
}
switch m.attr("match-type") {
case "equals":
hit = v == query
case "starts-with":
hit = strings.HasPrefix(v, query)
case "ends-with":
hit = strings.HasSuffix(v, query)
default:
hit = strings.Contains(v, query)
}
if hit {
break
}
}
if m.attr("negate-condition") == "yes" {
hit = !hit && len(values) > 0
}
}
if and {
match = match && hit
} else {
match = match || hit
}
}
}
if all {
result = result && match
} else {
result = result || match
}
}
return result
}
+128
View File
@@ -0,0 +1,128 @@
package server
import (
"context"
"fmt"
"net/http/httptest"
"os"
"os/exec"
"path/filepath"
"strings"
"testing"
"time"
"github.com/google/uuid"
"pageswiki/internal/store"
)
// Real client interoperability uses only disposable, synthetic contacts.
func TestContactDAVVdirsyncer(t *testing.T) {
bin := os.Getenv("PAGESWIKI_VDIRSYNCER")
if bin == "" {
t.Skip("opt-in vdirsyncer executable")
}
s, _, domain, actor := taskFixture(t)
ctx, cancel := context.WithTimeout(context.Background(), 60*time.Second)
defer cancel()
credential, password, err := s.store.CreateDAVCredential(ctx, domain, actor, "Fixture", true, 1, "contacts")
if err != nil {
t.Fatal(err)
}
native, err := s.store.SaveContact(ctx, domain, actor, store.Contact{UUID: uuid.NewString(), VCard: testCard}, true)
if err != nil {
t.Fatal(err)
}
server := httptest.NewServer(s.handler())
defer server.Close()
dir := t.TempDir()
local := filepath.Join(dir, "cards")
if err = os.MkdirAll(filepath.Join(local, "contacts"), 0700); err != nil {
t.Fatal(err)
}
config := fmt.Sprintf(`[general]
status_path = %q
[pair contacts]
a = "local"
b = "remote"
collections = ["contacts"]
[storage local]
type = "filesystem"
path = %q
fileext = ".vcf"
[storage remote]
type = "carddav"
url = %q
username = %q
password = %q
`, filepath.Join(dir, "status"), local, strings.Replace(server.URL, "127.0.0.1", "localhost", 1)+contactDAV, credential.ID, password)
configPath := filepath.Join(dir, "vdirsyncer.conf")
if err = os.WriteFile(configPath, []byte(config), 0600); err != nil {
t.Fatal(err)
}
run := func(action string, extra ...string) {
t.Helper()
cmd := exec.CommandContext(ctx, bin, append([]string{"-c", configPath, action}, extra...)...)
cmd.Stdin = strings.NewReader("y\ny\ny\n")
out, e := cmd.CombinedOutput()
if e != nil {
t.Fatalf("%s: %v\n%s", action, e, strings.ReplaceAll(string(out), password, "[REDACTED]"))
}
}
run("discover")
run("sync")
files, err := filepath.Glob(filepath.Join(local, "contacts", "*.vcf"))
if err != nil || len(files) != 1 {
t.Fatal(files, err)
}
raw, err := os.ReadFile(files[0])
if err != nil || !strings.Contains(string(raw), "FN:田中") {
t.Fatal("download", err)
}
if err = os.WriteFile(files[0], []byte(strings.Replace(string(raw), "FN:田中", "FN:Client edited", 1)), 0600); err != nil {
t.Fatal(err)
}
run("sync")
got, err := s.store.Contact(ctx, domain, actor, native.UUID)
if err != nil || got.Name != "Client edited" || !strings.Contains(got.VCard, "X-PRIVATE:keep") {
t.Fatal("client edit", got.Name, err)
}
got.Name = "Web edited"
got, err = s.store.SaveContact(ctx, domain, actor, got, false)
if err != nil {
t.Fatal(err)
}
run("sync")
raw, err = os.ReadFile(files[0])
if err != nil || !strings.Contains(string(raw), "FN:Web edited") {
t.Fatal("web edit", err)
}
newPath := filepath.Join(local, "contacts", "client-new.vcf")
newCard := strings.ReplaceAll(testCard, "urn:test:dav-contact", "urn:test:client-new")
if err = os.WriteFile(newPath, []byte(newCard), 0600); err != nil {
t.Fatal(err)
}
run("sync")
items, _, err := s.store.Contacts(ctx, domain, actor, "", "")
if err != nil || len(items) != 2 {
t.Fatal("client create", len(items), err)
}
if err = os.Remove(newPath); err != nil {
t.Fatal(err)
}
run("sync")
items, _, err = s.store.Contacts(ctx, domain, actor, "", "")
if err != nil || len(items) != 1 {
t.Fatal("client delete", len(items), err)
}
got.Deleted = true
if _, err = s.store.SaveContact(ctx, domain, actor, got, false); err != nil {
t.Fatal(err)
}
// Emptying a whole book requires vdirsyncer's explicit safety override.
run("sync", "--force-delete", "contacts/contacts")
files, err = filepath.Glob(filepath.Join(local, "contacts", "*.vcf"))
if err != nil || len(files) != 0 {
t.Fatal("web delete", files, err)
}
}
+358
View File
@@ -0,0 +1,358 @@
package server
import (
"context"
"encoding/base64"
"encoding/json"
"encoding/xml"
"fmt"
"net/http/httptest"
"strings"
"testing"
"github.com/google/uuid"
"pageswiki/internal/store"
)
const testCard = "BEGIN:VCARD\r\nVERSION:4.0\r\nUID:urn:test:dav-contact\r\nFN:田中\r\nEMAIL;TYPE=work:tanaka@example.invalid\r\nX-PRIVATE:keep\r\nEND:VCARD\r\n"
func TestContactDAVConcurrentWritesAndStandaloneExtension(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
for _, id := range []string{"organizer.tasks", "organizer.calendar"} {
if e := s.setSystemExtensionEnabled(domain, id, false); e != nil {
t.Fatal(e)
}
}
cred, pass, err := s.store.CreateDAVCredential(ctx, domain, actor, "phone", true, 1, "contacts")
if err != nil {
t.Fatal(err)
}
auth := "Basic " + base64.StdEncoding.EncodeToString([]byte(cred.ID+":"+pass))
path := contactDAV + actor + "/contacts/one.vcf"
if w := cardRequest(s, auth, "PUT", path, testCard, map[string]string{"If-None-Match": "*"}); w.Code != 201 {
t.Fatal(w.Code, w.Body)
}
if w := cardRequest(s, "Bearer "+token, "GET", "/_/api/v1/caldav-credentials", "", nil); w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
start := make(chan struct{})
results := make(chan int, 2)
for _, name := range []string{"First", "Second"} {
go func(name string) {
<-start
w := cardRequest(s, auth, "PUT", path, strings.Replace(testCard, "FN:田中", "FN:"+name, 1), map[string]string{"If-Match": `"1"`})
results <- w.Code
}(name)
}
close(start)
a, b := <-results, <-results
if !(a == 204 && b == 412 || a == 412 && b == 204) {
t.Fatal("concurrent overwrite", a, b)
}
// Removing the contacts marker must never reinterpret this secret as tasks.
if _, err = s.store.DB.Exec(`DELETE FROM organizer_contact_credentials WHERE credential_id=?`, cred.ID); err != nil {
t.Fatal(err)
}
if _, _, _, err = s.store.AuthenticateDAV(ctx, domain, cred.ID, pass, ""); err != store.ErrAccessDenied {
t.Fatal("scope downgrade", err)
}
}
func TestContactDAVInventoryAndLimits(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
for i := 0; i < 201; i++ {
_, e := s.store.SaveContact(ctx, domain, actor, store.Contact{UUID: uuid.NewString(), Name: fmt.Sprintf("Person %03d", i)}, false)
if e != nil {
t.Fatal(e)
}
}
data, err := s.store.ContactDAVInventory(ctx, domain, actor)
if err != nil || data.More || len(data.Items) != 201 {
t.Fatal(len(data.Items), err)
}
for _, c := range data.Items {
if c.VCard != "" || c.Size < 1 || c.Version != 1 {
t.Fatal("inventory must contain metadata only", c)
}
}
book := contactDAV + actor + "/contacts/"
auth := "Bearer " + token
w := cardRequest(s, auth, "PROPFIND", book, "", nil)
if w.Code != 207 || strings.Count(w.Body.String(), "<d:response>") != 202 || strings.Contains(w.Body.String(), "BEGIN:VCARD") {
t.Fatal(w.Code, w.Body)
}
w = cardRequest(s, auth, "REPORT", book, cardSync("", ""), nil)
if w.Code != 207 || !strings.Contains(w.Body.String(), "507") {
t.Fatal(w.Code, w.Body)
}
next := cardRequest(s, auth, "REPORT", book, cardSync(responseSync(t, w), ""), nil)
if next.Code != 207 || strings.Count(next.Body.String(), "<d:response>") != 1 {
t.Fatal(next.Code, next.Body)
}
query := `<a:addressbook-query xmlns:a="urn:ietf:params:xml:ns:carddav" xmlns:d="DAV:"><d:prop><d:getetag/></d:prop></a:addressbook-query>`
w = cardRequest(s, auth, "REPORT", book, query, nil)
if w.Code != 507 {
t.Fatal("must not silently truncate a full query", w.Code)
}
for _, tc := range []struct {
raw, media string
want int
}{
{strings.Replace(testCard, "UID:urn:test:dav-contact\r\n", "", 1), "text/vcard", 403},
{testCard, "text/vcard; version=3.0", 415},
{testCard, "text/vcard; charset=shift_jis", 415},
} {
w = cardRequest(s, auth, "PUT", book+"invalid.vcf", tc.raw, map[string]string{"If-None-Match": "*", "Content-Type": tc.media})
if w.Code != tc.want {
t.Fatal(w.Code, w.Body)
}
}
}
func TestContactDAVUnicodeAndUnknownProperties(t *testing.T) {
card := store.Contact{VCard: strings.Replace(testCard, "X-PRIVATE:keep", "X-PRIVATE:CAFÉ", 1)}
for _, tc := range []struct {
collation, query string
want bool
}{
{"i;unicode-casemap", "cafe\u0301", true},
{"i;unicode-casemap", "CAFÉ", true},
{"i;octet", "café", false},
{"i;octet", "CAFÉ", true},
} {
var filter davNode
raw := `<a:filter xmlns:a="urn:ietf:params:xml:ns:carddav"><a:prop-filter name="X-PRIVATE"><a:text-match collation="` + tc.collation + `" match-type="equals">` + tc.query + `</a:text-match></a:prop-filter></a:filter>`
if e := xml.Unmarshal([]byte(raw), &filter); e != nil {
t.Fatal(e)
}
if !validContactFilter(filter) || matchContactFilter(card, filter) != tc.want {
t.Fatal(tc)
}
}
}
func cardRequest(s *Server, auth, method, path, body string, headers map[string]string) *httptest.ResponseRecorder {
if headers == nil {
headers = map[string]string{}
}
if _, ok := headers["Content-Type"]; !ok {
headers["Content-Type"] = "text/vcard"
}
return davTaskRequest(s, auth, method, path, body, headers)
}
func cardSync(token string, limit string) string {
return `<d:sync-collection xmlns:d="DAV:"><d:sync-token>` + xmlText(token) + `</d:sync-token><d:sync-level>1</d:sync-level><d:prop><d:getetag/></d:prop>` + limit + `</d:sync-collection>`
}
func responseSync(t *testing.T, w *httptest.ResponseRecorder) string {
t.Helper()
var value struct {
Token string `xml:"sync-token"`
}
if e := xml.Unmarshal(w.Body.Bytes(), &value); e != nil || value.Token == "" {
t.Fatal(e, w.Body)
}
return value.Token
}
func TestContactDAVRoundTripAndScopes(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
book := contactDAV + actor + "/contacts/"
cred, password, err := s.store.CreateDAVCredential(ctx, domain, actor, "phone", true, 90, "contacts")
if err != nil {
t.Fatal(err)
}
auth := "Basic " + base64.StdEncoding.EncodeToString([]byte(cred.ID+":"+password))
request := func(method, path, body string, h map[string]string, want int) *httptest.ResponseRecorder {
t.Helper()
w := cardRequest(s, auth, method, path, body, h)
if w.Code != want {
t.Fatalf("%s %s: %d want %d %s", method, path, w.Code, want, w.Body)
}
return w
}
options := request("OPTIONS", contactDAV, "", nil, 204)
if options.Header().Get("DAV") != "1, addressbook-access" {
t.Fatal(options.Header())
}
home := request("PROPFIND", contactDAV, `<d:propfind xmlns:d="DAV:" xmlns:a="urn:ietf:params:xml:ns:carddav"><d:prop><d:current-user-principal/><a:addressbook-home-set/></d:prop></d:propfind>`, nil, 207)
if !strings.Contains(home.Body.String(), contactDAV+actor+"/") {
t.Fatal(home.Body)
}
discovery := request("PROPFIND", contactDAV+actor+"/", "", nil, 207)
if !strings.Contains(discovery.Body.String(), book) {
t.Fatal(discovery.Body)
}
empty := request("REPORT", book, cardSync("", ""), nil, 207)
emptyToken := responseSync(t, empty)
path := book + "client-contact.vcf"
request("PUT", path, testCard, map[string]string{"If-None-Match": "*"}, 201)
get := request("GET", path, "", nil, 200)
tag := get.Header().Get("ETag")
request("GET", path, "", map[string]string{"If-None-Match": tag}, 304)
request("PUT", path, testCard, map[string]string{"If-None-Match": "*"}, 412)
request("PUT", path, testCard, nil, 428)
request("PUT", path, testCard, map[string]string{"If-Match": `"999"`}, 412)
request("PUT", book+"duplicate.vcf", testCard, map[string]string{"If-None-Match": "*"}, 403)
c, err := s.store.ContactDAVResource(ctx, domain, actor, "client-contact.vcf")
if err != nil {
t.Fatal(err)
}
c.Name = "Webで変更"
c, err = s.store.SaveContact(ctx, domain, actor, c, false)
if err != nil {
t.Fatal(err)
}
delta := request("REPORT", book, cardSync(emptyToken, ""), nil, 207)
if !strings.Contains(delta.Body.String(), path) || strings.Contains(delta.Body.String(), "Webで変更") {
t.Fatal(delta.Body)
}
synced := responseSync(t, delta)
multi := `<a:addressbook-multiget xmlns:a="urn:ietf:params:xml:ns:carddav" xmlns:d="DAV:"><d:prop><d:getetag/><a:address-data/></d:prop><d:href>` + path + `</d:href><d:href>` + book + `missing.vcf</d:href></a:addressbook-multiget>`
got := request("REPORT", book, multi, nil, 207)
if !strings.Contains(got.Body.String(), "Webで変更") || !strings.Contains(got.Body.String(), "X-PRIVATE:keep") || !strings.Contains(got.Body.String(), "404 Not Found") {
t.Fatal(got.Body)
}
request("DELETE", path, "", map[string]string{"If-Match": store.ContactETag(c)}, 204)
request("GET", path, "", nil, 404)
delta = request("REPORT", book, cardSync(synced, ""), nil, 207)
if !strings.Contains(delta.Body.String(), path) || !strings.Contains(delta.Body.String(), "404 Not Found") {
t.Fatal(delta.Body)
}
request("REPORT", book, cardSync("urn:foreign:123", ""), nil, 403)
request("PUT", path, testCard, map[string]string{"If-None-Match": "*"}, 201)
c, err = s.store.ContactDAVResource(ctx, domain, actor, "client-contact.vcf")
if err != nil || c.Deleted {
t.Fatal(c, err)
}
if w := cardRequest(s, auth, "GET", contactsAPI+"items", "", nil); w.Code != 401 {
t.Fatal("DAV credential leaked to API", w.Code)
}
if w := cardRequest(s, auth, "PROPFIND", taskDAVRoot, "", nil); w.Code != 401 {
t.Fatal("contact credential grants tasks", w.Code)
}
// The legacy 'all' scope remains calendar+tasks, not newly added contacts.
all, pass, e := s.store.CreateDAVCredential(ctx, domain, actor, "old", true, 1, "all")
if e != nil {
t.Fatal(e)
}
otherAuth := "Basic " + base64.StdEncoding.EncodeToString([]byte(all.ID+":"+pass))
if w := cardRequest(s, otherAuth, "PROPFIND", contactDAV, "", nil); w.Code != 401 {
t.Fatal("old authority expanded", w.Code)
}
request("PROPFIND", contactDAV+uuid.NewString()+"/contacts/", "", nil, 404)
if e = s.store.RevokeTaskDAVCredential(ctx, domain, actor, cred.ID); e != nil {
t.Fatal(e)
}
request("GET", path, "", nil, 401)
if _, e = s.store.SaveContactDAV(ctx, domain, actor, cred.ID, "client-contact.vcf", testCard, c.Version, false); e != store.ErrAccessDenied {
t.Fatal("revoked writer", e)
}
// A normal session can still edit its own address book.
if w := cardRequest(s, "Bearer "+token, "GET", path, "", nil); w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
}
func TestContactDAVPaginationHistoryAndBoundaries(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
auth := "Bearer " + token
book := contactDAV + actor + "/contacts/"
var ids []string
for i := 0; i < 3; i++ {
id := uuid.NewString()
ids = append(ids, id)
_, e := s.store.SaveContact(ctx, domain, actor, store.Contact{UUID: id, Name: "Person"}, false)
if e != nil {
t.Fatal(e)
}
}
first := cardRequest(s, auth, "REPORT", book, cardSync("", `<d:limit><d:nresults>1</d:nresults></d:limit>`), nil)
if first.Code != 207 || !strings.Contains(first.Body.String(), "507 Insufficient Storage") {
t.Fatal(first.Code, first.Body)
}
second := cardRequest(s, auth, "REPORT", book, cardSync(responseSync(t, first), ""), nil)
if second.Code != 207 || strings.Contains(second.Body.String(), "507 Insufficient Storage") {
t.Fatal(second.Code, second.Body)
}
var r struct {
Responses []struct {
Href string `xml:"href"`
} `xml:"response"`
}
if e := xml.Unmarshal(second.Body.Bytes(), &r); e != nil || len(r.Responses) != 2 {
t.Fatal(e, second.Body)
}
c, e := s.store.Contact(ctx, domain, actor, ids[0])
if e != nil {
t.Fatal(e)
}
c.Name = "Changed"
c, e = s.store.SaveContact(ctx, domain, actor, c, false)
if e != nil {
t.Fatal(e)
}
h, e := s.store.ContactHistory(ctx, domain, actor, c.UUID, 0)
if e != nil || len(h) != 2 {
t.Fatal(h, e)
}
restored, e := s.store.RestoreContactRevision(ctx, domain, actor, c.UUID, 1, c.Version)
if e != nil || restored.Name != "Person" || restored.Version != 3 {
t.Fatal(restored, e)
}
if _, e = s.store.RestoreContactRevision(ctx, domain, actor, c.UUID, 1, c.Version); e != store.ErrTaskConflict {
t.Fatal("stale restore", e)
}
raw, e := s.store.ExportContacts(ctx, domain, actor)
if e != nil || strings.Count(raw, "BEGIN:VCARD") != 3 {
t.Fatal(e, raw)
}
history := cardRequest(s, auth, "GET", contactsAPI+"items/"+c.UUID+"/history", "", nil)
if history.Code != 200 {
t.Fatal(history.Code, history.Body)
}
preview := cardRequest(s, auth, "GET", contactsAPI+"items/"+c.UUID+"/history/1", "", nil)
if preview.Code != 200 || !strings.Contains(preview.Body.String(), "Person") {
t.Fatal(preview.Code, preview.Body)
}
restoreBody, _ := json.Marshal(map[string]int64{"version": restored.Version, "revision": 1})
restore := cardRequest(s, auth, "POST", contactsAPI+"items/"+c.UUID+"/restore", string(restoreBody), map[string]string{"If-Match": store.ContactETag(restored)})
if restore.Code != 200 {
t.Fatal(restore.Code, restore.Body)
}
query := `<a:addressbook-query xmlns:a="urn:ietf:params:xml:ns:carddav" xmlns:d="DAV:"><d:prop><d:getetag/></d:prop><a:filter><a:prop-filter name="FN"><a:text-match match-type="equals">Person</a:text-match></a:prop-filter></a:filter></a:addressbook-query>`
found := cardRequest(s, auth, "REPORT", book, query, nil)
if found.Code != 207 {
t.Fatal(found.Code, found.Body)
}
for _, body := range []string{strings.Replace(query, `name="FN"`, `name="BAD NAME"`, 1), strings.Replace(query, `match-type="equals"`, `collation="unsupported"`, 1)} {
w := cardRequest(s, auth, "REPORT", book, body, nil)
if w.Code != 403 {
t.Fatal(w.Code, w.Body)
}
}
xmlBomb := `<!DOCTYPE x [<!ENTITY x "bomb">]><d:propfind xmlns:d="DAV:"/>`
if w := cardRequest(s, auth, "PROPFIND", book, xmlBomb, nil); w.Code != 400 {
t.Fatal(w.Code)
}
foreign := `<a:addressbook-multiget xmlns:a="urn:ietf:params:xml:ns:carddav" xmlns:d="DAV:"><d:prop><d:getetag/></d:prop><d:href>https://evil.invalid` + book + `a.vcf</d:href></a:addressbook-multiget>`
if w := cardRequest(s, auth, "REPORT", book, foreign, nil); w.Code != 400 {
t.Fatal(w.Code)
}
read, pass, e := s.store.CreateDAVCredential(ctx, domain, actor, "readonly", false, 1, "contacts")
if e != nil {
t.Fatal(e)
}
readonly := "Basic " + base64.StdEncoding.EncodeToString([]byte(read.ID+":"+pass))
if w := cardRequest(s, readonly, "PUT", book+"new.vcf", testCard, map[string]string{"If-None-Match": "*"}); w.Code != 403 {
t.Fatal(w.Code, w.Body)
}
if e = s.setSystemExtensionEnabled(domain, "organizer.contacts", false); e != nil {
t.Fatal(e)
}
if w := cardRequest(s, auth, "PROPFIND", book, "", nil); w.Code != 404 {
t.Fatal(w.Code)
}
}
+2
View File
@@ -3,6 +3,7 @@ package server
func init() {
for lang, entries := range map[string]map[string]string{
"en": {
"contacts.title": "Private address book", "contacts.help": "Private contacts, vCard import/export and email address lookup.",
"contact.title": "Contact details", "contact.phone": "Phone number",
"contact.help": "Private by default, independently of your profile. A tap opens the phone app. Leave blank to remove. Use 3–15 digits with an optional leading +, spaces, hyphens or parentheses; extensions and service codes are not supported.",
"contact.visibility_help": "The profile audience remains the upper limit. Anonymous access also requires the domain to permit public profiles. Administrators do not automatically see private numbers.",
@@ -10,6 +11,7 @@ func init() {
"contact.invalid_phone": "Enter a phone number with 3–15 digits and optional leading +; only spaces, hyphens and parentheses may separate digits.",
},
"ja": {
"contacts.title": "個人アドレス帳", "contacts.help": "非公開の連絡先、vCard入出力、メールアドレス検索。",
"contact.title": "連絡先", "contact.phone": "電話番号",
"contact.help": "プロフィールとは別に、既定で非公開です。タップすると電話アプリを開きます。空欄で削除。3〜15桁の数字と先頭の+、空白・ハイフン・括弧を使用できます。内線やサービスコードは未対応です。",
"contact.visibility_help": "プロフィールの公開範囲を上限とします。匿名公開にはドメイン側の許可も必要です。管理者でも非公開の番号は表示されません。",
+227
View File
@@ -0,0 +1,227 @@
package server
import (
"encoding/json"
"github.com/google/uuid"
"io"
"net/http"
"pageswiki/internal/store"
"strconv"
"strings"
)
const contactsAPI = "/_/api/v1/extension/organizer.contacts/"
func contactRoute(p string) bool {
return contactDAVRoute(p) || p == "/v/plan/contacts" || strings.HasPrefix(p, contactsAPI)
}
func (s *Server) handleContacts(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Cache-Control", "private, no-store")
domain := s.domainUUIDForRequest(r)
if !s.systemExtensionEnabled(domain, "organizer.contacts") {
http.NotFound(w, r)
return
}
actor, active := s.calendarActor(r)
if actor == "" {
s.authRequired(w, r)
return
}
if r.Method != "GET" && r.Method != "HEAD" && !active {
taskError(w, store.ErrAccessDenied)
return
}
if r.URL.Path == "/v/plan/contacts" {
if r.Method != "GET" && r.Method != "HEAD" {
w.WriteHeader(405)
return
}
if _, _, e := s.store.Contacts(r.Context(), domain, actor, "", ""); e != nil {
taskError(w, e)
return
}
s.renderWithContext(w, r, "contacts.gohtml", map[string]any{"Title": "Contacts", "ContactWritable": active, "Path": r.URL.Path})
return
}
key := strings.TrimPrefix(r.URL.Path, contactsAPI)
if key == "export.vcf" && (r.Method == "GET" || r.Method == "HEAD") {
raw, e := s.store.ExportContacts(r.Context(), domain, actor)
if e != nil {
taskError(w, e)
return
}
w.Header().Set("Content-Type", "text/vcard; charset=utf-8")
w.Header().Set("Content-Disposition", `attachment; filename="contacts.vcf"`)
w.Header().Set("Content-Length", strconv.Itoa(len(raw)))
if r.Method == "GET" {
io.WriteString(w, raw)
}
return
}
parts := strings.Split(key, "/")
if len(parts) >= 3 && parts[0] == "items" && (parts[2] == "history" || parts[2] == "restore") {
id, e := uuid.Parse(parts[1])
if e != nil || id.String() != parts[1] {
w.WriteHeader(404)
return
}
if parts[2] == "history" && r.Method == "GET" {
if len(parts) == 4 {
revision, e := strconv.ParseInt(parts[3], 10, 64)
if e != nil || revision < 1 {
w.WriteHeader(400)
return
}
c, e := s.store.ContactAtRevision(r.Context(), domain, actor, parts[1], revision)
if e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 200, map[string]any{"item": c})
return
}
if len(parts) != 3 {
w.WriteHeader(404)
return
}
before := int64(0)
if v := r.URL.Query().Get("before"); v != "" {
before, e = strconv.ParseInt(v, 10, 64)
if e != nil || before < 1 {
w.WriteHeader(400)
return
}
}
items, e := s.store.ContactHistory(r.Context(), domain, actor, parts[1], before)
if e != nil {
taskError(w, e)
return
}
next := int64(0)
if len(items) == 100 {
next = items[99].Version
}
writeEventJSON(w, 200, map[string]any{"items": items, "next": next})
return
}
if parts[2] == "restore" && len(parts) == 3 && r.Method == "POST" {
var input struct {
Version int64 `json:"version"`
Revision int64 `json:"revision"`
}
if !taskJSON(w, r, &input) {
return
}
if input.Version < 1 || input.Revision < 1 {
w.WriteHeader(400)
return
}
if r.Header.Get("If-Match") == "" {
w.WriteHeader(428)
return
}
if r.Header.Get("If-Match") != `"`+strconv.FormatInt(input.Version, 10)+`"` {
w.WriteHeader(412)
return
}
c, e := s.store.RestoreContactRevision(r.Context(), domain, actor, parts[1], input.Revision, input.Version)
if e != nil {
taskError(w, e)
return
}
w.Header().Set("ETag", store.ContactETag(c))
writeEventJSON(w, 200, map[string]any{"item": c})
return
}
w.WriteHeader(405)
return
}
if key == "items" && r.Method == "GET" {
items, next, e := s.store.ListContacts(r.Context(), domain, actor, r.URL.Query().Get("q"), r.URL.Query().Get("after"), r.URL.Query().Get("deleted") == "1")
if e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 200, map[string]any{"items": items, "next": next})
return
}
if key == "import" && r.Method == "POST" {
raw, e := io.ReadAll(http.MaxBytesReader(w, r.Body, 65536))
if e != nil {
taskError(w, store.ErrTaskInvalid)
return
}
c, e := s.store.SaveContact(r.Context(), domain, actor, store.Contact{UUID: uuid.NewString(), VCard: string(raw)}, true)
if e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 201, map[string]any{"item": c})
return
}
id := strings.TrimPrefix(key, "items/")
export := strings.HasSuffix(id, ".vcf")
if export {
id = strings.TrimSuffix(id, ".vcf")
}
if key != "items" {
if u, e := uuid.Parse(id); e != nil || u.String() != id {
http.NotFound(w, r)
return
}
}
if key != "items" && (r.Method == "GET" || r.Method == "HEAD") {
c, e := s.store.Contact(r.Context(), domain, actor, id)
if e != nil {
taskError(w, e)
return
}
w.Header().Set("ETag", `"`+strconv.FormatInt(c.Version, 10)+`"`)
if export {
w.Header().Set("Content-Type", "text/vcard; charset=utf-8")
w.Header().Set("Content-Disposition", `attachment; filename="contact.vcf"`)
w.Write([]byte(c.VCard))
} else {
writeEventJSON(w, 200, map[string]any{"item": c})
}
return
}
if !export && (key == "items" && r.Method == "POST" || key != "items" && r.Method == "PUT") {
var c store.Contact
decoder := json.NewDecoder(http.MaxBytesReader(w, r.Body, 128<<10))
decoder.DisallowUnknownFields()
if decoder.Decode(&c) != nil || decoder.Decode(&struct{}{}) != io.EOF {
taskError(w, store.ErrTaskInvalid)
return
}
if key == "items" {
if c.Version != 0 {
taskError(w, store.ErrTaskInvalid)
return
}
} else {
if c.UUID != id {
taskError(w, store.ErrTaskInvalid)
return
}
if r.Header.Get("If-Match") == "" {
w.WriteHeader(428)
return
}
if r.Header.Get("If-Match") != `"`+strconv.FormatInt(c.Version, 10)+`"` {
taskError(w, store.ErrTaskConflict)
return
}
}
c, e := s.store.SaveContact(r.Context(), domain, actor, c, false)
if e != nil {
taskError(w, e)
return
}
w.Header().Set("ETag", `"`+strconv.FormatInt(c.Version, 10)+`"`)
writeEventJSON(w, 200, map[string]any{"item": c})
return
}
w.Header().Set("Allow", "GET, HEAD, POST, PUT")
w.WriteHeader(405)
}
+79
View File
@@ -0,0 +1,79 @@
package server
import (
"context"
"github.com/google/uuid"
"net/http/httptest"
"pageswiki/internal/store"
"strings"
"testing"
)
func TestContactsPreserveImportAndIsolation(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
raw := "BEGIN:VCARD\r\nVERSION:4.0\r\nUID:urn:test:person\r\nFN:田中\r\nEMAIL;TYPE=work:tanaka@example.invalid\r\nTEL;TYPE=cell:1234\r\nX-PRIVATE:keep\\,this\r\nPHOTO:https://example.invalid/do-not-fetch\r\nEND:VCARD\r\n"
c, e := s.store.SaveContact(ctx, domain, actor, store.Contact{UUID: uuid.NewString(), VCard: raw}, true)
if e != nil {
t.Fatal(e)
}
repeat, e := s.store.SaveContact(ctx, domain, actor, store.Contact{UUID: uuid.NewString(), VCard: raw}, true)
if e != nil || repeat.UUID != c.UUID {
t.Fatal("not idempotent", e)
}
c.Name = "変更"
c, e = s.store.SaveContact(ctx, domain, actor, c, false)
if e != nil {
t.Fatal(e)
}
for _, preserved := range []string{"EMAIL;TYPE=work:", "TEL;TYPE=cell:", "X-PRIVATE:keep\\,this", "PHOTO:https:"} {
if !strings.Contains(c.VCard, preserved) {
t.Fatal("lost", preserved)
}
}
old := c
old.Version--
if _, e = s.store.SaveContact(ctx, domain, actor, old, false); e != store.ErrTaskConflict {
t.Fatal(e)
}
if _, e = s.store.Contact(ctx, domain, uuid.NewString(), c.UUID); e == nil {
t.Fatal("other user read")
}
req := httptest.NewRequest("GET", "http://localhost"+contactsAPI+"items?q=tanaka", nil)
req.Header.Set("Authorization", "Bearer "+token)
w := httptest.NewRecorder()
s.handleContacts(w, req)
if w.Code != 200 || !strings.Contains(w.Body.String(), "変更") {
t.Fatal(w.Code, w.Body)
}
c.Deleted = true
if _, e = s.store.SaveContact(ctx, domain, actor, c, false); e != nil {
t.Fatal(e)
}
items, _, e := s.store.Contacts(ctx, domain, actor, "", "")
if e != nil || len(items) != 0 {
t.Fatal(items, e)
}
if e = s.setSystemExtensionEnabled(domain, "organizer.contacts", false); e != nil {
t.Fatal(e)
}
if _, e = s.store.Contact(ctx, domain, actor, c.UUID); e != store.ErrAccessDenied {
t.Fatal(e)
}
}
func TestContactFormatValidation(t *testing.T) {
for _, raw := range []string{"BEGIN:VCARD\nVERSION:2.1\nFN:x\nEND:VCARD\n", "BEGIN:VCARD\nVERSION:4.0\nFN;ENCODING=QUOTED-PRINTABLE:x\nEND:VCARD\n", "BEGIN:VCARD\nVERSION:4.0\nFN:x\nmalformed\nEND:VCARD\n"} {
if _, e := store.ParseContact(raw); e == nil {
t.Fatal("accepted malformed/legacy")
}
}
raw := "BEGIN:VCARD\r\nVERSION:4.0\r\nFN:" + strings.Repeat("名", 90) + "\r\nNOTE:one\\ntwo\r\nEND:VCARD\r\n"
c, e := store.ParseContact(raw)
if e != nil {
t.Fatal(e)
}
again, e := store.ParseContact(c.VCard)
if e != nil || again.Name != c.Name || again.Notes != "one\ntwo" {
t.Fatal(again, e)
}
}
+7 -4
View File
@@ -40,6 +40,9 @@ func (s *Server) davActor(w http.ResponseWriter, r *http.Request, requested stri
}
}
w.Header().Set("WWW-Authenticate", `Basic realm="PagesWiki CalDAV", charset="UTF-8"`)
if requested == "contacts" {
w.Header().Set("WWW-Authenticate", `Basic realm="PagesWiki CardDAV", charset="UTF-8"`)
}
w.WriteHeader(401)
return
}
@@ -87,11 +90,11 @@ func (s *Server) handleDAVHome(w http.ResponseWriter, r *http.Request) {
{Space: calNS, Local: "calendar-home-set"}: "<d:href>" + calendarDAV + "</d:href>",
}}}
rows[0].props[xml.Name{Space: davNS, Local: "current-user-privilege-set"}] = davPrivileges(false)
if writable && tasks && scope != "calendar" {
if writable && tasks && (scope == "tasks" || scope == "all") {
rows[0].props[xml.Name{Space: davNS, Local: "current-user-privilege-set"}] += "<d:privilege><d:bind/></d:privilege>"
}
if r.Header.Get("Depth") == "1" {
if calendars && scope != "tasks" {
if calendars && (scope == "calendar" || scope == "all") {
repo, err := s.calendars()
if err != nil {
calendarError(w, err)
@@ -108,7 +111,7 @@ func (s *Server) handleDAVHome(w http.ResponseWriter, r *http.Request) {
rows = append(rows, row)
}
}
if tasks && scope != "calendar" {
if tasks && (scope == "tasks" || scope == "all") {
row := taskDAVCollectionRow()
title, err := s.store.TaskDAVDefaultTitle(r.Context(), domain, actor)
if err != nil {
@@ -137,7 +140,7 @@ func davPrivileges(write bool) string {
func (s *Server) handleDAVCredentials(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Cache-Control", "private, no-store")
domain := s.domainUUIDForRequest(r)
if !s.systemExtensionEnabled(domain, "organizer.tasks") && !s.systemExtensionEnabled(domain, "organizer.calendar") {
if !s.systemExtensionEnabled(domain, "organizer.tasks") && !s.systemExtensionEnabled(domain, "organizer.calendar") && !s.systemExtensionEnabled(domain, "organizer.contacts") {
http.NotFound(w, r)
return
}
+1 -1
View File
@@ -63,7 +63,7 @@ func (s *Server) withStandbyReadOnly(next http.Handler) http.Handler {
// V1 standby does not serve organizer or DAV endpoints: their current
// read paths repair file-backed indexes and update credential metadata.
// They become available after promotion; no false successful sync responses.
for _, prefix := range []string{"/v/plan", "/v/calendar", "/v/event", "/v/tasks", "/_/api/v1/calendar", "/_/api/v1/caldav", "/_/api/v1/task", "/_/api/v1/extension/", "/.well-known/caldav"} {
for _, prefix := range []string{"/v/plan", "/v/calendar", "/v/event", "/v/tasks", "/_/api/v1/calendar", "/_/api/v1/caldav", "/_/api/v1/carddav", "/_/api/v1/task", "/_/api/v1/extension/", "/.well-known/caldav", "/.well-known/carddav"} {
if strings.HasPrefix(r.URL.Path, prefix) {
fail("organizer/DAV read service requires DR promotion in this version")
return
+34 -1
View File
@@ -4,7 +4,9 @@ import (
"context"
"database/sql"
"errors"
"fmt"
"log"
"strings"
"time"
"pageswiki/internal/dregarnuhr"
@@ -34,7 +36,7 @@ func (q schedulerQueue) Cancellation(ctx context.Context, id string) (bool, erro
return q.store.EventCancellationState(ctx, id)
}
func (q schedulerQueue) Started(ctx context.Context, job *dregarnuhr.Job) error {
return q.store.AddEventLog(job.UUID, job.EventUUID, "info", "execution started")
return q.store.AddEventLogContext(ctx, job.UUID, job.EventUUID, "info", "execution started")
}
func (q schedulerQueue) Finish(ctx context.Context, job *dregarnuhr.Job, err error, now time.Time) error {
return q.store.FinishEventAt(ctx, job.UUID, err, now)
@@ -47,6 +49,13 @@ func (s *Server) eventRunner() *dregarnuhr.Runner {
Foreground: func() bool { return s.foregroundRequests.Load() > 0 },
Wake: s.wakeEventScheduler,
Report: func(stage string, job *dregarnuhr.Job, err error) {
if errors.Is(err, store.ErrEventCompletionLog) {
stage = "finish-log"
}
if strings.HasSuffix(stage, "-log") {
reportEventLogFailure(stage, job, err)
return
}
if job != nil {
log.Printf("component=%s event scheduler %s failed job=%s type=%s: %v", dregarnuhr.Component, stage, job.UUID, job.Type, err)
} else {
@@ -58,6 +67,30 @@ func (s *Server) eventRunner() *dregarnuhr.Runner {
return s.schedulerRunner
}
// Logging failures must be visible without repeating a successful side effect
// (such as push delivery), or echoing payloads, SQL text or driver messages.
func (s *Server) addEventProgressLog(ctx context.Context, job *store.EventJob, message string) {
if err := s.store.AddEventLogContext(ctx, job.UUID, job.EventUUID, "info", message); err != nil {
reportEventLogFailure("progress-log", job, err)
}
}
func reportEventLogFailure(stage string, job *dregarnuhr.Job, err error) {
category := "storage_error"
var code interface{ Code() int }
switch {
case errors.Is(err, context.Canceled):
category = "cancelled"
case errors.Is(err, context.DeadlineExceeded):
category = "deadline_exceeded"
case errors.Is(err, store.ErrReadOnly):
category = "read_only"
case errors.As(err, &code):
category = fmt.Sprintf("sqlite_%d", code.Code())
}
log.Printf("component=%s event scheduler %s failed job=%q type=%q reason=%s", dregarnuhr.Component, stage, job.UUID, job.Type, category)
}
func (s *Server) runDueEvents() {
if s.store == nil {
return
+3
View File
@@ -100,6 +100,9 @@ var mutationPrefixPolicies = []struct {
}
func policyForRequest(r *http.Request) endpointPolicy {
if personalOrganizerSettings(r) {
return endpointPolicy{Name: "organizer.settings", Capability: "read", Target: targetDomain, Resolver: resolveHandler}
}
if taskRoute(r.URL.Path) {
return endpointPolicy{Name: "tasks.handler", Capability: "read", Target: targetDomain, Resolver: resolveHandler}
}
+5 -3
View File
@@ -16,27 +16,29 @@ func (s *Server) registeredEventHandlers() *dregarnuhr.Registry {
s.eventHandlersOnce.Do(func() {
registry := &dregarnuhr.Registry{}
handlers := map[string]dregarnuhr.Handler{
store.FeedSyncEventType: s.syncFeedSources,
store.TaskDigestEventType: s.deliverTaskDigests,
store.NotificationPushEventType: func(ctx context.Context, job *store.EventJob) error {
return s.deliverNotificationPushContext(ctx, job)
},
store.TaskFocusEventType: func(ctx context.Context, job *store.EventJob) error {
processed, err := s.store.CompleteTaskFocus(ctx, time.Now(), 100)
if err == nil && processed > 0 {
_ = s.store.AddEventLog(job.UUID, job.EventUUID, "info", fmt.Sprintf("focus timers completed=%d", processed))
s.addEventProgressLog(ctx, job, fmt.Sprintf("focus timers completed=%d", processed))
}
return err
},
store.TaskReminderEventType: func(ctx context.Context, job *store.EventJob) error {
checked, sent, err := s.store.DeliverTaskReminders(ctx, time.Now(), 100)
if err == nil && checked > 0 {
_ = s.store.AddEventLog(job.UUID, job.EventUUID, "info", fmt.Sprintf("task reminders checked=%d delivered=%d", checked, sent))
s.addEventProgressLog(ctx, job, fmt.Sprintf("task reminders checked=%d delivered=%d", checked, sent))
}
return err
},
store.TaskActivityBridgeEventType: func(ctx context.Context, job *store.EventJob) error {
processed, published, err := s.store.PublishTaskActivity(ctx, 100)
if err == nil && processed > 0 {
_ = s.store.AddEventLog(job.UUID, job.EventUUID, "info", fmt.Sprintf("journal entries checked=%d published=%d", processed, published))
s.addEventProgressLog(ctx, job, fmt.Sprintf("journal entries checked=%d published=%d", processed, published))
}
return err
},
@@ -0,0 +1,66 @@
package server
import (
"bytes"
"context"
"log"
"strings"
"testing"
"time"
"pageswiki/internal/db"
"pageswiki/internal/dregarnuhr"
"pageswiki/internal/store"
)
func TestEventLoggingFailureReportedWithoutReexecuting(t *testing.T) {
database, err := db.Open(t.TempDir() + "/queue.db")
if err != nil {
t.Fatal(err)
}
defer database.Close()
st := &store.Store{DB: database}
if err := st.EnsureEventJobsSchema(); err != nil {
t.Fatal(err)
}
// A malicious/verbose driver message must never be copied to compose logs.
if _, err := database.Exec(`CREATE TRIGGER fail_log BEFORE INSERT ON event_logs BEGIN SELECT RAISE(ABORT,'secret-payload-123'); END`); err != nil {
t.Fatal(err)
}
var output bytes.Buffer
old := log.Writer()
log.SetOutput(&output)
defer log.SetOutput(old)
s := &Server{store: st, schedulerWake: make(chan struct{}, 8)}
if err := s.registeredEventHandlers().Register("test.log-failure", func(ctx context.Context, job *dregarnuhr.Job) error {
s.addEventProgressLog(ctx, job, "private-progress-456")
return nil
}); err != nil {
t.Fatal(err)
}
_, err = st.EnqueueEvent("test.log-failure", "key", "secret-body-789", time.Now().Add(-time.Second))
if err != nil {
t.Fatal(err)
}
s.eventRunner().Dispatch(context.Background())
select {
case <-s.schedulerWake:
case <-time.After(5 * time.Second):
t.Fatal("worker did not complete")
}
var status string
var attempts int
if err := database.QueryRow(`SELECT status,attempts FROM event_jobs WHERE event_type='test.log-failure'`).Scan(&status, &attempts); err != nil || status != "succeeded" || attempts != 1 {
t.Fatalf("log failure retried business operation: %s %d %v", status, attempts, err)
}
for _, stage := range []string{"start-log", "progress-log", "finish-log"} {
if !strings.Contains(output.String(), stage+" failed") {
t.Fatalf("missing %s diagnostic: %s", stage, output.String())
}
}
for _, secret := range []string{"secret-payload-123", "private-progress-456", "secret-body-789"} {
if strings.Contains(output.String(), secret) {
t.Fatal("diagnostic leaked content")
}
}
}
+6
View File
@@ -58,6 +58,9 @@ func (s *Server) startEventScheduler() {
if s.store == nil {
return
}
if err := s.store.EnsureFeedEvent(); err != nil {
log.Printf("feed scheduler initialization failed")
}
if err := s.store.EnsureBuiltinResourceEvent(); err != nil {
log.Printf("resource monitor initialization failed: %v", err)
}
@@ -73,6 +76,9 @@ func (s *Server) startEventScheduler() {
if err := s.store.EnsureTaskFocusEvent(); err != nil {
log.Printf("focus timer initialization failed: %v", err)
}
if err := s.store.EnsureTaskDigestEvent(); err != nil {
log.Printf("task digest initialization failed: %v", err)
}
if err := s.store.EnsureNotificationPushEvent(); err != nil {
log.Printf("notification push initialization failed: %v", err)
}
+216
View File
@@ -0,0 +1,216 @@
package server
import (
"net/http"
"net/url"
"strconv"
"strings"
"github.com/google/uuid"
"pageswiki/internal/store"
)
const feedsAPI = "/_/api/v1/extension/organizer.feeds/"
func feedRoute(p string) bool { return p == "/v/feeds" || strings.HasPrefix(p, feedsAPI) }
func (s *Server) handleFeeds(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Cache-Control", "private, no-store")
domain := s.domainUUIDForRequest(r)
if !s.systemExtensionEnabled(domain, "organizer.feeds") {
http.NotFound(w, r)
return
}
actor, active := s.calendarActor(r)
if actor == "" {
s.authRequired(w, r)
return
}
if r.Method != "GET" && r.Method != "HEAD" && !active {
taskError(w, store.ErrAccessDenied)
return
}
if r.URL.Path == "/v/feeds" {
if r.Method != "GET" && r.Method != "HEAD" {
w.WriteHeader(405)
return
}
if _, e := s.store.FeedSources(r.Context(), domain, actor); e != nil {
taskError(w, e)
return
}
s.renderWithContext(w, r, "feeds.gohtml", map[string]any{"Title": "RSS", "FeedWritable": active})
return
}
key := strings.TrimPrefix(r.URL.Path, feedsAPI)
if strings.HasPrefix(key, "opml/") {
s.handleFeedOPML(w, r, domain, actor, key)
return
}
switch {
case key == "catalog" && r.Method == "GET":
catalog, e := s.store.FeedCatalog(r.Context(), domain, actor, r.URL.Query().Get("source"))
if e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 200, map[string]any{"subscriptions": catalog})
return
case key == "note" && r.Method == "POST":
var input struct {
RequestID string `json:"request_id"`
Source string `json:"source"`
ID string `json:"id"`
Path string `json:"path"`
Title string `json:"title"`
Body string `json:"body"`
Confirm bool `json:"confirm_publication"`
}
if !taskJSONLimit(w, r, &input, 128<<10) {
return
}
if !input.Confirm {
taskError(w, store.ErrTaskInvalid)
return
}
for _, capability := range []string{"read", "create", "write"} {
if s.authorizePathRequest(r, capability, input.Path) != nil {
taskError(w, store.ErrAccessDenied)
return
}
}
page, e := s.store.CaptureFeedNote(r.Context(), domain, actor, input.RequestID, input.Source, input.ID, input.Path, input.Title, input.Body)
if e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 201, map[string]string{"page_uuid": page})
return
case key == "sources" && r.Method == "GET":
sources, e := s.store.FeedSources(r.Context(), domain, actor)
if e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 200, map[string]any{"sources": sources})
return
case key == "sources" && r.Method == "POST":
var input struct {
store.FeedSource
Username string `json:"username"`
Password string `json:"password"`
}
if !taskJSON(w, r, &input) {
return
}
if !validCalendarSourceURL(input.URL) || len(input.Username) > 256 || len(input.Password) > 4096 {
taskError(w, store.ErrTaskInvalid)
return
}
if input.Provider == "freshrss" {
u, _ := url.Parse(input.URL)
if u.RawQuery != "" || !strings.HasSuffix(strings.TrimRight(u.Path, "/"), "/greader.php") {
taskError(w, store.ErrTaskInvalid)
return
}
}
if input.UUID == "" {
input.UUID = uuid.NewString()
}
if input.Version == 0 && input.Provider == "freshrss" {
if input.Username == "" || input.Password == "" {
taskError(w, store.ErrTaskInvalid)
return
}
cipher, e := s.store.SealFeedCredential(domain, actor, input.UUID, input.Username, input.Password)
if e != nil {
taskError(w, e)
return
}
input.Credential = cipher
} else if input.Username != "" || input.Password != "" {
taskError(w, store.ErrTaskInvalid)
return
}
v, e := s.store.SaveFeedSource(r.Context(), domain, actor, input.FeedSource)
if e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 200, map[string]any{"source": v})
return
case strings.HasPrefix(key, "sources/") && r.Method == "POST":
parts := strings.Split(key, "/")
if len(parts) != 3 {
http.NotFound(w, r)
return
}
var input struct {
Version int64 `json:"version"`
}
if !taskJSON(w, r, &input) {
return
}
if e := s.store.FeedSourceAction(r.Context(), domain, actor, parts[1], parts[2], input.Version); e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 200, map[string]bool{"ok": true})
return
case key == "items" && r.Method == "GET":
q := r.URL.Query()
before := int64(-1)
if q.Has("before") {
var e error
before, e = strconv.ParseInt(q.Get("before"), 10, 64)
if e != nil || before < 0 {
taskError(w, store.ErrTaskInvalid)
return
}
}
items, e := s.store.FeedItems(r.Context(), domain, actor, q.Get("source"), q.Get("filter"), q.Get("q"), before, q.Get("key"), q.Get("feed"), q.Get("category"))
if e != nil {
taskError(w, e)
return
}
more := len(items) > 100
if more {
items = items[:100]
}
writeEventJSON(w, 200, map[string]any{"items": items, "more": more})
return
case key == "item" && r.Method == "GET":
v, e := s.store.FeedItem(r.Context(), domain, actor, r.URL.Query().Get("source"), r.URL.Query().Get("id"))
if e != nil {
taskError(w, e)
return
}
// Defense in depth for restored/older caches, not just freshly fetched data.
v.BodyHTML = feedHTML(v.BodyHTML, v.URL)
writeEventJSON(w, 200, map[string]any{"item": v})
return
case key == "state" && r.Method == "POST":
var input struct {
Source string `json:"source"`
ID string `json:"id"`
Read bool `json:"read"`
Starred bool `json:"starred"`
Version int64 `json:"version"`
}
if !taskJSON(w, r, &input) {
return
}
if e := s.store.SetFeedState(r.Context(), domain, actor, input.Source, input.ID, input.Read, input.Starred, input.Version); e != nil {
taskError(w, e)
return
}
writeEventJSON(w, 200, map[string]any{"version": input.Version + 1})
return
}
http.NotFound(w, r)
}
func init() {
translations["en"]["feeds.title"] = "RSS"
translations["ja"]["feeds.title"] = "RSS"
translations["en"]["feeds.help"] = "Private local feeds and read-only FreshRSS integration"
translations["ja"]["feeds.help"] = "個人用の簡易RSSとFreshRSS読取連携"
}
+149
View File
@@ -0,0 +1,149 @@
package server
import (
"context"
"encoding/json"
"errors"
"io"
"net/http"
"net/url"
"strings"
"testing"
"github.com/google/uuid"
"pageswiki/internal/store"
)
const testFeedCatalog = `{"subscriptions":[{"id":"feed/1","title":"Same title","categories":[{"id":"user/alice/label/Tech","label":"技術"}]},{"id":"feed/2","title":"Same title","categories":[{"id":"user/alice/label/Other","label":"技術"}]},{"id":"feed/3","title":"Empty feed","categories":[]}]}`
func TestFreshRSSCatalogValidation(t *testing.T) {
catalog, e := parseFreshRSSCatalog([]byte(testFeedCatalog))
if e != nil || len(catalog) != 3 || catalog[0].Categories[0].ID == catalog[1].Categories[0].ID {
t.Fatal(catalog, e)
}
for _, raw := range []string{`{}`, `{"subscriptions":null}`, `{"subscriptions":[{"id":""}]}`, `{"subscriptions":[{"id":"feed/1"},{"id":"feed/1"}]}`, `{"subscriptions":[{"id":"feed/1","categories":[{"id":"cat","label":"A"},{"id":"cat","label":"A"}]}]}`, `{"subscriptions":[{"id":"feed/1","categories":[{"id":"cat","label":"A"}]},{"id":"feed/2","categories":[{"id":"cat","label":"B"}]}]}`} {
if _, e := parseFreshRSSCatalog([]byte(raw)); e == nil {
t.Fatal("accepted", raw)
}
}
if c, e := parseFreshRSSCatalog([]byte(`{"subscriptions":[]}`)); e != nil || len(c) != 0 {
t.Fatal(c, e)
}
big := make([]store.FeedRemoteSubscription, 1001)
raw, _ := json.Marshal(map[string]any{"subscriptions": big})
if _, e := parseFreshRSSCatalog(raw); e == nil {
t.Fatal("unbounded catalog")
}
}
func TestFeedCatalogBackgroundSnapshotIsolation(t *testing.T) {
s, token, domain, actor, local := feedFixture(t)
ctx := context.Background()
if e := s.store.FeedSourceAction(ctx, domain, actor, local.UUID, "delete", local.Version); e != nil {
t.Fatal(e)
}
v := store.FeedSource{UUID: uuid.NewString(), Provider: "freshrss", Title: "FreshRSS", URL: "https://example.org/api/greader.php", Enabled: true, Interval: 300}
v.Credential, _ = s.store.SealFeedCredential(domain, actor, v.UUID, "reader", "secret")
if _, e := s.store.SaveFeedSource(ctx, domain, actor, v); e != nil {
t.Fatal(e)
}
calls := 0
failCatalog := false
client := &http.Client{Transport: feedTransportFunc(func(r *http.Request) (*http.Response, error) {
calls++
body := ""
switch {
case strings.HasSuffix(r.URL.Path, "/accounts/ClientLogin"):
if r.Method != "POST" {
t.Error("login method")
}
body = "Auth=synthetic"
case strings.HasSuffix(r.URL.Path, "/stream/contents/reading-list"):
if r.Method != "GET" || r.URL.Query().Get("n") != "200" {
t.Error("article request")
}
body = `{"items":[{"id":"a","title":"First","origin":{"title":"Same title","streamId":"feed/1"},"categories":["user/alice/label/Tech"]},{"id":"b","title":"Second","origin":{"title":"Same title","streamId":"feed/2"},"categories":["user/alice/label/Other"]}]}`
if failCatalog {
body = `{"items":[]}`
}
case strings.HasSuffix(r.URL.Path, "/subscription/list"):
if r.Method != "GET" || r.Header.Get("Authorization") != "GoogleLogin auth=synthetic" {
t.Error("catalog request")
}
if failCatalog {
return nil, errors.New("synthetic timeout")
}
body = testFeedCatalog
default:
t.Fatalf("unexpected external request %s %s", r.Method, r.URL.Path)
}
return &http.Response{StatusCode: 200, Header: http.Header{}, Body: io.NopCloser(strings.NewReader(body))}, nil
})}
run := func() {
t.Helper()
if _, e := s.store.DB.Exec(`UPDATE feed_sources SET next_ms=0 WHERE uuid=?`, v.UUID); e != nil {
t.Fatal(e)
}
if e := s.syncFeedSourcesWithClient(ctx, &store.EventJob{}, client); e != nil {
t.Fatal(e)
}
}
run()
if calls != 3 {
t.Fatal("fetch count", calls)
}
w := feedRequestTest(s, token, "GET", "catalog?source="+v.UUID, nil)
if w.Code != 200 || !strings.Contains(w.Body.String(), "Empty feed") || strings.Contains(w.Body.String(), "secret") {
t.Fatal(w.Code, w.Body)
}
for _, scope := range []string{"feed=feed%2F1", "category=" + url.QueryEscape("user/alice/label/Tech")} {
w = feedRequestTest(s, token, "GET", "items?source="+v.UUID+"&"+scope, nil)
var data struct {
Items []store.FeedItem `json:"items"`
}
json.Unmarshal(w.Body.Bytes(), &data)
if w.Code != 200 || len(data.Items) != 1 || data.Items[0].ID != "a" {
t.Fatal(scope, w.Code, w.Body)
}
}
w = feedRequestTest(s, token, "GET", "items?feed=feed%2F1", nil)
if w.Code != 422 {
t.Fatal("unscoped remote ID", w.Code, w.Body)
}
other, e := s.store.CreatePasswordAccount(domain, "catalogother", "long test password", "Other", "")
if e != nil {
t.Fatal(e)
}
otherToken, e := s.store.CreateAuthSession(domain, other.UUID)
if e != nil {
t.Fatal(e)
}
if w = feedRequestTest(s, otherToken, "GET", "catalog?source="+v.UUID, nil); w.Code == 200 {
t.Fatal("cross-owner catalog leak")
}
if w = feedRequestTest(s, "", "GET", "catalog?source="+v.UUID, nil); w.Code == 200 {
t.Fatal("anonymous catalog leak")
}
if _, e := s.store.FeedCatalog(ctx, uuid.NewString(), actor, v.UUID); e == nil {
t.Fatal("cross-domain catalog leak")
}
if calls != 3 {
t.Fatal("foreground external request")
}
failCatalog = true
run()
catalog, e := s.store.FeedCatalog(ctx, domain, actor, v.UUID)
if e != nil || len(catalog) != 3 {
t.Fatal("lost catalog", catalog, e)
}
items, e := s.store.FeedItems(ctx, domain, actor, v.UUID, "", "", -1, "")
if e != nil || len(items) != 2 {
t.Fatal("lost articles", items, e)
}
if e := s.setSystemExtensionEnabled(domain, "organizer.feeds", false); e != nil {
t.Fatal(e)
}
if _, e := s.store.FeedCatalog(ctx, domain, actor, v.UUID); !errors.Is(e, store.ErrAccessDenied) {
t.Fatal("disabled read", e)
}
}
+536
View File
@@ -0,0 +1,536 @@
package server
import (
"bytes"
"context"
"crypto/sha256"
"encoding/hex"
"encoding/json"
"encoding/xml"
"errors"
"fmt"
"html"
"io"
"net/http"
"net/url"
"strconv"
"strings"
"time"
"unicode/utf8"
"github.com/microcosm-cc/bluemonday"
xhtml "golang.org/x/net/html"
"golang.org/x/net/html/charset"
"pageswiki/internal/store"
)
var errFeedInvalid = errors.New("invalid_feed")
var feedTextPolicy = bluemonday.StrictPolicy()
var feedHTMLPolicy = func() *bluemonday.Policy {
p := bluemonday.NewPolicy()
p.AllowElements("p", "div", "span", "br", "hr", "h1", "h2", "h3", "h4", "h5", "h6", "strong", "b", "em", "i", "u", "s", "del", "ins", "sub", "sup", "mark", "small", "blockquote", "pre", "code", "kbd", "samp", "ul", "ol", "li", "dl", "dt", "dd", "table", "caption", "thead", "tbody", "tfoot", "tr", "th", "td", "a")
p.AllowAttrs("href", "target", "rel").OnElements("a")
p.AllowAttrs("colspan", "rowspan", "scope").OnElements("th", "td")
p.AllowStandardURLs()
p.AllowRelativeURLs(false)
return p
}()
// Keep article structure without granting fetched HTML script, style, form,
// embedding or automatic network capabilities. Wiki capture still uses Body.
func feedHTML(raw, base string) string {
if raw == "" || len(raw) > 128<<10 {
return ""
}
z := xhtml.NewTokenizer(strings.NewReader(raw))
var out strings.Builder
markup := false
for {
typeOf := z.Next()
if typeOf == xhtml.ErrorToken {
if z.Err() != io.EOF {
return ""
}
break
}
if typeOf == xhtml.StartTagToken || typeOf == xhtml.SelfClosingTagToken {
markup = true
tok := z.Token()
if tok.Data == "a" {
attrs := []xhtml.Attribute{}
for _, attr := range tok.Attr {
if attr.Key == "href" {
if link := feedLink(base, attr.Val); link != "" {
attrs = append(attrs, xhtml.Attribute{Key: "href", Val: link})
}
}
}
tok.Attr = append(attrs, xhtml.Attribute{Key: "target", Val: "_blank"}, xhtml.Attribute{Key: "rel", Val: "noopener noreferrer"})
}
out.WriteString(tok.String())
} else {
out.Write(z.Raw())
}
}
if !markup {
return ""
}
clean := feedHTMLPolicy.Sanitize(out.String())
if len(clean) > 128<<10 {
return ""
}
return clean
}
func feedText(raw string, limit int) string {
// Plain text for fallback and inert Wiki/task capture.
for _, tag := range []string{"</p>", "</div>", "<br>", "<br/>", "<br />", "</li>"} {
raw = strings.ReplaceAll(raw, tag, tag+"\n")
}
text := strings.TrimSpace(html.UnescapeString(feedTextPolicy.Sanitize(raw)))
if len(text) > limit {
text = text[:limit-16]
for !utf8.ValidString(text) {
text = text[:len(text)-1]
}
text += "\n[… truncated]"
}
return text
}
func feedLink(base, raw string) string {
if strings.TrimSpace(raw) == "" || len(raw) > 4096 {
return ""
}
u, e := url.Parse(strings.TrimSpace(raw))
if e != nil {
return ""
}
b, e := url.Parse(base)
if e != nil {
return ""
}
u = b.ResolveReference(u)
if (u.Scheme != "https" && u.Scheme != "http") || u.Hostname() == "" || u.User != nil {
return ""
}
result := u.String()
if len(result) > 4096 {
return ""
}
return result
}
func feedDate(v string) int64 {
for _, layout := range []string{time.RFC3339Nano, time.RFC1123Z, time.RFC1123, time.RFC822Z, time.RFC822, "2006-01-02T15:04:05-0700"} {
if t, e := time.Parse(layout, v); e == nil && t.UnixMilli() > 0 && t.Before(time.Now().AddDate(1, 0, 0)) {
return t.UnixMilli()
}
}
return 0
}
type rssEntry struct {
ID string `xml:"guid"`
Title string `xml:"title"`
Link string `xml:"link"`
Description string `xml:"description"`
Content string `xml:"encoded"`
Date string `xml:"pubDate"`
Category string `xml:"category"`
}
type atomText struct {
Type string `xml:"type,attr"`
Text string `xml:",chardata"`
Inner string `xml:",innerxml"`
}
func (v atomText) body() (string, bool) {
if v.Type == "xhtml" {
return v.Inner, true
}
return v.Text, v.Type == "html"
}
type atomEntry struct {
ID string `xml:"id"`
Title string `xml:"title"`
Links []struct {
Href string `xml:"href,attr"`
Rel string `xml:"rel,attr"`
} `xml:"link"`
Summary atomText `xml:"summary"`
Content atomText `xml:"content"`
Published string `xml:"published"`
Updated string `xml:"updated"`
Category struct {
Term string `xml:"term,attr"`
} `xml:"category"`
}
func parseFeed(raw []byte, base string) ([]store.FeedItem, error) {
if len(raw) > 4<<20 {
return nil, errors.New("limit")
}
d := xml.NewDecoder(bytes.NewReader(raw))
d.CharsetReader = charset.NewReaderLabel
root := ""
title := ""
depth := 0
out := []store.FeedItem{}
seen := map[string]bool{}
for {
tok, e := d.Token()
if e == io.EOF {
break
}
if e != nil {
return nil, errFeedInvalid
}
switch t := tok.(type) {
case xml.Directive:
return nil, errFeedInvalid // DTD/entities have no role in a feed.
case xml.StartElement:
depth++
if depth == 1 && root != "" {
return nil, errFeedInvalid
}
if depth > 64 {
return nil, errFeedInvalid
}
if root == "" {
root = t.Name.Local
if root != "rss" && root != "feed" {
return nil, errFeedInvalid
}
}
var item store.FeedItem
isItem := false
htmlBody := false
if root == "rss" && t.Name.Local == "item" && depth == 3 {
var v rssEntry
if d.DecodeElement(&v, &t) != nil {
return nil, errFeedInvalid
}
depth--
body := v.Content
if body == "" {
body = v.Description
}
item = store.FeedItem{ID: v.ID, Title: v.Title, URL: feedLink(base, v.Link), Body: body, PublishedMS: feedDate(v.Date), Folder: v.Category}
isItem = true
htmlBody = true
} else if root == "feed" && t.Name.Local == "entry" && depth == 2 {
var v atomEntry
if d.DecodeElement(&v, &t) != nil {
return nil, errFeedInvalid
}
depth--
body, isHTML := v.Content.body()
if body == "" {
body, isHTML = v.Summary.body()
}
htmlBody = isHTML
link := ""
for _, l := range v.Links {
if l.Rel == "" || l.Rel == "alternate" {
link = feedLink(base, l.Href)
break
}
}
date := v.Published
if date == "" {
date = v.Updated
}
item = store.FeedItem{ID: v.ID, Title: v.Title, URL: link, Body: body, PublishedMS: feedDate(date), Folder: v.Category.Term}
isItem = true
} else if t.Name.Local == "title" && ((root == "rss" && depth == 3) || (root == "feed" && depth == 2)) {
if d.DecodeElement(&title, &t) != nil {
return nil, errFeedInvalid
}
depth--
}
if isItem {
if len(out) >= 500 {
return nil, errors.New("limit")
}
item.Title = feedText(item.Title, 2048)
if htmlBody {
item.BodyHTML = feedHTML(item.Body, base)
item.Body = feedText(item.Body, 32768)
} else {
// Atom type=text is literal, even when it contains HTML-looking text.
item.Body = feedText(html.EscapeString(item.Body), 32768)
}
item.Feed = feedText(title, 512)
item.Folder = feedText(item.Folder, 512)
if item.ID == "" {
key := item.URL
if key == "" {
key = item.Title + "\x00" + strconv.FormatInt(item.PublishedMS, 10) + "\x00" + item.Body
}
h := sha256.Sum256([]byte(key))
item.ID = "sha256:" + hex.EncodeToString(h[:])
}
if len(item.ID) > 1024 || seen[item.ID] {
return nil, errFeedInvalid
}
seen[item.ID] = true
out = append(out, item)
}
case xml.EndElement:
depth--
}
}
if root == "" || depth != 0 {
return nil, errFeedInvalid
}
return out, nil
}
func feedRequest(ctx context.Context, client *http.Client, method, target, auth string, form url.Values, headers map[string]string) ([]byte, http.Header, int, error) {
var body io.Reader
if form != nil {
body = strings.NewReader(form.Encode())
}
r, e := http.NewRequestWithContext(ctx, method, target, body)
if e != nil {
return nil, nil, 0, errFeedInvalid
}
if auth != "" {
r.Header.Set("Authorization", "GoogleLogin auth="+auth)
}
if form != nil {
r.Header.Set("Content-Type", "application/x-www-form-urlencoded")
}
r.Header.Set("User-Agent", "PagesWiki-Feeds/0.1")
for k, v := range headers {
r.Header.Set(k, v)
}
res, e := client.Do(r)
if e != nil {
return nil, nil, 0, errors.New("network")
}
defer res.Body.Close()
if res.StatusCode == 401 || res.StatusCode == 403 {
return nil, nil, res.StatusCode, errors.New("credentials")
}
if res.StatusCode == 304 {
return nil, res.Header, 304, nil
}
if res.StatusCode != 200 {
return nil, nil, res.StatusCode, errors.New("remote_error")
}
raw, e := io.ReadAll(io.LimitReader(res.Body, (4<<20)+1))
if e != nil {
return nil, nil, 0, errors.New("network")
}
if len(raw) > 4<<20 {
return nil, nil, 0, errors.New("limit")
}
return raw, res.Header, res.StatusCode, nil
}
func fetchFreshRSS(ctx context.Context, client *http.Client, v store.FeedSource, user, password string, catalogs ...*[]store.FeedRemoteSubscription) ([]store.FeedItem, error) {
base := strings.TrimRight(v.URL, "/")
raw, _, _, e := feedRequest(ctx, client, "POST", base+"/accounts/ClientLogin", "", url.Values{"Email": {user}, "Passwd": {password}}, nil)
if e != nil {
return nil, e
}
auth := ""
for _, line := range strings.Split(string(raw), "\n") {
if strings.HasPrefix(line, "Auth=") {
auth = strings.TrimSpace(strings.TrimPrefix(line, "Auth="))
}
}
if auth == "" || len(auth) > 4096 || strings.ContainsAny(auth, "\r\n") {
return nil, errors.New("credentials")
}
raw, _, _, e = feedRequest(ctx, client, "GET", base+"/reader/api/0/stream/contents/reading-list?output=json&n=200", auth, nil, nil)
if e != nil {
return nil, e
}
var response struct {
Items []struct {
ID string `json:"id"`
Title string `json:"title"`
Published int64 `json:"published"`
Categories []string `json:"categories"`
Origin struct {
Title string `json:"title"`
StreamID string `json:"streamId"`
} `json:"origin"`
Alternate []struct {
Href string `json:"href"`
} `json:"alternate"`
Summary struct {
Content string `json:"content"`
} `json:"summary"`
Content struct {
Content string `json:"content"`
} `json:"content"`
} `json:"items"`
}
if json.Unmarshal(raw, &response) != nil || response.Items == nil || len(response.Items) > 200 {
return nil, errFeedInvalid
}
out := []store.FeedItem{}
seen := map[string]bool{}
for _, i := range response.Items {
if i.ID == "" || len(i.ID) > 1024 || seen[i.ID] {
return nil, errFeedInvalid
}
seen[i.ID] = true
if (i.Origin.StreamID != "" && !store.ValidFeedRemoteID(i.Origin.StreamID)) || len(i.Categories) > 64 {
return nil, errFeedInvalid
}
item := store.FeedItem{ID: i.ID, Title: feedText(i.Title, 2048), Feed: feedText(i.Origin.Title, 512), RemoteFeed: i.Origin.StreamID, RemoteCategories: []string{}}
if i.Published > 0 && i.Published < time.Now().AddDate(1, 0, 0).Unix() {
item.PublishedMS = i.Published * 1000
}
body := i.Summary.Content
if body == "" {
body = i.Content.Content
}
item.Body = feedText(body, 32768)
item.BodyHTML = feedHTML(body, base)
if len(i.Alternate) > 0 {
item.URL = feedLink(base, i.Alternate[0].Href)
}
for _, c := range i.Categories {
if !store.ValidFeedRemoteID(c) {
return nil, errFeedInvalid
}
if strings.HasSuffix(c, "/state/com.google/read") {
item.Read = true
}
if strings.HasSuffix(c, "/state/com.google/starred") {
item.Starred = true
}
if pos := strings.Index(c, "/label/"); pos >= 0 {
item.Folder = feedText(c[pos+7:], 512)
item.RemoteCategories = append(item.RemoteCategories, c)
}
}
out = append(out, item)
}
if len(catalogs) > 0 {
raw, _, _, e = feedRequest(ctx, client, "GET", base+"/reader/api/0/subscription/list?output=json", auth, nil, nil)
if e != nil {
return nil, e
}
catalog, e := parseFreshRSSCatalog(raw)
if e != nil {
return nil, e
}
*catalogs[0] = catalog
}
return out, nil
}
func parseFreshRSSCatalog(raw []byte) ([]store.FeedRemoteSubscription, error) {
if len(raw) > 4<<20 || !utf8.Valid(raw) {
return nil, errFeedInvalid
}
var response struct {
Subscriptions []store.FeedRemoteSubscription `json:"subscriptions"`
}
if json.Unmarshal(raw, &response) != nil || response.Subscriptions == nil {
return nil, errFeedInvalid
}
if len(response.Subscriptions) > 1000 {
return nil, errors.New("limit")
}
for i := range response.Subscriptions {
sub := &response.Subscriptions[i]
sub.Title = feedText(sub.Title, 512)
if sub.Categories == nil {
sub.Categories = []store.FeedCategory{}
}
for j := range sub.Categories {
sub.Categories[j].Label = feedText(sub.Categories[j].Label, 512)
}
}
if _, e := store.FeedCatalogJSON(response.Subscriptions); e != nil {
return nil, errFeedInvalid
}
return response.Subscriptions, nil
}
func (s *Server) syncFeedSources(ctx context.Context, job *store.EventJob) error {
client := calendarSourceClient()
client.CheckRedirect = func(*http.Request, []*http.Request) error { return http.ErrUseLastResponse }
defer client.CloseIdleConnections()
return s.syncFeedSourcesWithClient(ctx, job, client)
}
// Tests inject a synthetic transport; production always uses the DNS-pinned,
// public HTTPS-only transport above, never a user-configurable HTTP client.
func (s *Server) syncFeedSourcesWithClient(ctx context.Context, job *store.EventJob, client *http.Client) error {
ctx, cancel := context.WithTimeout(ctx, 35*time.Second)
defer cancel()
sources, e := s.store.DueFeedSources(ctx)
if e != nil {
return e
}
done, failed := 0, 0
for _, v := range sources {
if ctx.Err() != nil {
break
}
if !s.systemExtensionEnabled(v.Domain, "organizer.feeds") {
continue
}
v, e = s.store.ClaimFeed(ctx, v)
if e != nil {
continue
}
child, stop := context.WithTimeout(ctx, 8*time.Second)
var items []store.FeedItem
var catalog []store.FeedRemoteSubscription
etag, modified := v.ETag, v.Modified
unchanged := false
if !validCalendarSourceURL(v.URL) {
e = errFeedInvalid
} else if v.Provider == "freshrss" {
var user, password string
user, password, e = s.store.OpenFeedCredential(v)
if e == nil {
items, e = fetchFreshRSS(child, client, v, user, password, &catalog)
} else {
e = errors.New("credentials")
}
} else {
var raw []byte
var h http.Header
var status int
raw, h, status, e = feedRequest(child, client, "GET", v.URL, "", nil, map[string]string{"If-None-Match": v.ETag, "If-Modified-Since": v.Modified})
if e == nil {
unchanged = status == 304
if !unchanged {
items, e = parseFeed(raw, v.URL)
etag, modified = h.Get("ETag"), h.Get("Last-Modified")
}
}
}
stop()
if e == nil && (len(etag) > 1024 || len(modified) > 1024) {
e = errors.New("limit")
etag, modified = v.ETag, v.Modified
items = nil
}
code := ""
if e != nil {
code = e.Error()
switch code {
case "network", "invalid_feed", "credentials", "remote_error", "limit":
default:
code = "invalid_feed"
}
failed++
} else {
done++
}
if e = s.store.CompleteFeed(ctx, v, items, etag, modified, code, unchanged, catalog); e != nil && !errors.Is(e, store.ErrAccessDenied) && !errors.Is(e, store.ErrTaskConflict) {
return e
}
}
s.addEventProgressLog(ctx, job, fmt.Sprintf("feed sources updated=%d failed=%d", done, failed))
return nil
}
+275
View File
@@ -0,0 +1,275 @@
package server
import (
"encoding/xml"
"io"
"net/http"
"strings"
"pageswiki/internal/store"
)
const feedOPMLMaxBytes = 512 << 10
type feedOPMLRow struct {
store.FeedSubscription
Index int `json:"index"`
Status string `json:"status"`
}
// Parse only the uploaded document. OPML includes and HTML links are never
// fetched. Every token participates in the depth/outline/DTD checks.
func parseFeedOPML(raw string) ([]feedOPMLRow, error) {
if len(raw) > feedOPMLMaxBytes {
return nil, store.ErrTaskDAVLimit
}
d := xml.NewDecoder(strings.NewReader(strings.TrimPrefix(raw, "\ufeff")))
// JSON and the browser's File.text() carry UTF-8, not the original legacy
// bytes. Reject other XML encodings instead of silently corrupting names.
type frame struct {
name xml.Name
folder string
commented bool
}
stack := []frame{}
rows := []feedOPMLRow{}
root, head, body, outlines := 0, 0, 0, 0
for {
token, err := d.Token()
if err == io.EOF {
break
}
if err != nil {
return nil, store.ErrTaskInvalid
}
switch t := token.(type) {
case xml.Directive:
return nil, store.ErrTaskInvalid
case xml.CharData:
if len(stack) == 0 && strings.TrimSpace(string(t)) != "" {
return nil, store.ErrTaskInvalid
}
case xml.StartElement:
if len(stack) >= 16 {
return nil, store.ErrTaskDAVLimit
}
attrs := map[string]string{}
seen := map[xml.Name]bool{}
for _, a := range t.Attr {
if seen[a.Name] {
return nil, store.ErrTaskInvalid
}
seen[a.Name] = true
if a.Name.Space == "" {
attrs[a.Name.Local] = a.Value
}
}
f := frame{name: t.Name}
if len(stack) == 0 {
root++
if root != 1 || t.Name.Space != "" || t.Name.Local != "opml" || (attrs["version"] != "1.0" && attrs["version"] != "1.1" && attrs["version"] != "2.0") {
return nil, store.ErrTaskInvalid
}
} else {
parent := stack[len(stack)-1]
f.folder = parent.folder
f.commented = parent.commented
if len(stack) == 1 && t.Name.Space == "" {
switch t.Name.Local {
case "head":
head++
if head != 1 || body != 0 {
return nil, store.ErrTaskInvalid
}
case "body":
body++
if head != 1 || body != 1 {
return nil, store.ErrTaskInvalid
}
default:
return nil, store.ErrTaskInvalid
}
}
inBody := len(stack) >= 2 && stack[1].name == (xml.Name{Local: "body"})
if inBody && t.Name.Space == "" && parent.name.Space == "" && (parent.name.Local == "body" || parent.name.Local == "outline") && t.Name.Local != "outline" {
return nil, store.ErrTaskInvalid
}
if inBody && t.Name.Space == "" && t.Name.Local == "outline" && parent.name.Space == "" && (parent.name.Local == "body" || parent.name.Local == "outline") {
outlines++
if outlines > 1000 {
return nil, store.ErrTaskDAVLimit
}
f.commented = f.commented || strings.EqualFold(attrs["isComment"], "true")
label := attrs["text"]
if label == "" {
label = attrs["title"]
}
label = feedText(label, 1024)
kind := strings.ToLower(attrs["type"])
if attrs["xmlUrl"] != "" || kind != "" {
if len(rows) >= 500 {
return nil, store.ErrTaskDAVLimit
}
row := feedOPMLRow{FeedSubscription: store.FeedSubscription{Title: label, Folder: f.folder, URL: strings.TrimSpace(attrs["xmlUrl"])}, Index: len(rows), Status: "add"}
switch {
case f.commented:
row.Status = "commented"
case kind != "" && kind != "rss" && kind != "atom":
row.Status = "unsupported_type"
case !validCalendarSourceURL(row.URL):
row.Status = "unsupported_url"
case label == "" || len(label) > 200 || len(f.folder) > 200:
row.Status = "invalid_fields"
}
rows = append(rows, row)
} else if label != "" {
if f.folder != "" {
f.folder += " / "
}
f.folder += label
}
}
}
stack = append(stack, f)
case xml.EndElement:
if len(stack) == 0 {
return nil, store.ErrTaskInvalid
}
stack = stack[:len(stack)-1]
}
}
if root != 1 || head != 1 || body != 1 || len(stack) != 0 {
return nil, store.ErrTaskInvalid
}
return rows, nil
}
func classifyFeedOPML(rows []feedOPMLRow, sources []store.FeedSource) {
existing := map[string]bool{}
seen := map[string]bool{}
for _, s := range sources {
if s.Provider == "local" {
existing[store.FeedURLKey(s.URL)] = true
}
}
for i := range rows {
row := &rows[i]
if row.Status != "add" {
continue
}
key := store.FeedURLKey(row.URL)
if existing[key] {
row.Status = "existing"
} else if seen[key] {
row.Status = "duplicate"
}
seen[key] = true
}
}
type feedOPMLOutline struct {
Text string `xml:"text,attr"`
Title string `xml:"title,attr,omitempty"`
Type string `xml:"type,attr,omitempty"`
URL string `xml:"xmlUrl,attr,omitempty"`
Children []feedOPMLOutline `xml:"outline"`
}
func encodeFeedOPML(sources []store.FeedSource) ([]byte, error) {
var doc struct {
XMLName xml.Name `xml:"opml"`
Version string `xml:"version,attr"`
Title string `xml:"head>title"`
Outlines []feedOPMLOutline `xml:"body>outline"`
}
doc.Version = "2.0"
doc.Title = "PagesWiki RSS"
groups := map[string]int{}
for _, source := range sources {
if source.Provider != "local" {
continue
}
entry := feedOPMLOutline{Text: source.Title, Title: source.Title, Type: "rss", URL: source.URL}
if source.Folder == "" {
doc.Outlines = append(doc.Outlines, entry)
continue
}
i, ok := groups[source.Folder]
if !ok {
i = len(doc.Outlines)
groups[source.Folder] = i
doc.Outlines = append(doc.Outlines, feedOPMLOutline{Text: source.Folder})
}
doc.Outlines[i].Children = append(doc.Outlines[i].Children, entry)
}
raw, err := xml.MarshalIndent(doc, "", " ")
return append([]byte(xml.Header), raw...), err
}
func (s *Server) handleFeedOPML(w http.ResponseWriter, r *http.Request, domain, actor, key string) {
if key == "opml/export" && r.Method == http.MethodGet {
sources, err := s.store.FeedSources(r.Context(), domain, actor)
if err != nil {
taskError(w, err)
return
}
raw, err := encodeFeedOPML(sources)
if err != nil {
taskError(w, err)
return
}
w.Header().Set("Content-Type", "text/x-opml; charset=utf-8")
w.Header().Set("Content-Disposition", `attachment; filename="pageswiki-feeds.opml"`)
w.Header().Set("X-Content-Type-Options", "nosniff")
w.Write(raw)
return
}
if r.Method != http.MethodPost || (key != "opml/preview" && key != "opml/import") {
http.NotFound(w, r)
return
}
var input struct {
OPML string `json:"opml"`
Selected []int `json:"selected"`
RequestID string `json:"request_id"`
Expected string `json:"expected"`
Enabled bool `json:"enabled"`
Interval int `json:"interval_seconds"`
}
if !taskJSONLimit(w, r, &input, 2<<20) {
return
}
rows, err := parseFeedOPML(input.OPML)
if err != nil {
taskError(w, err)
return
}
if key == "opml/preview" {
sources, err := s.store.FeedSources(r.Context(), domain, actor)
if err != nil {
taskError(w, err)
return
}
classifyFeedOPML(rows, sources)
writeEventJSON(w, 200, map[string]any{"rows": rows, "expected": store.FeedSourcesSnapshot(sources), "available": 32 - len(sources)})
return
}
// Reparse on apply; client-supplied titles, URLs or row eligibility are not trusted.
classifyFeedOPML(rows, nil)
seen := map[int]bool{}
plan := store.FeedImport{RequestID: input.RequestID, Expected: input.Expected, Enabled: input.Enabled, Interval: input.Interval}
for _, index := range input.Selected {
if index < 0 || index >= len(rows) || seen[index] || rows[index].Status != "add" {
taskError(w, store.ErrTaskInvalid)
return
}
seen[index] = true
plan.Entries = append(plan.Entries, rows[index].FeedSubscription)
}
ids, err := s.store.ImportFeedSubscriptions(r.Context(), domain, actor, plan)
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 201, map[string]any{"source_ids": ids})
}
+240
View File
@@ -0,0 +1,240 @@
package server
import (
"context"
"encoding/json"
"fmt"
"strings"
"sync"
"testing"
"github.com/google/uuid"
"pageswiki/internal/store"
)
func opmlDoc(outlines string) string {
return `<?xml version="1.0"?><opml version="2.0"><head><title>Test</title></head><body>` + outlines + `</body></opml>`
}
func opmlEntry(name, link string) string {
return `<outline text="` + name + `" type="rss" xmlUrl="` + link + `"/>`
}
func TestFeedOPMLParserAndExport(t *testing.T) {
for _, version := range []string{"1.0", "1.1", "2.0"} {
raw := strings.Replace(opmlDoc(`<outline text="技術"><outline text="Go">`+opmlEntry("A &amp; B", "https://example.org/feed?a=1&amp;b=2")+`</outline></outline>`), `version="2.0"`, `version="`+version+`"`, 1)
rows, err := parseFeedOPML(raw)
if err != nil || len(rows) != 1 || rows[0].Title != "A & B" || rows[0].Folder != "技術 / Go" || rows[0].URL != "https://example.org/feed?a=1&b=2" || rows[0].Status != "add" {
t.Fatal(rows, err)
}
}
for _, bad := range []string{
strings.Replace(opmlDoc(""), `version="1.0"?>`, `version="1.0" encoding="iso-8859-1"?>`, 1),
`<!DOCTYPE opml [<!ENTITY external SYSTEM "file:///etc/passwd">]>` + opmlDoc(""),
opmlDoc("") + opmlDoc(""), opmlDoc("") + "garbage", `<opml version="2.0"><body/></opml>`,
opmlDoc(`<outline text="x" text="y"/>`), opmlDoc(strings.Repeat(`<outline text="deep">`, 20) + strings.Repeat(`</outline>`, 20)),
opmlDoc(strings.Repeat(opmlEntry("x", "https://example.org"), 501)), strings.Repeat("x", feedOPMLMaxBytes+1),
opmlDoc(`<unexpected>` + opmlEntry("x", "https://example.org") + `</unexpected>`),
} {
if _, err := parseFeedOPML(bad); err == nil {
t.Fatal("accepted invalid OPML")
}
}
sources := []store.FeedSource{{Provider: "local", Title: "A & B", Folder: "技術 / Go", URL: "https://example.org/feed?a=1&b=2"}, {Provider: "local", Title: "Paused", Enabled: false, URL: "https://example.org/paused"}, {Provider: "freshrss", Title: "Remote", URL: "https://private.example.org/api/greader.php", Credential: "secret"}}
raw, err := encodeFeedOPML(sources)
if err != nil || strings.Contains(string(raw), "private.example.org") || strings.Contains(string(raw), "secret") {
t.Fatal("export leak", err)
}
rows, err := parseFeedOPML(string(raw))
if err != nil || len(rows) != 2 || rows[0].Folder != "技術 / Go" || rows[0].Title != "A & B" {
t.Fatal("roundtrip", string(raw), rows, err)
}
raw, err = encodeFeedOPML(nil)
if err != nil {
t.Fatal(err)
}
if rows, err = parseFeedOPML(string(raw)); err != nil || len(rows) != 0 {
t.Fatal("empty export", string(raw), err)
}
}
type opmlPreview struct {
Rows []feedOPMLRow `json:"rows"`
Expected string `json:"expected"`
Available int `json:"available"`
}
func previewOPML(t *testing.T, s *Server, token, raw string) opmlPreview {
t.Helper()
w := feedRequestTest(s, token, "POST", "opml/preview", map[string]string{"opml": raw})
var preview opmlPreview
if w.Code != 200 || json.Unmarshal(w.Body.Bytes(), &preview) != nil {
t.Fatal(w.Code, w.Body)
}
return preview
}
func TestFeedOPMLPreviewImportReplayAndOwnership(t *testing.T) {
s, token, domain, actor, source := feedFixture(t)
raw := opmlDoc(`<outline text="日本語">` + opmlEntry("New", "https://example.org/new") + opmlEntry("Existing", "https://EXAMPLE.org:443/feed.xml") + opmlEntry("Duplicate", "https://example.org/new") + opmlEntry("Private", "https://127.0.0.1/feed") + `<outline text="Skipped" isComment="true">` + opmlEntry("Hidden", "https://example.org/hidden") + `</outline><outline type="include" text="Include" url="https://example.org/external.opml"/>` + opmlEntry("", "https://example.org/empty-title") + `</outline>`)
p := previewOPML(t, s, token, raw)
if p.Available != 31 || len(p.Rows) != 7 {
t.Fatal(p)
}
for i, want := range []string{"add", "existing", "duplicate", "unsupported_url", "commented", "unsupported_type", "invalid_fields"} {
if p.Rows[i].Status != want {
t.Fatal(i, p.Rows[i])
}
}
all, _ := s.store.FeedSources(context.Background(), domain, actor)
if len(all) != 1 {
t.Fatal("preview wrote sources")
}
for _, index := range []int{2, 3, 4, 5, 6} {
w := feedRequestTest(s, token, "POST", "opml/import", map[string]any{"opml": raw, "expected": p.Expected, "selected": []int{index}, "request_id": uuid.NewString(), "interval_seconds": 1800})
if w.Code != 422 {
t.Fatal("ineligible row accepted", index, w.Code)
}
}
input := map[string]any{"opml": raw, "expected": p.Expected, "selected": []int{0}, "request_id": uuid.NewString(), "enabled": false, "interval_seconds": 1800}
w := feedRequestTest(s, token, "POST", "opml/import", input)
if w.Code != 201 {
t.Fatal(w.Code, w.Body)
}
original := w.Body.String()
if retry := feedRequestTest(s, token, "POST", "opml/import", input); retry.Code != 201 || retry.Body.String() != original {
t.Fatal("retry", retry.Code, retry.Body)
}
input["enabled"] = true
if retry := feedRequestTest(s, token, "POST", "opml/import", input); retry.Code != 412 {
t.Fatal("changed retry", retry.Code)
}
input["enabled"] = false
all, _ = s.store.FeedSources(context.Background(), domain, actor)
if len(all) != 2 {
t.Fatal("duplicate import", len(all))
}
for _, v := range all {
if v.UUID != source.UUID {
if v.Enabled || v.Title != "New" || v.Folder != "日本語" {
t.Fatal(v)
}
if err := s.store.FeedSourceAction(context.Background(), domain, actor, v.UUID, "delete", v.Version); err != nil {
t.Fatal(err)
}
}
}
if retry := feedRequestTest(s, token, "POST", "opml/import", input); retry.Code != 201 || retry.Body.String() != original {
t.Fatal("deleted retry", retry.Code, retry.Body)
}
all, _ = s.store.FeedSources(context.Background(), domain, actor)
if len(all) != 1 {
t.Fatal("resurrected source")
}
w = feedRequestTest(s, token, "GET", "opml/export", nil)
if w.Code != 200 || !strings.Contains(w.Header().Get("Content-Disposition"), "attachment") || !strings.Contains(w.Header().Get("Cache-Control"), "no-store") {
t.Fatal(w.Code, w.Header())
}
other, err := s.store.CreatePasswordAccount(domain, "opmlother", "long test password", "Other", "")
if err != nil {
t.Fatal(err)
}
otherToken, err := s.store.CreateAuthSession(domain, other.UUID)
if err != nil {
t.Fatal(err)
}
w = feedRequestTest(s, otherToken, "GET", "opml/export", nil)
if w.Code != 200 || strings.Contains(w.Body.String(), source.URL) {
t.Fatal("owner leak", w.Code, w.Body)
}
if w = feedRequestTest(s, "", "GET", "opml/export", nil); w.Code == 200 {
t.Fatal("anonymous export")
}
if err = s.store.SetPrincipalState(domain, actor, "readonly"); err != nil {
t.Fatal(err)
}
token, err = s.store.CreateAuthSession(domain, actor)
if err != nil {
t.Fatal(err)
}
if w = feedRequestTest(s, token, "GET", "opml/export", nil); w.Code != 200 {
t.Fatal("readonly export", w.Code)
}
if w = feedRequestTest(s, token, "POST", "opml/import", input); w.Code != 403 {
t.Fatal("readonly mutation", w.Code)
}
if err = s.setSystemExtensionEnabled(domain, "organizer.feeds", false); err != nil {
t.Fatal(err)
}
if w = feedRequestTest(s, token, "GET", "opml/export", nil); w.Code != 404 {
t.Fatal("disabled export", w.Code)
}
}
func TestFeedOPMLAtomicityLimitsAndConcurrentApply(t *testing.T) {
s, token, domain, actor, source := feedFixture(t)
raw := opmlDoc(opmlEntry("A", "https://example.org/a") + opmlEntry("B", "https://example.org/b"))
p := previewOPML(t, s, token, raw)
input := map[string]any{"opml": raw, "expected": p.Expected, "selected": []int{0, 1}, "request_id": uuid.NewString(), "interval_seconds": 1800}
if _, err := s.store.DB.Exec(`CREATE TRIGGER fail_feed_import BEFORE INSERT ON feed_import_receipts BEGIN SELECT RAISE(ABORT,'synthetic failure'); END`); err != nil {
t.Fatal(err)
}
if w := feedRequestTest(s, token, "POST", "opml/import", input); w.Code != 500 {
t.Fatal(w.Code, w.Body)
}
all, _ := s.store.FeedSources(context.Background(), domain, actor)
if len(all) != 1 {
t.Fatal("partial source insert")
}
if _, err := s.store.DB.Exec(`DROP TRIGGER fail_feed_import`); err != nil {
t.Fatal(err)
}
// A configuration edit invalidates the preview; neither new source is applied.
source.Title = "Changed"
if _, err := s.store.SaveFeedSource(context.Background(), domain, actor, source); err != nil {
t.Fatal(err)
}
if w := feedRequestTest(s, token, "POST", "opml/import", input); w.Code != 412 {
t.Fatal("stale preview", w.Code)
}
p = previewOPML(t, s, token, raw)
input["expected"] = p.Expected
var wg sync.WaitGroup
codes := make(chan int, 2)
for range 2 {
wg.Add(1)
go func() { defer wg.Done(); codes <- feedRequestTest(s, token, "POST", "opml/import", input).Code }()
}
wg.Wait()
close(codes)
for code := range codes {
if code != 201 {
t.Fatal("concurrent retry", code)
}
}
all, _ = s.store.FeedSources(context.Background(), domain, actor)
if len(all) != 3 {
t.Fatal("duplicate concurrent import")
}
entries := ""
selected := []int{}
for i := 0; i < 32; i++ {
entries += opmlEntry(fmt.Sprint(i), fmt.Sprintf("https://example.org/large/%d", i))
selected = append(selected, i)
}
raw = opmlDoc(entries)
p = previewOPML(t, s, token, raw)
input = map[string]any{"opml": raw, "expected": p.Expected, "selected": selected, "request_id": uuid.NewString(), "interval_seconds": 1800}
if w := feedRequestTest(s, token, "POST", "opml/import", input); w.Code != 507 {
t.Fatal("capacity", w.Code, w.Body)
}
all, _ = s.store.FeedSources(context.Background(), domain, actor)
if len(all) != 3 {
t.Fatal("partial limit import")
}
for _, selection := range [][]int{{-1}, {99}, {0, 0}, {}} {
input["selected"] = selection
if w := feedRequestTest(s, token, "POST", "opml/import", input); w.Code != 422 {
t.Fatal("invalid selection", selection, w.Code)
}
}
}
+597
View File
@@ -0,0 +1,597 @@
package server
import (
"context"
"encoding/json"
"errors"
"fmt"
"io"
"net/http"
"net/http/httptest"
"net/url"
"os"
"os/exec"
"strings"
"testing"
"time"
"github.com/google/uuid"
"pageswiki/internal/store"
)
func feedFixture(t *testing.T) (*Server, string, string, string, store.FeedSource) {
t.Helper()
s, token, domain, actor := taskFixture(t)
source, e := s.store.SaveFeedSource(context.Background(), domain, actor, store.FeedSource{UUID: uuid.NewString(), Provider: "local", Title: "Synthetic news", Folder: "Tech", URL: "https://example.org/feed.xml", Enabled: true, Interval: 300})
if e != nil {
t.Fatal(e)
}
sources, e := s.store.FeedSources(context.Background(), domain, actor)
if e != nil || len(sources) != 1 {
t.Fatal(e)
}
source = sources[0]
return s, token, domain, actor, source
}
func feedRequestTest(s *Server, token, method, key string, body any) *httptest.ResponseRecorder {
raw, _ := json.Marshal(body)
r := httptest.NewRequest(method, "http://localhost"+feedsAPI+key, strings.NewReader(string(raw)))
r.Header.Set("Content-Type", "application/json")
if token != "" {
r.Header.Set("Authorization", "Bearer "+token)
}
w := httptest.NewRecorder()
s.withAuthorization(s.mux).ServeHTTP(w, r)
return w
}
func TestFeedReaderStateIsolationAndFencing(t *testing.T) {
s, token, domain, actor, source := feedFixture(t)
ctx := context.Background()
claim, e := s.store.ClaimFeed(ctx, source)
if e != nil {
t.Fatal(e)
}
if _, e = s.store.ClaimFeed(ctx, source); !errors.Is(e, store.ErrTaskConflict) {
t.Fatal("double claim", e)
}
item := store.FeedItem{ID: "one", Title: "日本語 news", Body: "safe text", URL: "https://example.org/one", PublishedMS: 1}
if e = s.store.CompleteFeed(ctx, claim, []store.FeedItem{item}, "e1", "", "", false); e != nil {
t.Fatal(e)
}
if w := feedRequestTest(s, token, "GET", "items", nil); w.Code != 200 || !strings.Contains(w.Body.String(), "日本語") {
t.Fatal(w.Code, w.Body)
}
if w := feedRequestTest(s, "", "GET", "items", nil); w.Code == 200 {
t.Fatal("anonymous")
}
if _, e = s.store.FeedItem(ctx, domain, uuid.NewString(), source.UUID, "one"); !errors.Is(e, store.ErrAccessDenied) {
t.Fatal(e)
}
state := map[string]any{"source": source.UUID, "id": "one", "read": true, "starred": true, "version": 0}
if w := feedRequestTest(s, token, "POST", "state", state); w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
if w := feedRequestTest(s, token, "POST", "state", state); w.Code != 412 {
t.Fatal("stale state", w.Code, w.Body)
}
got, e := s.store.FeedItem(ctx, domain, actor, source.UUID, "one")
if e != nil || !got.Read || !got.Starred || got.Version != 1 {
t.Fatal(got, e)
}
if e = s.store.CompleteFeed(ctx, claim, nil, "", "", "", false); !errors.Is(e, store.ErrTaskConflict) {
t.Fatal("old completion", e)
}
// Re-fetch must preserve local read/star; config edits invalidate in-flight work.
source.Version = 1
source, e = s.store.SaveFeedSource(ctx, domain, actor, source)
if e != nil {
t.Fatal(e)
}
sources, _ := s.store.FeedSources(ctx, domain, actor)
claim, e = s.store.ClaimFeed(ctx, sources[0])
if e != nil {
t.Fatal(e)
}
if e = s.store.CompleteFeed(ctx, claim, []store.FeedItem{item}, "", "", "", false); e != nil {
t.Fatal(e)
}
got, _ = s.store.FeedItem(ctx, domain, actor, source.UUID, "one")
if !got.Read || !got.Starred {
t.Fatal("lost state")
}
source, e = s.store.SaveFeedSource(ctx, domain, actor, source)
if e != nil {
t.Fatal(e)
}
sources, _ = s.store.FeedSources(ctx, domain, actor)
claim, e = s.store.ClaimFeed(ctx, sources[0])
if e != nil {
t.Fatal(e)
}
source.Enabled = false
source, e = s.store.SaveFeedSource(ctx, domain, actor, source)
if e != nil {
t.Fatal(e)
}
if e = s.store.CompleteFeed(ctx, claim, []store.FeedItem{item}, "", "", "", false); !errors.Is(e, store.ErrTaskConflict) {
t.Fatal("disabled late commit", e)
}
if e = s.setSystemExtensionEnabled(domain, "organizer.feeds", false); e != nil {
t.Fatal(e)
}
if _, e = s.store.FeedItems(ctx, domain, actor, "", "", "", -1, ""); !errors.Is(e, store.ErrAccessDenied) {
t.Fatal(e)
}
if w := feedRequestTest(s, token, "GET", "items", nil); w.Code != 404 {
t.Fatal(w.Code)
}
}
func TestFeedParserSafetyAndFormats(t *testing.T) {
rss := `<?xml version="1.0"?><rss version="2.0" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>News</title><item><guid>id</guid><title>日本語</title><link>/one</link><content:encoded><![CDATA[<p>Hello</p><script>alert(1)</script><img src="https://evil.invalid/pixel"><b>world</b>]]></content:encoded><pubDate>Fri, 06 Nov 2026 10:00:00 +0000</pubDate></item></channel></rss>`
items, e := parseFeed([]byte(rss), "https://example.org/feed")
if e != nil || len(items) != 1 || items[0].URL != "https://example.org/one" || strings.Contains(items[0].Body, "alert") || strings.Contains(items[0].Body, "pixel") || items[0].PublishedMS == 0 {
t.Fatal(items, e)
}
atom := `<feed xmlns="http://www.w3.org/2005/Atom"><title>Atom</title><entry><id>urn:one</id><title>One</title><link href="https://example.org/one"/><updated>2026-11-01T10:00:00Z</updated><content type="html">&lt;p&gt;Body&lt;/p&gt;</content></entry></feed>`
items, e = parseFeed([]byte(atom), "https://example.org")
if e != nil || len(items) != 1 || items[0].Body != "Body" {
t.Fatal(items, e)
}
for _, raw := range []string{`<!DOCTYPE rss [<!ENTITY x SYSTEM "file:///etc/passwd">]><rss/>`, `<html>error</html>`, `<rss/><rss/>`, `<rss><channel><item><guid>x</guid></item><item><guid>x</guid></item></channel></rss>`, strings.Repeat("x", (4<<20)+1)} {
if _, e = parseFeed([]byte(raw), "https://example.org"); e == nil {
t.Fatal("accepted malformed feed")
}
}
if feedLink("https://example.org", "javascript:alert(1)") != "" || feedLink("https://example.org", "https://user:pass@example.org") != "" {
t.Fatal("unsafe link")
}
items, e = parseFeed([]byte(`<rss><channel><item><title>No ID or link</title><description>First body</description></item><item><title>No ID or link</title><description>Second body</description></item></channel></rss>`), "https://example.org/feed")
if e != nil || len(items) != 2 || items[0].ID == items[1].ID || items[0].URL != "" {
t.Fatal("missing IDs must not collapse to the feed URL", items, e)
}
}
func TestFreshRSSReadOnlyContract(t *testing.T) {
requests := []string{}
remote := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
requests = append(requests, r.Method+" "+r.URL.Path)
switch r.URL.Path {
case "/api/greader.php/accounts/ClientLogin":
if r.Method != "POST" {
t.Error("login method")
}
r.ParseForm()
if r.Form.Get("Email") != "reader" || r.Form.Get("Passwd") != "api-secret" {
t.Error("login form")
}
fmt.Fprint(w, "SID=x\nAuth=reader/token\n")
case "/api/greader.php/reader/api/0/stream/contents/reading-list":
if r.Header.Get("Authorization") != "GoogleLogin auth=reader/token" || r.URL.Query().Get("n") != "200" {
t.Error("request contract")
}
fmt.Fprint(w, `{"items":[{"id":"tag:1","title":"Title","summary":{"content":"<p>Text</p>"},"published":1793500000,"categories":["user/reader/state/com.google/read","user/reader/state/com.google/starred","user/reader/label/Tech"],"origin":{"title":"Feed"},"alternate":[{"href":"https://example.org/article"}]}]}`)
default:
t.Error("unexpected mutation", r.URL.Path)
w.WriteHeader(404)
}
}))
defer remote.Close()
items, e := fetchFreshRSS(context.Background(), remote.Client(), store.FeedSource{URL: remote.URL + "/api/greader.php"}, "reader", "api-secret")
if e != nil || len(items) != 1 || !items[0].Read || !items[0].Starred || items[0].Folder != "Tech" || items[0].Body != "Text" || items[0].BodyHTML != "<p>Text</p>" || len(requests) != 2 {
t.Fatal(items, e, requests)
}
for _, bad := range []string{"http://example.org/feed", "https://127.0.0.1/feed", "https://10.0.0.1/feed", "https://example.org:8443/feed", "https://user:pass@example.org/feed"} {
if validCalendarSourceURL(bad) {
t.Fatal("SSRF URL", bad)
}
}
}
func TestFeedHTMLFormattingAndIsolation(t *testing.T) {
raw := `<h2>Title</h2><p class="x" style="position:fixed" onclick="bad()"><strong>Bold</strong></p><table><tr><td colspan="2">Cell</td></tr></table><a href="../story" target="_top">Story</a><a href="javascript:bad()">bad</a><script>bad()</script><style>@import '/__feed_leak';</style><form action="/__feed_leak"><input autofocus></form><img src="/__feed_leak"><iframe src="/__feed_leak"></iframe><svg onload="bad()"></svg>`
clean := feedHTML(raw, "https://example.org/news/feed.xml")
for _, want := range []string{`<h2>Title</h2>`, `<strong>Bold</strong>`, `<table>`, `colspan="2"`, `href="https://example.org/story"`, `target="_blank"`, `noopener`} {
if !strings.Contains(clean, want) {
t.Fatal("format lost", want, clean)
}
}
for _, bad := range []string{"<script", "<style", "<form", "<input", "<img", "<iframe", "<svg", "onclick", "javascript:", "position:", "_top", "__feed_leak"} {
if strings.Contains(clean, bad) {
t.Fatal("unsafe markup", bad, clean)
}
}
if feedHTML(clean, "https://example.org/news/feed.xml") != clean {
t.Fatal("sanitizer not stable")
}
if feedHTML(strings.Repeat("<p>x</p>", 17000), "https://example.org") != "" {
t.Fatal("HTML cap")
}
for _, kind := range []string{"text", "html", "xhtml"} {
content := `&lt;b&gt;bold&lt;/b&gt;`
if kind == "xhtml" {
content = `<div xmlns="http://www.w3.org/1999/xhtml"><b>bold</b></div>`
}
items, e := parseFeed([]byte(`<feed xmlns="http://www.w3.org/2005/Atom"><entry><id>x</id><content type="`+kind+`">`+content+`</content></entry></feed>`), "https://example.org")
if e != nil || len(items) != 1 {
t.Fatal(e)
}
if kind == "text" {
if items[0].BodyHTML != "" || items[0].Body != "<b>bold</b>" {
t.Fatal("literal Atom text", items)
}
} else if !strings.Contains(items[0].BodyHTML, "<b>bold</b>") {
t.Fatal("Atom markup", kind, items)
}
}
}
func TestFeedPaginationFailureAndDelete(t *testing.T) {
s, token, domain, actor, source := feedFixture(t)
ctx := context.Background()
claim, e := s.store.ClaimFeed(ctx, source)
if e != nil {
t.Fatal(e)
}
items := []store.FeedItem{}
for i := 0; i < 205; i++ {
items = append(items, store.FeedItem{ID: fmt.Sprintf("id-%03d", i), Title: "Title", Body: "Body", PublishedMS: 100})
}
if e = s.store.CompleteFeed(ctx, claim, items, "old", "", "", false); e != nil {
t.Fatal(e)
}
seen := map[string]bool{}
before := int64(-1)
key := ""
for {
batch, e := s.store.FeedItems(ctx, domain, actor, "", "", "", before, key)
if e != nil {
t.Fatal(e)
}
more := len(batch) > 100
if more {
batch = batch[:100]
}
for _, item := range batch {
if seen[item.ID] {
t.Fatal("duplicate")
}
seen[item.ID] = true
}
if !more {
break
}
last := batch[len(batch)-1]
before = last.PublishedMS
key = last.Source + ":" + last.ID
}
if len(seen) != 205 {
t.Fatal(len(seen))
}
source, e = s.store.SaveFeedSource(ctx, domain, actor, source)
if e != nil {
t.Fatal(e)
}
sources, _ := s.store.FeedSources(ctx, domain, actor)
claim, e = s.store.ClaimFeed(ctx, sources[0])
if e != nil {
t.Fatal(e)
}
if e = s.store.CompleteFeed(ctx, claim, nil, "", "", "network", false); e != nil {
t.Fatal(e)
}
if _, e = s.store.FeedItem(ctx, domain, actor, source.UUID, "id-001"); e != nil {
t.Fatal("cache lost on failure", e)
}
if w := feedRequestTest(s, token, "POST", "sources/"+source.UUID+"/delete", map[string]int64{"version": source.Version}); w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
var count int
if e = s.store.DB.QueryRow(`SELECT count(*) FROM feed_items`).Scan(&count); e != nil || count != 0 {
t.Fatal("cascade", count, e)
}
var integrity string
if e = s.store.DB.QueryRow(`PRAGMA integrity_check`).Scan(&integrity); e != nil || integrity != "ok" {
t.Fatal(integrity, e)
}
}
func TestFeedSourceAPIAndCredentialBinding(t *testing.T) {
s, token, domain, actor, _ := feedFixture(t)
input := map[string]any{"uuid": uuid.NewString(), "provider": "freshrss", "title": "Remote", "url": "https://rss.example.org/api/greader.php", "interval_seconds": 300, "enabled": true, "username": "reader", "password": "top-secret"}
w := feedRequestTest(s, token, "POST", "sources", input)
if w.Code != 200 || strings.Contains(w.Body.String(), "secret") {
t.Fatal(w.Code, w.Body)
}
// Each HTTP retry seals a different ciphertext, but identical credentials and
// request UUID must still return the same source, not create a duplicate.
if retry := feedRequestTest(s, token, "POST", "sources", input); retry.Code != 200 || retry.Body.String() != w.Body.String() {
t.Fatal("source replay", retry.Code, retry.Body)
}
input["password"] = "changed-secret"
if retry := feedRequestTest(s, token, "POST", "sources", input); retry.Code != 412 {
t.Fatal("changed source replay", retry.Code, retry.Body)
}
input["password"] = "top-secret"
sources, e := s.store.FeedSources(context.Background(), domain, actor)
if e != nil {
t.Fatal(e)
}
if len(sources) != 2 {
t.Fatal("duplicate source", len(sources))
}
var remote store.FeedSource
for _, v := range sources {
if v.Provider == "freshrss" {
remote = v
}
}
u, p, e := s.store.OpenFeedCredential(remote)
if e != nil || u != "reader" || p != "top-secret" {
t.Fatal("credential", e)
}
remote.Owner = uuid.NewString()
if _, _, e = s.store.OpenFeedCredential(remote); e == nil {
t.Fatal("credential rebound")
}
if w = feedRequestTest(s, token, "GET", "sources", nil); w.Code != 200 || strings.Contains(w.Body.String(), "top-secret") || strings.Contains(w.Body.String(), "credential") {
t.Fatal(w.Code, w.Body)
}
input["url"] = "https://127.0.0.1/api/greader.php"
if w = feedRequestTest(s, token, "POST", "sources", input); w.Code != 422 {
t.Fatal(w.Code, w.Body)
}
}
func TestFeedFreshRSSAuthorityAndRevocation(t *testing.T) {
s, token, domain, actor, local := feedFixture(t)
ctx := context.Background()
v, e := s.store.SaveFeedSource(ctx, domain, actor, store.FeedSource{UUID: uuid.NewString(), Provider: "freshrss", Title: "FreshRSS", URL: "https://example.org/api/greader.php", Enabled: true, Interval: 300})
if e != nil {
t.Fatal(e)
}
claim := func() store.FeedSource {
t.Helper()
// Simulate the next scheduler tick without a wall-clock wait.
if _, err := s.store.DB.Exec(`UPDATE feed_sources SET next_ms=0 WHERE uuid=?`, v.UUID); err != nil {
t.Fatal(err)
}
all, err := s.store.FeedSources(ctx, domain, actor)
if err != nil {
t.Fatal(err)
}
for _, source := range all {
if source.UUID == v.UUID {
v = source
}
}
c, err := s.store.ClaimFeed(ctx, v)
if err != nil {
t.Fatal(err)
}
return c
}
c := claim()
if e = s.store.CompleteFeed(ctx, c, []store.FeedItem{{ID: "removed", Title: "Removed"}, {ID: "kept", Title: "Kept", Read: true, Starred: true}}, "", "", "", false); e != nil {
t.Fatal(e)
}
if e = s.store.SetFeedState(ctx, domain, actor, v.UUID, "kept", false, false, 0); !errors.Is(e, store.ErrAccessDenied) {
t.Fatal("remote state mutation", e)
}
c = claim()
if e = s.store.CompleteFeed(ctx, c, []store.FeedItem{{ID: "kept", Title: "Changed elsewhere", Read: false}}, "", "", "", false); e != nil {
t.Fatal(e)
}
items, e := s.store.FeedItems(ctx, domain, actor, v.UUID, "", "", -1, "")
if e != nil || len(items) != 1 || items[0].Read || items[0].Starred || items[0].Title != "Changed elsewhere" {
t.Fatal("non-authoritative cache", items, e)
}
c = claim()
if e = s.store.SetPrincipalState(domain, actor, "readonly"); e != nil {
t.Fatal(e)
}
// Changing principal state invalidates the previous session.
token, e = s.store.CreateAuthSession(domain, actor)
if e != nil {
t.Fatal(e)
}
if _, e = s.store.FeedItems(ctx, domain, actor, "", "", "", -1, ""); e != nil {
t.Fatal("readonly read", e)
}
if e = s.store.CompleteFeed(ctx, c, nil, "", "", "", false); !errors.Is(e, store.ErrAccessDenied) {
t.Fatal("late revoked worker", e)
}
if w := feedRequestTest(s, token, "POST", "sources/"+local.UUID+"/delete", map[string]int64{"version": 1}); w.Code != 403 {
t.Fatal("readonly API", w.Code, w.Body)
}
if due, err := s.store.DueFeedSources(ctx); err != nil || len(due) != 0 {
t.Fatal("inactive source starves queue", due, err)
}
if e = s.store.SetPrincipalState(domain, actor, "active"); e != nil {
t.Fatal(e)
}
if e = s.setSystemExtensionEnabled(domain, "organizer.feeds", false); e != nil {
t.Fatal(e)
}
if due, err := s.store.DueFeedSources(ctx); err != nil || len(due) != 0 {
t.Fatal("disabled extension starves queue", due, err)
}
}
func TestFeedNoteAtomicReceiptAndPermissions(t *testing.T) {
s, token, domain, _, source := feedFixture(t)
ctx := context.Background()
claim, e := s.store.ClaimFeed(ctx, source)
if e != nil {
t.Fatal(e)
}
if e = s.store.CompleteFeed(ctx, claim, []store.FeedItem{{ID: "note", Title: "Title", Body: "Body"}}, "", "", "", false); e != nil {
t.Fatal(e)
}
id := uuid.NewString()
input := map[string]any{"request_id": id, "source": source.UUID, "id": "note", "path": "/notes/rss-" + id, "title": "RSS title", "body": "Source: https://example.org\n{{children}} <script>bad()</script>", "confirm_publication": true}
w := feedRequestTest(s, token, "POST", "note", input)
if w.Code != 201 {
t.Fatal(w.Code, w.Body)
}
original := w.Body.String()
if w = feedRequestTest(s, token, "POST", "note", input); w.Code != 201 || w.Body.String() != original {
t.Fatal("replay", w.Code, w.Body)
}
var response map[string]string
json.Unmarshal(w.Body.Bytes(), &response)
rev, e := s.store.GetLatestRevision(response["page_uuid"])
if e != nil || strings.Contains(rev.Body, "{{children}}") || strings.Contains(rev.Body, "<script>") {
t.Fatal(rev, e)
}
input["body"] = "changed"
if w = feedRequestTest(s, token, "POST", "note", input); w.Code != 412 {
t.Fatal("changed replay", w.Code, w.Body)
}
input["request_id"] = uuid.NewString()
if w = feedRequestTest(s, token, "POST", "note", input); w.Code != 409 {
t.Fatal("path exists", w.Code, w.Body)
}
input["path"] = "/u/other/rss"
if w = feedRequestTest(s, token, "POST", "note", input); w.Code != 403 {
t.Fatal("reserved user space", w.Code, w.Body)
}
// Roll back page/path when the durable receipt cannot be committed.
if _, e = s.store.DB.Exec(`CREATE TRIGGER fail_feed_receipt BEFORE INSERT ON feed_note_receipts BEGIN SELECT RAISE(ABORT,'synthetic failure'); END`); e != nil {
t.Fatal(e)
}
input["path"] = "/notes/rollback"
if w = feedRequestTest(s, token, "POST", "note", input); w.Code != 500 {
t.Fatal(w.Code, w.Body)
}
var n int
if e = s.store.DB.QueryRow(`SELECT count(*) FROM paths WHERE domain_uuid=? AND path='/notes/rollback'`, domain).Scan(&n); e != nil || n != 0 {
t.Fatal("partial note", n, e)
}
}
type feedTransportFunc func(*http.Request) (*http.Response, error)
func (f feedTransportFunc) RoundTrip(r *http.Request) (*http.Response, error) { return f(r) }
func TestFeedBackgroundConditionalFetch(t *testing.T) {
s, _, domain, actor, source := feedFixture(t)
ctx := context.Background()
step := 0
client := &http.Client{Transport: feedTransportFunc(func(r *http.Request) (*http.Response, error) {
step++
if r.URL.String() != source.URL || r.Method != "GET" {
t.Fatal("unexpected request", r.Method, r.URL)
}
deadline, ok := r.Context().Deadline()
if !ok || time.Until(deadline) > 8*time.Second {
t.Fatal("unbounded fetch")
}
switch step {
case 1:
return &http.Response{StatusCode: 200, Header: http.Header{"Etag": {`"feed-1"`}}, Body: io.NopCloser(strings.NewReader(`<rss><channel><item><guid>id</guid><title>First</title></item></channel></rss>`))}, nil
case 2:
if r.Header.Get("If-None-Match") != `"feed-1"` {
t.Fatal("missing conditional GET")
}
return &http.Response{StatusCode: 304, Header: http.Header{}, Body: io.NopCloser(strings.NewReader(""))}, nil
default:
return nil, errors.New("synthetic failure containing a secret URL; must not be persisted")
}
})}
for tick := 1; tick <= 3; tick++ {
if _, e := s.store.DB.Exec(`UPDATE feed_sources SET next_ms=0 WHERE uuid=?`, source.UUID); e != nil {
t.Fatal(e)
}
if e := s.syncFeedSourcesWithClient(ctx, &store.EventJob{UUID: uuid.NewString(), Type: store.FeedSyncEventType}, client); e != nil {
t.Fatal(e)
}
if step != tick {
t.Fatal("wrong fetch count", step, tick)
}
item, e := s.store.FeedItem(ctx, domain, actor, source.UUID, "id")
if e != nil || item.Title != "First" {
t.Fatal("cache not preserved", item, e)
}
all, e := s.store.FeedSources(ctx, domain, actor)
if e != nil || len(all) != 1 || all[0].ETag != `"feed-1"` || all[0].Lease != "" || all[0].NextMS <= time.Now().UnixMilli() {
t.Fatal("worker metadata", all, e)
}
if tick == 3 && all[0].Error != "network" {
t.Fatal("secret error leaked", all[0].Error)
}
if e := s.syncFeedSourcesWithClient(ctx, &store.EventJob{UUID: uuid.NewString()}, client); e != nil {
t.Fatal(e)
}
if step != tick {
t.Fatal("cooldown ignored")
}
}
}
func TestFeedsChromium(t *testing.T) {
if os.Getenv("PAGESWIKI_BROWSER_TEST") != "1" {
t.Skip("opt-in Chromium")
}
s, token, domain, actor, source := feedFixture(t)
claim, e := s.store.ClaimFeed(context.Background(), source)
if e != nil {
t.Fatal(e)
}
items := []store.FeedItem{}
for i := 0; i < 120; i++ {
items = append(items, store.FeedItem{ID: fmt.Sprint(i), Title: fmt.Sprintf("%03d 日本語のRSS記事 — リーダーの密度とキーボード操作", i), Body: "安全な本文です。\n\n<script>display as text</script> {{children}}\n\nSource content stays inert.", Feed: "技術ニュース", URL: "https://example.org/article", PublishedMS: int64(1793500000000 + i)})
}
items[119].BodyHTML = `<h2>HTMLの記事本文</h2><p><strong>強調</strong>や<a href="/article">リンク</a>をそのまま読めます。</p><ul><li>見出しと箇条書き</li><li>テーマに沿った表示</li></ul><table><tr><th>項目</th><th>内容</th></tr><tr><td>本文</td><td>HTML表示</td></tr></table><script>window.rssAttack=1</script><img src="/__feed_leak" onerror="window.rssAttack=1"><style>body{display:none}</style>`
if e = s.store.CompleteFeed(context.Background(), claim, items, "", "", "", false); e != nil {
t.Fatal(e)
}
fresh, e := s.store.SaveFeedSource(context.Background(), domain, actor, store.FeedSource{UUID: uuid.NewString(), Provider: "freshrss", Title: "FreshRSS fixture", URL: "https://example.org/api/greader.php", Enabled: true, Interval: 300})
if e != nil {
t.Fatal(e)
}
all, e := s.store.FeedSources(context.Background(), domain, actor)
if e != nil {
t.Fatal(e)
}
for _, v := range all {
if v.UUID == fresh.UUID {
fresh = v
}
}
claim, e = s.store.ClaimFeed(context.Background(), fresh)
if e != nil {
t.Fatal(e)
}
catalog, e := parseFreshRSSCatalog([]byte(testFeedCatalog))
if e != nil {
t.Fatal(e)
}
if e = s.store.CompleteFeed(context.Background(), claim, []store.FeedItem{{ID: "catalog-a", Title: "Catalog first", RemoteFeed: "feed/1", RemoteCategories: []string{"user/alice/label/Tech"}}, {ID: "catalog-b", Title: "Catalog second", RemoteFeed: "feed/2", RemoteCategories: []string{"user/alice/label/Other"}}}, "", "", "", false, catalog); e != nil {
t.Fatal(e)
}
s.store.BackgroundJobsDisabled = true
s = New(s.store)
script, e := os.ReadFile("internal/server/testdata/feeds.js")
if e != nil {
t.Fatal(e)
}
handler := s.handler()
web := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
r.Host = "localhost"
r.Header.Set("Authorization", "Bearer "+token)
if r.URL.Path == "/fixture" {
w.Header().Set("Content-Type", "text/html; charset=utf-8")
fmt.Fprint(w, "<!doctype html><body style='margin:0'><script>"+string(script)+"</script></body>")
return
}
handler.ServeHTTP(w, r)
}))
defer web.Close()
for _, width := range []string{"1440", "390"} {
ctx, cancel := context.WithTimeout(context.Background(), 45*time.Second)
args := []string{"internal/server/testdata/vim-browser-smoke.mjs", web.URL + "/fixture?width=" + url.QueryEscape(width), t.TempDir(), "/tmp/pageswiki-feeds-" + width + ".png", width, "850"}
out, e := exec.CommandContext(ctx, "node", args...).CombinedOutput()
cancel()
if e != nil {
t.Fatalf("browser %s: %v %s", width, e, out)
}
}
}
+56
View File
@@ -0,0 +1,56 @@
package server
import (
"encoding/json"
"errors"
"net/url"
"strconv"
)
type homePaletteSettings struct {
Mode string `json:"mode"`
Strength int `json:"strength"`
Brightness string `json:"brightness"`
}
func validHomePalette(p homePaletteSettings) bool {
return (p.Mode == "off" || p.Mode == "accent" || p.Mode == "surface") && p.Strength >= 0 && p.Strength <= 100 && (p.Brightness == "preserve" || p.Brightness == "auto")
}
func (s *Server) homePalette(domain string) homePaletteSettings {
p := homePaletteSettings{Mode: "surface", Strength: 35, Brightness: "preserve"}
var saved homePaletteSettings
if json.Unmarshal([]byte(s.getDomainConfig("home_wallpaper_palette", domain)), &saved) == nil && validHomePalette(saved) {
return saved
}
return p
}
func (s *Server) parseHomePalette(domain string, form url.Values) (homePaletteSettings, error) {
p := s.homePalette(domain)
if form.Has("home_palette_mode") {
p.Mode = form.Get("home_palette_mode")
}
if form.Has("home_palette_brightness") {
p.Brightness = form.Get("home_palette_brightness")
}
if form.Has("home_palette_strength") {
n, err := strconv.Atoi(form.Get("home_palette_strength"))
if err != nil {
return p, errors.New("invalid wallpaper palette strength")
}
p.Strength = n
}
if !validHomePalette(p) {
return p, errors.New("invalid wallpaper palette settings")
}
return p, nil
}
func (s *Server) saveHomePalette(domain string, p homePaletteSettings) error {
b, err := json.Marshal(p)
if err != nil {
return err
}
return s.store.SetConfigInDomain(domain, "home_wallpaper_palette", string(b))
}
+165
View File
@@ -0,0 +1,165 @@
package server
import (
"bytes"
"context"
"image"
"image/color"
"image/png"
"net/http"
"net/http/httptest"
"net/url"
"os"
"os/exec"
"strings"
"testing"
"time"
)
func TestHomePaletteSettingsAndScope(t *testing.T) {
s, token, domain := configFixture(t)
s.mux.HandleFunc("/", s.handleHome)
saveWallpaperFixture(t, s, domain, "/wallpapers/a.jpg", "image/jpeg")
if err := s.store.SetConfigInDomain(domain, "home_wallpaper_path", "/wallpapers/a.jpg"); err != nil {
t.Fatal(err)
}
initial := s.homePalette(domain)
if initial.Mode != "surface" || initial.Strength != 35 || initial.Brightness != "preserve" {
t.Fatal(initial)
}
for _, values := range []url.Values{{"home_palette_mode": {"bad"}}, {"home_palette_strength": {"101"}}, {"home_palette_strength": {"-1"}}, {"home_palette_strength": {"bad"}}, {"home_palette_brightness": {"bad"}}} {
values.Set("section", "home-appearance")
values.Set("home_glass_transparency", "47")
if w := configRequest(s, token, "POST", "/-/sys/config", values); w.Code != 400 {
t.Fatal(w.Code, w.Body)
}
if s.homePalette(domain) != initial || s.homeGlassTransparency(domain) != 42 {
t.Fatal("invalid request partially saved")
}
}
values := url.Values{"section": {"home-appearance"}, "home_glass_transparency": {"47"}, "home_palette_mode": {"accent"}, "home_palette_strength": {"70"}, "home_palette_brightness": {"auto"}}
if w := configRequest(s, token, "POST", "/-/sys/config", values); w.Code != http.StatusFound {
t.Fatal(w.Code, w.Body)
}
if p := s.homePalette(domain); p.Mode != "accent" || p.Strength != 70 || p.Brightness != "auto" {
t.Fatal(p)
}
member, err := s.store.CreatePasswordAccount(domain, "palette-reader", "a long test password", "Reader", "")
if err != nil {
t.Fatal(err)
}
memberToken, err := s.store.CreateAuthSession(domain, member.UUID)
if err != nil {
t.Fatal(err)
}
if w := configRequest(s, memberToken, "POST", "/-/sys/config", url.Values{"section": {"home-appearance"}, "home_palette_mode": {"off"}, "home_glass_transparency": {"47"}}); w.Code != http.StatusForbidden {
t.Fatalf("member changed domain appearance: %d", w.Code)
}
if s.homePalette(domain).Mode != "accent" {
t.Fatal("member overwrote settings")
}
for _, layout := range []string{"classic", "search", "directory"} {
if err := s.store.SetConfigInDomain(domain, "home_layout", layout); err != nil {
t.Fatal(err)
}
w := configRequest(s, token, "GET", "/", nil)
for _, want := range []string{`data-home-palette`, `data-mode="accent"`, `data-strength="70"`, `data-home-appearance-open`, `/static/js/home-palette.js?v=1`} {
if w.Code != 200 || !strings.Contains(w.Body.String(), want) {
t.Fatal(layout, w.Code, want)
}
}
}
for _, path := range []string{"/-/sys/config?panel=home", "/missing-page"} {
w := configRequest(s, token, http.MethodGet, path, nil)
if strings.Contains(w.Body.String(), `data-home-palette `) || strings.Contains(w.Body.String(), `src="/static/js/home-palette.js`) {
t.Fatal("theme leaked outside home", path)
}
}
settings := configRequest(s, token, http.MethodGet, "/-/sys/config?panel=home", nil)
if settings.Code != http.StatusOK || !strings.Contains(settings.Body.String(), `name="home_palette_mode"`) || !strings.Contains(settings.Body.String(), `value="accent" selected`) {
t.Fatal("settings panel did not load saved palette")
}
for _, section := range []string{"home", "home-appearance"} {
invalid := url.Values{"section": {section}, "home_palette_strength": {"NaN"}, "home_layout": {"search"}}
if w := configRequest(s, token, http.MethodPost, "/-/sys/config", invalid); w.Code != http.StatusBadRequest {
t.Fatal(section, w.Code)
}
}
// Old forms may omit the new fields without resetting their saved settings.
delete(values, "home_palette_mode")
delete(values, "home_palette_strength")
delete(values, "home_palette_brightness")
if w := configRequest(s, token, "POST", "/-/sys/config", values); w.Code != http.StatusFound {
t.Fatal(w.Code)
}
if s.homePalette(domain).Mode != "accent" {
t.Fatal("old form reset settings")
}
if err := s.store.SetConfigInDomain(domain, "home_wallpaper_path", ""); err != nil {
t.Fatal(err)
}
w := configRequest(s, token, "GET", "/", nil)
if strings.Contains(w.Body.String(), `src="/static/js/home-palette.js`) {
t.Fatal("loaded extractor without wallpaper")
}
}
func TestHomePaletteChromium(t *testing.T) {
if os.Getenv("PAGESWIKI_BROWSER_TEST") != "1" {
t.Skip("opt-in Chromium")
}
s, token, domain := configFixture(t)
s.store.BackgroundJobsDisabled = true
s = New(s.store)
picture := image.NewRGBA(image.Rect(0, 0, 480, 320))
for y := 0; y < 320; y++ {
for x := 0; x < 480; x++ {
picture.SetRGBA(x, y, color.RGBA{uint8(30 + x/4), uint8(60 + y/3), uint8(180 + y/5), 255})
}
}
var content bytes.Buffer
if err := png.Encode(&content, picture); err != nil {
t.Fatal(err)
}
object, err := s.store.CreatePageAtPathInDomain(domain, "/wallpapers/test.png")
if err != nil {
t.Fatal(err)
}
if _, err = s.store.SaveRevisionContent(object, content.Bytes(), "test", "und", "image/png", "test.png"); err != nil {
t.Fatal(err)
}
for k, v := range map[string]string{"home_layout": "directory", "home_wallpaper_path": "/wallpapers/test.png", "home_wallpaper_opacity": "70", "theme": "nanoha-dark"} {
if err := s.store.SetConfigInDomain(domain, k, v); err != nil {
t.Fatal(err)
}
}
script, err := os.ReadFile("internal/server/testdata/home-palette.js")
if err != nil {
t.Fatal(err)
}
handler := s.handler()
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
r.Host = "localhost"
r.Header.Set("Authorization", "Bearer "+token)
if r.URL.Path == "/fixture" {
w.Header().Set("Content-Type", "text/html; charset=utf-8")
_, _ = w.Write([]byte("<!doctype html><body style='margin:0'><script>" + string(script) + "</script></body>"))
return
}
handler.ServeHTTP(w, r)
}))
defer server.Close()
ctx, cancel := context.WithTimeout(context.Background(), 55*time.Second)
defer cancel()
width := os.Getenv("HOME_PALETTE_WIDTH")
if width == "" {
width = "1440"
}
args := []string{"internal/server/testdata/vim-browser-smoke.mjs", server.URL + "/fixture", t.TempDir(), os.Getenv("HOME_PALETTE_SCREENSHOT"), width, "850"}
if out, err := exec.CommandContext(ctx, "node", args...).CombinedOutput(); err != nil {
t.Fatalf("palette: %v\n%s", err, out)
}
if p := s.homePalette(domain); p.Mode != "accent" || p.Strength != 70 || p.Brightness != "auto" {
t.Fatalf("browser save not persisted: %+v", p)
}
}
+5 -2
View File
@@ -20,6 +20,7 @@ type homeWallpaperView struct {
Path string
URL string
Opacity string
Key string
}
// configuredLoginWallpaper returns only the image selected by the Domain
@@ -143,7 +144,8 @@ func (s *Server) homeWallpaperForRequest(r *http.Request) homeWallpaperView {
httpRequest := r
if objectUUID, err := s.store.ResolvePathInDomain(domainUUID, configured); err == nil && s.requestCanReadPath(httpRequest, configured) {
if revision, err := s.latestRevisionMetadataForRequest(httpRequest, objectUUID); err == nil && imageContentType(revision.ContentType) {
view.URL = rawProjectionURL("path:" + configured)
view.URL = rawProjectionURL("rev:" + revision.UUID)
view.Key = revision.DocumentHash
return view
}
}
@@ -165,6 +167,7 @@ func (s *Server) homeWallpaperForRequest(r *http.Request) homeWallpaperView {
if value, err := rand.Int(rand.Reader, big.NewInt(int64(len(candidates)))); err == nil {
index = int(value.Int64())
}
view.URL = rawProjectionURL("path:" + candidates[index].Path)
view.URL = rawProjectionURL("rev:" + candidates[index].RevisionUUID)
view.Key = candidates[index].DocumentHash
return view
}
+1 -1
View File
@@ -107,7 +107,7 @@ func TestHomeWallpaperFolderPickerAndTheme(t *testing.T) {
r := httptest.NewRequest(http.MethodGet, "http://localhost/", nil)
r.Header.Set("Authorization", "Bearer "+token)
view := s.homeWallpaperForRequest(r)
if view.Opacity != "0.41" || (view.URL != "/v/raw/path:/wallpapers/a.jpg" && view.URL != "/v/raw/path:/wallpapers/b.png") {
if view.Opacity != "0.41" || !strings.HasPrefix(view.URL, "/v/raw/rev:") || len(view.Key) != 64 {
t.Fatalf("view=%#v", view)
}
homeResponse := httptest.NewRecorder()
+18
View File
@@ -231,6 +231,15 @@ var translations = map[string]map[string]string{
"home.wallpaper_opacity": "Wallpaper opacity (%)",
"home.wallpaper_help": "Choose one image, or a folder whose direct image children are selected on each reload. Access permissions still apply.",
"home.appearance": "Home appearance",
"home.palette_mode": "Wallpaper color matching",
"home.palette_off": "Off — use the selected theme",
"home.palette_accent": "Accent only",
"home.palette_surface": "Accent and surfaces",
"home.palette_strength": "Color influence",
"home.palette_brightness": "Light and dark",
"home.palette_preserve": "Keep the current theme brightness",
"home.palette_auto": "Choose from the displayed wallpaper",
"home.palette_help": "Applies only to the home page and its dialogs. Warning colors are preserved. If extraction fails, the selected theme remains. Shared by this domain.",
"home.glass_transparency": "Glass transparency (%)",
"home.glass_help": "Controls the shared transparency of the home search, menus, suggestions, cards, and dialogs. Higher values are more transparent.",
"picker.open": "Browse PagesWiki",
@@ -1002,6 +1011,15 @@ var translations = map[string]map[string]string{
"home.wallpaper_opacity": "壁紙の透明度(%)",
"home.wallpaper_help": "画像を1つ選ぶか、直下の画像をリロードごとに選択するフォルダを指定します。閲覧権限はそのまま適用されます。",
"home.appearance": "トップ画面の外観",
"home.palette_mode": "壁紙との色連動",
"home.palette_off": "オフ — 選択中のテーマを使用",
"home.palette_accent": "アクセントのみ",
"home.palette_surface": "背景も連動",
"home.palette_strength": "色の反映量",
"home.palette_brightness": "明暗",
"home.palette_preserve": "現在のテーマの明暗を維持",
"home.palette_auto": "表示中の壁紙から自動判定",
"home.palette_help": "トップ画面とその上のダイアログにのみ適用します。警告色は変更しません。色を抽出できない場合は選択中のテーマを維持します。このドメインで共通の設定です。",
"home.glass_transparency": "グラスの透明度(%)",
"home.glass_help": "トップ画面の検索、メニュー、サジェスト、カード、ダイアログに共通の透明度です。数値を上げるほど背景が透けます。",
"picker.open": "PagesWikiから選択",
@@ -35,6 +35,12 @@ func SetDAVAuthOutcome(r *http.Request, outcome string) {
}
func davLogTarget(path string) string {
if path == "/.well-known/carddav" {
return "carddav_discovery"
}
if path == "/_/api/v1/carddav" || strings.HasPrefix(path, "/_/api/v1/carddav/") {
return "carddav"
}
const root = "/_/api/v1/caldav"
p := strings.TrimSuffix(path, "/")
switch p {
@@ -77,10 +77,12 @@ func TestDAVLogTarget(t *testing.T) {
for path, want := range map[string]string{
"/_/api/v1/caldav": "home", "/_/api/v1/caldav/": "home",
"/_/api/v1/caldav/tasks/": "task_home", "/_/api/v1/caldav/tasks/default": "task_collection",
"/_/api/v1/caldav/tasks/default/private.ics": "task_resource",
"/_/api/v1/caldav/private/": "calendar_collection",
"/.well-known/caldav": "well_known",
"/_/api/v1/caldav-credentials": "", "/health": "",
"/_/api/v1/caldav/tasks/default/private.ics": "task_resource",
"/_/api/v1/caldav/private/": "calendar_collection",
"/.well-known/caldav": "well_known",
"/.well-known/carddav": "carddav_discovery",
"/_/api/v1/carddav/private-owner/private.vcf": "carddav",
"/_/api/v1/caldav-credentials": "", "/health": "",
} {
if got := davLogTarget(path); got != want {
t.Errorf("%s: %q != %q", path, got, want)
+1 -1
View File
@@ -19,7 +19,7 @@ func NormalizePath(
// Hosted adapter assets use directory-relative module and worker URLs.
// DAV collections also require the slash: removing it conflicts with
// ServeMux's collection redirect and causes an infinite redirect loop.
if strings.HasPrefix(p, "/_/adaptor/") || strings.HasPrefix(p, "/_/api/v1/caldav/") {
if strings.HasPrefix(p, "/_/adaptor/") || strings.HasPrefix(p, "/_/api/v1/caldav/") || strings.HasPrefix(p, "/_/api/v1/carddav/") {
next.ServeHTTP(w, r)
return
}
+1 -1
View File
@@ -7,7 +7,7 @@ import (
)
func TestNormalizePathDAVCollections(t *testing.T) {
for _, path := range []string{"/_/api/v1/caldav/", "/_/api/v1/caldav/tasks/", "/_/api/v1/caldav/tasks/default/", "/_/api/v1/caldav/calendar-id/"} {
for _, path := range []string{"/_/api/v1/caldav/", "/_/api/v1/caldav/tasks/", "/_/api/v1/caldav/tasks/default/", "/_/api/v1/caldav/calendar-id/", "/_/api/v1/carddav/", "/_/api/v1/carddav/actor/contacts/"} {
mux := http.NewServeMux()
mux.HandleFunc(path, func(w http.ResponseWriter, r *http.Request) { w.WriteHeader(401) })
for _, method := range []string{"GET", "OPTIONS", "PROPFIND", "REPORT"} {
+1 -1
View File
@@ -43,7 +43,7 @@ func (s *Server) deliverNotificationPushContext(ctx context.Context, job *store.
return err
}
if stats.Sent+stats.Failed > 0 {
_ = s.store.AddEventLog(job.UUID, job.EventUUID, "info", fmt.Sprintf("component=%s push sent=%d failed=%d (no payload or endpoint logged)", ordoschnellic.Component, stats.Sent, stats.Failed))
s.addEventProgressLog(ctx, job, fmt.Sprintf("component=%s push sent=%d failed=%d (no payload or endpoint logged)", ordoschnellic.Component, stats.Sent, stats.Failed))
}
return nil
}
+123
View File
@@ -0,0 +1,123 @@
package server
import (
"net/http"
"strings"
"time"
"pageswiki/internal/store"
)
func personalOrganizerSettings(r *http.Request) bool {
return r.URL.Path == "/-/sys/config" && r.URL.Query().Get("panel") == "organizer" && (r.Method == "GET" || r.Method == "HEAD")
}
func (s *Server) handleOrganizerDashboard(w http.ResponseWriter, r *http.Request) {
if r.Method != "GET" && r.Method != "HEAD" {
w.Header().Set("Allow", "GET, HEAD")
w.WriteHeader(405)
return
}
_, active, ok := s.taskReady(w, r)
if !ok {
return
}
domain := s.domainUUIDForRequest(r)
s.renderWithContext(w, r, "organizer_dashboard.gohtml", map[string]any{"TaskWritable": active, "Today": time.Now().In(s.getLocation(domain)).Format("2006-01-02"), "Timezone": s.getTimezoneName(domain)})
}
func (s *Server) handleOrganizerSettings(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Cache-Control", "private, no-store")
actor, active := s.calendarActor(r)
if actor == "" {
s.authRequired(w, r)
return
}
s.renderWithContext(w, r, "organizer_settings.gohtml", map[string]any{"TaskWritable": active})
}
func (s *Server) handleDashboardData(w http.ResponseWriter, r *http.Request, actor string, active bool, kind string) {
domain := s.domainUUIDForRequest(r)
if kind == "progress" {
if r.Method != "GET" {
w.Header().Set("Allow", "GET")
w.WriteHeader(405)
return
}
p, err := s.store.DashboardProgress(r.Context(), domain, actor, time.Now().In(s.getLocation(domain)).Format("2006-01-02"))
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, p)
return
}
if r.Method != "GET" && r.Method != "PUT" {
w.Header().Set("Allow", "GET, PUT")
w.WriteHeader(405)
return
}
p, err := s.store.Dashboard(r.Context(), domain, actor)
if err != nil {
taskError(w, err)
return
}
if r.Method == "PUT" {
if !active {
taskError(w, store.ErrAccessDenied)
return
}
var input struct {
Version int64 `json:"version"`
Widgets []store.DashboardWidget `json:"widgets"`
}
if !taskJSON(w, r, &input) {
return
}
if input.Version != p.Version {
taskError(w, store.ErrTaskConflict)
return
}
// An empty dashboard is valid; nil means the initial default layout.
if input.Widgets == nil {
input.Widgets = []store.DashboardWidget{}
}
p, err = s.store.SaveDashboard(r.Context(), domain, actor, input.Version, input.Widgets)
if err != nil {
taskError(w, err)
return
}
}
writeEventJSON(w, 200, p)
}
func organizerSection(path string) string {
switch {
case feedRoute(path):
return "feeds"
case path == "/v/plan/dashboard":
return "dashboard"
case strings.HasPrefix(path, "/-/sys/config"):
return "settings"
case path == "/v/plan/contacts":
return "contacts"
case taskRoute(path):
return "tasks"
case calendarRoute(path):
return "calendar"
}
return ""
}
func init() {
translations["en"]["task.work_history"] = "Work history"
translations["ja"]["task.work_history"] = "作業記録"
for lang, entries := range map[string]map[string]string{
"en": {"organizer.title": "Organizer", "organizer.dashboard": "Dashboard", "organizer.settings": "Personal settings", "organizer.contacts": "Contacts", "organizer.private": "Preferences apply only to you in this Domain. System administration is separate.", "organizer.calendar_defaults": "Default calendars", "organizer.open": "Open"},
"ja": {"organizer.title": "オーガナイザー", "organizer.dashboard": "ダッシュボード", "organizer.settings": "個人設定", "organizer.contacts": "連絡先", "organizer.private": "このドメイン内の自分だけに適用する設定です。システムの管理設定とは別です。", "organizer.calendar_defaults": "既定のカレンダー", "organizer.open": "開く"},
} {
for k, v := range entries {
translations[lang][k] = v
}
}
}
+176
View File
@@ -0,0 +1,176 @@
package server
import (
"context"
"encoding/json"
"net/url"
"pageswiki/internal/store"
"strings"
"testing"
"time"
)
func TestOrganizerDashboardLayoutIsolationAndCAS(t *testing.T) {
s, token, domain, actor := taskFixture(t)
w := taskRequest(s, token, "GET", "dashboard", nil, "")
if w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
var layout struct {
Version int64 `json:"version"`
Widgets []store.DashboardWidget `json:"widgets"`
}
if err := json.Unmarshal(w.Body.Bytes(), &layout); err != nil || len(layout.Widgets) != 6 {
t.Fatal(layout, err)
}
widgets := []store.DashboardWidget{{ID: "tasks", Width: 7, Height: 4, Tab: "review"}}
w = taskRequest(s, token, "PUT", "dashboard", map[string]any{"version": 0, "widgets": widgets}, "")
if w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
if w = taskRequest(s, token, "PUT", "dashboard", map[string]any{"version": 0, "widgets": widgets}, ""); w.Code != 412 {
t.Fatal("stale layout", w.Code)
}
p, err := s.store.TaskPreferences(context.Background(), domain, actor)
if err != nil || p.Version != 0 {
t.Fatal(p, err)
}
// A legacy CLI preferences write must preserve dashboard metadata.
p.Estimate = 90
w = taskRequest(s, token, "PUT", "preferences", p, "")
if w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
p, err = s.store.TaskPreferences(context.Background(), domain, actor)
if err != nil || p.Estimate != 90 {
t.Fatal(p, err)
}
l, err := s.store.Dashboard(context.Background(), domain, actor)
if err != nil || len(l.Widgets) != 1 || l.Version != 1 {
t.Fatal(l, err)
}
// Layout updates cannot postpone the digest scheduler.
if _, err = s.store.DB.Exec(`UPDATE organizer_task_preferences SET next_digest_ms=123 WHERE domain_uuid=? AND owner_uuid=?`, domain, actor); err != nil {
t.Fatal(err)
}
w = taskRequest(s, token, "PUT", "dashboard", map[string]any{"version": l.Version, "widgets": []store.DashboardWidget{}}, "")
if w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
var next int64
if err = s.store.DB.QueryRow(`SELECT next_digest_ms FROM organizer_task_preferences WHERE domain_uuid=? AND owner_uuid=?`, domain, actor).Scan(&next); err != nil || next != 123 {
t.Fatal(next, err)
}
after, err := s.store.TaskPreferences(context.Background(), domain, actor)
if err != nil || after.Version != p.Version || after.Estimate != 90 {
t.Fatal("layout changed mail consent", after, err)
}
w = taskRequest(s, token, "GET", "dashboard", nil, "")
if err = json.Unmarshal(w.Body.Bytes(), &layout); err != nil || len(layout.Widgets) != 0 {
t.Fatal("empty layout reset", layout, err)
}
for _, invalid := range [][]store.DashboardWidget{{{ID: "iframe", Width: 4, Height: 3}}, {{ID: "tasks", Width: 13, Height: 3, Tab: "inbox"}}, {{ID: "tasks", Width: 4, Height: 3, Tab: "secret"}}, {{ID: "progress", Width: 4, Height: 3}, {ID: "progress", Width: 4, Height: 3}}} {
w = taskRequest(s, token, "PUT", "dashboard", map[string]any{"version": layout.Version, "widgets": invalid}, "")
if w.Code != 422 {
t.Fatal("invalid accepted", w.Code, w.Body)
}
}
other, err := s.store.CreatePasswordAccount(domain, "dashboardother", "long test password", "Other", "")
if err != nil {
t.Fatal(err)
}
otherToken, err := s.store.CreateAuthSession(domain, other.UUID)
if err != nil {
t.Fatal(err)
}
w = taskRequest(s, otherToken, "GET", "dashboard", nil, "")
if err = json.Unmarshal(w.Body.Bytes(), &layout); err != nil || layout.Version != 0 || len(layout.Widgets) != 6 {
t.Fatal("owner leakage", layout, err)
}
if err = s.store.SetPrincipalState(domain, actor, "readonly"); err != nil {
t.Fatal(err)
}
token, err = s.store.CreateAuthSession(domain, actor)
if err != nil {
t.Fatal(err)
}
if w = taskRequest(s, token, "PUT", "dashboard", map[string]any{"version": 3, "widgets": widgets}, ""); w.Code != 403 {
t.Fatal("readonly write", w.Code)
}
if w = taskRequest(s, token, "GET", "dashboard", nil, ""); w.Code != 200 {
t.Fatal("readonly read", w.Code)
}
if w = taskRequest(s, "", "GET", "dashboard", nil, ""); w.Code == 200 {
t.Fatal("anonymous dashboard")
}
if err = s.store.SetConfigInDomain(domain, "system_extension_states", `{"organizer.tasks":false}`); err != nil {
t.Fatal(err)
}
if w = taskRequest(s, token, "GET", "dashboard", nil, ""); w.Code != 404 {
t.Fatal("disabled dashboard", w.Code)
}
}
func TestOrganizerPersonalSettingsAreNotAdminAccess(t *testing.T) {
s, _, domain, _ := taskFixture(t)
u, err := s.store.CreatePasswordAccount(domain, "organizer", "long test password", "Organizer", "")
if err != nil {
t.Fatal(err)
}
token, err := s.store.CreateAuthSession(domain, u.UUID)
if err != nil {
t.Fatal(err)
}
w := configRequest(s, token, "GET", "/-/sys/config?panel=organizer", nil)
if w.Code != 200 || !strings.Contains(w.Body.String(), `id="task-productivity"`) {
t.Fatal(w.Code, w.Body)
}
if strings.Contains(w.Body.String(), `id="panel-auth"`) || strings.Contains(w.Body.String(), `id="panel-campus`) {
t.Fatal("admin data in personal settings")
}
if w = configRequest(s, token, "GET", "/-/sys/config?panel=auth", nil); w.Code != 403 {
t.Fatal("admin access", w.Code)
}
if w = configRequest(s, token, "POST", "/-/sys/config?panel=organizer", url.Values{"section": {"home"}}); w.Code != 403 {
t.Fatal("config mutation", w.Code)
}
for path, target := range map[string]string{"/v/plan/tasks/settings": "/-/sys/config?panel=organizer", "/v/plan/tasks/report": "/v/plan/dashboard#activity"} {
w = configRequest(s, token, "GET", path, nil)
if w.Code != 303 || w.Header().Get("Location") != target {
t.Fatal(path, w.Code, w.Header())
}
}
for _, path := range []string{"/v/plan/dashboard", "/v/plan/tasks", "/v/plan/contacts", "/v/plan"} {
w = configRequest(s, token, "GET", path, nil)
if w.Code != 200 || !strings.Contains(w.Body.String(), `class="organizer-nav"`) {
t.Fatal(path, w.Code, w.Body)
}
}
}
func TestOrganizerProgressExactAndPrivate(t *testing.T) {
s, token, domain, actor := taskFixture(t)
today := time.Now().In(s.getLocation(domain)).Format("2006-01-02")
for i, status := range []string{"todo", "done", "cancelled", "done"} {
item := newTaskRecord("task", "Progress test")
item.Status = status
item.PlannedOn = today
item.Archived = i == 3
if _, err := s.store.SaveTask(context.Background(), domain, actor, item, 0); err != nil {
t.Fatal(err)
}
}
w := taskRequest(s, token, "GET", "progress", nil, "")
var p store.DashboardProgress
if err := json.Unmarshal(w.Body.Bytes(), &p); err != nil || w.Code != 200 || p.Total != 2 || p.Done != 1 || p.Date != today {
t.Fatal(w.Code, p, err, w.Body)
}
other, err := s.store.CreatePasswordAccount(domain, "progressother", "long test password", "Other", "")
if err != nil {
t.Fatal(err)
}
p, err = s.store.DashboardProgress(context.Background(), domain, other.UUID, today)
if err != nil || p.Total != 0 {
t.Fatal("progress leak", p, err)
}
}
@@ -0,0 +1,118 @@
package server
import (
"context"
"net/http"
"net/http/httptest"
"os"
"os/exec"
"strings"
"testing"
"time"
)
func TestProductivityChromium(t *testing.T) {
if os.Getenv("PAGESWIKI_BROWSER_TEST") != "1" {
t.Skip("opt-in Chromium")
}
for _, view := range []string{"contacts", "settings", "report", "tasks", "home", "editor"} {
sizes := []string{"desktop", "mobile"}
if view == "editor" {
sizes = append(sizes, "laptop", "mobile-small", "english")
}
for _, size := range sizes {
t.Run(view+"-"+size, func(t *testing.T) {
s, token, domain, actor := taskFixture(t)
if view == "settings" {
project, err := s.store.SaveTask(context.Background(), domain, actor, newTaskRecord("project", "Saved default project"), 0)
if err != nil {
t.Fatal(err)
}
p, err := s.store.TaskPreferences(context.Background(), domain, actor)
if err != nil {
t.Fatal(err)
}
p.ProjectUUID = project.UUID
if _, err = s.store.SaveTaskPreferences(context.Background(), domain, actor, p, time.Now()); err != nil {
t.Fatal(err)
}
}
if size == "english" {
if err := s.store.SetConfigInDomain(domain, "locale", "en"); err != nil {
t.Fatal(err)
}
}
s.mux.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) { s.renderSearchHome(w, r, "search") })
item := newTaskRecord("task", "Browser work task")
item.Status = "done"
item.Estimate = 60
item.Complexity = 3
if _, e := s.store.SaveTask(context.Background(), domain, actor, item, 0); e != nil {
t.Fatal(e)
}
repo, e := s.calendars()
if e != nil {
t.Fatal(e)
}
if _, e = repo.Create(context.Background(), domain, actor, "Command calendar", "local"); e != nil {
t.Fatal(e)
}
script, e := os.ReadFile("internal/server/testdata/productivity-browser.js")
if e != nil {
t.Fatal(e)
}
path := map[string]string{"contacts": "/v/plan/contacts", "settings": "/-/sys/config?panel=organizer", "report": "/v/plan/dashboard", "tasks": "/v/plan/tasks", "home": "/", "editor": "/v/plan/task/-/new"}[view]
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
r.Header.Set("Authorization", "Bearer "+token)
// Simulate a saved project outside the first project list page.
if view == "settings" && size == "desktop" && r.URL.Path == "/_/api/v1/extension/organizer.tasks/items" && r.URL.Query().Get("kind") == "project" {
writeEventJSON(w, 200, map[string]any{"items": []any{}, "next": "fixture"})
return
}
if r.Method == "GET" && r.URL.RequestURI() == path {
rec := httptest.NewRecorder()
s.withAuthorization(s.mux).ServeHTTP(rec, r)
for k, v := range rec.Header() {
w.Header()[k] = v
}
w.WriteHeader(rec.Code)
// The home template uses nonce CSP. Reuse its already generated nonce
// only in this synthetic fixture; production HTML is never rewritten.
nonce := ""
if csp := rec.Header().Get("Content-Security-Policy"); strings.Contains(csp, "'nonce-") {
nonce = strings.SplitN(strings.SplitN(csp, "'nonce-", 2)[1], "'", 2)[0]
}
w.Write([]byte(strings.Replace(rec.Body.String(), "</body>", "<script nonce=\""+nonce+"\">"+string(script)+"</script></body>", 1)))
return
}
s.withAuthorization(s.mux).ServeHTTP(w, r)
}))
defer server.Close()
width, height := "1440", "1000"
if size == "mobile" {
width, height = "390", "844"
}
if size == "laptop" {
width, height = "1024", "768"
}
if size == "mobile-small" {
width, height = "320", "568"
}
ctx, cancel := context.WithTimeout(context.Background(), 45*time.Second)
defer cancel()
shot := ""
if prefix := os.Getenv("PAGESWIKI_PRODUCTIVITY_SCREENSHOT"); prefix != "" {
shot = prefix + "-" + view + "-" + size + ".png"
}
command := exec.CommandContext(ctx, "node", "internal/server/testdata/vim-browser-smoke.mjs", strings.Replace(server.URL, "127.0.0.1", "localhost", 1)+path, t.TempDir(), shot, width, height)
if view == "report" && size == "desktop" {
command.Env = append(os.Environ(), "PAGESWIKI_DASHBOARD_DRAG=1")
}
out, e := command.CombinedOutput()
if e != nil {
t.Fatalf("%v: %s", e, out)
}
})
}
}
}
+88 -1
View File
@@ -9,13 +9,22 @@ import (
"os/exec"
"testing"
"time"
"pageswiki/internal/store"
)
func TestRemoteCLIHTTPIntegration(t *testing.T) {
if _, err := exec.LookPath("python3"); err != nil {
t.Skip("python3 not installed")
}
s, _, _, _ := editorFixture(t)
s, _, domain, _ := editorFixture(t)
object, err := s.store.CreatePageAtPathInDomain(domain, "/ja-only")
if err != nil {
t.Fatal(err)
}
if _, err := s.store.SaveRevisionForLanguage(object, "<h1>日本語のページ</h1><p>{{children}}</p>", "", "ja"); err != nil {
t.Fatal(err)
}
s.mux.HandleFunc("/_/auth/", s.handleAuth)
s.mux.HandleFunc("/v/raw/", s.handleRawView)
s.mux.HandleFunc("/_/api/v1/path-picker", s.handlePathPickerAPI)
@@ -33,3 +42,81 @@ func TestRemoteCLIHTTPIntegration(t *testing.T) {
t.Fatalf("remote CLI: %v\n%s", err, out)
}
}
func TestRemoteCLILanguageForkRequiresWritePermission(t *testing.T) {
s, token, domain, object := editorFixture(t)
principal := s.mustCLIPrincipal(t, domain, token)
if err := s.store.SetPrincipalState(domain, principal, "readonly"); err != nil {
t.Fatal(err)
}
// Changing account state revokes old sessions. Use a newly authenticated
// readonly session so this exercises write authorization, not expiration.
token, err := s.store.CreateAuthSession(domain, principal)
if err != nil {
t.Fatal(err)
}
body, err := json.Marshal(map[string]any{
"object_uuid": object, "body": "<h1>New language</h1>", "lang": "ja",
"content_type": "text/html", "base_revision_uuid": "", "editor_principal_uuid": principal,
})
if err != nil {
t.Fatal(err)
}
r := httptest.NewRequest("POST", "http://localhost/_/api/v1/revisions/save", bytes.NewReader(body))
r.Header.Set("Authorization", "Bearer "+token)
r.Header.Set("Content-Type", "application/json")
w := httptest.NewRecorder()
s.withAuthorization(s.mux).ServeHTTP(w, r)
if w.Code != http.StatusForbidden {
t.Fatalf("readonly language fork: %d %s", w.Code, w.Body.String())
}
revision, err := s.store.GetRevisionMetadataForExactLanguage(object, "ja")
if err != nil || revision.UUID != "" {
t.Fatalf("denied language fork persisted: %s %v", revision.UUID, err)
}
}
func TestRemoteCLIOIDCIntegration(t *testing.T) {
if _, err := exec.LookPath("python3"); err != nil {
t.Skip("python3 not installed")
}
s, api, domain, _ := editorFixture(t)
if err := s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "oidc", Enabled: true, Issuer: "https://id.example", ClientID: "client"}); err != nil {
t.Fatal(err)
}
s.mux.HandleFunc("/_/auth/", s.handleAuth)
s.mux.HandleFunc("/v/raw/", s.handleRawView)
s.mux.HandleFunc("/_/api/v1/path-picker", s.handlePathPickerAPI)
principal := s.mustCLIPrincipal(t, domain, api)
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
r.Host = "localhost"
// Test-only bridge in this httptest server. The real signed OIDC callback,
// browser binding and CSRF flow are covered by TestCLIAuthOIDCFlow.
if r.URL.Path == "/__test/cli-approve" {
_ = r.ParseForm()
browser, err := s.store.CreateBrowserAuthSession(domain, principal, 0)
if err == nil {
err = s.store.BindCLIAuth(r.Context(), domain, "http://localhost", r.Form.Get("request"), browser)
}
if err == nil {
err = s.store.DecideCLIAuth(r.Context(), domain, "http://localhost", r.Form.Get("request"), browser, r.Form.Get("code"), "", true)
}
if err != nil {
http.Error(w, "synthetic approval failed", 500)
return
}
writeEventJSON(w, 200, map[string]bool{"approved": true})
return
}
s.withAuthorization(s.mux).ServeHTTP(w, r)
}))
defer server.Close()
ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
defer cancel()
cmd := exec.CommandContext(ctx, "python3", "pages-cli/test_pages.py", "--oidc-integration")
input, _ := json.Marshal(map[string]string{"origin": server.URL})
cmd.Stdin = bytes.NewReader(input)
if out, err := cmd.CombinedOutput(); err != nil {
t.Fatalf("CLI OIDC integration: %v %s", err, out)
}
}
+6
View File
@@ -67,6 +67,9 @@ func (s *Server) renderWithContext(
w.Header().Add("Vary", "Cookie")
data["CalendarEnabled"] = s.systemExtensionEnabled(domainUUID, "organizer.calendar")
data["TasksEnabled"] = s.systemExtensionEnabled(domainUUID, "organizer.tasks")
data["ContactsEnabled"] = s.systemExtensionEnabled(domainUUID, "organizer.contacts")
data["FeedsEnabled"] = s.systemExtensionEnabled(domainUUID, "organizer.feeds")
data["OrganizerSection"] = organizerSection(r.URL.Path)
if r.URL.Path == "/" {
data["IsHome"] = true
data["BookmarkSections"] = s.bookmarkSections(r)
@@ -82,6 +85,9 @@ func (s *Server) renderWithContext(
wallpaper := s.homeWallpaperForRequest(r)
data["HomeWallpaperURL"] = wallpaper.URL
data["HomeWallpaperOpacity"] = wallpaper.Opacity
data["HomeWallpaperKey"] = wallpaper.Key
data["HomePalette"] = s.homePalette(domainUUID)
data["HomePaletteDomain"] = domainUUID
if wallpaper.URL != "" {
w.Header().Set("Cache-Control", "private, no-cache")
}
+4
View File
@@ -84,6 +84,10 @@ func sendMagicLinkSMTPWithTLS(ctx context.Context, config store.AuthProviderConf
if err != nil {
return err
}
return deliverSMTPMessage(ctx, config, host, sender, addressee, message, tlsOverride)
}
func deliverSMTPMessage(ctx context.Context, config store.AuthProviderConfig, host, sender, addressee string, message []byte, tlsOverride *tls.Config) error {
ctx, cancel := context.WithTimeout(ctx, smtpDeliveryTimeout)
defer cancel()
connection, err := (&net.Dialer{Timeout: 3 * time.Second}).DialContext(ctx, "tcp", config.SMTPAddress)
@@ -0,0 +1,26 @@
package server
import (
"context"
"github.com/google/uuid"
"testing"
)
func TestTaskCalendarCapture(t *testing.T) {
s, token, domain, actor := taskFixture(t)
repo, e := s.calendars()
if e != nil {
t.Fatal(e)
}
c, e := repo.Create(context.Background(), domain, actor, "Command calendar", "local")
if e != nil {
t.Fatal(e)
}
input := map[string]any{"request_id": uuid.NewString(), "calendar_uuid": c.ID, "title": "会議", "from": "2026-11-02T09:00", "to": "2026-11-02T10:00"}
for range 2 {
w := taskRequest(s, token, "POST", "calendar-capture", input, "")
if w.Code != 201 {
t.Fatal(w.Code, w.Body)
}
}
}
+214
View File
@@ -0,0 +1,214 @@
package server
import (
"context"
"database/sql"
"encoding/json"
"errors"
"net/http/httptest"
"net/url"
"strings"
"testing"
"time"
"github.com/google/uuid"
"pageswiki/internal/store"
)
func TestTaskMailWikiCapture(t *testing.T) {
s, token, domain, actor := taskFixture(t)
s.mux.HandleFunc("/v/raw/", s.handleRawView)
ctx := context.Background()
p, err := s.store.TaskPreferences(ctx, domain, actor)
if err != nil {
t.Fatal(err)
}
for _, bad := range []string{"mail", "/a/../b", "/_/api", "/v/blog", "/a?x", "/a//b", "/a\nb"} {
p.WikiPrefix = bad
if w := taskRequest(s, token, "PUT", "preferences", p, ""); w.Code != 422 {
t.Fatal(bad, w.Code)
}
}
p.WikiPrefix = "/private/mail"
if _, err = s.store.SaveTaskPreferences(ctx, domain, actor, p, time.Now()); err != nil {
t.Fatal(err)
}
id := uuid.NewString()
input := map[string]any{"request_id": id, "title": "Mail / {{children}}", "notes": "From: sender@example.invalid", "wiki_body": "Hello\n<script>bad()</script> {{children}}"}
w := taskRequest(s, token, "POST", "capture", input, "")
if w.Code != 201 {
t.Fatal(w.Code, w.Body)
}
var response struct {
Item store.TaskRecord `json:"item"`
Path string `json:"page_path"`
}
if err = json.Unmarshal(w.Body.Bytes(), &response); err != nil {
t.Fatal(err)
}
target := store.TaskCaptureWikiPath(p.WikiPrefix, input["title"].(string), id)
if response.Item.PageUUID == "" || response.Path != target || strings.Contains(response.Item.Notes, "bad()") {
t.Fatal(w.Body)
}
rev, err := s.store.GetLatestRevision(response.Item.PageUUID)
if err != nil || !strings.Contains(rev.Body, "&lt;script&gt;bad()&lt;/script&gt;") || strings.Contains(rev.Body, "{{children}}") {
t.Fatal(rev, err)
}
// Existing Japanese paths are not renamed or broken by receipt replay.
legacy := "/private/mail/日本語の件名 [list 123]--" + id
if _, err = s.store.DB.Exec(`UPDATE paths SET path=? WHERE domain_uuid=? AND object_uuid=?`, legacy, domain, response.Item.PageUUID); err != nil {
t.Fatal(err)
}
note := taskRequest(s, token, "GET", "items/"+id+"/note", nil, "")
var links struct {
URL string `json:"url"`
}
if err = json.Unmarshal(note.Body.Bytes(), &links); err != nil {
t.Fatal(err)
}
u, err := url.Parse(links.URL)
if err != nil || u.Path != legacy || u.RawQuery != "" || u.Fragment != "" {
t.Fatal("Japanese note URL", links.URL, err)
}
request := httptest.NewRequest("GET", "http://localhost/v/raw/path:"+links.URL, nil)
request.Header.Set("Authorization", "Bearer "+token)
rawResult := httptest.NewRecorder()
s.withAuthorization(s.mux).ServeHTTP(rawResult, request)
if rawResult.Code != 200 || rawResult.Body.String() != rev.Body {
t.Fatal("Japanese path fetch", rawResult.Code)
}
// A committed retry remains stable even if the preference changes.
p, err = s.store.TaskPreferences(ctx, domain, actor)
if err != nil {
t.Fatal(err)
}
p.WikiPrefix = "/elsewhere"
if _, err = s.store.SaveTaskPreferences(ctx, domain, actor, p, time.Now()); err != nil {
t.Fatal(err)
}
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 201 || !strings.Contains(w.Body.String(), response.Item.PageUUID) {
t.Fatal(w.Code, w.Body)
}
if !strings.Contains(w.Body.String(), legacy) {
t.Fatal("retry changed existing path", w.Body)
}
input["wiki_body"] = "different"
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 412 {
t.Fatal(w.Code, w.Body)
}
input["request_id"] = uuid.NewString()
input["wiki_prefix"] = "/explicit"
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 201 || !strings.Contains(w.Body.String(), "/explicit/") {
t.Fatal(w.Code, w.Body)
}
}
func TestMailWikiPathDoesNotContainSubject(t *testing.T) {
id := uuid.NewString()
for _, title := range []string{"日本語", "[hogehoge 123] 件名", strings.Repeat("長い", 100), "?#/\\% []"} {
if got := store.TaskCaptureWikiPath("/mail", title, id); got != "/mail/mail-"+id {
t.Fatal(got)
}
}
if store.TaskCaptureWikiPath("/mail", "日本語", uuid.NewString()) == store.TaskCaptureWikiPath("/mail", "日本語", id) {
t.Fatal("different mails collided")
}
}
func TestTaskMailWikiRollbackAndAccess(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
id := uuid.NewString()
title := "Mail"
input := map[string]any{"request_id": id, "title": title, "wiki_body": "Mail body"}
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 422 || !strings.Contains(w.Body.String(), "wiki_prefix_required") {
t.Fatal(w.Code, w.Body)
}
input["wiki_prefix"] = "/mail"
target := store.TaskCaptureWikiPath("/mail", title, id)
absent := func() {
t.Helper()
if _, e := s.store.ResolvePathInDomain(domain, target); !errors.Is(e, sql.ErrNoRows) {
t.Fatal("orphan Wiki", e)
}
if _, e := s.store.GetTask(ctx, domain, actor, id); !errors.Is(e, sql.ErrNoRows) {
t.Fatal("orphan task", e)
}
}
// Failure after document insert must roll back the entire capture, including receipt.
if _, e := s.store.DB.Exec(`CREATE TRIGGER reject_capture BEFORE INSERT ON organizer_changes BEGIN SELECT RAISE(ABORT,'fixture'); END`); e != nil {
t.Fatal(e)
}
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 500 {
t.Fatal(w.Code, w.Body)
}
absent()
if _, e := s.store.DB.Exec(`DROP TRIGGER reject_capture`); e != nil {
t.Fatal(e)
}
for _, body := range []string{strings.Repeat("x", 256<<10+1), "bad\x00text"} {
input["wiki_body"] = body
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 422 {
t.Fatal(w.Code)
}
absent()
}
input["wiki_body"] = "Mail body"
other, e := s.store.CreatePasswordAccount(domain, "mailother", "long fixture password", "Other", "")
if e != nil {
t.Fatal(e)
}
otherToken, e := s.store.CreateAuthSession(domain, other.UUID)
if e != nil {
t.Fatal(e)
}
if w := taskRequest(s, otherToken, "POST", "capture", input, ""); w.Code != 403 {
t.Fatal("Wiki ACL", w.Code, w.Body)
}
absent()
existing, e := s.store.CreatePageAtPathInDomain(domain, target)
if e != nil {
t.Fatal(e)
}
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 409 {
t.Fatal("collision", w.Code, w.Body)
}
if got, e := s.store.ResolvePathInDomain(domain, target); e != nil || got != existing {
t.Fatal("overwrite", e)
}
if _, e = s.store.GetTask(ctx, domain, actor, id); !errors.Is(e, sql.ErrNoRows) {
t.Fatal("orphan collision task", e)
}
input["request_id"] = uuid.NewString()
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 201 {
t.Fatal(w.Code, w.Body)
}
}
func TestTaskMailWikiProjectFallback(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
root, e := s.store.CreatePageAtPathInDomain(domain, "/projects/app")
if e != nil {
t.Fatal(e)
}
project := newTaskRecord("project", "App")
project.PageUUID = root
project.NotesSubpath = "mail"
project, e = s.store.SaveTask(ctx, domain, actor, project, 0)
if e != nil {
t.Fatal(e)
}
p, e := s.store.TaskPreferences(ctx, domain, actor)
if e != nil {
t.Fatal(e)
}
p.ProjectUUID = project.UUID
if _, e = s.store.SaveTaskPreferences(ctx, domain, actor, p, time.Now()); e != nil {
t.Fatal(e)
}
input := map[string]any{"request_id": uuid.NewString(), "title": "Project mail", "wiki_body": "Body"}
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 201 || !strings.Contains(w.Body.String(), "/projects/app/mail/") {
t.Fatal(w.Code, w.Body)
}
}
+33
View File
@@ -0,0 +1,33 @@
package server
import (
"bytes"
"context"
"encoding/json"
"net/http"
"net/http/httptest"
"os/exec"
"testing"
"time"
)
func TestTaskCLIHTTPIntegration(t *testing.T) {
if _, e := exec.LookPath("python3"); e != nil {
t.Skip("python3 not installed")
}
s, token, _, _ := taskFixture(t)
s.mux.HandleFunc("/v/raw/", s.handleRawView)
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
r.Host = "localhost"
s.withAuthorization(s.mux).ServeHTTP(w, r)
}))
defer server.Close()
ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
defer cancel()
cmd := exec.CommandContext(ctx, "python3", "pages-cli/test_task_integration.py")
b, _ := json.Marshal(map[string]string{"origin": server.URL, "token": token, "root": t.TempDir()})
cmd.Stdin = bytes.NewReader(b)
if out, e := cmd.CombinedOutput(); e != nil {
t.Fatalf("CLI task integration %v: %s", e, out)
}
}
+3
View File
@@ -64,6 +64,9 @@ func (s *Server) handleTaskDAVCredentials(w http.ResponseWriter, r *http.Request
if body.Scope != "tasks" {
endpoint = calendarDAV
}
if body.Scope == "contacts" {
endpoint = contactDAV
}
response := map[string]any{"credential": credential, "username": credential.ID, "password": password, "url": endpoint}
if body.Scope == "tasks" {
response["collection"] = taskDAVCollection
+147
View File
@@ -0,0 +1,147 @@
package server
import (
"context"
"database/sql"
"encoding/base64"
"errors"
"fmt"
"strings"
"time"
"pageswiki/internal/store"
)
func sendTaskDigestSMTP(ctx context.Context, config store.AuthProviderConfig, recipient, day, body string) error {
// Reuse envelope validation and bounded TLS-aware SMTP transport, without
// exposing SMTP credentials, recipient or task content to job logs.
host, from, to, _, err := smtpMessage(config, recipient, "https://pages.invalid/")
if err != nil {
return err
}
sender, _ := smtpMailbox(config.SMTPFrom)
addressee, _ := smtpMailbox(recipient)
if len(body) > 128<<10 || len(day) != 10 || strings.ContainsAny(day, "\r\n\x00") {
return store.ErrTaskInvalid
}
encoded := base64.StdEncoding.EncodeToString([]byte(body))
var lines strings.Builder
for len(encoded) > 76 {
lines.WriteString(encoded[:76] + "\r\n")
encoded = encoded[76:]
}
lines.WriteString(encoded + "\r\n")
message := []byte(fmt.Sprintf("To: %s\r\nFrom: %s\r\nSubject: PagesWiki tasks %s\r\nDate: %s\r\nMIME-Version: 1.0\r\nContent-Type: text/plain; charset=UTF-8\r\nContent-Transfer-Encoding: base64\r\n\r\n%s", addressee.String(), sender.String(), day, time.Now().Format(time.RFC1123Z), lines.String()))
return deliverSMTPMessage(ctx, config, host, from, to, message, nil)
}
func (s *Server) deliverTaskDigests(ctx context.Context, job *store.EventJob) error {
ctx, cancel := context.WithTimeout(ctx, 30*time.Second)
defer cancel()
if _, err := s.store.MaintainTaskDigests(ctx, time.Now()); err != nil {
return err
}
queued, err := s.store.QueuedTaskDigests(ctx)
if err != nil {
return err
}
due, err := s.store.DueTaskDigests(ctx, time.Now())
if err != nil {
return err
}
sent, uncertain, checked := 0, 0, 0
deliver := func(claim store.TaskDigestClaim) error {
state, reason := s.deliverTaskDigest(ctx, claim)
if state == "sent" {
sent++
}
if state == "uncertain" {
uncertain++
}
checked++
finish, stop := context.WithTimeout(context.Background(), 2*time.Second)
defer stop()
err := s.store.FinishTaskDigestReason(finish, claim, state, reason, time.Now())
// A reclaimed generation cannot complete a newer attempt.
if errors.Is(err, store.ErrTaskConflict) {
return nil
}
return err
}
// Alternate automatic delivery and manual retries within the shared time
// budget, so a retry backlog cannot monopolize scheduled deliveries.
for i := 0; i < max(len(due), len(queued)); i++ {
for _, manual := range []bool{false, true} {
if ctx.Err() != nil {
break
}
var claim store.TaskDigestClaim
var e error
if manual {
if i >= len(queued) {
continue
}
claim, e = s.store.ClaimQueuedTaskDigest(ctx, queued[i], time.Now())
} else {
if i >= len(due) {
continue
}
claim, e = s.store.ClaimTaskDigest(ctx, due[i], time.Now())
}
if errors.Is(e, sql.ErrNoRows) {
continue
}
if e != nil {
return e
}
if e = deliver(claim); e != nil {
return e
}
}
if ctx.Err() != nil {
break
}
}
if checked > 0 {
s.addEventProgressLog(ctx, job, fmt.Sprintf("task digest checked=%d sent=%d uncertain=%d", checked, sent, uncertain))
}
return nil
}
func (s *Server) deliverTaskDigest(ctx context.Context, claim store.TaskDigestClaim) (string, string) {
if !s.systemExtensionEnabled(claim.Domain, "organizer.tasks") {
return "cancelled", "extension_disabled"
}
config, err := s.store.AuthProviderConfig(claim.Domain, "smtp")
if err != nil || !config.Enabled {
return "cancelled", "smtp_unavailable"
}
items, next, err := s.store.ListTasks(ctx, claim.Domain, claim.Owner, store.TaskQuery{Kind: "task", View: "today", Today: claim.Day, Limit: 100})
if err != nil {
return "cancelled", "tasks_unavailable"
}
var body strings.Builder
host, _ := s.store.GetDomainEffectiveHost(claim.Domain)
base := ""
if host != "" && !strings.ContainsAny(host, "/\\\r\n\t @") {
base = "https://" + host
}
fmt.Fprintf(&body, "Tasks / やることリスト — %s (%s)\n\n", claim.Day, claim.Timezone)
if len(items) == 0 {
body.WriteString("No tasks due or planned today. / 今日の対象タスクはありません。\n")
}
for _, item := range items {
fmt.Fprintf(&body, "- %s\n due/期限: %s | planned/予定: %s | estimate/見積: %d min\n %s/v/plan/task/%s\n", item.Title, item.DueOn, item.PlannedOn, item.Estimate, base, item.UUID)
}
if next != "" {
body.WriteString("\nFirst 100 items only. / 最初の100件です。続きはタスク画面で確認してください。\n")
}
recipient, err := s.store.TaskDigestRecipient(ctx, claim)
if err != nil {
return "cancelled", "consent_changed"
}
if err = sendTaskDigestSMTP(ctx, config, recipient, claim.Day, body.String()); err != nil {
return "uncertain", "transport_uncertain"
}
return "sent", ""
}
+82
View File
@@ -0,0 +1,82 @@
package server
import (
"database/sql"
"errors"
"net/http"
"strconv"
"time"
"pageswiki/internal/store"
)
func (s *Server) handleTaskDigestHistory(w http.ResponseWriter, r *http.Request, actor string, active bool, parts []string) {
domain := s.domainUUIDForRequest(r)
if len(parts) == 1 && r.Method == "GET" {
limit := 50
if raw := r.URL.Query().Get("limit"); raw != "" {
v, e := strconv.Atoi(raw)
if e != nil {
taskError(w, store.ErrTaskInvalid)
return
}
limit = v
}
result, err := s.store.TaskDigestHistory(r.Context(), domain, actor, r.URL.Query().Get("after"), limit, time.Now())
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, result)
return
}
if len(parts) == 2 && parts[1] == "retry" && r.Method == "POST" {
if !active {
taskError(w, store.ErrAccessDenied)
return
}
var input store.TaskDigestRetry
if !taskJSON(w, r, &input) {
return
}
if id, err := s.store.TaskDigestRetryReceipt(r.Context(), domain, actor, input); err == nil {
writeEventJSON(w, 202, map[string]string{"request_id": id})
return
} else if !errors.Is(err, sql.ErrNoRows) {
taskError(w, err)
return
}
principal, err := s.store.PrincipalForSession(domain, s.authTokenFromRequest(r))
if err != nil {
taskError(w, store.ErrAccessDenied)
return
}
if _, err = smtpMailbox(principal.Email); err != nil {
writeEventJSON(w, 422, map[string]string{"error": "email_required"})
return
}
config, err := s.store.AuthProviderConfig(domain, "smtp")
if err != nil || !config.Enabled {
writeEventJSON(w, 422, map[string]string{"error": "smtp_unavailable"})
return
}
id, err := s.store.QueueTaskDigestRetry(r.Context(), domain, actor, input, time.Now())
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 202, map[string]string{"request_id": id})
return
}
if len(parts) == 1 {
w.Header().Set("Allow", "GET")
w.WriteHeader(405)
return
}
if len(parts) == 2 && parts[1] == "retry" {
w.Header().Set("Allow", "POST")
w.WriteHeader(405)
return
}
http.NotFound(w, r)
}
+447
View File
@@ -0,0 +1,447 @@
package server
import (
"context"
"database/sql"
"encoding/json"
"errors"
"net/http"
"net/http/httptest"
"os"
"os/exec"
"strings"
"sync"
"testing"
"time"
"github.com/google/uuid"
"pageswiki/internal/store"
)
func digestHistoryFixture(t *testing.T) (*Server, string, string, string, time.Time, store.TaskDigestClaim) {
t.Helper()
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
now := time.Now().UTC()
p := store.TaskPreferences{Complexity: 1, DigestEnabled: true, DigestTime: "00:00", Timezone: "UTC"}
if _, err := s.store.SaveTaskPreferences(ctx, domain, actor, p, now.Add(-24*time.Hour)); err != nil {
t.Fatal(err)
}
if _, err := s.store.DB.Exec(`UPDATE principals SET email='reader@example.test' WHERE uuid=?`, actor); err != nil {
t.Fatal(err)
}
if err := s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "smtp", Enabled: true, SMTPAddress: "127.0.0.1:1", SMTPFrom: "wiki@example.test"}); err != nil {
t.Fatal(err)
}
c, err := s.store.ClaimTaskDigest(ctx, store.TaskDigestDue{Domain: domain, Owner: actor}, now)
if err != nil {
t.Fatal(err)
}
return s, token, domain, actor, now, c
}
func TestTaskDigestHistoryRetryGenerationAndConsent(t *testing.T) {
s, token, domain, actor, now, c := digestHistoryFixture(t)
ctx := context.Background()
if recipient, err := s.store.TaskDigestRecipient(ctx, c); err != nil || recipient != "reader@example.test" {
t.Fatal(recipient, err)
}
input := store.TaskDigestRetry{RequestID: uuid.NewString(), Day: c.Day, ExpectedAttempt: c.AttemptUUID}
post := func(v store.TaskDigestRetry) int {
return taskRequest(s, token, "POST", "digest-history/retry", v, "").Code
}
if got := post(input); got != 412 {
t.Fatal("retried active delivery", got)
}
if err := s.store.FinishTaskDigest(ctx, c, "sent"); err != nil {
t.Fatal(err)
}
if got := post(input); got != 422 {
t.Fatal("missing duplicate acknowledgment", got)
}
input.DuplicateAcknowledged = true
var wg sync.WaitGroup
results := make(chan int, 2)
for range 2 {
wg.Add(1)
go func() { defer wg.Done(); results <- post(input) }()
}
wg.Wait()
close(results)
for code := range results {
if code != 202 {
t.Fatal("idempotent retry", code)
}
}
q, err := s.store.QueuedTaskDigests(ctx)
if err != nil || len(q) != 1 || q[0].AttemptUUID != input.RequestID {
t.Fatal(q, err)
}
if err = s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "smtp", Enabled: false, SMTPAddress: "127.0.0.1:1", SMTPFrom: "wiki@example.test"}); err != nil {
t.Fatal(err)
}
if got := post(input); got != 202 {
t.Fatal("accepted receipt lost after SMTP disabled", got)
}
if err = s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "smtp", Enabled: true, SMTPAddress: "127.0.0.1:1", SMTPFrom: "wiki@example.test"}); err != nil {
t.Fatal(err)
}
changed := input
changed.DuplicateAcknowledged = false
if got := post(changed); got != 412 {
t.Fatal("changed replay", got)
}
changed = input
changed.RequestID = uuid.NewString()
if got := post(changed); got != 412 {
t.Fatal("second queued request", got)
}
newClaim, err := s.store.ClaimQueuedTaskDigest(ctx, q[0], now)
if err != nil {
t.Fatal(err)
}
if _, err = s.store.ClaimQueuedTaskDigest(ctx, q[0], now); !errors.Is(err, sql.ErrNoRows) {
t.Fatal("double claim", err)
}
if err = s.store.FinishTaskDigest(ctx, c, "cancelled"); !errors.Is(err, store.ErrTaskConflict) {
t.Fatal("old generation finished new attempt", err)
}
if _, err = s.store.TaskDigestRecipient(ctx, c); err == nil {
t.Fatal("old generation can send")
}
if _, err = s.store.TaskDigestRecipient(ctx, newClaim); err != nil {
t.Fatal(err)
}
p, err := s.store.TaskPreferences(ctx, domain, actor)
if err != nil {
t.Fatal(err)
}
p.DigestEnabled = false
if _, err = s.store.SaveTaskPreferences(ctx, domain, actor, p, now); err != nil {
t.Fatal(err)
}
if _, err = s.store.TaskDigestRecipient(ctx, newClaim); err == nil {
t.Fatal("opt out ignored")
}
if err = s.store.FinishTaskDigestReason(ctx, newClaim, "cancelled", "consent_changed", now); err != nil {
t.Fatal(err)
}
w := taskRequest(s, token, "GET", "digest-history?limit=1", nil, "")
if w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
var page store.TaskDigestHistory
if err = json.Unmarshal(w.Body.Bytes(), &page); err != nil || len(page.Items) != 1 || page.Next == "" || page.Retries != 1 || page.Current.UUID != input.RequestID {
t.Fatal(page, err)
}
w = taskRequest(s, token, "GET", "digest-history?limit=1&after="+page.Next, nil, "")
if w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
for _, suffix := range []string{"?limit=101", "?after=bad", "?limit=NaN"} {
if w = taskRequest(s, token, "GET", "digest-history"+suffix, nil, ""); w.Code != 422 {
t.Fatal(suffix, w.Code)
}
}
if strings.Contains(w.Body.String(), "reader@example.test") {
t.Fatal("email in history")
}
}
func TestTaskDigestHistoryQueueExpiryAndPermissions(t *testing.T) {
for _, change := range []string{"preference", "extension", "suspended", "tomorrow"} {
t.Run(change, func(t *testing.T) {
s, _, domain, actor, now, c := digestHistoryFixture(t)
ctx := context.Background()
if err := s.store.FinishTaskDigest(ctx, c, "cancelled"); err != nil {
t.Fatal(err)
}
input := store.TaskDigestRetry{RequestID: uuid.NewString(), Day: c.Day, ExpectedAttempt: c.AttemptUUID}
if _, err := s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now); err != nil {
t.Fatal(err)
}
q, err := s.store.QueuedTaskDigests(ctx)
if err != nil {
t.Fatal(err)
}
switch change {
case "preference":
p, e := s.store.TaskPreferences(ctx, domain, actor)
if e != nil {
t.Fatal(e)
}
p.Estimate++
_, err = s.store.SaveTaskPreferences(ctx, domain, actor, p, now)
case "extension":
err = s.store.SetConfigInDomain(domain, "system_extension_states", `{"organizer.tasks":false}`)
case "suspended":
_, err = s.store.DB.Exec(`UPDATE domain_memberships SET state='suspended' WHERE domain_uuid=? AND principal_uuid=?`, domain, actor)
case "tomorrow":
now = now.Add(24 * time.Hour)
}
if err != nil {
t.Fatal(err)
}
if _, err = s.store.ClaimQueuedTaskDigest(ctx, q[0], now); !errors.Is(err, sql.ErrNoRows) {
t.Fatal("cancelled queue returned live claim", err)
}
var state string
if err = s.store.DB.QueryRow(`SELECT state FROM organizer_digest_attempts WHERE uuid=?`, input.RequestID).Scan(&state); err != nil || state != "cancelled" {
t.Fatal(state, err)
}
})
}
s, token, domain, actor, now, c := digestHistoryFixture(t)
ctx := context.Background()
if err := s.store.FinishTaskDigest(ctx, c, "cancelled"); err != nil {
t.Fatal(err)
}
other, err := s.store.CreatePasswordAccount(domain, "digest-other", "a long test password", "Other", "")
if err != nil {
t.Fatal(err)
}
otherToken, err := s.store.CreateAuthSession(domain, other.UUID)
if err != nil {
t.Fatal(err)
}
w := taskRequest(s, otherToken, "GET", "digest-history", nil, "")
if w.Code != 200 || !strings.Contains(w.Body.String(), `"items":[]`) {
t.Fatal("history privacy", w.Code, w.Body)
}
input := store.TaskDigestRetry{RequestID: uuid.NewString(), Day: c.Day, ExpectedAttempt: c.AttemptUUID}
if _, err = s.store.QueueTaskDigestRetry(ctx, domain, other.UUID, input, now); err == nil {
t.Fatal("retried other's mail")
}
if err = s.store.SetPrincipalState(domain, actor, "readonly"); err != nil {
t.Fatal(err)
}
token, err = s.store.CreateAuthSession(domain, actor)
if err != nil {
t.Fatal(err)
}
if w = taskRequest(s, token, "POST", "digest-history/retry", input, ""); w.Code != 403 {
t.Fatal(w.Code, w.Body)
}
if w = taskRequest(s, token, "GET", "digest-history", nil, ""); w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
if w = taskRequest(s, "", "GET", "digest-history", nil, ""); w.Code == 200 {
t.Fatal("anonymous history")
}
}
func TestTaskDigestHistoryRetentionAndStaleWorker(t *testing.T) {
s, _, domain, actor, now, c := digestHistoryFixture(t)
ctx := context.Background()
// Keep synthetic stale-worker time within the same date even near midnight.
now = time.Date(now.Year(), now.Month(), now.Day(), 12, 0, 0, 0, time.UTC)
if _, err := s.store.DB.Exec(`UPDATE organizer_digest_attempts SET updated_ms=? WHERE uuid=?`, now.UnixMilli(), c.AttemptUUID); err != nil {
t.Fatal(err)
}
if _, err := s.store.MaintainTaskDigests(ctx, now.Add(11*time.Minute)); err != nil {
t.Fatal(err)
}
page, err := s.store.TaskDigestHistory(ctx, domain, actor, "", 50, now)
if err != nil || page.Current.State != "uncertain" {
t.Fatal(page, err)
}
input := store.TaskDigestRetry{RequestID: uuid.NewString(), Day: c.Day, ExpectedAttempt: c.AttemptUUID, DuplicateAcknowledged: true}
if _, err = s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now.Add(12*time.Minute)); err != nil {
t.Fatal(err)
}
q, err := s.store.QueuedTaskDigests(ctx)
if err != nil {
t.Fatal(err)
}
claim, err := s.store.ClaimQueuedTaskDigest(ctx, q[0], now.Add(12*time.Minute))
if err != nil {
t.Fatal(err)
}
if err = s.store.FinishTaskDigest(ctx, c, "sent"); !errors.Is(err, store.ErrTaskConflict) {
t.Fatal("stale completion", err)
}
if err = s.store.FinishTaskDigestReason(ctx, claim, "sent", "", now.Add(12*time.Minute)); err != nil {
t.Fatal(err)
}
deleted, err := s.store.MaintainTaskDigests(ctx, now.Add(91*24*time.Hour))
if err != nil || deleted != 2 {
t.Fatal("retention", deleted, err)
}
var reservations, receipts int
if err = s.store.DB.QueryRow(`SELECT count(*) FROM organizer_digest_deliveries WHERE domain_uuid=? AND owner_uuid=?`, domain, actor).Scan(&reservations); err != nil {
t.Fatal(err)
}
if err = s.store.DB.QueryRow(`SELECT count(*) FROM organizer_digest_requests WHERE domain_uuid=? AND owner_uuid=?`, domain, actor).Scan(&receipts); err != nil || reservations != 1 || receipts != 1 {
t.Fatal("deduplication lost", reservations, receipts, err)
}
// Even an old request replay after retention returns its receipt without requeueing.
if id, err := s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now.Add(91*24*time.Hour)); err != nil || id != input.RequestID {
t.Fatal(id, err)
}
q, err = s.store.QueuedTaskDigests(ctx)
if err != nil || len(q) != 0 {
t.Fatal("retention resurrected mail", q, err)
}
if _, err = s.store.DB.Exec(`UPDATE organizer_task_preferences SET next_digest_ms=? WHERE domain_uuid=? AND owner_uuid=?`, now.Add(-time.Minute).UnixMilli(), domain, actor); err != nil {
t.Fatal(err)
}
if _, err = s.store.ClaimTaskDigest(ctx, store.TaskDigestDue{Domain: domain, Owner: actor}, now); !errors.Is(err, sql.ErrNoRows) {
t.Fatal("reservation lost", err)
}
}
func TestTaskDigestHistorySMTPWorker(t *testing.T) {
s, _, domain, actor, now, c := digestHistoryFixture(t)
ctx := context.Background()
if err := s.store.FinishTaskDigest(ctx, c, "cancelled"); err != nil {
t.Fatal(err)
}
input := store.TaskDigestRetry{RequestID: uuid.NewString(), Day: c.Day, ExpectedAttempt: c.AttemptUUID}
if _, err := s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now); err != nil {
t.Fatal(err)
}
address, _, done := fakeSMTP(t, "", false)
if err := s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "smtp", Enabled: true, SMTPAddress: address, SMTPFrom: "wiki@example.test"}); err != nil {
t.Fatal(err)
}
if err := s.deliverTaskDigests(ctx, &store.EventJob{}); err != nil {
t.Fatal(err)
}
delivery := <-done
if !strings.Contains(delivery.message, "Subject: PagesWiki tasks "+c.Day) {
t.Fatal("message missing")
}
page, err := s.store.TaskDigestHistory(ctx, domain, actor, "", 50, now)
if err != nil || page.Current.State != "sent" || len(page.Items) != 2 {
t.Fatal(page, err)
}
if err := s.deliverTaskDigests(ctx, &store.EventJob{}); err != nil {
t.Fatal(err)
}
}
func TestTaskDigestHistoryLimitsAndAtomicQueue(t *testing.T) {
s, _, domain, actor, now, c := digestHistoryFixture(t)
ctx := context.Background()
if err := s.store.FinishTaskDigest(ctx, c, "cancelled"); err != nil {
t.Fatal(err)
}
input := store.TaskDigestRetry{RequestID: uuid.NewString(), Day: c.Day, ExpectedAttempt: c.AttemptUUID}
if _, err := s.store.DB.Exec(`CREATE TRIGGER fail_digest_queue BEFORE INSERT ON organizer_digest_attempts WHEN NEW.kind='manual' BEGIN SELECT RAISE(ABORT,'test queue failure'); END`); err != nil {
t.Fatal(err)
}
if _, err := s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now); err == nil {
t.Fatal("injected failure ignored")
}
var count int
if err := s.store.DB.QueryRow(`SELECT count(*) FROM organizer_digest_requests`).Scan(&count); err != nil || count != 0 {
t.Fatal("partial receipt", count, err)
}
if _, err := s.store.DB.Exec(`DROP TRIGGER fail_digest_queue`); err != nil {
t.Fatal(err)
}
for i := 0; i < 5; i++ {
input.RequestID = uuid.NewString()
if _, err := s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now); err != nil {
t.Fatal(i, err)
}
q, err := s.store.QueuedTaskDigests(ctx)
if err != nil || len(q) != 1 {
t.Fatal(q, err)
}
claim, err := s.store.ClaimQueuedTaskDigest(ctx, q[0], now)
if err != nil {
t.Fatal(err)
}
if err = s.store.FinishTaskDigest(ctx, claim, "cancelled"); err != nil {
t.Fatal(err)
}
input.ExpectedAttempt = claim.AttemptUUID
}
input.RequestID = uuid.NewString()
if _, err := s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now); !errors.Is(err, store.ErrTaskConflict) {
t.Fatal("retry cap", err)
}
input.Day = now.AddDate(0, 0, -1).Format("2006-01-02")
if _, err := s.store.QueueTaskDigestRetry(ctx, domain, actor, input, now); !errors.Is(err, store.ErrTaskInvalid) {
t.Fatal("past day accepted", err)
}
// A bounded retention pass leaves queued rows and durable guards untouched.
_, err := s.store.DB.Exec(`WITH RECURSIVE n(i) AS (VALUES(1) UNION ALL SELECT i+1 FROM n WHERE i<501) INSERT INTO organizer_digest_attempts SELECT 'old-'||i,'d','u','2000-01-01','scheduled','sent',1,'UTC','',1,1 FROM n`)
if err != nil {
t.Fatal(err)
}
deleted, err := s.store.MaintainTaskDigests(ctx, now)
if err != nil || deleted != 500 {
t.Fatal("unbounded retention", deleted, err)
}
if err = s.store.DB.QueryRow(`SELECT count(*) FROM organizer_digest_attempts WHERE uuid LIKE 'old-%'`).Scan(&count); err != nil || count != 1 {
t.Fatal(count, err)
}
var integrity string
if err = s.store.DB.QueryRow(`PRAGMA integrity_check`).Scan(&integrity); err != nil || integrity != "ok" {
t.Fatal(integrity, err)
}
}
func TestTaskDigestHistoryChromium(t *testing.T) {
if os.Getenv("PAGESWIKI_BROWSER_TEST") != "1" {
t.Skip("opt-in Chromium")
}
s, token, domain, actor, now, c := digestHistoryFixture(t)
s.store.BackgroundJobsDisabled = true
s = New(s.store)
if err := s.store.FinishTaskDigest(context.Background(), c, "uncertain"); err != nil {
t.Fatal(err)
}
address, _, done := fakeSMTP(t, "", false)
if err := s.store.SetAuthProviderConfig(domain, store.AuthProviderConfig{Kind: "smtp", Enabled: true, SMTPAddress: address, SMTPFrom: "wiki@example.test"}); err != nil {
t.Fatal(err)
}
script, err := os.ReadFile("internal/server/testdata/task-digest-history.js")
if err != nil {
t.Fatal(err)
}
handler := s.handler()
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
r.Host = "localhost"
r.Header.Set("Authorization", "Bearer "+token)
if r.URL.Path == "/fixture" {
w.Header().Set("Content-Type", "text/html; charset=utf-8")
_, _ = w.Write([]byte("<!doctype html><body style='margin:0'><script>" + string(script) + "</script></body>"))
return
}
if r.URL.Path == "/fixture/tick" && r.Method == "POST" {
if e := s.deliverTaskDigests(r.Context(), &store.EventJob{}); e != nil {
http.Error(w, "worker failed", 500)
return
}
w.WriteHeader(204)
return
}
handler.ServeHTTP(w, r)
}))
defer server.Close()
ctx, cancel := context.WithTimeout(context.Background(), 55*time.Second)
defer cancel()
width := os.Getenv("DIGEST_HISTORY_WIDTH")
if width == "" {
width = "1440"
}
args := []string{"internal/server/testdata/vim-browser-smoke.mjs", server.URL + "/fixture", t.TempDir(), os.Getenv("DIGEST_HISTORY_SCREENSHOT"), width, "850"}
if out, err := exec.CommandContext(ctx, "node", args...).CombinedOutput(); err != nil {
t.Fatalf("browser: %v\n%s", err, out)
}
select {
case delivery := <-done:
if !strings.Contains(delivery.message, "Subject: PagesWiki tasks "+c.Day) {
t.Fatal("mail missing")
}
case <-ctx.Done():
t.Fatal("SMTP not observed")
}
page, err := s.store.TaskDigestHistory(context.Background(), domain, actor, "", 50, now)
if err != nil || page.Retries != 1 || len(page.Items) != 2 || page.Current.State != "sent" {
t.Fatal(page, err)
}
}
+74
View File
@@ -0,0 +1,74 @@
package server
import (
"context"
"database/sql"
"encoding/json"
"errors"
"strings"
"testing"
"github.com/google/uuid"
"pageswiki/internal/store"
)
func TestTaskMailLayouts(t *testing.T) {
s, token, domain, actor := taskFixture(t)
for _, suffix := range []string{"hogehoge/123", "v/0", "2026/01/" + uuid.NewString(), "2026/12/" + strings.Repeat("a", 64)} {
id := uuid.NewString()
input := map[string]any{"request_id": id, "title": "日本語の件名", "wiki_body": "Body", "wiki_prefix": "/mail", "wiki_suffix": suffix}
w := taskRequest(s, token, "POST", "capture", input, "")
if w.Code != 201 {
t.Fatal(suffix, w.Code, w.Body)
}
var response struct {
Path string `json:"page_path"`
Item store.TaskRecord `json:"item"`
}
if e := json.Unmarshal(w.Body.Bytes(), &response); e != nil {
t.Fatal(e)
}
if response.Path != "/mail/"+suffix {
t.Fatal(response.Path)
}
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 201 {
t.Fatal("replay", w.Code, w.Body)
}
// A different Message-ID produces a different request UUID, never an overwrite.
other := uuid.NewString()
input["request_id"] = other
input["wiki_body"] = "Different mail"
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 409 {
t.Fatal("collision", w.Code, w.Body)
}
if _, e := s.store.GetTask(context.Background(), domain, actor, other); !errors.Is(e, sql.ErrNoRows) {
t.Fatal("partial task", e)
}
rev, e := s.store.GetLatestRevision(response.Item.PageUUID)
if e != nil || strings.Contains(rev.Body, "Different") {
t.Fatal("page overwritten", e)
}
}
for _, suffix := range []string{"", "../123", "/list/123", "a/../../123", "list/001", "list/-1", "list/1?x", "list%2f/1", "list/1/2", "_/123", "2026/13/" + uuid.NewString(), "0000/01/" + uuid.NewString(), "2026/01/not-an-id"} {
input := map[string]any{"request_id": uuid.NewString(), "title": "Bad", "wiki_body": "Body", "wiki_prefix": "/mail", "wiki_suffix": suffix}
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 422 {
t.Fatal(suffix, w.Code, w.Body)
}
}
input := map[string]any{"request_id": uuid.NewString(), "title": "No body", "wiki_suffix": "list/123"}
if w := taskRequest(s, token, "POST", "capture", input, ""); w.Code != 422 {
t.Fatal(w.Code, w.Body)
}
other, e := s.store.CreatePasswordAccount(domain, "mail-layout-other", "fixture password long", "Other", "")
if e != nil {
t.Fatal(e)
}
otherToken, e := s.store.CreateAuthSession(domain, other.UUID)
if e != nil {
t.Fatal(e)
}
input = map[string]any{"request_id": uuid.NewString(), "title": "No Wiki permission", "wiki_body": "Body", "wiki_prefix": "/mail", "wiki_suffix": "private/123"}
if w := taskRequest(s, otherToken, "POST", "capture", input, ""); w.Code != 403 {
t.Fatal(w.Code, w.Body)
}
}
+366
View File
@@ -0,0 +1,366 @@
package server
import (
"crypto/sha256"
"database/sql"
"encoding/hex"
"encoding/json"
"errors"
"io"
"net/http"
"strings"
"time"
"github.com/google/uuid"
cal "pageswiki/internal/calendar"
"pageswiki/internal/store"
)
func taskJSON(w http.ResponseWriter, r *http.Request, output any) bool {
return taskJSONLimit(w, r, output, 32768)
}
func taskJSONLimit(w http.ResponseWriter, r *http.Request, output any, limit int64) bool {
d := json.NewDecoder(http.MaxBytesReader(w, r.Body, limit))
d.DisallowUnknownFields()
if d.Decode(output) != nil || d.Decode(&struct{}{}) != io.EOF {
taskError(w, store.ErrTaskInvalid)
return false
}
return true
}
func defaultTask(p store.TaskPreferences, now time.Time) store.TaskRecord {
item := store.TaskRecord{Kind: "task", Status: "todo", Bucket: "inbox", Priority: 1, ProjectUUID: p.ProjectUUID, AssigneeUUID: p.AssigneeUUID, Estimate: p.Estimate, Complexity: p.Complexity}
for _, date := range []struct {
offset *int
target *string
}{{p.DueDays, &item.DueOn}, {p.StartDays, &item.StartOn}, {p.PlannedDays, &item.PlannedOn}, {p.ReviewDays, &item.ReviewOn}} {
if date.offset != nil {
*date.target = now.AddDate(0, 0, *date.offset).Format("2006-01-02")
}
}
applyTaskReminderDefaults(&item, p)
return item
}
// Undated captures must remain possible, even when reminder defaults are on.
// Apply after date overrides, and never apply to updates of existing tasks.
func applyTaskReminderDefaults(item *store.TaskRecord, p store.TaskPreferences) {
item.NotifyDue = p.NotifyDue && item.DueOn != ""
item.NotifyPlanned = p.NotifyPlanned && item.PlannedOn != ""
item.ReminderTime = p.ReminderTime
if item.ReminderTime == "" {
item.ReminderTime = "09:00"
}
}
type taskCaptureInput struct {
RequestID string `json:"request_id"`
Title string `json:"title"`
Notes string `json:"notes"`
ProjectUUID *string `json:"project_uuid"`
AssigneeUUID *string `json:"assignee_uuid"`
DueOn *string `json:"due_on"`
StartOn *string `json:"start_on"`
PlannedOn *string `json:"planned_on"`
ReviewOn *string `json:"review_on"`
Estimate *int `json:"estimate_minutes"`
Complexity *int `json:"complexity"`
WikiBody *string `json:"wiki_body,omitempty"`
WikiPrefix *string `json:"wiki_prefix,omitempty"`
WikiSuffix *string `json:"wiki_suffix,omitempty"`
}
func (s *Server) handleTaskProductivity(w http.ResponseWriter, r *http.Request, actor string, active bool, kind string) {
domain := s.domainUUIDForRequest(r)
if r.Method != "GET" && !active {
taskError(w, store.ErrAccessDenied)
return
}
switch kind {
case "dashboard", "progress":
s.handleDashboardData(w, r, actor, active, kind)
return
case "calendar-capture":
if r.Method == "POST" {
if !s.systemExtensionEnabled(domain, "organizer.calendar") {
http.NotFound(w, r)
return
}
var input struct {
RequestID string `json:"request_id"`
CalendarUUID string `json:"calendar_uuid"`
Title string `json:"title"`
Start string `json:"from"`
End string `json:"to"`
}
if !taskJSON(w, r, &input) {
return
}
if id, e := uuid.Parse(input.RequestID); e != nil || id.String() != input.RequestID || strings.TrimSpace(input.Title) == "" || len(input.Title) > 300 {
taskError(w, store.ErrTaskInvalid)
return
}
if _, _, e := s.store.ListTasks(r.Context(), domain, actor, store.TaskQuery{Kind: "task", View: "all", Today: time.Now().In(s.getLocation(domain)).Format("2006-01-02"), Limit: 1}); e != nil {
taskError(w, e)
return
}
parse := func(value string) (time.Time, error) {
if strings.HasSuffix(value, "Z") || len(value) > 19 {
return time.Parse(time.RFC3339, value)
}
v, e := time.ParseInLocation("2006-01-02T15:04", value, s.getLocation(domain))
if e == nil && v.Format("2006-01-02T15:04") != value {
e = store.ErrTaskInvalid
}
return v, e
}
start, e1 := parse(input.Start)
end, e2 := parse(input.End)
if e1 != nil || e2 != nil || !end.After(start) || end.Sub(start) > 31*24*time.Hour {
taskError(w, store.ErrTaskInvalid)
return
}
repo, e := s.calendars()
if e != nil {
taskError(w, e)
return
}
event, e := cal.Build("", cal.Event{UID: input.RequestID, Summary: input.Title, Start: start, End: end})
if e != nil {
calendarError(w, e)
return
}
c, event, e := repo.TaskBlock(r.Context(), domain, input.CalendarUUID, actor, input.RequestID, &event)
if e != nil {
calendarError(w, e)
return
}
writeEventJSON(w, 201, map[string]any{"uid": event.UID, "calendar": c.PrettyName})
return
}
case "preferences":
if r.Method == "GET" {
p, err := s.store.TaskPreferences(r.Context(), domain, actor)
if err != nil {
taskError(w, err)
return
}
if p.Version == 0 {
p.Timezone = s.getTimezoneName(domain)
}
last, err := s.store.LastTaskDigest(r.Context(), domain, actor)
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, map[string]any{"preferences": p, "defaults": defaultTask(p, time.Now().In(s.getLocation(domain))), "timezone": s.getTimezoneName(domain), "last_digest": last})
return
}
if r.Method == "PUT" {
var p store.TaskPreferences
if !taskJSON(w, r, &p) {
return
}
if p.DigestEnabled {
principal, err := s.store.PrincipalForSession(domain, s.authTokenFromRequest(r))
if err != nil {
taskError(w, store.ErrAccessDenied)
return
}
if _, err = smtpMailbox(principal.Email); err != nil {
writeEventJSON(w, 422, map[string]string{"error": "email_required"})
return
}
config, err := s.store.AuthProviderConfig(domain, "smtp")
if err != nil || !config.Enabled {
writeEventJSON(w, 422, map[string]string{"error": "smtp_unavailable"})
return
}
}
p, err := s.store.SaveTaskPreferences(r.Context(), domain, actor, p, time.Now())
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, map[string]any{"preferences": p})
return
}
case "capture":
if r.Method == "POST" {
var input taskCaptureInput
if !taskJSONLimit(w, r, &input, 2<<20) {
return
}
if id, err := uuid.Parse(input.RequestID); err != nil || id.String() != input.RequestID {
taskError(w, store.ErrTaskInvalid)
return
}
raw, _ := json.Marshal(input)
hash := sha256.Sum256(raw)
requestHash := hex.EncodeToString(hash[:])
if old, e := s.store.CapturedTask(r.Context(), domain, actor, input.RequestID, requestHash); e == nil {
s.taskResponse(w, r, old, 201)
return
} else if !errors.Is(e, sql.ErrNoRows) {
taskError(w, e)
return
}
p, err := s.store.TaskPreferences(r.Context(), domain, actor)
if err != nil {
taskError(w, err)
return
}
item := defaultTask(p, time.Now().In(s.getLocation(domain)))
item.Title = input.Title
item.Notes = input.Notes
for _, v := range []struct {
from *string
to *string
}{{input.ProjectUUID, &item.ProjectUUID}, {input.AssigneeUUID, &item.AssigneeUUID}, {input.DueOn, &item.DueOn}, {input.StartOn, &item.StartOn}, {input.PlannedOn, &item.PlannedOn}, {input.ReviewOn, &item.ReviewOn}} {
if v.from != nil {
*v.to = *v.from
}
}
if input.Estimate != nil {
item.Estimate = *input.Estimate
}
if input.Complexity != nil {
item.Complexity = *input.Complexity
}
applyTaskReminderDefaults(&item, p)
target, body := "", ""
if input.WikiBody != nil {
prefix := p.WikiPrefix
if input.WikiPrefix != nil {
prefix = *input.WikiPrefix
}
if prefix == "" && input.WikiPrefix == nil && item.ProjectUUID != "" {
project, e := s.store.GetTask(r.Context(), domain, actor, item.ProjectUUID)
if e != nil && !errors.Is(e, sql.ErrNoRows) {
taskError(w, e)
return
}
if e == nil && project.Kind == "project" && !project.Archived {
if base := s.taskPagePath(r, project.PageUUID); base != "" {
sub := project.NotesSubpath
if sub == "" {
sub = "tasks"
}
prefix = strings.TrimRight(base, "/") + "/" + sub
}
}
}
if prefix == "" {
writeEventJSON(w, 422, map[string]string{"error": "wiki_prefix_required"})
return
}
if !store.ValidTaskWikiPrefix(prefix) {
taskError(w, store.ErrTaskInvalid)
return
}
target = store.TaskCaptureWikiPath(prefix, item.Title, input.RequestID)
if input.WikiSuffix != nil {
if !store.ValidTaskMailSuffix(*input.WikiSuffix) {
taskError(w, store.ErrTaskInvalid)
return
}
target = strings.TrimRight(prefix, "/") + "/" + *input.WikiSuffix
}
for _, capability := range []string{"read", "create", "write"} {
if s.authorizePathRequest(r, capability, target) != nil {
taskError(w, store.ErrAccessDenied)
return
}
}
body = *input.WikiBody
} else if input.WikiPrefix != nil || input.WikiSuffix != nil {
taskError(w, store.ErrTaskInvalid)
return
}
item, err = s.store.CaptureTaskWithWiki(r.Context(), domain, actor, input.RequestID, requestHash, item, target, body)
if err != nil {
taskError(w, err)
return
}
s.taskResponse(w, r, item, 201)
return
}
case "work":
if r.Method == "GET" {
v, err := s.store.ActiveTaskWork(r.Context(), domain, actor)
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, map[string]any{"item": v, "server_now_ms": time.Now().UnixMilli()})
return
}
if r.Method == "POST" {
var input struct {
store.TaskWork
Action string `json:"action"`
Reason string `json:"reason"`
Start string `json:"start"`
End string `json:"end"`
}
if !taskJSON(w, r, &input) {
return
}
if input.Action == "correct" && (input.Start != "" || input.End != "") {
a, e1 := parseWorkInstant(input.Start, s.getLocation(domain))
b, e2 := parseWorkInstant(input.End, s.getLocation(domain))
if e1 != nil || e2 != nil {
taskError(w, store.ErrTaskInvalid)
return
}
input.StartMS = a.UnixMilli()
input.EndMS = b.UnixMilli()
}
v, err := s.store.ChangeTaskWork(r.Context(), domain, actor, input.Action, input.TaskWork, time.Now(), input.Reason)
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, map[string]any{"item": v, "server_now_ms": time.Now().UnixMilli()})
return
}
case "report":
if r.Method == "GET" {
now := time.Now().In(s.getLocation(domain))
end := time.Date(now.Year(), now.Month(), now.Day()+1, 0, 0, 0, 0, now.Location())
start := end.AddDate(-1, 0, 0)
for _, v := range []struct {
key string
target *time.Time
}{{"from", &start}, {"to", &end}} {
if value := r.URL.Query().Get(v.key); value != "" {
parsed, err := time.ParseInLocation("2006-01-02", value, now.Location())
if err != nil || parsed.Format("2006-01-02") != value {
taskError(w, store.ErrTaskInvalid)
return
}
*v.target = parsed
}
}
report, err := s.store.TaskReport(r.Context(), domain, actor, start, end, now)
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, report)
return
}
}
w.Header().Set("Allow", map[string]string{"calendar-capture": "POST", "capture": "POST", "work": "GET, POST", "report": "GET", "preferences": "GET, PUT"}[kind])
w.WriteHeader(405)
}
func (s *Server) handleTaskProductivityPage(w http.ResponseWriter, r *http.Request, active bool) {
if strings.HasSuffix(r.URL.Path, "/settings") {
http.Redirect(w, r, "/-/sys/config?panel=organizer", http.StatusSeeOther)
return
}
http.Redirect(w, r, "/v/plan/dashboard#activity", http.StatusSeeOther)
}
+272
View File
@@ -0,0 +1,272 @@
package server
import (
"context"
"encoding/base64"
"encoding/json"
"strings"
"testing"
"time"
"github.com/google/uuid"
"pageswiki/internal/store"
)
func TestTaskDigestSMTPContent(t *testing.T) {
address, _, done := fakeSMTP(t, "", false)
body := "やること\n- 私用タスク\n"
if e := sendTaskDigestSMTP(context.Background(), store.AuthProviderConfig{SMTPAddress: address, SMTPFrom: "wiki@example.test"}, "reader@example.test", "2026-11-01", body); e != nil {
t.Fatal(e)
}
result := <-done
parts := strings.SplitN(strings.ReplaceAll(result.message, "\r\n", "\n"), "\n\n", 2)
if len(parts) != 2 {
t.Fatal("missing MIME body")
}
decoded, e := base64.StdEncoding.DecodeString(strings.Join(strings.Fields(parts[1]), ""))
if e != nil || string(decoded) != body {
t.Fatal("body encoding", e)
}
if !strings.Contains(parts[0], "Subject: PagesWiki tasks 2026-11-01") || strings.Contains(parts[0], "私用") {
t.Fatal("wrong headers")
}
}
func TestTaskReminderPreferencesAndCapture(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
existing, err := s.store.SaveTask(ctx, domain, actor, newTaskRecord("task", "Existing without reminders"), 0)
if err != nil {
t.Fatal(err)
}
w := taskRequest(s, token, "GET", "preferences", nil, "")
var result struct {
Preferences store.TaskPreferences `json:"preferences"`
Defaults store.TaskRecord `json:"defaults"`
}
if err = json.Unmarshal(w.Body.Bytes(), &result); err != nil {
t.Fatal(err)
}
if result.Preferences.NotifyDue || result.Preferences.NotifyPlanned || result.Preferences.ReminderTime != "09:00" {
t.Fatal("unexpected initial reminder preferences", result.Preferences)
}
p := result.Preferences
p.NotifyDue, p.NotifyPlanned, p.ReminderTime = true, true, "10:35"
w = taskRequest(s, token, "PUT", "preferences", p, "")
if w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
if err = json.Unmarshal(w.Body.Bytes(), &result); err != nil {
t.Fatal(err)
}
p = result.Preferences
for _, clock := range []string{"9:00", "24:00", "10:35:00", "garbage"} {
bad := p
bad.ReminderTime = clock
if w = taskRequest(s, token, "PUT", "preferences", bad, ""); w.Code != 422 {
t.Fatal("invalid clock accepted", clock, w.Code)
}
}
for _, tc := range []struct {
name string
dates map[string]any
due, planned bool
}{
{"undated", map[string]any{}, false, false},
{"dated", map[string]any{"due_on": "2030-01-02", "planned_on": "2030-01-01"}, true, true},
{"cleared", map[string]any{"due_on": "", "planned_on": ""}, false, false},
} {
input := tc.dates
input["request_id"] = uuid.NewString()
input["title"] = tc.name
w = taskRequest(s, token, "POST", "capture", input, "")
if w.Code != 201 {
t.Fatal(tc.name, w.Code, w.Body)
}
var response struct {
Item store.TaskRecord `json:"item"`
}
if err = json.Unmarshal(w.Body.Bytes(), &response); err != nil {
t.Fatal(err)
}
if response.Item.NotifyDue != tc.due || response.Item.NotifyPlanned != tc.planned || response.Item.ReminderTime != "10:35" {
t.Fatal("wrong reminder defaults", response.Item)
}
if tc.due && response.Item.ReminderTimezone == "" {
t.Fatal("missing server timezone")
}
}
zero := 0
p.PlannedDays = &zero
if w = taskRequest(s, token, "PUT", "preferences", p, ""); w.Code != 200 {
t.Fatal(w.Code, w.Body)
}
w = taskRequest(s, token, "GET", "preferences", nil, "")
if err = json.Unmarshal(w.Body.Bytes(), &result); err != nil {
t.Fatal(err)
}
if !result.Defaults.NotifyPlanned || result.Defaults.NotifyDue || result.Defaults.PlannedOn == "" {
t.Fatal("dated defaults missing", result.Defaults)
}
loaded, err := s.store.GetTask(ctx, domain, actor, existing.UUID)
if err != nil || loaded.Version != existing.Version || loaded.NotifyDue || loaded.NotifyPlanned {
t.Fatal("existing task changed", loaded, err)
}
}
func TestTaskCaptureDefaultsReplayAndPermissions(t *testing.T) {
s, token, domain, actor := taskFixture(t)
ctx := context.Background()
days := 2
p := store.TaskPreferences{AssigneeUUID: actor, DueDays: &days, Complexity: 3, Estimate: 60, Timezone: "Asia/Tokyo", DigestTime: "09:00"}
p, err := s.store.SaveTaskPreferences(ctx, domain, actor, p, time.Now())
if err != nil {
t.Fatal(err)
}
id := uuid.NewString()
input := map[string]any{"request_id": id, "title": "Mail task", "notes": "Subject only"}
w := taskRequest(s, token, "POST", "capture", input, "")
if w.Code != 201 {
t.Fatalf("capture %d %s", w.Code, w.Body)
}
var response struct {
Item store.TaskRecord `json:"item"`
}
if err = json.Unmarshal(w.Body.Bytes(), &response); err != nil {
t.Fatal(err)
}
if response.Item.Complexity != 3 || response.Item.Estimate != 60 || response.Item.AssigneeUUID != actor || response.Item.DueOn == "" {
t.Fatalf("defaults missing %+v", response.Item)
}
p.Estimate = 120
if _, err = s.store.SaveTaskPreferences(ctx, domain, actor, p, time.Now()); err != nil {
t.Fatal(err)
}
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 201 {
t.Fatalf("retry %d %s", w.Code, w.Body)
}
loaded, err := s.store.GetTask(ctx, domain, actor, id)
if err != nil || loaded.Estimate != 60 || loaded.Version != 1 {
t.Fatal(loaded, err)
}
input["title"] = "Different"
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 412 {
t.Fatalf("conflicting replay %d", w.Code)
}
input["request_id"] = uuid.NewString()
input["due_on"] = ""
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 201 {
t.Fatal(w.Code, w.Body)
}
if err = json.Unmarshal(w.Body.Bytes(), &response); err != nil || response.Item.DueOn != "" {
t.Fatal("explicit clear lost", err)
}
if w = taskRequest(s, "", "POST", "capture", input, ""); w.Code == 201 {
t.Fatal("anonymous capture")
}
if err = s.store.SetPrincipalState(domain, actor, "readonly"); err != nil {
t.Fatal(err)
}
token, err = s.store.CreateAuthSession(domain, actor)
if err != nil {
t.Fatal(err)
}
if w = taskRequest(s, token, "POST", "capture", input, ""); w.Code != 403 {
t.Fatal("readonly capture", w.Code)
}
}
func TestTaskWorkReportSplitsMidnightAndCompletion(t *testing.T) {
s, _, domain, actor := taskFixture(t)
ctx := context.Background()
item := newTaskRecord("task", "Tracked task")
item.Estimate = 60
item.Complexity = 3
item, err := s.store.SaveTask(ctx, domain, actor, item, 0)
if err != nil {
t.Fatal(err)
}
loc, _ := time.LoadLocation("Asia/Tokyo")
start := time.Date(2026, 11, 1, 23, 30, 0, 0, loc)
end := start.Add(90 * time.Minute)
v, err := s.store.ChangeTaskWork(ctx, domain, actor, "start", store.TaskWork{UUID: uuid.NewString(), TaskUUID: item.UUID}, start)
if err != nil {
t.Fatal(err)
}
if _, err = s.store.ChangeTaskWork(ctx, domain, actor, "start", store.TaskWork{UUID: uuid.NewString(), TaskUUID: item.UUID}, start); err != store.ErrTaskConflict {
t.Fatal("second active timer", err)
}
v, err = s.store.ChangeTaskWork(ctx, domain, actor, "stop", v, end)
if err != nil {
t.Fatal(err)
}
if again, e := s.store.ChangeTaskWork(ctx, domain, actor, "stop", v, end.Add(time.Hour)); e != nil || again.EndMS != v.EndMS {
t.Fatal("stop replay changed duration", e)
}
a := time.Date(2026, 11, 1, 0, 0, 0, 0, loc)
report, err := s.store.TaskReport(ctx, domain, actor, a, a.AddDate(0, 0, 2), end)
if err != nil {
t.Fatal(err)
}
if len(report.Tasks) != 1 || report.Tasks[0].WorkMS != 90*60000 || report.Days[0].WorkMS != 30*60000 || report.Days[1].WorkMS != 60*60000 {
t.Fatalf("wrong split %+v", report)
}
item.Status = "done"
item, err = s.store.SaveTask(ctx, domain, actor, item, item.Version)
if err != nil {
t.Fatal(err)
}
now := time.Now().In(loc)
day := time.Date(now.Year(), now.Month(), now.Day(), 0, 0, 0, 0, loc)
report, err = s.store.TaskReport(ctx, domain, actor, day, day.AddDate(0, 0, 1), now)
if err != nil || report.Days[0].Points != 7 || report.Days[0].Completed != 1 {
t.Fatal("points", report, err)
}
if len(report.Projects) != 1 || report.Projects[0].UUID != "" || report.Projects[0].Points != 7 || report.Projects[0].Completed != 1 {
t.Fatal("unassigned project totals", report.Projects)
}
item.Status = "todo"
if _, err = s.store.SaveTask(ctx, domain, actor, item, item.Version); err != nil {
t.Fatal(err)
}
report, err = s.store.TaskReport(ctx, domain, actor, day, day.AddDate(0, 0, 1), now)
if err != nil || report.Days[0].Points != 0 {
t.Fatal("reopen did not retract", err)
}
}
func TestTaskDigestClaimOnceAndOptOut(t *testing.T) {
s, _, domain, actor := taskFixture(t)
ctx := context.Background()
now := time.Date(2026, 11, 1, 8, 0, 0, 0, time.UTC)
p := store.TaskPreferences{Complexity: 1, DigestEnabled: true, DigestTime: "09:00", Timezone: "UTC"}
p, err := s.store.SaveTaskPreferences(ctx, domain, actor, p, now)
if err != nil {
t.Fatal(err)
}
if rows, e := s.store.DueTaskDigests(ctx, now); e != nil || len(rows) != 0 {
t.Fatal(rows, e)
}
now = now.Add(2 * time.Hour)
due, err := s.store.DueTaskDigests(ctx, now)
if err != nil || len(due) != 1 {
t.Fatal(due, err)
}
claim, err := s.store.ClaimTaskDigest(ctx, due[0], now)
if err != nil {
t.Fatal(err)
}
if _, e := s.store.ClaimTaskDigest(ctx, due[0], now); e == nil {
t.Fatal("double claim")
}
if err = s.store.FinishTaskDigest(ctx, claim, "sent"); err != nil {
t.Fatal(err)
}
p.DigestEnabled = false
if _, err = s.store.SaveTaskPreferences(ctx, domain, actor, p, now); err != nil {
t.Fatal(err)
}
if _, err = s.store.TaskDigestRecipient(ctx, claim); err == nil {
t.Fatal("opt-out not enforced")
}
}
+95
View File
@@ -0,0 +1,95 @@
package server
import (
"net/http"
"pageswiki/internal/store"
"strconv"
"time"
)
func parseWorkInstant(raw string, loc *time.Location) (time.Time, error) {
if v, err := time.Parse(time.RFC3339Nano, raw); err == nil {
return v, nil
}
for _, format := range []string{"2006-01-02T15:04:05", "2006-01-02T15:04"} {
v, err := time.ParseInLocation(format, raw, loc)
if err != nil || v.Format(format) != raw {
continue
}
// A repeated wall time needs an explicit offset. Do not silently choose
// the earlier/later occurrence when a browser datetime-local cannot express it.
for _, delta := range []time.Duration{-24 * time.Hour, -2 * time.Hour, -time.Hour, -30 * time.Minute, 30 * time.Minute, time.Hour, 2 * time.Hour, 24 * time.Hour} {
if v.Add(delta).In(loc).Format(format) == raw {
return time.Time{}, store.ErrTaskInvalid
}
}
return v, nil
}
return time.Time{}, store.ErrTaskInvalid
}
func (s *Server) handleTaskWorkHistory(w http.ResponseWriter, r *http.Request, actor string, parts []string) {
if r.Method != "GET" {
w.Header().Set("Allow", "GET")
w.WriteHeader(405)
return
}
domain := s.domainUUIDForRequest(r)
if len(parts) == 2 && parts[1] != "" {
var before int64
if raw := r.URL.Query().Get("before"); raw != "" {
var err error
before, err = strconv.ParseInt(raw, 10, 64)
if err != nil || before < 0 {
taskError(w, store.ErrTaskInvalid)
return
}
}
items, err := s.store.TaskWorkRevisions(r.Context(), domain, actor, parts[1], before)
if err != nil {
taskError(w, err)
return
}
var next int64
if len(items) == 100 {
next = items[len(items)-1].Item.Version
}
writeEventJSON(w, 200, map[string]any{"items": items, "next": next})
return
}
if len(parts) != 1 {
http.NotFound(w, r)
return
}
now := time.Now().In(s.getLocation(domain))
end := time.Date(now.Year(), now.Month(), now.Day()+1, 0, 0, 0, 0, now.Location())
start := end.AddDate(0, 0, -30)
for _, v := range []struct {
key string
target *time.Time
}{{"from", &start}, {"to", &end}} {
if raw := r.URL.Query().Get(v.key); raw != "" {
date, err := time.ParseInLocation("2006-01-02", raw, now.Location())
if err != nil || date.Format("2006-01-02") != raw {
taskError(w, store.ErrTaskInvalid)
return
}
*v.target = date
}
}
limit := 50
if raw := r.URL.Query().Get("limit"); raw != "" {
var err error
limit, err = strconv.Atoi(raw)
if err != nil {
taskError(w, store.ErrTaskInvalid)
return
}
}
result, err := s.store.TaskWorkHistory(r.Context(), domain, actor, start, end, r.URL.Query().Get("after"), limit)
if err != nil {
taskError(w, err)
return
}
writeEventJSON(w, 200, map[string]any{"items": result.Items, "next": result.Next, "from": start.Format("2006-01-02"), "to": end.Format("2006-01-02"), "timezone": now.Location().String()})
}
Loaded 100 of 184 files, more files were not shown because too many files have changed in this diff. Show more