2 Commits
Author SHA1 Message Date
Anya Tokugawa cde94ed936 feat: capture mail bodies in linked Wiki pages
Test and release pages-cli / linux (push) Successful in 31s
Test and release pages-cli / macos (push) Skipped
2026-11-06 08:33:54 +09:00
Anya Tokugawa 59ab4c5b26 Add invocation-scoped TLS verification bypass for self-signed servers
Test and release pages-cli / linux (push) Successful in 7s
Test and release pages-cli / macos (push) Skipped
2026-11-06 07:45:33 +09:00
12 changed files with 303 additions and 35 deletions

No files matched your search

+2 -1
View File
@@ -45,9 +45,10 @@ jobs:
python3 -m venv .venv
. .venv/bin/activate
python -m pip install -r requirements-build.txt
python -m unittest test_pages test_productivity test_distribution
python -m unittest test_pages test_productivity test_distribution test_tls
python tools/build.py
python tools/smoke_binary.py dist/pages
PAGES_CLI_TEST_BINARY="$PWD/dist/pages" python -m unittest test_tls
- name: Publish release assets
if: startsWith(github.ref, 'refs/tags/v')
env:
+3 -3
View File
@@ -18,8 +18,8 @@ rpm/debは初期配布の必須条件にせず、LinuxはELFを提供する。Py
```sh
# ダウンロード先で実行。手元にあるファイルをチェックする。
sha256sum --ignore-missing -c pages-cli-v0.1.0-linux-amd64-SHA256SUMS
tar -xzf pages-cli-v0.1.0-linux-amd64.tar.gz
sha256sum --ignore-missing -c pages-cli-v0.3.0-linux-amd64-SHA256SUMS
tar -xzf pages-cli-v0.3.0-linux-amd64.tar.gz
mkdir -p ~/.local/bin
install -m 755 pages ~/.local/bin/pages
pages --version
@@ -35,6 +35,6 @@ mainへのpushはテスト・ビルドのみ。`vX.Y.Z` タグのpushは同じ
既存runnerにはdocker/buildxとGiteaへのHTTPS接続が必要。公開にはジョブのtokenを使用し、権限不足の場合だけこのリポジトリに限定した `CLI_RELEASE_TOKEN` を設定する。サーバーリポジトリのPATやDocker資格情報をコピーしない。
macOSは `CLI_MACOS_ENABLED=true` と `CLI_MACOS_RUNNER_LABEL` を設定した場合のみ起動する。runnerにはPython 3とgitが必要で、タグcheckout後に同じbuild.pyを実行する。Macの最低OS、CPU、署名・公証は実際のrunnerと検証結果に合わせて公開時に明記する。Windowsは安全な資格情報保存の移植が済むまでジョブを有効化しない。
macOSは `CLI_MACOS_ENABLED=true` と `CLI_MACOS_RUNNER_LABEL` を設定した場合のみ起動する。runnerにはPython 3、git、一時テスト証明書を生成するOpenSSLコマンドが必要で、タグcheckout後に同じbuild.pyを実行する。Macの最低OS、CPU、署名・公証は実際のrunnerと検証結果に合わせて公開時に明記する。Windowsは安全な資格情報保存の移植が済むまでジョブを有効化しない。
サーバーリポジトリ側の旧pages-cliは結合テスト用スナップショット。CLIの新規実装・配布はこのリポジトリで行い、サーバーの結合テスト用コピーはレビューしたリビジョンに明示的に更新する。
+1 -1
View File
@@ -6,6 +6,6 @@ ENV SOURCE_REVISION=$SOURCE_REVISION
COPY requirements-build.txt .
RUN pip install --no-cache-dir -r requirements-build.txt
COPY . .
RUN python -m unittest test_pages test_productivity test_distribution && python tools/build.py && python tools/smoke_binary.py dist/pages
RUN python -m unittest test_pages test_productivity test_distribution test_tls && python tools/build.py && python tools/smoke_binary.py dist/pages && PAGES_CLI_TEST_BINARY=/src/dist/pages python -m unittest test_tls
FROM scratch AS artifacts
COPY --from=build /src/release/ /
+23 -2
View File
@@ -36,6 +36,25 @@ pages[default]:/manual> exit
`exit` はシェルを閉じるだけです。セッションを失効させる場合は `pages logout`。
### 自己署名証明書の環境に接続する
v0.2.0以降では、グローバルオプション `--insecure`(`-k`)を**コマンドの前**に指定すると、その実行中だけTLS証明書とホスト名の検証をスキップできます。既定では必ず検証し、設定・セッションにはスキップ状態を保存しません。
```sh
pages configure --origin https://wiki.example.test --username YOUR_USERNAME
pages --insecure login
pages -k task list
pages -k edit /guide --lang ja
pages -k # この対話シェルの終了まで適用
pages -k logout
```
指定のたびに標準エラーへ警告を表示します。標準出力のJSONやNeoMutt宛先候補には混ぜません。次のコマンドでは、必要なら改めて `-k` を付けます。`configure` は通信しないため `-k configure` は拒否します。
**自己署名証明書だけでなく、期限切れやホスト名不一致も許容します。通信は暗号化されますが、相手の真正性を確認できず、中間者攻撃でパスワード・Bearer・文書等を盗み見られる危険があります。** 信頼できる検証環境でのみ明示指定し、常用する環境では信頼するCAをOSへ登録して通常の検証を使ってください。遠隔HTTP、リダイレクト追従、TLS失敗時の自動再送は引き続き許可しません。
OIDCでは `pages -k login --oidc --no-browser` のように指定できます。ただし、スキップするのはCLIのHTTPS要求のみです。開いたブラウザやOIDCプロバイダーの証明書検証は変更しません。
### OIDCでログインする
OIDC連携を有効にしたDomainで利用します。サーバーは **v0.3.0以降** が必要です。独立版CLI v0.1.0は対応済みです(分離前のCLIではサーバー同梱版v0.3.0以降)。
@@ -150,12 +169,14 @@ pages edit /guide --lang en # 英語版。未作成なら既存内容から
## テスト
```sh
python3 -m unittest test_pages test_productivity test_distribution
python3 -m unittest test_pages test_productivity test_distribution test_tls
```
合成サーバーと一時ディレクトリのみを使用します。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。
合成サーバーと一時ディレクトリのみを使用します。TLS試験には一時証明書を生成するOpenSSLコマンドが必要です。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。
## タスクと連絡先
v0.3.0の `pages task from-mail` は本文を関連Wikiへ保存します(サーバーv0.8.0以降)。先に `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で閲覧制限済みの親Pathを指定してください。タスクの公開範囲とは独立して、本文はWikiの権限に従います。本文を送信しない場合は `--metadata-only` を指定します。
`pages task --help` で作成・計画・開始/終了・レポートを操作できる。
`pages contacts --help` で個人アドレス帳の検索・vCard入出力を行える。
[NeoMutt設定とタスク・連絡先の操作例](docs/neomutt.md)、[そのまま調整して使える設定例](examples/neomuttrc)を参照。これらは配布アーカイブにも同梱します。
+1 -1
View File
@@ -1 +1 @@
0.1.0
0.3.0
+3 -1
View File
@@ -4,7 +4,9 @@ pages-cliはPagesWikiのHTTPクライアントであり、DBやDocument Storeを
## 接続と認証
接続先のoriginでDomainを決め、サーバーの既存認証・権限評価を使う。遠隔接続はHTTPS必須。証明書検証を無効にするオプションはない。HTTPはloopbackでの開発専用。originにuserinfo、Path、query、fragmentを含めず、リダイレクトには追従しない。ログイン画面のHTMLや302/303をAPIの成功として扱わない。
接続先のoriginでDomainを決め、サーバーの既存認証・権限評価を使う。遠隔接続はHTTPS必須で、既定では証明書とホスト名を検証する。v0.2.0以降の `--insecure` / `-k` はその呼出しだけ検証をスキップし、設定やセッションへ保存しない。期限切れ・ホスト名不一致も許容するため、信頼できる検証環境でのみ使用する。CLIのSSLContextだけを変更し、プロセス全体のTLS既定値やOIDCブラウザの検証は変更しない。警告は標準エラーへ出力する。詳細は[利用手順とリスク](../README.md#自己署名証明書の環境に接続する)を参照。
`-k` 使用時もHTTPはloopbackでの開発専用。originにuserinfo、Path、query、fragmentを含めず、リダイレクトには追従しない。ログイン画面のHTMLや302/303をAPIの成功として扱わない。
パスワードログインでは必要に応じてTOTPを入力する。`login --oidc [--no-browser]` ではブラウザのOIDCログイン後に、ターミナルの確認コードを入力して承認する。S256でCLIのverifierに束縛し、短期リクエストを一度だけBearerセッションへ交換する。SSH先から開始し、別端末で承認できる。ブラウザCookie、外部OIDC token、Campus用PSKをCLIのBearerとして流用しない。
+18 -5
View File
@@ -5,6 +5,7 @@
```sh
pages configure --origin https://pages.example.test --username YOUR_USERNAME
pages login --oidc --no-browser
pages task preferences --wiki-prefix /private/mail
pages task --help
```
@@ -15,13 +16,21 @@ pages task --help
```sh
pages task from-mail < message.eml
pages task from-mail --project '開発 計画' --due 2026-11-03 < message.eml
# 本文を保存してよいメールに限り明示する
pages task from-mail --include-body < message.eml
# このメールだけ保存先の親Pathを変更
pages task from-mail --wiki-prefix /private/work-mail < message.eml
# 本文を送らず、件名とメタデータだけタスクにする
pages task from-mail --metadata-only < message.eml
```
既定では件名をタスク名、From・Date・Message-IDをメモにする。本文と添付はアップロードしない。include-bodyはplain text本文だけを追加し、HTML画像・添付・外部URLは取得しない。1通2 MiB、メモ16 KiBが上限。件名が300 UTF-8 bytesを超える場合は `--title '短い件名'` で指定する。
v0.3.0からは件名をタスク名、From・Date・Message-IDをメモにし、**本文を関連Wikiページに保存する**。PagesWiki v0.8.0以降が必要。保存先は `--wiki-prefix`、個人設定の既定Wiki親Path、選択プロジェクトのWiki配下(メモの階層)の順に決まる。どれも未設定なら保存を中止し、下書きを保持する。Webでは `/-/sys/config?panel=organizer` の「メール本文の既定Wiki親Path」で確認・変更できる。CLIで空文字を設定すると個人の既定Pathを解除できる。
同じ接続・本人・Message-IDから同じrequest_idを作るため、同じメールの再取り込みで重複しない。Message-IDなしはメール全体のSHA-256を使う。同じメールを別の独立タスクにもしたい場合は `task add` を使う。
本文の公開範囲は保存先Wikiの権限に従う。タスクが個人用でも、公開Pathに保存した本文は公開され得るため、メール用には閲覧者を制限したPathを指定する。設定例の `/private/mail` という名前自体が非公開を保証するものではない。
作成Pathは `親Path/安全化した件名--request_id`。同名件名を区別し、既存ページを上書きしない。タスクのメモ閲覧・編集ボタンから本文ページを開ける。タスク・Wiki・再送receiptは同一トランザクションで保存し、途中失敗で片方だけを残さない。UUIDで紐づくので、その後Wikiを移動しても追従する。
plain textを優先し、HTMLしかない場合はテキストを抽出する。添付・外部画像・CSS・JS・外部URLは取得せず、本文中のHTMLやWikiマクロも実行しない。原文EMLやHTMLレイアウトの保存機能ではない。入力1通2 MiB、Wiki本文(メタデータ込み)256 KiB、タスクメモ16 KiBまで。上限超過は切り捨てず拒否する。件名300 UTF-8 bytes超は `--title '短い件名'` を指定する。旧 `--include-body` は既定動作の別名として残す。以前の本文非送信動作には `--metadata-only` を使う。
同じ接続・本人・Message-IDから同じrequest_idを作るため、同じメールの再取り込みで重複しない。Message-IDなしはメール全体のSHA-256を使う。同じIDで本文・指定Path・オプションを変えると412となり、以前のページを上書きしない。旧版でメタデータのみ取り込み済みのメールに本文を追加する場合は、既存の関連Wikiを編集する。同じメールを別の独立タスクにもしたい場合は `task add` を使う。
`~/.config/neomutt/neomuttrc` の例。NeoMuttから実行するPATHに `pages` を含めるか、コマンドをインストール先の絶対パスに置き換える。件名等をシェルコマンド文字列に展開せず、メールを標準入力で渡す。[設定ファイル例](../examples/neomuttrc)も配布アーカイブに同梱する。
@@ -43,7 +52,7 @@ pages task retry REQUEST_UUID
最大20件を保留でき、成功した要求はローカルから削除する。同じ本人への再ログインで保留分を維持する。別アカウントへ切り替える場合は別プロファイルを使う。認証済みセッションがない状態からの完全オフライン入力受付ではない。
サーバーで保存された直後に応答が失われても、同じrequest_idで再送すれば既存タスクが返る。保留要求を書き換えて再送すると412になる。セッションファイルにはトークンもあるため、デバッグ目的で内容を貼り付けない。
サーバーで保存された直後に応答が失われても、同じrequest_idで再送すれば既存タスクが返る。保留要求を書き換えて再送すると412になる。セッションファイルにはトークンと保留中のメール本文があるため、デバッグ目的で内容を貼り付けない。保存先未設定で失敗した場合は `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で設定してからretryする。
## 計画と実績
@@ -100,6 +109,8 @@ Content-Typeはapplication/json、AuthorizationはBearerセッション。例示
"request_id": "884587b2-6ae5-4aef-86d0-fd21dac39d1c",
"title": "メールで依頼された内容を確認",
"notes": "Message-ID: <example@example.invalid>",
"wiki_body": "メール本文をテキストとして保存",
"wiki_prefix": "/private/mail",
"estimate_minutes": 30,
"complexity": 2,
"due_on": "2026-11-03"
@@ -112,4 +123,6 @@ Content-Typeはapplication/json、AuthorizationはBearerセッション。例示
NeoMuttでは対話ログインを起動せず、端末で先に `pages login` を完了させる。複数接続を使う場合は、メール取り込み・宛先検索の両方を `pages --profile work ...` に揃える。NeoMutt起動環境のHOME・XDG_CONFIG_HOMEが通常の端末と異なると、別の設定やセッションを参照するので確認する。
自己署名証明書の検証環境ではv0.2.0以降の `pages -k login`、`pages -k task from-mail`、`pages -k contacts query --neomutt -- %s` が使える。`-k` は保存されないため、ログインとNeoMutt設定内の各コマンドに明示する必要がある。警告は標準エラーへ出力し、宛先候補の標準出力には混ぜない。配布設定例は検証有効のままとする。相手の真正性が保証されなくなるリスクと適用範囲は[README](../README.md#自己署名証明書の環境に接続する)を確認する。
`pages: not found` の場合は `command -v pages` でインストール先を確認し、設定内のコマンドをその絶対パスに置き換える。`contacts query` の候補がない場合は、まず端末から `pages contacts list --query 検索語` を実行する。認証切れは端末で再ログインしてから再試行する。公開CLIリポジトリへメール原文・連絡先・セッションJSONを添付しない。
+3
View File
@@ -1,5 +1,8 @@
# Merge into your own NeoMutt configuration; do not replace unrelated settings.
# Run `pages configure` and `pages login` in a terminal first.
# Configure `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` first.
# v0.3.0 uploads the body to Wiki with the destination's visibility/ACL.
# Use `from-mail --metadata-only` if the body must not be uploaded.
# `pages` must be on NeoMutt's PATH; otherwise use its absolute install path.
# For a named connection, use `pages --profile work ...` in BOTH commands.
# These pipe settings also affect other pipe-message commands.
+61 -18
View File
@@ -10,6 +10,7 @@ import difflib
import fcntl
import getpass
import hashlib
from html.parser import HTMLParser
import json
import os
from pathlib import Path
@@ -17,6 +18,7 @@ import posixpath
import re
import secrets
import shlex
import ssl
import stat
import subprocess
import sys
@@ -28,7 +30,7 @@ import urllib.parse as url
import urllib.request as http
import webbrowser
VERSION = '0.1.0'
VERSION = '0.3.0'
class Failure(Exception):
def __init__(self, message, status=0, payload=None):
@@ -75,9 +77,18 @@ class NoRedirect(http.HTTPRedirectHandler):
class Client:
def __init__(self, base, token='', lang='auto'):
def __init__(self, base, token='', lang='auto', *, insecure=False):
self.base, self.token, self.lang = origin(base), token, lang
self.opener = http.build_opener(NoRedirect())
self.insecure = insecure
handlers = [NoRedirect()]
if insecure:
# This client's TLS policy only; never change Python's global defaults.
context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT)
context.check_hostname = False
context.verify_mode = ssl.CERT_NONE
context.set_alpn_protocols(['http/1.1'])
handlers.append(http.HTTPSHandler(context=context))
self.opener = http.build_opener(*handlers)
def request(self, route, method='GET', data=None, form=None, limit=4 << 20, etag=None, content_type=None):
if not route.startswith('/') or route.startswith('//'):
@@ -470,21 +481,42 @@ def task_project(client, value):
return matches[0]
def task_mail(raw, include_body=False, override_title=None):
class MailText(HTMLParser):
"""Extract inert text; never load links, images, styles or attachments."""
def __init__(self):
super().__init__(convert_charrefs=True)
self.parts, self.hidden = [], []
def handle_starttag(self, tag, attrs):
if tag in ('script','style','head'): self.hidden.append(tag)
if not self.hidden and tag in ('br','p','div','li','tr','h1','h2','h3','pre'): self.parts.append('\n')
def handle_endtag(self, tag):
if self.hidden and tag == self.hidden[-1]: self.hidden.pop()
if not self.hidden and tag in ('p','div','li','tr','h1','h2','h3','pre'): self.parts.append('\n')
def handle_data(self, data):
if not self.hidden: self.parts.append(data)
def task_mail(raw, include_body=True, override_title=None):
if len(raw) > 2 << 20: raise Failure('Mail input exceeds 2 MiB; pipe one message at a time.')
message = email.parser.BytesParser(policy=email.policy.default).parsebytes(raw)
clean = lambda value: ' '.join(safe_text(str(value or '')).split())
title = override_title or clean(message.get('Subject')) or '(No subject)'
if len(title.encode()) > 300: raise Failure('Mail subject exceeds 300 UTF-8 bytes; use --title.')
notes = '\n'.join(key+': '+clean(message.get(key)) for key in ('From','Date','Message-ID') if message.get(key))
wiki_body = None
if include_body:
part = message.get_body(preferencelist=('plain',))
content = ''
part = message.get_body(preferencelist=('plain','html'))
if part:
content = part.get_content()
try: content = part.get_content()
except (LookupError, UnicodeError, ValueError) as e: raise Failure('Mail body encoding is not supported; convert to UTF-8 first.') from e
if not isinstance(content,str): raise Failure('Mail body is not readable text.')
notes += '\n\n' + content
if len(notes.encode()) > 16384: raise Failure('Mail notes exceed 16 KiB; omit --include-body.')
return title, notes, clean(message.get('Message-ID')) or hashlib.sha256(raw).hexdigest()
if part.get_content_type() == 'text/html':
parser = MailText();parser.feed(content);parser.close();content = ''.join(parser.parts).strip()
wiki_body = notes + '\n\n' + content
if '\0' in wiki_body or len(wiki_body.encode()) > 256 << 10: raise Failure('Mail Wiki body must be valid text of at most 256 KiB; nothing was uploaded.')
if len(notes.encode()) > 16384: raise Failure('Mail metadata exceeds 16 KiB.')
return title, notes, clean(message.get('Message-ID')) or hashlib.sha256(raw).hexdigest(), wiki_body
def tasks(client, profile, words):
@@ -498,7 +530,9 @@ def tasks(client, profile, words):
p=sub.add_parser(name)
if name=='add':p.add_argument('title')
elif name=='update':p.add_argument('uuid',type=task_uuid);p.add_argument('--title')
else:p.add_argument('--title');p.add_argument('--include-body',action='store_true')
else:
p.add_argument('--title');p.add_argument('--wiki-prefix',help='Wiki parent Path (otherwise use personal default or project Wiki subtree)')
body=p.add_mutually_exclusive_group();body.add_argument('--include-body',action='store_true',help='Save body to Wiki (default; retained for compatibility)');body.add_argument('--metadata-only',action='store_true',help='Do not upload body or create a Wiki document')
p.add_argument('--notes');p.add_argument('--project');p.add_argument('--assignee')
p.add_argument('--due');p.add_argument('--start-on');p.add_argument('--planned');p.add_argument('--review')
p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int,choices=range(1,6))
@@ -508,7 +542,7 @@ def tasks(client, profile, words):
sub.add_parser('stop');sub.add_parser('status')
p=sub.add_parser('retry');p.add_argument('request_id',type=task_uuid)
p=sub.add_parser('report');p.add_argument('--from',dest='start');p.add_argument('--to',dest='end')
p=sub.add_parser('preferences');p.add_argument('--project');p.add_argument('--assignee');p.add_argument('--due-days',type=int);p.add_argument('--start-days',type=int);p.add_argument('--planned-days',type=int);p.add_argument('--review-days',type=int);p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int);p.add_argument('--digest',choices=['on','off']);p.add_argument('--at');p.add_argument('--timezone')
p=sub.add_parser('preferences');p.add_argument('--wiki-prefix');p.add_argument('--project');p.add_argument('--assignee');p.add_argument('--due-days',type=int);p.add_argument('--start-days',type=int);p.add_argument('--planned-days',type=int);p.add_argument('--review-days',type=int);p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int);p.add_argument('--digest',choices=['on','off']);p.add_argument('--at');p.add_argument('--timezone')
for child in sub.choices.values():child.add_argument('--json',action='store_true')
a=parser.parse_args(words);action=a.action
def emit(data): print(json.dumps(data,ensure_ascii=False,indent=2))
@@ -517,8 +551,10 @@ def tasks(client, profile, words):
if len(pending)>=20 and payload['request_id'] not in pending:raise Failure('20 pending captures retained. Retry them before adding more.')
pending[payload['request_id']]=payload;profile.save()
try: result=client.json(TASK_API+'capture',method='POST',data=payload)
except Failure:
print('Draft retained; retry with: pages task retry '+payload['request_id'],file=sys.stderr);raise
except Failure as e:
print('Draft retained; retry with: pages task retry '+payload['request_id'],file=sys.stderr)
if e.payload.get('error') == 'wiki_prefix_required': raise Failure('Set a private Wiki destination first: pages task preferences --wiki-prefix /YOUR/MAIL/PATH',e.status) from e
raise
del pending[payload['request_id']];profile.save();return result
if action in ('list','projects'):
query={'kind':'project' if action=='projects' else 'task','view':getattr(a,'view','all'),'limit':100,'q':getattr(a,'q',''),'before':getattr(a,'before','')}
@@ -532,7 +568,7 @@ def tasks(client, profile, words):
if action=='show':emit(client.json(TASK_API+'items/'+a.uuid));return
if action=='preferences':
data=client.json(TASK_API+'preferences');p=data['preferences'];changed=False
for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due_days','due_days'),('start_days','start_days'),('planned_days','planned_days'),('review_days','review_days'),('estimate','estimate_minutes'),('complexity','complexity'),('at','digest_time'),('timezone','timezone')]:
for attr,key in [('wiki_prefix','wiki_prefix'),('project','project_uuid'),('assignee','assignee_uuid'),('due_days','due_days'),('start_days','start_days'),('planned_days','planned_days'),('review_days','review_days'),('estimate','estimate_minutes'),('complexity','complexity'),('at','digest_time'),('timezone','timezone')]:
value=getattr(a,attr)
if value is not None:p[key]=task_project(client,value) if attr=='project' else value;changed=True
if a.digest:p['digest_enabled']=a.digest=='on';changed=True
@@ -544,8 +580,11 @@ def tasks(client, profile, words):
if action in ('add','from-mail'):
payload={'request_id':getattr(a,'request_id',None) or str(uuid.uuid4()),'title':a.title,'notes':a.notes or ''}
if action=='from-mail':
title,notes,message_id=task_mail(sys.stdin.buffer.read((2<<20)+1),a.include_body,a.title)
if a.metadata_only and a.wiki_prefix is not None: raise Failure('--wiki-prefix cannot be combined with --metadata-only.')
title,notes,message_id,wiki_body=task_mail(sys.stdin.buffer.read((2<<20)+1),not a.metadata_only,a.title)
payload.update(title=a.title or title,notes=a.notes if a.notes is not None else notes,request_id=str(uuid.uuid5(uuid.NAMESPACE_URL,client.base+'\n'+profile.data.get('username','')+'\n'+message_id)))
if wiki_body is not None: payload['wiki_body']=wiki_body
if a.wiki_prefix is not None: payload['wiki_prefix']=a.wiki_prefix
for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due','due_on'),('start_on','start_on'),('planned','planned_on'),('review','review_on'),('estimate','estimate_minutes'),('complexity','complexity')]:
value=getattr(a,attr)
if value is not None:payload[key]=task_project(client,value) if attr=='project' else value
@@ -671,7 +710,7 @@ def execute(client, profile, words):
route = addr[5:] if addr.startswith('path:') else '/o/' + addr if addr.startswith('uuid:') else '/r/view/' + addr[4:]
webbrowser.open(client.base + url.quote(route, safe='/:'), new=2)
elif cmd == 'edit':
editing = Client(client.base, client.token, language(args.lang)) if args.lang else client
editing = Client(client.base, client.token, language(args.lang), insecure=client.insecure) if args.lang else client
editor(editing, addr, args.format)
elif cmd == 'put':
state = client.snapshot(addr)
@@ -743,11 +782,13 @@ def main(argv=None):
parser.add_argument('--version', action='version', version='pages-cli ' + VERSION)
parser.add_argument('--profile', help='Use another configured connection for this invocation')
parser.add_argument('--lang', help='auto or an exact language tag for this invocation')
parser.add_argument('-k', '--insecure', action='store_true', help='Skip TLS certificate and hostname verification for this invocation only (unsafe; place before COMMAND)')
parser.add_argument('command', nargs='?', default='shell')
parser.add_argument('args', nargs=argparse.REMAINDER)
args = parser.parse_args(argv)
if args.command == 'configure':
if args.profile or args.lang: parser.error('Use pages configure set --profile NAME --lang TAG.')
if args.insecure: parser.error('--insecure is invocation-only; configure does not connect or save a TLS bypass.')
configure(args.args); return
if args.command == 'help':
parser.print_help(); return
@@ -769,10 +810,12 @@ def main(argv=None):
lang = language(args.lang or spec.get('lang', 'auto'))
# Hold the profile lock before releasing the configuration lock.
profile = stack.enter_context(Profile(name).locked())
if args.insecure:
print('WARNING: --insecure disables TLS certificate and hostname verification for this invocation. Credentials and data can be intercepted; this option is not saved.', file=sys.stderr)
if args.command == 'login':
if not login_args.oidc and not spec.get('username'): raise Failure('Set your account with pages configure --username NAME, or use pages login --oidc.')
if profile.data.get('token'): raise Failure('Log out this profile before replacing its session.')
client = Client(spec['origin'], lang=lang)
client = Client(spec['origin'], lang=lang, insecure=args.insecure)
if login_args.oidc:
expires, username = client.login_oidc(login_args.no_browser, spec.get('username', ''))
else:
@@ -801,7 +844,7 @@ def main(argv=None):
if args.command != 'logout' and (profile.data.get('origin') != spec['origin'] or profile.data.get('configured_username', profile.data.get('username')) != spec.get('username', '')):
raise Failure('Session and configured identity differ. Log out before reconnecting.')
if args.command not in ('logout', 'status') and profile.data.get('expires', 0) <= time.time(): raise Failure('Session expired; log out and log in again.')
client = Client(profile.data['origin'], profile.data['token'], lang)
client = Client(profile.data['origin'], profile.data['token'], lang, insecure=args.insecure)
if args.command == 'shell': shell(client, profile)
else: execute(client, profile, [args.command] + args.args)
+32 -2
View File
@@ -11,13 +11,43 @@ m=runpy.run_path(str(Path(__file__).with_name('pages')))
class ProductivityTests(unittest.TestCase):
def test_mail_privacy_and_long_subject_override(self):
raw=b'Subject: Test\r\nFrom: Person <person@example.invalid>\r\nMessage-ID: <id@example.invalid>\r\nContent-Type: text/plain; charset=utf-8\r\n\r\nPRIVATE BODY'
title,notes,ident=m['task_mail'](raw)
title,notes,ident,body=m['task_mail'](raw)
self.assertEqual(title,'Test');self.assertNotIn('PRIVATE BODY',notes);self.assertIn('Message-ID:',notes)
self.assertIn('PRIVATE BODY',m['task_mail'](raw,True)[1])
self.assertIn('PRIVATE BODY',body)
self.assertIsNone(m['task_mail'](raw,False)[3])
raw=raw.replace(b'Subject: Test',b'Subject: '+b'a'*301)
with self.assertRaises(m['Failure']):m['task_mail'](raw)
self.assertEqual(m['task_mail'](raw,False,'Override')[0],'Override')
def test_html_mail_and_limits(self):
raw=b'Subject: HTML\r\nContent-Type: text/html; charset=utf-8\r\n\r\n<head><style>secret</style></head><p>Hello</p><script>evil()</script><img src="https://example.invalid/image"><p>World &amp; friends</p>'
body=m['task_mail'](raw)[3]
self.assertIn('Hello\n',body);self.assertIn('World & friends',body)
for value in ('secret','evil','https://'):self.assertNotIn(value,body)
for body in (b'a'*(256<<10),b'bad\0text'):
with self.assertRaises(m['Failure']):m['task_mail'](b'Subject: Test\r\n\r\n'+body)
def test_mail_payload_wiki_and_metadata_only(self):
from unittest.mock import patch
raw=b'Subject: Test\r\nMessage-ID: <same@example.invalid>\r\n\r\nPRIVATE BODY'
calls=[]
client=SimpleNamespace(base='https://example.invalid',json=lambda route,**kw:calls.append(kw['data'].copy()) or {'item':{'uuid':kw['data']['request_id']}})
profile=SimpleNamespace(data={'username':'test'},save=lambda:None)
for args in (['--wiki-prefix','/private/mail'],['--metadata-only']):
with patch('sys.stdin',SimpleNamespace(buffer=io.BytesIO(raw))),contextlib.redirect_stdout(io.StringIO()):
m['tasks'](client,profile,['from-mail',*args])
self.assertIn('PRIVATE BODY',calls[0]['wiki_body']);self.assertNotIn('PRIVATE BODY',calls[0]['notes'])
self.assertEqual(calls[0]['wiki_prefix'],'/private/mail')
self.assertNotIn('wiki_body',calls[1]);self.assertEqual(calls[0]['request_id'],calls[1]['request_id'])
def test_multipart_prefers_plain_and_skips_attachment(self):
from email.message import EmailMessage
msg=EmailMessage();msg['Subject']='Mixed';msg.set_content('Plain body')
msg.add_alternative('<p>HTML alternate</p>',subtype='html')
msg.add_attachment(b'ATTACHMENT',maintype='application',subtype='octet-stream',filename='secret.bin')
body=m['task_mail'](msg.as_bytes())[3]
self.assertIn('Plain body',body);self.assertNotIn('alternate',body);self.assertNotIn('ATTACHMENT',body)
def test_capture_retains_request_until_explicit_retry(self):
calls=[]
def send(route,**kwargs):
+153
View File
@@ -0,0 +1,153 @@
"""Synthetic self-signed HTTPS tests; never disable verification for real services.
Set PAGES_CLI_TEST_BINARY to run subprocess tests against the packaged executable.
"""
import contextlib
import io
import json
import os
from pathlib import Path
import runpy
import ssl
import subprocess
import sys
import tempfile
import threading
import unittest
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from unittest.mock import patch
m=runpy.run_path(str(Path(__file__).with_name('pages')))
Client,Failure=m['Client'],m['Failure']
class TLSTests(unittest.TestCase):
@classmethod
def setUpClass(cls):
cls.temp=tempfile.TemporaryDirectory()
cls.addClassCleanup(cls.temp.cleanup)
cls.cert=Path(cls.temp.name)/'cert.pem'
cls.key=Path(cls.temp.name)/'key.pem'
subprocess.run(['openssl','req','-x509','-newkey','rsa:2048','-nodes',
'-keyout',str(cls.key),'-out',str(cls.cert),'-days','1',
'-subj','/CN=localhost','-addext','subjectAltName=DNS:localhost'],
check=True,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL,timeout=30)
def setUp(self):
self.calls=[]
calls=self.calls
self.token='synthetic_tls_session_'+'x'*40
token=self.token
class Handler(BaseHTTPRequestHandler):
def log_message(self,*args):pass
def reply(self,data):
self.send_response(200);self.send_header('Content-Type','application/json');self.end_headers()
self.wfile.write(json.dumps(data).encode())
def do_GET(self):
calls.append((self.path,self.headers.get('Authorization')))
if self.path.startswith('/redirect'):
self.send_response(302);self.send_header('Location','/destination');self.end_headers();return
self.reply({'items':[{'uuid':'synthetic-task','title':'TLS task','status':'todo'}]})
def do_POST(self):
self.rfile.read(int(self.headers.get('Content-Length',0)))
calls.append((self.path,self.headers.get('Authorization')))
if self.path=='/_/auth/login':
self.reply({'access_token':token,'token_type':'Bearer','expires_in':3600})
elif self.path=='/_/auth/cli/start':
self.reply({'device_code':'D'*43,'verification_uri':'/_/auth/cli/verify?request='+'R'*43,'user_code':'ABCD-1234','expires_in':300,'interval':5})
elif self.path=='/_/auth/cli/token':
self.reply({'access_token':token,'token_type':'Bearer','expires_in':3600,'username':'synthetic'})
elif self.path=='/_/auth/logout':self.reply({})
else:self.send_error(404)
self.server=ThreadingHTTPServer(('127.0.0.1',0),Handler)
context=ssl.SSLContext(ssl.PROTOCOL_TLS_SERVER)
context.load_cert_chain(self.cert,self.key)
self.server.socket=context.wrap_socket(self.server.socket,server_side=True)
self.thread=threading.Thread(target=self.server.serve_forever,daemon=True);self.thread.start()
self.base=f'https://localhost:{self.server.server_port}'
self.environment=patch.dict(os.environ,{'NO_PROXY':'localhost,127.0.0.1','no_proxy':'localhost,127.0.0.1'})
self.environment.start()
def tearDown(self):
self.environment.stop()
self.server.shutdown();self.server.server_close();self.thread.join()
def test_default_rejects_and_bypass_does_not_change_global_policy(self):
default_context=ssl._create_default_https_context
with self.assertRaises(Failure):Client(self.base,self.token).json('/first')
self.assertEqual(self.calls,[])
self.assertIn('items',Client(self.base,self.token,insecure=True).json('/explicit'))
self.assertEqual(self.calls,[('/explicit','Bearer '+self.token)])
with self.assertRaises(Failure):Client(self.base,self.token).json('/default-again')
self.assertEqual(len(self.calls),1)
self.assertIs(ssl._create_default_https_context,default_context)
def test_hostname_verification_and_secure_trusted_certificate(self):
# Trust our synthetic CA, but its certificate covers localhost, not 127.0.0.1.
with patch.dict(os.environ,{'SSL_CERT_FILE':str(self.cert)}):
self.assertIn('items',Client(self.base).json('/trusted'))
wrong_host=self.base.replace('localhost','127.0.0.1')
with self.assertRaises(Failure):Client(wrong_host).json('/wrong-host')
self.assertIn('items',Client(wrong_host,insecure=True).json('/explicit-wrong-host'))
self.assertEqual([p for p,_ in self.calls],['/trusted','/explicit-wrong-host'])
def test_bypass_does_not_allow_redirects_or_remote_http(self):
with self.assertRaises(Failure) as caught:Client(self.base,self.token,insecure=True).json('/redirect')
self.assertEqual(caught.exception.status,302)
self.assertEqual(self.calls,[('/redirect','Bearer '+self.token)])
with self.assertRaises(Failure):Client('http://example.invalid',insecure=True)
def test_edit_language_override_preserves_tls_policy(self):
for insecure in (False,True):
client=Client(self.base,self.token,insecure=insecure)
received=[]
def editor(editing,*args):received.append(editing)
with patch.dict(m['execute'].__globals__,{'editor':editor}):
m['execute'](client,type('Profile',(),{'data':{}})(),['edit','/test','--lang','ja'])
self.assertEqual(received[0].insecure,insecure)
self.assertEqual(received[0].lang,'ja')
def test_login_commands_shell_logout_and_non_persistence(self):
binary=os.environ.get('PAGES_CLI_TEST_BINARY')
command=[str(Path(binary).resolve())] if binary else [sys.executable,str(Path(__file__).with_name('pages'))]
with tempfile.TemporaryDirectory() as config:
env={**os.environ,'XDG_CONFIG_HOME':config}
def run(*args,stdin='',ok=True):
r=subprocess.run(command+list(args),input=stdin,text=True,capture_output=True,env=env,timeout=20)
self.assertEqual(r.returncode==0,ok,(args,r.stderr))
self.assertNotIn(self.token,r.stdout+r.stderr)
return r
run('configure','--origin',self.base,'--username','synthetic')
run('login',stdin='test-password\n',ok=False)
self.assertEqual(self.calls,[])
r=run('--insecure','login',stdin='test-password\n')
self.assertIn('WARNING: --insecure',r.stderr)
self.assertEqual(r.stderr.count('WARNING:'),1)
self.assertNotIn('WARNING:',r.stdout)
run('task','list',ok=False)
r=run('-k','task','list')
self.assertIn('TLS task',r.stdout)
r=run('-k','shell',stdin='task list\nexit\n')
self.assertIn('TLS task',r.stdout)
self.assertEqual(r.stderr.count('WARNING:'),1)
for path in Path(config).rglob('*.json'):
self.assertNotIn('insecure',path.read_text())
self.assertNotIn('verify_tls',path.read_text())
run('logout',ok=False)
self.assertIn('token',json.loads((Path(config)/'pages-cli/sessions/default.json').read_text()))
run('-k','logout')
self.assertNotIn('token',json.loads((Path(config)/'pages-cli/sessions/default.json').read_text()))
run('-k','configure',ok=False)
def test_oidc_client_uses_explicit_tls_context(self):
client=Client(self.base,insecure=True)
with patch.object(m['webbrowser'],'open') as browser,contextlib.redirect_stdout(io.StringIO()) as out:
_,username=client.login_oidc(no_browser=True,sleep=lambda _:None)
browser.assert_not_called()
self.assertEqual(username,'synthetic')
self.assertEqual(client.token,self.token)
self.assertNotIn(self.token,out.getvalue())
self.assertEqual([p for p,_ in self.calls],['/_/auth/cli/start','/_/auth/cli/token'])
if __name__=='__main__':unittest.main()
+3 -1
View File
@@ -19,7 +19,9 @@ class Handler(BaseHTTPRequestHandler):
elif self.path=='/_/auth/logout':self.reply({})
elif self.path=='/_/api/v1/extension/organizer.tasks/capture':
if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return
self.reply({'item':json.loads(body)})
item=json.loads(body)
if item.get('wiki_body') != 'Message-ID: <smoke@example.invalid>\n\nPRIVATE BODY':self.send_error(422);return
item.pop('wiki_body');self.reply({'item':item,'page_path':'/private/mail/synthetic'})
else:self.send_error(404)
def do_GET(self):
if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return