Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
541c2bd069 | ||
|
|
cde94ed936 | ||
|
|
59ab4c5b26 |
No files matched your search
@@ -45,9 +45,10 @@ jobs:
|
|||||||
python3 -m venv .venv
|
python3 -m venv .venv
|
||||||
. .venv/bin/activate
|
. .venv/bin/activate
|
||||||
python -m pip install -r requirements-build.txt
|
python -m pip install -r requirements-build.txt
|
||||||
python -m unittest test_pages test_productivity test_distribution
|
python -m unittest test_pages test_productivity test_distribution test_tls
|
||||||
python tools/build.py
|
python tools/build.py
|
||||||
python tools/smoke_binary.py dist/pages
|
python tools/smoke_binary.py dist/pages
|
||||||
|
PAGES_CLI_TEST_BINARY="$PWD/dist/pages" python -m unittest test_tls
|
||||||
- name: Publish release assets
|
- name: Publish release assets
|
||||||
if: startsWith(github.ref, 'refs/tags/v')
|
if: startsWith(github.ref, 'refs/tags/v')
|
||||||
env:
|
env:
|
||||||
|
|||||||
+3
-3
@@ -18,8 +18,8 @@ rpm/debは初期配布の必須条件にせず、LinuxはELFを提供する。Py
|
|||||||
|
|
||||||
```sh
|
```sh
|
||||||
# ダウンロード先で実行。手元にあるファイルをチェックする。
|
# ダウンロード先で実行。手元にあるファイルをチェックする。
|
||||||
sha256sum --ignore-missing -c pages-cli-v0.1.0-linux-amd64-SHA256SUMS
|
sha256sum --ignore-missing -c pages-cli-v0.3.1-linux-amd64-SHA256SUMS
|
||||||
tar -xzf pages-cli-v0.1.0-linux-amd64.tar.gz
|
tar -xzf pages-cli-v0.3.1-linux-amd64.tar.gz
|
||||||
mkdir -p ~/.local/bin
|
mkdir -p ~/.local/bin
|
||||||
install -m 755 pages ~/.local/bin/pages
|
install -m 755 pages ~/.local/bin/pages
|
||||||
pages --version
|
pages --version
|
||||||
@@ -35,6 +35,6 @@ mainへのpushはテスト・ビルドのみ。`vX.Y.Z` タグのpushは同じ
|
|||||||
|
|
||||||
既存runnerにはdocker/buildxとGiteaへのHTTPS接続が必要。公開にはジョブのtokenを使用し、権限不足の場合だけこのリポジトリに限定した `CLI_RELEASE_TOKEN` を設定する。サーバーリポジトリのPATやDocker資格情報をコピーしない。
|
既存runnerにはdocker/buildxとGiteaへのHTTPS接続が必要。公開にはジョブのtokenを使用し、権限不足の場合だけこのリポジトリに限定した `CLI_RELEASE_TOKEN` を設定する。サーバーリポジトリのPATやDocker資格情報をコピーしない。
|
||||||
|
|
||||||
macOSは `CLI_MACOS_ENABLED=true` と `CLI_MACOS_RUNNER_LABEL` を設定した場合のみ起動する。runnerにはPython 3とgitが必要で、タグcheckout後に同じbuild.pyを実行する。Macの最低OS、CPU、署名・公証は実際のrunnerと検証結果に合わせて公開時に明記する。Windowsは安全な資格情報保存の移植が済むまでジョブを有効化しない。
|
macOSは `CLI_MACOS_ENABLED=true` と `CLI_MACOS_RUNNER_LABEL` を設定した場合のみ起動する。runnerにはPython 3、git、一時テスト証明書を生成するOpenSSLコマンドが必要で、タグcheckout後に同じbuild.pyを実行する。Macの最低OS、CPU、署名・公証は実際のrunnerと検証結果に合わせて公開時に明記する。Windowsは安全な資格情報保存の移植が済むまでジョブを有効化しない。
|
||||||
|
|
||||||
サーバーリポジトリ側の旧pages-cliは結合テスト用スナップショット。CLIの新規実装・配布はこのリポジトリで行い、サーバーの結合テスト用コピーはレビューしたリビジョンに明示的に更新する。
|
サーバーリポジトリ側の旧pages-cliは結合テスト用スナップショット。CLIの新規実装・配布はこのリポジトリで行い、サーバーの結合テスト用コピーはレビューしたリビジョンに明示的に更新する。
|
||||||
+1
-1
@@ -6,6 +6,6 @@ ENV SOURCE_REVISION=$SOURCE_REVISION
|
|||||||
COPY requirements-build.txt .
|
COPY requirements-build.txt .
|
||||||
RUN pip install --no-cache-dir -r requirements-build.txt
|
RUN pip install --no-cache-dir -r requirements-build.txt
|
||||||
COPY . .
|
COPY . .
|
||||||
RUN python -m unittest test_pages test_productivity test_distribution && python tools/build.py && python tools/smoke_binary.py dist/pages
|
RUN python -m unittest test_pages test_productivity test_distribution test_tls && python tools/build.py && python tools/smoke_binary.py dist/pages && PAGES_CLI_TEST_BINARY=/src/dist/pages python -m unittest test_tls
|
||||||
FROM scratch AS artifacts
|
FROM scratch AS artifacts
|
||||||
COPY --from=build /src/release/ /
|
COPY --from=build /src/release/ /
|
||||||
@@ -36,6 +36,25 @@ pages[default]:/manual> exit
|
|||||||
|
|
||||||
`exit` はシェルを閉じるだけです。セッションを失効させる場合は `pages logout`。
|
`exit` はシェルを閉じるだけです。セッションを失効させる場合は `pages logout`。
|
||||||
|
|
||||||
|
### 自己署名証明書の環境に接続する
|
||||||
|
|
||||||
|
v0.2.0以降では、グローバルオプション `--insecure`(`-k`)を**コマンドの前**に指定すると、その実行中だけTLS証明書とホスト名の検証をスキップできます。既定では必ず検証し、設定・セッションにはスキップ状態を保存しません。
|
||||||
|
|
||||||
|
```sh
|
||||||
|
pages configure --origin https://wiki.example.test --username YOUR_USERNAME
|
||||||
|
pages --insecure login
|
||||||
|
pages -k task list
|
||||||
|
pages -k edit /guide --lang ja
|
||||||
|
pages -k # この対話シェルの終了まで適用
|
||||||
|
pages -k logout
|
||||||
|
```
|
||||||
|
|
||||||
|
指定のたびに標準エラーへ警告を表示します。標準出力のJSONやNeoMutt宛先候補には混ぜません。次のコマンドでは、必要なら改めて `-k` を付けます。`configure` は通信しないため `-k configure` は拒否します。
|
||||||
|
|
||||||
|
**自己署名証明書だけでなく、期限切れやホスト名不一致も許容します。通信は暗号化されますが、相手の真正性を確認できず、中間者攻撃でパスワード・Bearer・文書等を盗み見られる危険があります。** 信頼できる検証環境でのみ明示指定し、常用する環境では信頼するCAをOSへ登録して通常の検証を使ってください。遠隔HTTP、リダイレクト追従、TLS失敗時の自動再送は引き続き許可しません。
|
||||||
|
|
||||||
|
OIDCでは `pages -k login --oidc --no-browser` のように指定できます。ただし、スキップするのはCLIのHTTPS要求のみです。開いたブラウザやOIDCプロバイダーの証明書検証は変更しません。
|
||||||
|
|
||||||
### OIDCでログインする
|
### OIDCでログインする
|
||||||
|
|
||||||
OIDC連携を有効にしたDomainで利用します。サーバーは **v0.3.0以降** が必要です。独立版CLI v0.1.0は対応済みです(分離前のCLIではサーバー同梱版v0.3.0以降)。
|
OIDC連携を有効にしたDomainで利用します。サーバーは **v0.3.0以降** が必要です。独立版CLI v0.1.0は対応済みです(分離前のCLIではサーバー同梱版v0.3.0以降)。
|
||||||
@@ -150,12 +169,14 @@ pages edit /guide --lang en # 英語版。未作成なら既存内容から
|
|||||||
## テスト
|
## テスト
|
||||||
|
|
||||||
```sh
|
```sh
|
||||||
python3 -m unittest test_pages test_productivity test_distribution
|
python3 -m unittest test_pages test_productivity test_distribution test_tls
|
||||||
```
|
```
|
||||||
|
|
||||||
合成サーバーと一時ディレクトリのみを使用します。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。
|
合成サーバーと一時ディレクトリのみを使用します。TLS試験には一時証明書を生成するOpenSSLコマンドが必要です。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。
|
||||||
## タスクと連絡先
|
## タスクと連絡先
|
||||||
|
|
||||||
|
v0.3.0の `pages task from-mail` は本文を関連Wikiへ保存します(サーバーv0.8.0以降)。先に `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で閲覧制限済みの親Pathを指定してください。タスクの公開範囲とは独立して、本文はWikiの権限に従います。本文を送信しない場合は `--metadata-only` を指定します。
|
||||||
|
|
||||||
`pages task --help` で作成・計画・開始/終了・レポートを操作できる。
|
`pages task --help` で作成・計画・開始/終了・レポートを操作できる。
|
||||||
`pages contacts --help` で個人アドレス帳の検索・vCard入出力を行える。
|
`pages contacts --help` で個人アドレス帳の検索・vCard入出力を行える。
|
||||||
[NeoMutt設定とタスク・連絡先の操作例](docs/neomutt.md)、[そのまま調整して使える設定例](examples/neomuttrc)を参照。これらは配布アーカイブにも同梱します。
|
[NeoMutt設定とタスク・連絡先の操作例](docs/neomutt.md)、[そのまま調整して使える設定例](examples/neomuttrc)を参照。これらは配布アーカイブにも同梱します。
|
||||||
@@ -4,7 +4,9 @@ pages-cliはPagesWikiのHTTPクライアントであり、DBやDocument Storeを
|
|||||||
|
|
||||||
## 接続と認証
|
## 接続と認証
|
||||||
|
|
||||||
接続先のoriginでDomainを決め、サーバーの既存認証・権限評価を使う。遠隔接続はHTTPS必須。証明書検証を無効にするオプションはない。HTTPはloopbackでの開発専用。originにuserinfo、Path、query、fragmentを含めず、リダイレクトには追従しない。ログイン画面のHTMLや302/303をAPIの成功として扱わない。
|
接続先のoriginでDomainを決め、サーバーの既存認証・権限評価を使う。遠隔接続はHTTPS必須で、既定では証明書とホスト名を検証する。v0.2.0以降の `--insecure` / `-k` はその呼出しだけ検証をスキップし、設定やセッションへ保存しない。期限切れ・ホスト名不一致も許容するため、信頼できる検証環境でのみ使用する。CLIのSSLContextだけを変更し、プロセス全体のTLS既定値やOIDCブラウザの検証は変更しない。警告は標準エラーへ出力する。詳細は[利用手順とリスク](../README.md#自己署名証明書の環境に接続する)を参照。
|
||||||
|
|
||||||
|
`-k` 使用時もHTTPはloopbackでの開発専用。originにuserinfo、Path、query、fragmentを含めず、リダイレクトには追従しない。ログイン画面のHTMLや302/303をAPIの成功として扱わない。
|
||||||
|
|
||||||
パスワードログインでは必要に応じてTOTPを入力する。`login --oidc [--no-browser]` ではブラウザのOIDCログイン後に、ターミナルの確認コードを入力して承認する。S256でCLIのverifierに束縛し、短期リクエストを一度だけBearerセッションへ交換する。SSH先から開始し、別端末で承認できる。ブラウザCookie、外部OIDC token、Campus用PSKをCLIのBearerとして流用しない。
|
パスワードログインでは必要に応じてTOTPを入力する。`login --oidc [--no-browser]` ではブラウザのOIDCログイン後に、ターミナルの確認コードを入力して承認する。S256でCLIのverifierに束縛し、短期リクエストを一度だけBearerセッションへ交換する。SSH先から開始し、別端末で承認できる。ブラウザCookie、外部OIDC token、Campus用PSKをCLIのBearerとして流用しない。
|
||||||
|
|
||||||
|
|||||||
+20
-5
@@ -5,6 +5,7 @@
|
|||||||
```sh
|
```sh
|
||||||
pages configure --origin https://pages.example.test --username YOUR_USERNAME
|
pages configure --origin https://pages.example.test --username YOUR_USERNAME
|
||||||
pages login --oidc --no-browser
|
pages login --oidc --no-browser
|
||||||
|
pages task preferences --wiki-prefix /private/mail
|
||||||
pages task --help
|
pages task --help
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -15,13 +16,23 @@ pages task --help
|
|||||||
```sh
|
```sh
|
||||||
pages task from-mail < message.eml
|
pages task from-mail < message.eml
|
||||||
pages task from-mail --project '開発 計画' --due 2026-11-03 < message.eml
|
pages task from-mail --project '開発 計画' --due 2026-11-03 < message.eml
|
||||||
# 本文を保存してよいメールに限り明示する
|
# このメールだけ保存先の親Pathを変更
|
||||||
pages task from-mail --include-body < message.eml
|
pages task from-mail --wiki-prefix /private/work-mail < message.eml
|
||||||
|
# 本文を送らず、件名とメタデータだけタスクにする
|
||||||
|
pages task from-mail --metadata-only < message.eml
|
||||||
```
|
```
|
||||||
|
|
||||||
既定では件名をタスク名、From・Date・Message-IDをメモにする。本文と添付はアップロードしない。include-bodyはplain text本文だけを追加し、HTML画像・添付・外部URLは取得しない。1通2 MiB、メモ16 KiBが上限。件名が300 UTF-8 bytesを超える場合は `--title '短い件名'` で指定する。
|
v0.3.0からは件名をタスク名、From・Date・Message-IDをメモにし、**本文を関連Wikiページに保存する**。PagesWiki v0.8.0以降が必要。保存先は `--wiki-prefix`、個人設定の既定Wiki親Path、選択プロジェクトのWiki配下(メモの階層)の順に決まる。どれも未設定なら保存を中止し、下書きを保持する。Webでは `/-/sys/config?panel=organizer` の「メール本文の既定Wiki親Path」で確認・変更できる。CLIで空文字を設定すると個人の既定Pathを解除できる。
|
||||||
|
|
||||||
同じ接続・本人・Message-IDから同じrequest_idを作るため、同じメールの再取り込みで重複しない。Message-IDなしはメール全体のSHA-256を使う。同じメールを別の独立タスクにもしたい場合は `task add` を使う。
|
本文の公開範囲は保存先Wikiの権限に従う。タスクが個人用でも、公開Pathに保存した本文は公開され得るため、メール用には閲覧者を制限したPathを指定する。設定例の `/private/mail` という名前自体が非公開を保証するものではない。
|
||||||
|
|
||||||
|
PagesWiki v0.8.1以降の作成Pathは `親Path/mail-request_id`。request_idは接続先・本人・Message-IDから生成するUUIDなので、末尾は件名や文字コードに依存しないASCIIになる。Message-ID自体をURLへ露出せず、同じ件名でも別メールなら区別する。Message-IDがなければメール原文のSHA-256を識別に使う。既存ページは移動・上書きせず、従来形式で保存済みの要求をretryしても元のページを返す。タスクのメモ閲覧・編集ボタンから本文ページを開ける。タスク・Wiki・再送receiptは同一トランザクションで保存し、途中失敗で片方だけを残さない。UUIDで紐づくので、その後Wikiを移動しても追従する。
|
||||||
|
|
||||||
|
CLI v0.3.1ではMIMEヘッダを復号した件名の先頭から `[list 123]`・`[list:123]`・`[list#123]` のような連番を除去する。Re:/Fwd:は維持し、その後の連番も除去する。`[重要]`、件名の途中の括弧、`--title` で明示した件名は変更しない。自動件名が300 UTF-8 bytesを超える場合は文字境界で省略して末尾に「…」を付ける。除去・省略・手動指定で変わった元のSubjectはWiki本文に残す。手動件名の上限超過は拒否する。
|
||||||
|
|
||||||
|
plain textを優先し、HTMLしかない場合はテキストを抽出する。添付・外部画像・CSS・JS・外部URLは取得せず、本文中のHTMLやWikiマクロも実行しない。原文EMLやHTMLレイアウトの保存機能ではない。入力1通2 MiB、Wiki本文(メタデータ込み)256 KiB、タスクメモ16 KiBまで。本文・メモの上限超過は切り捨てず拒否する。旧 `--include-body` は既定動作の別名として残す。以前の本文非送信動作には `--metadata-only` を使う。
|
||||||
|
|
||||||
|
同じ接続・本人・Message-IDから同じrequest_idを作るため、同じメールの再取り込みで重複しない。Message-IDなしはメール全体のSHA-256を使う。同じIDで本文・指定Path・オプションを変えると412となり、以前のページを上書きしない。旧版でメタデータのみ取り込み済みのメールに本文を追加する場合は、既存の関連Wikiを編集する。同じメールを別の独立タスクにもしたい場合は `task add` を使う。
|
||||||
|
|
||||||
`~/.config/neomutt/neomuttrc` の例。NeoMuttから実行するPATHに `pages` を含めるか、コマンドをインストール先の絶対パスに置き換える。件名等をシェルコマンド文字列に展開せず、メールを標準入力で渡す。[設定ファイル例](../examples/neomuttrc)も配布アーカイブに同梱する。
|
`~/.config/neomutt/neomuttrc` の例。NeoMuttから実行するPATHに `pages` を含めるか、コマンドをインストール先の絶対パスに置き換える。件名等をシェルコマンド文字列に展開せず、メールを標準入力で渡す。[設定ファイル例](../examples/neomuttrc)も配布アーカイブに同梱する。
|
||||||
|
|
||||||
@@ -43,7 +54,7 @@ pages task retry REQUEST_UUID
|
|||||||
|
|
||||||
最大20件を保留でき、成功した要求はローカルから削除する。同じ本人への再ログインで保留分を維持する。別アカウントへ切り替える場合は別プロファイルを使う。認証済みセッションがない状態からの完全オフライン入力受付ではない。
|
最大20件を保留でき、成功した要求はローカルから削除する。同じ本人への再ログインで保留分を維持する。別アカウントへ切り替える場合は別プロファイルを使う。認証済みセッションがない状態からの完全オフライン入力受付ではない。
|
||||||
|
|
||||||
サーバーで保存された直後に応答が失われても、同じrequest_idで再送すれば既存タスクが返る。保留要求を書き換えて再送すると412になる。セッションファイルにはトークンもあるため、デバッグ目的で内容を貼り付けない。
|
サーバーで保存された直後に応答が失われても、同じrequest_idで再送すれば既存タスクが返る。保留要求を書き換えて再送すると412になる。セッションファイルにはトークンと保留中のメール本文があるため、デバッグ目的で内容を貼り付けない。保存先未設定で失敗した場合は `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で設定してからretryする。
|
||||||
|
|
||||||
## 計画と実績
|
## 計画と実績
|
||||||
|
|
||||||
@@ -100,6 +111,8 @@ Content-Typeはapplication/json、AuthorizationはBearerセッション。例示
|
|||||||
"request_id": "884587b2-6ae5-4aef-86d0-fd21dac39d1c",
|
"request_id": "884587b2-6ae5-4aef-86d0-fd21dac39d1c",
|
||||||
"title": "メールで依頼された内容を確認",
|
"title": "メールで依頼された内容を確認",
|
||||||
"notes": "Message-ID: <example@example.invalid>",
|
"notes": "Message-ID: <example@example.invalid>",
|
||||||
|
"wiki_body": "メール本文をテキストとして保存",
|
||||||
|
"wiki_prefix": "/private/mail",
|
||||||
"estimate_minutes": 30,
|
"estimate_minutes": 30,
|
||||||
"complexity": 2,
|
"complexity": 2,
|
||||||
"due_on": "2026-11-03"
|
"due_on": "2026-11-03"
|
||||||
@@ -112,4 +125,6 @@ Content-Typeはapplication/json、AuthorizationはBearerセッション。例示
|
|||||||
|
|
||||||
NeoMuttでは対話ログインを起動せず、端末で先に `pages login` を完了させる。複数接続を使う場合は、メール取り込み・宛先検索の両方を `pages --profile work ...` に揃える。NeoMutt起動環境のHOME・XDG_CONFIG_HOMEが通常の端末と異なると、別の設定やセッションを参照するので確認する。
|
NeoMuttでは対話ログインを起動せず、端末で先に `pages login` を完了させる。複数接続を使う場合は、メール取り込み・宛先検索の両方を `pages --profile work ...` に揃える。NeoMutt起動環境のHOME・XDG_CONFIG_HOMEが通常の端末と異なると、別の設定やセッションを参照するので確認する。
|
||||||
|
|
||||||
|
自己署名証明書の検証環境ではv0.2.0以降の `pages -k login`、`pages -k task from-mail`、`pages -k contacts query --neomutt -- %s` が使える。`-k` は保存されないため、ログインとNeoMutt設定内の各コマンドに明示する必要がある。警告は標準エラーへ出力し、宛先候補の標準出力には混ぜない。配布設定例は検証有効のままとする。相手の真正性が保証されなくなるリスクと適用範囲は[README](../README.md#自己署名証明書の環境に接続する)を確認する。
|
||||||
|
|
||||||
`pages: not found` の場合は `command -v pages` でインストール先を確認し、設定内のコマンドをその絶対パスに置き換える。`contacts query` の候補がない場合は、まず端末から `pages contacts list --query 検索語` を実行する。認証切れは端末で再ログインしてから再試行する。公開CLIリポジトリへメール原文・連絡先・セッションJSONを添付しない。
|
`pages: not found` の場合は `command -v pages` でインストール先を確認し、設定内のコマンドをその絶対パスに置き換える。`contacts query` の候補がない場合は、まず端末から `pages contacts list --query 検索語` を実行する。認証切れは端末で再ログインしてから再試行する。公開CLIリポジトリへメール原文・連絡先・セッションJSONを添付しない。
|
||||||
@@ -1,5 +1,8 @@
|
|||||||
# Merge into your own NeoMutt configuration; do not replace unrelated settings.
|
# Merge into your own NeoMutt configuration; do not replace unrelated settings.
|
||||||
# Run `pages configure` and `pages login` in a terminal first.
|
# Run `pages configure` and `pages login` in a terminal first.
|
||||||
|
# Configure `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` first.
|
||||||
|
# v0.3.0 uploads the body to Wiki with the destination's visibility/ACL.
|
||||||
|
# Use `from-mail --metadata-only` if the body must not be uploaded.
|
||||||
# `pages` must be on NeoMutt's PATH; otherwise use its absolute install path.
|
# `pages` must be on NeoMutt's PATH; otherwise use its absolute install path.
|
||||||
# For a named connection, use `pages --profile work ...` in BOTH commands.
|
# For a named connection, use `pages --profile work ...` in BOTH commands.
|
||||||
# These pipe settings also affect other pipe-message commands.
|
# These pipe settings also affect other pipe-message commands.
|
||||||
|
|||||||
@@ -10,6 +10,7 @@ import difflib
|
|||||||
import fcntl
|
import fcntl
|
||||||
import getpass
|
import getpass
|
||||||
import hashlib
|
import hashlib
|
||||||
|
from html.parser import HTMLParser
|
||||||
import json
|
import json
|
||||||
import os
|
import os
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
@@ -17,6 +18,7 @@ import posixpath
|
|||||||
import re
|
import re
|
||||||
import secrets
|
import secrets
|
||||||
import shlex
|
import shlex
|
||||||
|
import ssl
|
||||||
import stat
|
import stat
|
||||||
import subprocess
|
import subprocess
|
||||||
import sys
|
import sys
|
||||||
@@ -28,7 +30,7 @@ import urllib.parse as url
|
|||||||
import urllib.request as http
|
import urllib.request as http
|
||||||
import webbrowser
|
import webbrowser
|
||||||
|
|
||||||
VERSION = '0.1.0'
|
VERSION = '0.3.1'
|
||||||
|
|
||||||
class Failure(Exception):
|
class Failure(Exception):
|
||||||
def __init__(self, message, status=0, payload=None):
|
def __init__(self, message, status=0, payload=None):
|
||||||
@@ -75,9 +77,18 @@ class NoRedirect(http.HTTPRedirectHandler):
|
|||||||
|
|
||||||
|
|
||||||
class Client:
|
class Client:
|
||||||
def __init__(self, base, token='', lang='auto'):
|
def __init__(self, base, token='', lang='auto', *, insecure=False):
|
||||||
self.base, self.token, self.lang = origin(base), token, lang
|
self.base, self.token, self.lang = origin(base), token, lang
|
||||||
self.opener = http.build_opener(NoRedirect())
|
self.insecure = insecure
|
||||||
|
handlers = [NoRedirect()]
|
||||||
|
if insecure:
|
||||||
|
# This client's TLS policy only; never change Python's global defaults.
|
||||||
|
context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT)
|
||||||
|
context.check_hostname = False
|
||||||
|
context.verify_mode = ssl.CERT_NONE
|
||||||
|
context.set_alpn_protocols(['http/1.1'])
|
||||||
|
handlers.append(http.HTTPSHandler(context=context))
|
||||||
|
self.opener = http.build_opener(*handlers)
|
||||||
|
|
||||||
def request(self, route, method='GET', data=None, form=None, limit=4 << 20, etag=None, content_type=None):
|
def request(self, route, method='GET', data=None, form=None, limit=4 << 20, etag=None, content_type=None):
|
||||||
if not route.startswith('/') or route.startswith('//'):
|
if not route.startswith('/') or route.startswith('//'):
|
||||||
@@ -470,21 +481,56 @@ def task_project(client, value):
|
|||||||
return matches[0]
|
return matches[0]
|
||||||
|
|
||||||
|
|
||||||
def task_mail(raw, include_body=False, override_title=None):
|
class MailText(HTMLParser):
|
||||||
|
"""Extract inert text; never load links, images, styles or attachments."""
|
||||||
|
def __init__(self):
|
||||||
|
super().__init__(convert_charrefs=True)
|
||||||
|
self.parts, self.hidden = [], []
|
||||||
|
def handle_starttag(self, tag, attrs):
|
||||||
|
if tag in ('script','style','head'): self.hidden.append(tag)
|
||||||
|
if not self.hidden and tag in ('br','p','div','li','tr','h1','h2','h3','pre'): self.parts.append('\n')
|
||||||
|
def handle_endtag(self, tag):
|
||||||
|
if self.hidden and tag == self.hidden[-1]: self.hidden.pop()
|
||||||
|
if not self.hidden and tag in ('p','div','li','tr','h1','h2','h3','pre'): self.parts.append('\n')
|
||||||
|
def handle_data(self, data):
|
||||||
|
if not self.hidden: self.parts.append(data)
|
||||||
|
|
||||||
|
|
||||||
|
def mail_subject(value):
|
||||||
|
# Remove only leading mailing-list sequence markers, preserving meaningful
|
||||||
|
# tags such as [Important], and any Re:/Fwd: prefix before the marker.
|
||||||
|
marker = re.compile(r'^(?P<reply>(?:(?:re|fw|fwd)\s*:\s*)*)\[[^\[\]\r\n]+[\s:#]\s*[0-9]+\]\s*', re.IGNORECASE)
|
||||||
|
while True:
|
||||||
|
match = marker.match(value)
|
||||||
|
if not match: return value.strip()
|
||||||
|
value = match.group('reply') + value[match.end():]
|
||||||
|
|
||||||
|
|
||||||
|
def task_mail(raw, include_body=True, override_title=None):
|
||||||
if len(raw) > 2 << 20: raise Failure('Mail input exceeds 2 MiB; pipe one message at a time.')
|
if len(raw) > 2 << 20: raise Failure('Mail input exceeds 2 MiB; pipe one message at a time.')
|
||||||
message = email.parser.BytesParser(policy=email.policy.default).parsebytes(raw)
|
message = email.parser.BytesParser(policy=email.policy.default).parsebytes(raw)
|
||||||
clean = lambda value: ' '.join(safe_text(str(value or '')).split())
|
clean = lambda value: ' '.join(safe_text(str(value or '')).split())
|
||||||
title = override_title or clean(message.get('Subject')) or '(No subject)'
|
subject = clean(message.get('Subject'))
|
||||||
|
title = override_title or mail_subject(subject) or '(No subject)'
|
||||||
|
if not override_title and len(title.encode()) > 300:
|
||||||
|
title = title.encode()[:297].decode('utf-8',errors='ignore').rstrip() + '…'
|
||||||
if len(title.encode()) > 300: raise Failure('Mail subject exceeds 300 UTF-8 bytes; use --title.')
|
if len(title.encode()) > 300: raise Failure('Mail subject exceeds 300 UTF-8 bytes; use --title.')
|
||||||
notes = '\n'.join(key+': '+clean(message.get(key)) for key in ('From','Date','Message-ID') if message.get(key))
|
notes = '\n'.join(key+': '+clean(message.get(key)) for key in ('From','Date','Message-ID') if message.get(key))
|
||||||
|
wiki_body = None
|
||||||
if include_body:
|
if include_body:
|
||||||
part = message.get_body(preferencelist=('plain',))
|
content = ''
|
||||||
|
part = message.get_body(preferencelist=('plain','html'))
|
||||||
if part:
|
if part:
|
||||||
content = part.get_content()
|
try: content = part.get_content()
|
||||||
|
except (LookupError, UnicodeError, ValueError) as e: raise Failure('Mail body encoding is not supported; convert to UTF-8 first.') from e
|
||||||
if not isinstance(content,str): raise Failure('Mail body is not readable text.')
|
if not isinstance(content,str): raise Failure('Mail body is not readable text.')
|
||||||
notes += '\n\n' + content
|
if part.get_content_type() == 'text/html':
|
||||||
if len(notes.encode()) > 16384: raise Failure('Mail notes exceed 16 KiB; omit --include-body.')
|
parser = MailText();parser.feed(content);parser.close();content = ''.join(parser.parts).strip()
|
||||||
return title, notes, clean(message.get('Message-ID')) or hashlib.sha256(raw).hexdigest()
|
# Retain the original subject when its mailing-list marker was removed.
|
||||||
|
wiki_body = (('Subject: '+subject+'\n') if title != subject else '') + notes + '\n\n' + content
|
||||||
|
if '\0' in wiki_body or len(wiki_body.encode()) > 256 << 10: raise Failure('Mail Wiki body must be valid text of at most 256 KiB; nothing was uploaded.')
|
||||||
|
if len(notes.encode()) > 16384: raise Failure('Mail metadata exceeds 16 KiB.')
|
||||||
|
return title, notes, clean(message.get('Message-ID')) or hashlib.sha256(raw).hexdigest(), wiki_body
|
||||||
|
|
||||||
|
|
||||||
def tasks(client, profile, words):
|
def tasks(client, profile, words):
|
||||||
@@ -498,7 +544,9 @@ def tasks(client, profile, words):
|
|||||||
p=sub.add_parser(name)
|
p=sub.add_parser(name)
|
||||||
if name=='add':p.add_argument('title')
|
if name=='add':p.add_argument('title')
|
||||||
elif name=='update':p.add_argument('uuid',type=task_uuid);p.add_argument('--title')
|
elif name=='update':p.add_argument('uuid',type=task_uuid);p.add_argument('--title')
|
||||||
else:p.add_argument('--title');p.add_argument('--include-body',action='store_true')
|
else:
|
||||||
|
p.add_argument('--title');p.add_argument('--wiki-prefix',help='Wiki parent Path (otherwise use personal default or project Wiki subtree)')
|
||||||
|
body=p.add_mutually_exclusive_group();body.add_argument('--include-body',action='store_true',help='Save body to Wiki (default; retained for compatibility)');body.add_argument('--metadata-only',action='store_true',help='Do not upload body or create a Wiki document')
|
||||||
p.add_argument('--notes');p.add_argument('--project');p.add_argument('--assignee')
|
p.add_argument('--notes');p.add_argument('--project');p.add_argument('--assignee')
|
||||||
p.add_argument('--due');p.add_argument('--start-on');p.add_argument('--planned');p.add_argument('--review')
|
p.add_argument('--due');p.add_argument('--start-on');p.add_argument('--planned');p.add_argument('--review')
|
||||||
p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int,choices=range(1,6))
|
p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int,choices=range(1,6))
|
||||||
@@ -508,7 +556,7 @@ def tasks(client, profile, words):
|
|||||||
sub.add_parser('stop');sub.add_parser('status')
|
sub.add_parser('stop');sub.add_parser('status')
|
||||||
p=sub.add_parser('retry');p.add_argument('request_id',type=task_uuid)
|
p=sub.add_parser('retry');p.add_argument('request_id',type=task_uuid)
|
||||||
p=sub.add_parser('report');p.add_argument('--from',dest='start');p.add_argument('--to',dest='end')
|
p=sub.add_parser('report');p.add_argument('--from',dest='start');p.add_argument('--to',dest='end')
|
||||||
p=sub.add_parser('preferences');p.add_argument('--project');p.add_argument('--assignee');p.add_argument('--due-days',type=int);p.add_argument('--start-days',type=int);p.add_argument('--planned-days',type=int);p.add_argument('--review-days',type=int);p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int);p.add_argument('--digest',choices=['on','off']);p.add_argument('--at');p.add_argument('--timezone')
|
p=sub.add_parser('preferences');p.add_argument('--wiki-prefix');p.add_argument('--project');p.add_argument('--assignee');p.add_argument('--due-days',type=int);p.add_argument('--start-days',type=int);p.add_argument('--planned-days',type=int);p.add_argument('--review-days',type=int);p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int);p.add_argument('--digest',choices=['on','off']);p.add_argument('--at');p.add_argument('--timezone')
|
||||||
for child in sub.choices.values():child.add_argument('--json',action='store_true')
|
for child in sub.choices.values():child.add_argument('--json',action='store_true')
|
||||||
a=parser.parse_args(words);action=a.action
|
a=parser.parse_args(words);action=a.action
|
||||||
def emit(data): print(json.dumps(data,ensure_ascii=False,indent=2))
|
def emit(data): print(json.dumps(data,ensure_ascii=False,indent=2))
|
||||||
@@ -517,8 +565,10 @@ def tasks(client, profile, words):
|
|||||||
if len(pending)>=20 and payload['request_id'] not in pending:raise Failure('20 pending captures retained. Retry them before adding more.')
|
if len(pending)>=20 and payload['request_id'] not in pending:raise Failure('20 pending captures retained. Retry them before adding more.')
|
||||||
pending[payload['request_id']]=payload;profile.save()
|
pending[payload['request_id']]=payload;profile.save()
|
||||||
try: result=client.json(TASK_API+'capture',method='POST',data=payload)
|
try: result=client.json(TASK_API+'capture',method='POST',data=payload)
|
||||||
except Failure:
|
except Failure as e:
|
||||||
print('Draft retained; retry with: pages task retry '+payload['request_id'],file=sys.stderr);raise
|
print('Draft retained; retry with: pages task retry '+payload['request_id'],file=sys.stderr)
|
||||||
|
if e.payload.get('error') == 'wiki_prefix_required': raise Failure('Set a private Wiki destination first: pages task preferences --wiki-prefix /YOUR/MAIL/PATH',e.status) from e
|
||||||
|
raise
|
||||||
del pending[payload['request_id']];profile.save();return result
|
del pending[payload['request_id']];profile.save();return result
|
||||||
if action in ('list','projects'):
|
if action in ('list','projects'):
|
||||||
query={'kind':'project' if action=='projects' else 'task','view':getattr(a,'view','all'),'limit':100,'q':getattr(a,'q',''),'before':getattr(a,'before','')}
|
query={'kind':'project' if action=='projects' else 'task','view':getattr(a,'view','all'),'limit':100,'q':getattr(a,'q',''),'before':getattr(a,'before','')}
|
||||||
@@ -532,7 +582,7 @@ def tasks(client, profile, words):
|
|||||||
if action=='show':emit(client.json(TASK_API+'items/'+a.uuid));return
|
if action=='show':emit(client.json(TASK_API+'items/'+a.uuid));return
|
||||||
if action=='preferences':
|
if action=='preferences':
|
||||||
data=client.json(TASK_API+'preferences');p=data['preferences'];changed=False
|
data=client.json(TASK_API+'preferences');p=data['preferences'];changed=False
|
||||||
for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due_days','due_days'),('start_days','start_days'),('planned_days','planned_days'),('review_days','review_days'),('estimate','estimate_minutes'),('complexity','complexity'),('at','digest_time'),('timezone','timezone')]:
|
for attr,key in [('wiki_prefix','wiki_prefix'),('project','project_uuid'),('assignee','assignee_uuid'),('due_days','due_days'),('start_days','start_days'),('planned_days','planned_days'),('review_days','review_days'),('estimate','estimate_minutes'),('complexity','complexity'),('at','digest_time'),('timezone','timezone')]:
|
||||||
value=getattr(a,attr)
|
value=getattr(a,attr)
|
||||||
if value is not None:p[key]=task_project(client,value) if attr=='project' else value;changed=True
|
if value is not None:p[key]=task_project(client,value) if attr=='project' else value;changed=True
|
||||||
if a.digest:p['digest_enabled']=a.digest=='on';changed=True
|
if a.digest:p['digest_enabled']=a.digest=='on';changed=True
|
||||||
@@ -544,8 +594,11 @@ def tasks(client, profile, words):
|
|||||||
if action in ('add','from-mail'):
|
if action in ('add','from-mail'):
|
||||||
payload={'request_id':getattr(a,'request_id',None) or str(uuid.uuid4()),'title':a.title,'notes':a.notes or ''}
|
payload={'request_id':getattr(a,'request_id',None) or str(uuid.uuid4()),'title':a.title,'notes':a.notes or ''}
|
||||||
if action=='from-mail':
|
if action=='from-mail':
|
||||||
title,notes,message_id=task_mail(sys.stdin.buffer.read((2<<20)+1),a.include_body,a.title)
|
if a.metadata_only and a.wiki_prefix is not None: raise Failure('--wiki-prefix cannot be combined with --metadata-only.')
|
||||||
|
title,notes,message_id,wiki_body=task_mail(sys.stdin.buffer.read((2<<20)+1),not a.metadata_only,a.title)
|
||||||
payload.update(title=a.title or title,notes=a.notes if a.notes is not None else notes,request_id=str(uuid.uuid5(uuid.NAMESPACE_URL,client.base+'\n'+profile.data.get('username','')+'\n'+message_id)))
|
payload.update(title=a.title or title,notes=a.notes if a.notes is not None else notes,request_id=str(uuid.uuid5(uuid.NAMESPACE_URL,client.base+'\n'+profile.data.get('username','')+'\n'+message_id)))
|
||||||
|
if wiki_body is not None: payload['wiki_body']=wiki_body
|
||||||
|
if a.wiki_prefix is not None: payload['wiki_prefix']=a.wiki_prefix
|
||||||
for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due','due_on'),('start_on','start_on'),('planned','planned_on'),('review','review_on'),('estimate','estimate_minutes'),('complexity','complexity')]:
|
for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due','due_on'),('start_on','start_on'),('planned','planned_on'),('review','review_on'),('estimate','estimate_minutes'),('complexity','complexity')]:
|
||||||
value=getattr(a,attr)
|
value=getattr(a,attr)
|
||||||
if value is not None:payload[key]=task_project(client,value) if attr=='project' else value
|
if value is not None:payload[key]=task_project(client,value) if attr=='project' else value
|
||||||
@@ -671,7 +724,7 @@ def execute(client, profile, words):
|
|||||||
route = addr[5:] if addr.startswith('path:') else '/o/' + addr if addr.startswith('uuid:') else '/r/view/' + addr[4:]
|
route = addr[5:] if addr.startswith('path:') else '/o/' + addr if addr.startswith('uuid:') else '/r/view/' + addr[4:]
|
||||||
webbrowser.open(client.base + url.quote(route, safe='/:'), new=2)
|
webbrowser.open(client.base + url.quote(route, safe='/:'), new=2)
|
||||||
elif cmd == 'edit':
|
elif cmd == 'edit':
|
||||||
editing = Client(client.base, client.token, language(args.lang)) if args.lang else client
|
editing = Client(client.base, client.token, language(args.lang), insecure=client.insecure) if args.lang else client
|
||||||
editor(editing, addr, args.format)
|
editor(editing, addr, args.format)
|
||||||
elif cmd == 'put':
|
elif cmd == 'put':
|
||||||
state = client.snapshot(addr)
|
state = client.snapshot(addr)
|
||||||
@@ -743,11 +796,13 @@ def main(argv=None):
|
|||||||
parser.add_argument('--version', action='version', version='pages-cli ' + VERSION)
|
parser.add_argument('--version', action='version', version='pages-cli ' + VERSION)
|
||||||
parser.add_argument('--profile', help='Use another configured connection for this invocation')
|
parser.add_argument('--profile', help='Use another configured connection for this invocation')
|
||||||
parser.add_argument('--lang', help='auto or an exact language tag for this invocation')
|
parser.add_argument('--lang', help='auto or an exact language tag for this invocation')
|
||||||
|
parser.add_argument('-k', '--insecure', action='store_true', help='Skip TLS certificate and hostname verification for this invocation only (unsafe; place before COMMAND)')
|
||||||
parser.add_argument('command', nargs='?', default='shell')
|
parser.add_argument('command', nargs='?', default='shell')
|
||||||
parser.add_argument('args', nargs=argparse.REMAINDER)
|
parser.add_argument('args', nargs=argparse.REMAINDER)
|
||||||
args = parser.parse_args(argv)
|
args = parser.parse_args(argv)
|
||||||
if args.command == 'configure':
|
if args.command == 'configure':
|
||||||
if args.profile or args.lang: parser.error('Use pages configure set --profile NAME --lang TAG.')
|
if args.profile or args.lang: parser.error('Use pages configure set --profile NAME --lang TAG.')
|
||||||
|
if args.insecure: parser.error('--insecure is invocation-only; configure does not connect or save a TLS bypass.')
|
||||||
configure(args.args); return
|
configure(args.args); return
|
||||||
if args.command == 'help':
|
if args.command == 'help':
|
||||||
parser.print_help(); return
|
parser.print_help(); return
|
||||||
@@ -769,10 +824,12 @@ def main(argv=None):
|
|||||||
lang = language(args.lang or spec.get('lang', 'auto'))
|
lang = language(args.lang or spec.get('lang', 'auto'))
|
||||||
# Hold the profile lock before releasing the configuration lock.
|
# Hold the profile lock before releasing the configuration lock.
|
||||||
profile = stack.enter_context(Profile(name).locked())
|
profile = stack.enter_context(Profile(name).locked())
|
||||||
|
if args.insecure:
|
||||||
|
print('WARNING: --insecure disables TLS certificate and hostname verification for this invocation. Credentials and data can be intercepted; this option is not saved.', file=sys.stderr)
|
||||||
if args.command == 'login':
|
if args.command == 'login':
|
||||||
if not login_args.oidc and not spec.get('username'): raise Failure('Set your account with pages configure --username NAME, or use pages login --oidc.')
|
if not login_args.oidc and not spec.get('username'): raise Failure('Set your account with pages configure --username NAME, or use pages login --oidc.')
|
||||||
if profile.data.get('token'): raise Failure('Log out this profile before replacing its session.')
|
if profile.data.get('token'): raise Failure('Log out this profile before replacing its session.')
|
||||||
client = Client(spec['origin'], lang=lang)
|
client = Client(spec['origin'], lang=lang, insecure=args.insecure)
|
||||||
if login_args.oidc:
|
if login_args.oidc:
|
||||||
expires, username = client.login_oidc(login_args.no_browser, spec.get('username', ''))
|
expires, username = client.login_oidc(login_args.no_browser, spec.get('username', ''))
|
||||||
else:
|
else:
|
||||||
@@ -801,7 +858,7 @@ def main(argv=None):
|
|||||||
if args.command != 'logout' and (profile.data.get('origin') != spec['origin'] or profile.data.get('configured_username', profile.data.get('username')) != spec.get('username', '')):
|
if args.command != 'logout' and (profile.data.get('origin') != spec['origin'] or profile.data.get('configured_username', profile.data.get('username')) != spec.get('username', '')):
|
||||||
raise Failure('Session and configured identity differ. Log out before reconnecting.')
|
raise Failure('Session and configured identity differ. Log out before reconnecting.')
|
||||||
if args.command not in ('logout', 'status') and profile.data.get('expires', 0) <= time.time(): raise Failure('Session expired; log out and log in again.')
|
if args.command not in ('logout', 'status') and profile.data.get('expires', 0) <= time.time(): raise Failure('Session expired; log out and log in again.')
|
||||||
client = Client(profile.data['origin'], profile.data['token'], lang)
|
client = Client(profile.data['origin'], profile.data['token'], lang, insecure=args.insecure)
|
||||||
if args.command == 'shell': shell(client, profile)
|
if args.command == 'shell': shell(client, profile)
|
||||||
else: execute(client, profile, [args.command] + args.args)
|
else: execute(client, profile, [args.command] + args.args)
|
||||||
|
|
||||||
|
|||||||
+51
-3
@@ -11,13 +11,61 @@ m=runpy.run_path(str(Path(__file__).with_name('pages')))
|
|||||||
class ProductivityTests(unittest.TestCase):
|
class ProductivityTests(unittest.TestCase):
|
||||||
def test_mail_privacy_and_long_subject_override(self):
|
def test_mail_privacy_and_long_subject_override(self):
|
||||||
raw=b'Subject: Test\r\nFrom: Person <person@example.invalid>\r\nMessage-ID: <id@example.invalid>\r\nContent-Type: text/plain; charset=utf-8\r\n\r\nPRIVATE BODY'
|
raw=b'Subject: Test\r\nFrom: Person <person@example.invalid>\r\nMessage-ID: <id@example.invalid>\r\nContent-Type: text/plain; charset=utf-8\r\n\r\nPRIVATE BODY'
|
||||||
title,notes,ident=m['task_mail'](raw)
|
title,notes,ident,body=m['task_mail'](raw)
|
||||||
self.assertEqual(title,'Test');self.assertNotIn('PRIVATE BODY',notes);self.assertIn('Message-ID:',notes)
|
self.assertEqual(title,'Test');self.assertNotIn('PRIVATE BODY',notes);self.assertIn('Message-ID:',notes)
|
||||||
self.assertIn('PRIVATE BODY',m['task_mail'](raw,True)[1])
|
self.assertIn('PRIVATE BODY',body)
|
||||||
|
self.assertIsNone(m['task_mail'](raw,False)[3])
|
||||||
raw=raw.replace(b'Subject: Test',b'Subject: '+b'a'*301)
|
raw=raw.replace(b'Subject: Test',b'Subject: '+b'a'*301)
|
||||||
with self.assertRaises(m['Failure']):m['task_mail'](raw)
|
self.assertLessEqual(len(m['task_mail'](raw)[0].encode()),300)
|
||||||
|
with self.assertRaises(m['Failure']):m['task_mail'](raw,True,'x'*301)
|
||||||
self.assertEqual(m['task_mail'](raw,False,'Override')[0],'Override')
|
self.assertEqual(m['task_mail'](raw,False,'Override')[0],'Override')
|
||||||
|
|
||||||
|
def test_japanese_subject_and_mailing_list_markers(self):
|
||||||
|
from email.message import EmailMessage
|
||||||
|
from email.header import Header
|
||||||
|
for encoding in ('utf-8','iso-2022-jp'):
|
||||||
|
subject='Re: [hogehoge 00123] [team:456] 日本語の依頼 [重要]'
|
||||||
|
raw=('Subject: '+Header(subject,encoding).encode()+'\r\nMessage-ID: <same@example.invalid>\r\n\r\nbody').encode('ascii')
|
||||||
|
title,notes,ident,body=m['task_mail'](raw)
|
||||||
|
self.assertEqual(title,'Re: 日本語の依頼 [重要]')
|
||||||
|
self.assertEqual(ident,'<same@example.invalid>');self.assertIn('Subject: '+subject,body)
|
||||||
|
for subject in ('[重要] 日本語','報告 [list 123]','[release 1.2] 更新'):
|
||||||
|
self.assertEqual(m['mail_subject'](subject),subject)
|
||||||
|
msg=EmailMessage();msg['Subject']='[list 123] '+('日本語'*100);msg.set_content('Body')
|
||||||
|
title,_,_,body=m['task_mail'](msg.as_bytes())
|
||||||
|
self.assertLessEqual(len(title.encode()),300);self.assertTrue(title.endswith('…'))
|
||||||
|
self.assertIn('日本語'*100,body)
|
||||||
|
self.assertEqual(m['task_mail'](msg.as_bytes(),True,'[list 123] 手動指定')[0],'[list 123] 手動指定')
|
||||||
|
|
||||||
|
def test_html_mail_and_limits(self):
|
||||||
|
raw=b'Subject: HTML\r\nContent-Type: text/html; charset=utf-8\r\n\r\n<head><style>secret</style></head><p>Hello</p><script>evil()</script><img src="https://example.invalid/image"><p>World & friends</p>'
|
||||||
|
body=m['task_mail'](raw)[3]
|
||||||
|
self.assertIn('Hello\n',body);self.assertIn('World & friends',body)
|
||||||
|
for value in ('secret','evil','https://'):self.assertNotIn(value,body)
|
||||||
|
for body in (b'a'*(256<<10),b'bad\0text'):
|
||||||
|
with self.assertRaises(m['Failure']):m['task_mail'](b'Subject: Test\r\n\r\n'+body)
|
||||||
|
|
||||||
|
def test_mail_payload_wiki_and_metadata_only(self):
|
||||||
|
from unittest.mock import patch
|
||||||
|
raw=b'Subject: Test\r\nMessage-ID: <same@example.invalid>\r\n\r\nPRIVATE BODY'
|
||||||
|
calls=[]
|
||||||
|
client=SimpleNamespace(base='https://example.invalid',json=lambda route,**kw:calls.append(kw['data'].copy()) or {'item':{'uuid':kw['data']['request_id']}})
|
||||||
|
profile=SimpleNamespace(data={'username':'test'},save=lambda:None)
|
||||||
|
for args in (['--wiki-prefix','/private/mail'],['--metadata-only']):
|
||||||
|
with patch('sys.stdin',SimpleNamespace(buffer=io.BytesIO(raw))),contextlib.redirect_stdout(io.StringIO()):
|
||||||
|
m['tasks'](client,profile,['from-mail',*args])
|
||||||
|
self.assertIn('PRIVATE BODY',calls[0]['wiki_body']);self.assertNotIn('PRIVATE BODY',calls[0]['notes'])
|
||||||
|
self.assertEqual(calls[0]['wiki_prefix'],'/private/mail')
|
||||||
|
self.assertNotIn('wiki_body',calls[1]);self.assertEqual(calls[0]['request_id'],calls[1]['request_id'])
|
||||||
|
|
||||||
|
def test_multipart_prefers_plain_and_skips_attachment(self):
|
||||||
|
from email.message import EmailMessage
|
||||||
|
msg=EmailMessage();msg['Subject']='Mixed';msg.set_content('Plain body')
|
||||||
|
msg.add_alternative('<p>HTML alternate</p>',subtype='html')
|
||||||
|
msg.add_attachment(b'ATTACHMENT',maintype='application',subtype='octet-stream',filename='secret.bin')
|
||||||
|
body=m['task_mail'](msg.as_bytes())[3]
|
||||||
|
self.assertIn('Plain body',body);self.assertNotIn('alternate',body);self.assertNotIn('ATTACHMENT',body)
|
||||||
|
|
||||||
def test_capture_retains_request_until_explicit_retry(self):
|
def test_capture_retains_request_until_explicit_retry(self):
|
||||||
calls=[]
|
calls=[]
|
||||||
def send(route,**kwargs):
|
def send(route,**kwargs):
|
||||||
|
|||||||
+153
@@ -0,0 +1,153 @@
|
|||||||
|
"""Synthetic self-signed HTTPS tests; never disable verification for real services.
|
||||||
|
|
||||||
|
Set PAGES_CLI_TEST_BINARY to run subprocess tests against the packaged executable.
|
||||||
|
"""
|
||||||
|
import contextlib
|
||||||
|
import io
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import runpy
|
||||||
|
import ssl
|
||||||
|
import subprocess
|
||||||
|
import sys
|
||||||
|
import tempfile
|
||||||
|
import threading
|
||||||
|
import unittest
|
||||||
|
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||||
|
from unittest.mock import patch
|
||||||
|
|
||||||
|
m=runpy.run_path(str(Path(__file__).with_name('pages')))
|
||||||
|
Client,Failure=m['Client'],m['Failure']
|
||||||
|
|
||||||
|
|
||||||
|
class TLSTests(unittest.TestCase):
|
||||||
|
@classmethod
|
||||||
|
def setUpClass(cls):
|
||||||
|
cls.temp=tempfile.TemporaryDirectory()
|
||||||
|
cls.addClassCleanup(cls.temp.cleanup)
|
||||||
|
cls.cert=Path(cls.temp.name)/'cert.pem'
|
||||||
|
cls.key=Path(cls.temp.name)/'key.pem'
|
||||||
|
subprocess.run(['openssl','req','-x509','-newkey','rsa:2048','-nodes',
|
||||||
|
'-keyout',str(cls.key),'-out',str(cls.cert),'-days','1',
|
||||||
|
'-subj','/CN=localhost','-addext','subjectAltName=DNS:localhost'],
|
||||||
|
check=True,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL,timeout=30)
|
||||||
|
|
||||||
|
def setUp(self):
|
||||||
|
self.calls=[]
|
||||||
|
calls=self.calls
|
||||||
|
self.token='synthetic_tls_session_'+'x'*40
|
||||||
|
token=self.token
|
||||||
|
class Handler(BaseHTTPRequestHandler):
|
||||||
|
def log_message(self,*args):pass
|
||||||
|
def reply(self,data):
|
||||||
|
self.send_response(200);self.send_header('Content-Type','application/json');self.end_headers()
|
||||||
|
self.wfile.write(json.dumps(data).encode())
|
||||||
|
def do_GET(self):
|
||||||
|
calls.append((self.path,self.headers.get('Authorization')))
|
||||||
|
if self.path.startswith('/redirect'):
|
||||||
|
self.send_response(302);self.send_header('Location','/destination');self.end_headers();return
|
||||||
|
self.reply({'items':[{'uuid':'synthetic-task','title':'TLS task','status':'todo'}]})
|
||||||
|
def do_POST(self):
|
||||||
|
self.rfile.read(int(self.headers.get('Content-Length',0)))
|
||||||
|
calls.append((self.path,self.headers.get('Authorization')))
|
||||||
|
if self.path=='/_/auth/login':
|
||||||
|
self.reply({'access_token':token,'token_type':'Bearer','expires_in':3600})
|
||||||
|
elif self.path=='/_/auth/cli/start':
|
||||||
|
self.reply({'device_code':'D'*43,'verification_uri':'/_/auth/cli/verify?request='+'R'*43,'user_code':'ABCD-1234','expires_in':300,'interval':5})
|
||||||
|
elif self.path=='/_/auth/cli/token':
|
||||||
|
self.reply({'access_token':token,'token_type':'Bearer','expires_in':3600,'username':'synthetic'})
|
||||||
|
elif self.path=='/_/auth/logout':self.reply({})
|
||||||
|
else:self.send_error(404)
|
||||||
|
self.server=ThreadingHTTPServer(('127.0.0.1',0),Handler)
|
||||||
|
context=ssl.SSLContext(ssl.PROTOCOL_TLS_SERVER)
|
||||||
|
context.load_cert_chain(self.cert,self.key)
|
||||||
|
self.server.socket=context.wrap_socket(self.server.socket,server_side=True)
|
||||||
|
self.thread=threading.Thread(target=self.server.serve_forever,daemon=True);self.thread.start()
|
||||||
|
self.base=f'https://localhost:{self.server.server_port}'
|
||||||
|
self.environment=patch.dict(os.environ,{'NO_PROXY':'localhost,127.0.0.1','no_proxy':'localhost,127.0.0.1'})
|
||||||
|
self.environment.start()
|
||||||
|
|
||||||
|
def tearDown(self):
|
||||||
|
self.environment.stop()
|
||||||
|
self.server.shutdown();self.server.server_close();self.thread.join()
|
||||||
|
|
||||||
|
def test_default_rejects_and_bypass_does_not_change_global_policy(self):
|
||||||
|
default_context=ssl._create_default_https_context
|
||||||
|
with self.assertRaises(Failure):Client(self.base,self.token).json('/first')
|
||||||
|
self.assertEqual(self.calls,[])
|
||||||
|
self.assertIn('items',Client(self.base,self.token,insecure=True).json('/explicit'))
|
||||||
|
self.assertEqual(self.calls,[('/explicit','Bearer '+self.token)])
|
||||||
|
with self.assertRaises(Failure):Client(self.base,self.token).json('/default-again')
|
||||||
|
self.assertEqual(len(self.calls),1)
|
||||||
|
self.assertIs(ssl._create_default_https_context,default_context)
|
||||||
|
|
||||||
|
def test_hostname_verification_and_secure_trusted_certificate(self):
|
||||||
|
# Trust our synthetic CA, but its certificate covers localhost, not 127.0.0.1.
|
||||||
|
with patch.dict(os.environ,{'SSL_CERT_FILE':str(self.cert)}):
|
||||||
|
self.assertIn('items',Client(self.base).json('/trusted'))
|
||||||
|
wrong_host=self.base.replace('localhost','127.0.0.1')
|
||||||
|
with self.assertRaises(Failure):Client(wrong_host).json('/wrong-host')
|
||||||
|
self.assertIn('items',Client(wrong_host,insecure=True).json('/explicit-wrong-host'))
|
||||||
|
self.assertEqual([p for p,_ in self.calls],['/trusted','/explicit-wrong-host'])
|
||||||
|
|
||||||
|
def test_bypass_does_not_allow_redirects_or_remote_http(self):
|
||||||
|
with self.assertRaises(Failure) as caught:Client(self.base,self.token,insecure=True).json('/redirect')
|
||||||
|
self.assertEqual(caught.exception.status,302)
|
||||||
|
self.assertEqual(self.calls,[('/redirect','Bearer '+self.token)])
|
||||||
|
with self.assertRaises(Failure):Client('http://example.invalid',insecure=True)
|
||||||
|
|
||||||
|
def test_edit_language_override_preserves_tls_policy(self):
|
||||||
|
for insecure in (False,True):
|
||||||
|
client=Client(self.base,self.token,insecure=insecure)
|
||||||
|
received=[]
|
||||||
|
def editor(editing,*args):received.append(editing)
|
||||||
|
with patch.dict(m['execute'].__globals__,{'editor':editor}):
|
||||||
|
m['execute'](client,type('Profile',(),{'data':{}})(),['edit','/test','--lang','ja'])
|
||||||
|
self.assertEqual(received[0].insecure,insecure)
|
||||||
|
self.assertEqual(received[0].lang,'ja')
|
||||||
|
|
||||||
|
def test_login_commands_shell_logout_and_non_persistence(self):
|
||||||
|
binary=os.environ.get('PAGES_CLI_TEST_BINARY')
|
||||||
|
command=[str(Path(binary).resolve())] if binary else [sys.executable,str(Path(__file__).with_name('pages'))]
|
||||||
|
with tempfile.TemporaryDirectory() as config:
|
||||||
|
env={**os.environ,'XDG_CONFIG_HOME':config}
|
||||||
|
def run(*args,stdin='',ok=True):
|
||||||
|
r=subprocess.run(command+list(args),input=stdin,text=True,capture_output=True,env=env,timeout=20)
|
||||||
|
self.assertEqual(r.returncode==0,ok,(args,r.stderr))
|
||||||
|
self.assertNotIn(self.token,r.stdout+r.stderr)
|
||||||
|
return r
|
||||||
|
run('configure','--origin',self.base,'--username','synthetic')
|
||||||
|
run('login',stdin='test-password\n',ok=False)
|
||||||
|
self.assertEqual(self.calls,[])
|
||||||
|
r=run('--insecure','login',stdin='test-password\n')
|
||||||
|
self.assertIn('WARNING: --insecure',r.stderr)
|
||||||
|
self.assertEqual(r.stderr.count('WARNING:'),1)
|
||||||
|
self.assertNotIn('WARNING:',r.stdout)
|
||||||
|
run('task','list',ok=False)
|
||||||
|
r=run('-k','task','list')
|
||||||
|
self.assertIn('TLS task',r.stdout)
|
||||||
|
r=run('-k','shell',stdin='task list\nexit\n')
|
||||||
|
self.assertIn('TLS task',r.stdout)
|
||||||
|
self.assertEqual(r.stderr.count('WARNING:'),1)
|
||||||
|
for path in Path(config).rglob('*.json'):
|
||||||
|
self.assertNotIn('insecure',path.read_text())
|
||||||
|
self.assertNotIn('verify_tls',path.read_text())
|
||||||
|
run('logout',ok=False)
|
||||||
|
self.assertIn('token',json.loads((Path(config)/'pages-cli/sessions/default.json').read_text()))
|
||||||
|
run('-k','logout')
|
||||||
|
self.assertNotIn('token',json.loads((Path(config)/'pages-cli/sessions/default.json').read_text()))
|
||||||
|
run('-k','configure',ok=False)
|
||||||
|
|
||||||
|
def test_oidc_client_uses_explicit_tls_context(self):
|
||||||
|
client=Client(self.base,insecure=True)
|
||||||
|
with patch.object(m['webbrowser'],'open') as browser,contextlib.redirect_stdout(io.StringIO()) as out:
|
||||||
|
_,username=client.login_oidc(no_browser=True,sleep=lambda _:None)
|
||||||
|
browser.assert_not_called()
|
||||||
|
self.assertEqual(username,'synthetic')
|
||||||
|
self.assertEqual(client.token,self.token)
|
||||||
|
self.assertNotIn(self.token,out.getvalue())
|
||||||
|
self.assertEqual([p for p,_ in self.calls],['/_/auth/cli/start','/_/auth/cli/token'])
|
||||||
|
|
||||||
|
|
||||||
|
if __name__=='__main__':unittest.main()
|
||||||
@@ -19,7 +19,9 @@ class Handler(BaseHTTPRequestHandler):
|
|||||||
elif self.path=='/_/auth/logout':self.reply({})
|
elif self.path=='/_/auth/logout':self.reply({})
|
||||||
elif self.path=='/_/api/v1/extension/organizer.tasks/capture':
|
elif self.path=='/_/api/v1/extension/organizer.tasks/capture':
|
||||||
if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return
|
if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return
|
||||||
self.reply({'item':json.loads(body)})
|
item=json.loads(body)
|
||||||
|
if item.get('wiki_body') != 'Message-ID: <smoke@example.invalid>\n\nPRIVATE BODY':self.send_error(422);return
|
||||||
|
item.pop('wiki_body');self.reply({'item':item,'page_path':'/private/mail/synthetic'})
|
||||||
else:self.send_error(404)
|
else:self.send_error(404)
|
||||||
def do_GET(self):
|
def do_GET(self):
|
||||||
if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return
|
if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return
|
||||||
|
|||||||
Reference in new issue
Block a user