From 59ab4c5b26e14a43dd372e5d8f7b6ef5df77a501 Mon Sep 17 00:00:00 2001 From: Anya Tokugawa Date: Fri, 6 Nov 2026 07:45:33 +0900 Subject: [PATCH] Add invocation-scoped TLS verification bypass for self-signed servers --- .gitea/workflows/release.yml | 3 +- DISTRIBUTION.md | 6 +- Dockerfile.release | 2 +- README.md | 23 +++++- VERSION | 2 +- docs/client-contract.md | 4 +- docs/neomutt.md | 2 + pages | 26 ++++-- test_tls.py | 153 +++++++++++++++++++++++++++++++++++ 9 files changed, 206 insertions(+), 15 deletions(-) create mode 100644 test_tls.py diff --git a/.gitea/workflows/release.yml b/.gitea/workflows/release.yml index e36310a..d1f9ded 100644 --- a/.gitea/workflows/release.yml +++ b/.gitea/workflows/release.yml @@ -45,9 +45,10 @@ jobs: python3 -m venv .venv . .venv/bin/activate python -m pip install -r requirements-build.txt - python -m unittest test_pages test_productivity test_distribution + python -m unittest test_pages test_productivity test_distribution test_tls python tools/build.py python tools/smoke_binary.py dist/pages + PAGES_CLI_TEST_BINARY="$PWD/dist/pages" python -m unittest test_tls - name: Publish release assets if: startsWith(github.ref, 'refs/tags/v') env: diff --git a/DISTRIBUTION.md b/DISTRIBUTION.md index f240c59..78f0993 100644 --- a/DISTRIBUTION.md +++ b/DISTRIBUTION.md @@ -18,8 +18,8 @@ rpm/debは初期配布の必須条件にせず、LinuxはELFを提供する。Py ```sh # ダウンロード先で実行。手元にあるファイルをチェックする。 -sha256sum --ignore-missing -c pages-cli-v0.1.0-linux-amd64-SHA256SUMS -tar -xzf pages-cli-v0.1.0-linux-amd64.tar.gz +sha256sum --ignore-missing -c pages-cli-v0.2.0-linux-amd64-SHA256SUMS +tar -xzf pages-cli-v0.2.0-linux-amd64.tar.gz mkdir -p ~/.local/bin install -m 755 pages ~/.local/bin/pages pages --version @@ -35,6 +35,6 @@ mainへのpushはテスト・ビルドのみ。`vX.Y.Z` タグのpushは同じ 既存runnerにはdocker/buildxとGiteaへのHTTPS接続が必要。公開にはジョブのtokenを使用し、権限不足の場合だけこのリポジトリに限定した `CLI_RELEASE_TOKEN` を設定する。サーバーリポジトリのPATやDocker資格情報をコピーしない。 -macOSは `CLI_MACOS_ENABLED=true` と `CLI_MACOS_RUNNER_LABEL` を設定した場合のみ起動する。runnerにはPython 3とgitが必要で、タグcheckout後に同じbuild.pyを実行する。Macの最低OS、CPU、署名・公証は実際のrunnerと検証結果に合わせて公開時に明記する。Windowsは安全な資格情報保存の移植が済むまでジョブを有効化しない。 +macOSは `CLI_MACOS_ENABLED=true` と `CLI_MACOS_RUNNER_LABEL` を設定した場合のみ起動する。runnerにはPython 3、git、一時テスト証明書を生成するOpenSSLコマンドが必要で、タグcheckout後に同じbuild.pyを実行する。Macの最低OS、CPU、署名・公証は実際のrunnerと検証結果に合わせて公開時に明記する。Windowsは安全な資格情報保存の移植が済むまでジョブを有効化しない。 サーバーリポジトリ側の旧pages-cliは結合テスト用スナップショット。CLIの新規実装・配布はこのリポジトリで行い、サーバーの結合テスト用コピーはレビューしたリビジョンに明示的に更新する。 diff --git a/Dockerfile.release b/Dockerfile.release index 00c0de4..7e6cf34 100644 --- a/Dockerfile.release +++ b/Dockerfile.release @@ -6,6 +6,6 @@ ENV SOURCE_REVISION=$SOURCE_REVISION COPY requirements-build.txt . RUN pip install --no-cache-dir -r requirements-build.txt COPY . . -RUN python -m unittest test_pages test_productivity test_distribution && python tools/build.py && python tools/smoke_binary.py dist/pages +RUN python -m unittest test_pages test_productivity test_distribution test_tls && python tools/build.py && python tools/smoke_binary.py dist/pages && PAGES_CLI_TEST_BINARY=/src/dist/pages python -m unittest test_tls FROM scratch AS artifacts COPY --from=build /src/release/ / diff --git a/README.md b/README.md index 8580c85..7a06d12 100644 --- a/README.md +++ b/README.md @@ -36,6 +36,25 @@ pages[default]:/manual> exit `exit` はシェルを閉じるだけです。セッションを失効させる場合は `pages logout`。 +### 自己署名証明書の環境に接続する + +v0.2.0以降では、グローバルオプション `--insecure`(`-k`)を**コマンドの前**に指定すると、その実行中だけTLS証明書とホスト名の検証をスキップできます。既定では必ず検証し、設定・セッションにはスキップ状態を保存しません。 + +```sh +pages configure --origin https://wiki.example.test --username YOUR_USERNAME +pages --insecure login +pages -k task list +pages -k edit /guide --lang ja +pages -k # この対話シェルの終了まで適用 +pages -k logout +``` + +指定のたびに標準エラーへ警告を表示します。標準出力のJSONやNeoMutt宛先候補には混ぜません。次のコマンドでは、必要なら改めて `-k` を付けます。`configure` は通信しないため `-k configure` は拒否します。 + +**自己署名証明書だけでなく、期限切れやホスト名不一致も許容します。通信は暗号化されますが、相手の真正性を確認できず、中間者攻撃でパスワード・Bearer・文書等を盗み見られる危険があります。** 信頼できる検証環境でのみ明示指定し、常用する環境では信頼するCAをOSへ登録して通常の検証を使ってください。遠隔HTTP、リダイレクト追従、TLS失敗時の自動再送は引き続き許可しません。 + +OIDCでは `pages -k login --oidc --no-browser` のように指定できます。ただし、スキップするのはCLIのHTTPS要求のみです。開いたブラウザやOIDCプロバイダーの証明書検証は変更しません。 + ### OIDCでログインする OIDC連携を有効にしたDomainで利用します。サーバーは **v0.3.0以降** が必要です。独立版CLI v0.1.0は対応済みです(分離前のCLIではサーバー同梱版v0.3.0以降)。 @@ -150,10 +169,10 @@ pages edit /guide --lang en # 英語版。未作成なら既存内容から ## テスト ```sh -python3 -m unittest test_pages test_productivity test_distribution +python3 -m unittest test_pages test_productivity test_distribution test_tls ``` -合成サーバーと一時ディレクトリのみを使用します。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。 +合成サーバーと一時ディレクトリのみを使用します。TLS試験には一時証明書を生成するOpenSSLコマンドが必要です。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。 ## タスクと連絡先 `pages task --help` で作成・計画・開始/終了・レポートを操作できる。 diff --git a/VERSION b/VERSION index 6e8bf73..0ea3a94 100644 --- a/VERSION +++ b/VERSION @@ -1 +1 @@ -0.1.0 +0.2.0 diff --git a/docs/client-contract.md b/docs/client-contract.md index b1ce825..c8dbda8 100644 --- a/docs/client-contract.md +++ b/docs/client-contract.md @@ -4,7 +4,9 @@ pages-cliはPagesWikiのHTTPクライアントであり、DBやDocument Storeを ## 接続と認証 -接続先のoriginでDomainを決め、サーバーの既存認証・権限評価を使う。遠隔接続はHTTPS必須。証明書検証を無効にするオプションはない。HTTPはloopbackでの開発専用。originにuserinfo、Path、query、fragmentを含めず、リダイレクトには追従しない。ログイン画面のHTMLや302/303をAPIの成功として扱わない。 +接続先のoriginでDomainを決め、サーバーの既存認証・権限評価を使う。遠隔接続はHTTPS必須で、既定では証明書とホスト名を検証する。v0.2.0以降の `--insecure` / `-k` はその呼出しだけ検証をスキップし、設定やセッションへ保存しない。期限切れ・ホスト名不一致も許容するため、信頼できる検証環境でのみ使用する。CLIのSSLContextだけを変更し、プロセス全体のTLS既定値やOIDCブラウザの検証は変更しない。警告は標準エラーへ出力する。詳細は[利用手順とリスク](../README.md#自己署名証明書の環境に接続する)を参照。 + +`-k` 使用時もHTTPはloopbackでの開発専用。originにuserinfo、Path、query、fragmentを含めず、リダイレクトには追従しない。ログイン画面のHTMLや302/303をAPIの成功として扱わない。 パスワードログインでは必要に応じてTOTPを入力する。`login --oidc [--no-browser]` ではブラウザのOIDCログイン後に、ターミナルの確認コードを入力して承認する。S256でCLIのverifierに束縛し、短期リクエストを一度だけBearerセッションへ交換する。SSH先から開始し、別端末で承認できる。ブラウザCookie、外部OIDC token、Campus用PSKをCLIのBearerとして流用しない。 diff --git a/docs/neomutt.md b/docs/neomutt.md index e1ba60e..cc5753b 100644 --- a/docs/neomutt.md +++ b/docs/neomutt.md @@ -112,4 +112,6 @@ Content-Typeはapplication/json、AuthorizationはBearerセッション。例示 NeoMuttでは対話ログインを起動せず、端末で先に `pages login` を完了させる。複数接続を使う場合は、メール取り込み・宛先検索の両方を `pages --profile work ...` に揃える。NeoMutt起動環境のHOME・XDG_CONFIG_HOMEが通常の端末と異なると、別の設定やセッションを参照するので確認する。 +自己署名証明書の検証環境ではv0.2.0以降の `pages -k login`、`pages -k task from-mail`、`pages -k contacts query --neomutt -- %s` が使える。`-k` は保存されないため、ログインとNeoMutt設定内の各コマンドに明示する必要がある。警告は標準エラーへ出力し、宛先候補の標準出力には混ぜない。配布設定例は検証有効のままとする。相手の真正性が保証されなくなるリスクと適用範囲は[README](../README.md#自己署名証明書の環境に接続する)を確認する。 + `pages: not found` の場合は `command -v pages` でインストール先を確認し、設定内のコマンドをその絶対パスに置き換える。`contacts query` の候補がない場合は、まず端末から `pages contacts list --query 検索語` を実行する。認証切れは端末で再ログインしてから再試行する。公開CLIリポジトリへメール原文・連絡先・セッションJSONを添付しない。 diff --git a/pages b/pages index 1714e6e..ac7d0c1 100755 --- a/pages +++ b/pages @@ -17,6 +17,7 @@ import posixpath import re import secrets import shlex +import ssl import stat import subprocess import sys @@ -28,7 +29,7 @@ import urllib.parse as url import urllib.request as http import webbrowser -VERSION = '0.1.0' +VERSION = '0.2.0' class Failure(Exception): def __init__(self, message, status=0, payload=None): @@ -75,9 +76,18 @@ class NoRedirect(http.HTTPRedirectHandler): class Client: - def __init__(self, base, token='', lang='auto'): + def __init__(self, base, token='', lang='auto', *, insecure=False): self.base, self.token, self.lang = origin(base), token, lang - self.opener = http.build_opener(NoRedirect()) + self.insecure = insecure + handlers = [NoRedirect()] + if insecure: + # This client's TLS policy only; never change Python's global defaults. + context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT) + context.check_hostname = False + context.verify_mode = ssl.CERT_NONE + context.set_alpn_protocols(['http/1.1']) + handlers.append(http.HTTPSHandler(context=context)) + self.opener = http.build_opener(*handlers) def request(self, route, method='GET', data=None, form=None, limit=4 << 20, etag=None, content_type=None): if not route.startswith('/') or route.startswith('//'): @@ -671,7 +681,7 @@ def execute(client, profile, words): route = addr[5:] if addr.startswith('path:') else '/o/' + addr if addr.startswith('uuid:') else '/r/view/' + addr[4:] webbrowser.open(client.base + url.quote(route, safe='/:'), new=2) elif cmd == 'edit': - editing = Client(client.base, client.token, language(args.lang)) if args.lang else client + editing = Client(client.base, client.token, language(args.lang), insecure=client.insecure) if args.lang else client editor(editing, addr, args.format) elif cmd == 'put': state = client.snapshot(addr) @@ -743,11 +753,13 @@ def main(argv=None): parser.add_argument('--version', action='version', version='pages-cli ' + VERSION) parser.add_argument('--profile', help='Use another configured connection for this invocation') parser.add_argument('--lang', help='auto or an exact language tag for this invocation') + parser.add_argument('-k', '--insecure', action='store_true', help='Skip TLS certificate and hostname verification for this invocation only (unsafe; place before COMMAND)') parser.add_argument('command', nargs='?', default='shell') parser.add_argument('args', nargs=argparse.REMAINDER) args = parser.parse_args(argv) if args.command == 'configure': if args.profile or args.lang: parser.error('Use pages configure set --profile NAME --lang TAG.') + if args.insecure: parser.error('--insecure is invocation-only; configure does not connect or save a TLS bypass.') configure(args.args); return if args.command == 'help': parser.print_help(); return @@ -769,10 +781,12 @@ def main(argv=None): lang = language(args.lang or spec.get('lang', 'auto')) # Hold the profile lock before releasing the configuration lock. profile = stack.enter_context(Profile(name).locked()) + if args.insecure: + print('WARNING: --insecure disables TLS certificate and hostname verification for this invocation. Credentials and data can be intercepted; this option is not saved.', file=sys.stderr) if args.command == 'login': if not login_args.oidc and not spec.get('username'): raise Failure('Set your account with pages configure --username NAME, or use pages login --oidc.') if profile.data.get('token'): raise Failure('Log out this profile before replacing its session.') - client = Client(spec['origin'], lang=lang) + client = Client(spec['origin'], lang=lang, insecure=args.insecure) if login_args.oidc: expires, username = client.login_oidc(login_args.no_browser, spec.get('username', '')) else: @@ -801,7 +815,7 @@ def main(argv=None): if args.command != 'logout' and (profile.data.get('origin') != spec['origin'] or profile.data.get('configured_username', profile.data.get('username')) != spec.get('username', '')): raise Failure('Session and configured identity differ. Log out before reconnecting.') if args.command not in ('logout', 'status') and profile.data.get('expires', 0) <= time.time(): raise Failure('Session expired; log out and log in again.') - client = Client(profile.data['origin'], profile.data['token'], lang) + client = Client(profile.data['origin'], profile.data['token'], lang, insecure=args.insecure) if args.command == 'shell': shell(client, profile) else: execute(client, profile, [args.command] + args.args) diff --git a/test_tls.py b/test_tls.py new file mode 100644 index 0000000..54a2eff --- /dev/null +++ b/test_tls.py @@ -0,0 +1,153 @@ +"""Synthetic self-signed HTTPS tests; never disable verification for real services. + +Set PAGES_CLI_TEST_BINARY to run subprocess tests against the packaged executable. +""" +import contextlib +import io +import json +import os +from pathlib import Path +import runpy +import ssl +import subprocess +import sys +import tempfile +import threading +import unittest +from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer +from unittest.mock import patch + +m=runpy.run_path(str(Path(__file__).with_name('pages'))) +Client,Failure=m['Client'],m['Failure'] + + +class TLSTests(unittest.TestCase): + @classmethod + def setUpClass(cls): + cls.temp=tempfile.TemporaryDirectory() + cls.addClassCleanup(cls.temp.cleanup) + cls.cert=Path(cls.temp.name)/'cert.pem' + cls.key=Path(cls.temp.name)/'key.pem' + subprocess.run(['openssl','req','-x509','-newkey','rsa:2048','-nodes', + '-keyout',str(cls.key),'-out',str(cls.cert),'-days','1', + '-subj','/CN=localhost','-addext','subjectAltName=DNS:localhost'], + check=True,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL,timeout=30) + + def setUp(self): + self.calls=[] + calls=self.calls + self.token='synthetic_tls_session_'+'x'*40 + token=self.token + class Handler(BaseHTTPRequestHandler): + def log_message(self,*args):pass + def reply(self,data): + self.send_response(200);self.send_header('Content-Type','application/json');self.end_headers() + self.wfile.write(json.dumps(data).encode()) + def do_GET(self): + calls.append((self.path,self.headers.get('Authorization'))) + if self.path.startswith('/redirect'): + self.send_response(302);self.send_header('Location','/destination');self.end_headers();return + self.reply({'items':[{'uuid':'synthetic-task','title':'TLS task','status':'todo'}]}) + def do_POST(self): + self.rfile.read(int(self.headers.get('Content-Length',0))) + calls.append((self.path,self.headers.get('Authorization'))) + if self.path=='/_/auth/login': + self.reply({'access_token':token,'token_type':'Bearer','expires_in':3600}) + elif self.path=='/_/auth/cli/start': + self.reply({'device_code':'D'*43,'verification_uri':'/_/auth/cli/verify?request='+'R'*43,'user_code':'ABCD-1234','expires_in':300,'interval':5}) + elif self.path=='/_/auth/cli/token': + self.reply({'access_token':token,'token_type':'Bearer','expires_in':3600,'username':'synthetic'}) + elif self.path=='/_/auth/logout':self.reply({}) + else:self.send_error(404) + self.server=ThreadingHTTPServer(('127.0.0.1',0),Handler) + context=ssl.SSLContext(ssl.PROTOCOL_TLS_SERVER) + context.load_cert_chain(self.cert,self.key) + self.server.socket=context.wrap_socket(self.server.socket,server_side=True) + self.thread=threading.Thread(target=self.server.serve_forever,daemon=True);self.thread.start() + self.base=f'https://localhost:{self.server.server_port}' + self.environment=patch.dict(os.environ,{'NO_PROXY':'localhost,127.0.0.1','no_proxy':'localhost,127.0.0.1'}) + self.environment.start() + + def tearDown(self): + self.environment.stop() + self.server.shutdown();self.server.server_close();self.thread.join() + + def test_default_rejects_and_bypass_does_not_change_global_policy(self): + default_context=ssl._create_default_https_context + with self.assertRaises(Failure):Client(self.base,self.token).json('/first') + self.assertEqual(self.calls,[]) + self.assertIn('items',Client(self.base,self.token,insecure=True).json('/explicit')) + self.assertEqual(self.calls,[('/explicit','Bearer '+self.token)]) + with self.assertRaises(Failure):Client(self.base,self.token).json('/default-again') + self.assertEqual(len(self.calls),1) + self.assertIs(ssl._create_default_https_context,default_context) + + def test_hostname_verification_and_secure_trusted_certificate(self): + # Trust our synthetic CA, but its certificate covers localhost, not 127.0.0.1. + with patch.dict(os.environ,{'SSL_CERT_FILE':str(self.cert)}): + self.assertIn('items',Client(self.base).json('/trusted')) + wrong_host=self.base.replace('localhost','127.0.0.1') + with self.assertRaises(Failure):Client(wrong_host).json('/wrong-host') + self.assertIn('items',Client(wrong_host,insecure=True).json('/explicit-wrong-host')) + self.assertEqual([p for p,_ in self.calls],['/trusted','/explicit-wrong-host']) + + def test_bypass_does_not_allow_redirects_or_remote_http(self): + with self.assertRaises(Failure) as caught:Client(self.base,self.token,insecure=True).json('/redirect') + self.assertEqual(caught.exception.status,302) + self.assertEqual(self.calls,[('/redirect','Bearer '+self.token)]) + with self.assertRaises(Failure):Client('http://example.invalid',insecure=True) + + def test_edit_language_override_preserves_tls_policy(self): + for insecure in (False,True): + client=Client(self.base,self.token,insecure=insecure) + received=[] + def editor(editing,*args):received.append(editing) + with patch.dict(m['execute'].__globals__,{'editor':editor}): + m['execute'](client,type('Profile',(),{'data':{}})(),['edit','/test','--lang','ja']) + self.assertEqual(received[0].insecure,insecure) + self.assertEqual(received[0].lang,'ja') + + def test_login_commands_shell_logout_and_non_persistence(self): + binary=os.environ.get('PAGES_CLI_TEST_BINARY') + command=[str(Path(binary).resolve())] if binary else [sys.executable,str(Path(__file__).with_name('pages'))] + with tempfile.TemporaryDirectory() as config: + env={**os.environ,'XDG_CONFIG_HOME':config} + def run(*args,stdin='',ok=True): + r=subprocess.run(command+list(args),input=stdin,text=True,capture_output=True,env=env,timeout=20) + self.assertEqual(r.returncode==0,ok,(args,r.stderr)) + self.assertNotIn(self.token,r.stdout+r.stderr) + return r + run('configure','--origin',self.base,'--username','synthetic') + run('login',stdin='test-password\n',ok=False) + self.assertEqual(self.calls,[]) + r=run('--insecure','login',stdin='test-password\n') + self.assertIn('WARNING: --insecure',r.stderr) + self.assertEqual(r.stderr.count('WARNING:'),1) + self.assertNotIn('WARNING:',r.stdout) + run('task','list',ok=False) + r=run('-k','task','list') + self.assertIn('TLS task',r.stdout) + r=run('-k','shell',stdin='task list\nexit\n') + self.assertIn('TLS task',r.stdout) + self.assertEqual(r.stderr.count('WARNING:'),1) + for path in Path(config).rglob('*.json'): + self.assertNotIn('insecure',path.read_text()) + self.assertNotIn('verify_tls',path.read_text()) + run('logout',ok=False) + self.assertIn('token',json.loads((Path(config)/'pages-cli/sessions/default.json').read_text())) + run('-k','logout') + self.assertNotIn('token',json.loads((Path(config)/'pages-cli/sessions/default.json').read_text())) + run('-k','configure',ok=False) + + def test_oidc_client_uses_explicit_tls_context(self): + client=Client(self.base,insecure=True) + with patch.object(m['webbrowser'],'open') as browser,contextlib.redirect_stdout(io.StringIO()) as out: + _,username=client.login_oidc(no_browser=True,sleep=lambda _:None) + browser.assert_not_called() + self.assertEqual(username,'synthetic') + self.assertEqual(client.token,self.token) + self.assertNotIn(self.token,out.getvalue()) + self.assertEqual([p for p,_ in self.calls],['/_/auth/cli/start','/_/auth/cli/token']) + + +if __name__=='__main__':unittest.main()