From cde94ed936ddfa1911809f3d1a824bd48a815223 Mon Sep 17 00:00:00 2001 From: Anya Tokugawa Date: Fri, 6 Nov 2026 08:33:54 +0900 Subject: [PATCH] feat: capture mail bodies in linked Wiki pages --- DISTRIBUTION.md | 4 ++-- README.md | 2 ++ VERSION | 2 +- docs/neomutt.md | 21 +++++++++++++---- examples/neomuttrc | 3 +++ pages | 55 +++++++++++++++++++++++++++++++++---------- test_productivity.py | 34 ++++++++++++++++++++++++-- tools/smoke_binary.py | 4 +++- 8 files changed, 101 insertions(+), 24 deletions(-) diff --git a/DISTRIBUTION.md b/DISTRIBUTION.md index 78f0993..1cd1db2 100644 --- a/DISTRIBUTION.md +++ b/DISTRIBUTION.md @@ -18,8 +18,8 @@ rpm/debは初期配布の必須条件にせず、LinuxはELFを提供する。Py ```sh # ダウンロード先で実行。手元にあるファイルをチェックする。 -sha256sum --ignore-missing -c pages-cli-v0.2.0-linux-amd64-SHA256SUMS -tar -xzf pages-cli-v0.2.0-linux-amd64.tar.gz +sha256sum --ignore-missing -c pages-cli-v0.3.0-linux-amd64-SHA256SUMS +tar -xzf pages-cli-v0.3.0-linux-amd64.tar.gz mkdir -p ~/.local/bin install -m 755 pages ~/.local/bin/pages pages --version diff --git a/README.md b/README.md index 7a06d12..c7c8793 100644 --- a/README.md +++ b/README.md @@ -175,6 +175,8 @@ python3 -m unittest test_pages test_productivity test_distribution test_tls 合成サーバーと一時ディレクトリのみを使用します。TLS試験には一時証明書を生成するOpenSSLコマンドが必要です。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。 ## タスクと連絡先 +v0.3.0の `pages task from-mail` は本文を関連Wikiへ保存します(サーバーv0.8.0以降)。先に `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で閲覧制限済みの親Pathを指定してください。タスクの公開範囲とは独立して、本文はWikiの権限に従います。本文を送信しない場合は `--metadata-only` を指定します。 + `pages task --help` で作成・計画・開始/終了・レポートを操作できる。 `pages contacts --help` で個人アドレス帳の検索・vCard入出力を行える。 [NeoMutt設定とタスク・連絡先の操作例](docs/neomutt.md)、[そのまま調整して使える設定例](examples/neomuttrc)を参照。これらは配布アーカイブにも同梱します。 diff --git a/VERSION b/VERSION index 0ea3a94..0d91a54 100644 --- a/VERSION +++ b/VERSION @@ -1 +1 @@ -0.2.0 +0.3.0 diff --git a/docs/neomutt.md b/docs/neomutt.md index cc5753b..614fec9 100644 --- a/docs/neomutt.md +++ b/docs/neomutt.md @@ -5,6 +5,7 @@ ```sh pages configure --origin https://pages.example.test --username YOUR_USERNAME pages login --oidc --no-browser +pages task preferences --wiki-prefix /private/mail pages task --help ``` @@ -15,13 +16,21 @@ pages task --help ```sh pages task from-mail < message.eml pages task from-mail --project '開発 計画' --due 2026-11-03 < message.eml -# 本文を保存してよいメールに限り明示する -pages task from-mail --include-body < message.eml +# このメールだけ保存先の親Pathを変更 +pages task from-mail --wiki-prefix /private/work-mail < message.eml +# 本文を送らず、件名とメタデータだけタスクにする +pages task from-mail --metadata-only < message.eml ``` -既定では件名をタスク名、From・Date・Message-IDをメモにする。本文と添付はアップロードしない。include-bodyはplain text本文だけを追加し、HTML画像・添付・外部URLは取得しない。1通2 MiB、メモ16 KiBが上限。件名が300 UTF-8 bytesを超える場合は `--title '短い件名'` で指定する。 +v0.3.0からは件名をタスク名、From・Date・Message-IDをメモにし、**本文を関連Wikiページに保存する**。PagesWiki v0.8.0以降が必要。保存先は `--wiki-prefix`、個人設定の既定Wiki親Path、選択プロジェクトのWiki配下(メモの階層)の順に決まる。どれも未設定なら保存を中止し、下書きを保持する。Webでは `/-/sys/config?panel=organizer` の「メール本文の既定Wiki親Path」で確認・変更できる。CLIで空文字を設定すると個人の既定Pathを解除できる。 -同じ接続・本人・Message-IDから同じrequest_idを作るため、同じメールの再取り込みで重複しない。Message-IDなしはメール全体のSHA-256を使う。同じメールを別の独立タスクにもしたい場合は `task add` を使う。 +本文の公開範囲は保存先Wikiの権限に従う。タスクが個人用でも、公開Pathに保存した本文は公開され得るため、メール用には閲覧者を制限したPathを指定する。設定例の `/private/mail` という名前自体が非公開を保証するものではない。 + +作成Pathは `親Path/安全化した件名--request_id`。同名件名を区別し、既存ページを上書きしない。タスクのメモ閲覧・編集ボタンから本文ページを開ける。タスク・Wiki・再送receiptは同一トランザクションで保存し、途中失敗で片方だけを残さない。UUIDで紐づくので、その後Wikiを移動しても追従する。 + +plain textを優先し、HTMLしかない場合はテキストを抽出する。添付・外部画像・CSS・JS・外部URLは取得せず、本文中のHTMLやWikiマクロも実行しない。原文EMLやHTMLレイアウトの保存機能ではない。入力1通2 MiB、Wiki本文(メタデータ込み)256 KiB、タスクメモ16 KiBまで。上限超過は切り捨てず拒否する。件名300 UTF-8 bytes超は `--title '短い件名'` を指定する。旧 `--include-body` は既定動作の別名として残す。以前の本文非送信動作には `--metadata-only` を使う。 + +同じ接続・本人・Message-IDから同じrequest_idを作るため、同じメールの再取り込みで重複しない。Message-IDなしはメール全体のSHA-256を使う。同じIDで本文・指定Path・オプションを変えると412となり、以前のページを上書きしない。旧版でメタデータのみ取り込み済みのメールに本文を追加する場合は、既存の関連Wikiを編集する。同じメールを別の独立タスクにもしたい場合は `task add` を使う。 `~/.config/neomutt/neomuttrc` の例。NeoMuttから実行するPATHに `pages` を含めるか、コマンドをインストール先の絶対パスに置き換える。件名等をシェルコマンド文字列に展開せず、メールを標準入力で渡す。[設定ファイル例](../examples/neomuttrc)も配布アーカイブに同梱する。 @@ -43,7 +52,7 @@ pages task retry REQUEST_UUID 最大20件を保留でき、成功した要求はローカルから削除する。同じ本人への再ログインで保留分を維持する。別アカウントへ切り替える場合は別プロファイルを使う。認証済みセッションがない状態からの完全オフライン入力受付ではない。 -サーバーで保存された直後に応答が失われても、同じrequest_idで再送すれば既存タスクが返る。保留要求を書き換えて再送すると412になる。セッションファイルにはトークンもあるため、デバッグ目的で内容を貼り付けない。 +サーバーで保存された直後に応答が失われても、同じrequest_idで再送すれば既存タスクが返る。保留要求を書き換えて再送すると412になる。セッションファイルにはトークンと保留中のメール本文があるため、デバッグ目的で内容を貼り付けない。保存先未設定で失敗した場合は `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で設定してからretryする。 ## 計画と実績 @@ -100,6 +109,8 @@ Content-Typeはapplication/json、AuthorizationはBearerセッション。例示 "request_id": "884587b2-6ae5-4aef-86d0-fd21dac39d1c", "title": "メールで依頼された内容を確認", "notes": "Message-ID: ", + "wiki_body": "メール本文をテキストとして保存", + "wiki_prefix": "/private/mail", "estimate_minutes": 30, "complexity": 2, "due_on": "2026-11-03" diff --git a/examples/neomuttrc b/examples/neomuttrc index db5a018..aff62d6 100644 --- a/examples/neomuttrc +++ b/examples/neomuttrc @@ -1,5 +1,8 @@ # Merge into your own NeoMutt configuration; do not replace unrelated settings. # Run `pages configure` and `pages login` in a terminal first. +# Configure `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` first. +# v0.3.0 uploads the body to Wiki with the destination's visibility/ACL. +# Use `from-mail --metadata-only` if the body must not be uploaded. # `pages` must be on NeoMutt's PATH; otherwise use its absolute install path. # For a named connection, use `pages --profile work ...` in BOTH commands. # These pipe settings also affect other pipe-message commands. diff --git a/pages b/pages index ac7d0c1..e82ce20 100755 --- a/pages +++ b/pages @@ -10,6 +10,7 @@ import difflib import fcntl import getpass import hashlib +from html.parser import HTMLParser import json import os from pathlib import Path @@ -29,7 +30,7 @@ import urllib.parse as url import urllib.request as http import webbrowser -VERSION = '0.2.0' +VERSION = '0.3.0' class Failure(Exception): def __init__(self, message, status=0, payload=None): @@ -480,21 +481,42 @@ def task_project(client, value): return matches[0] -def task_mail(raw, include_body=False, override_title=None): +class MailText(HTMLParser): + """Extract inert text; never load links, images, styles or attachments.""" + def __init__(self): + super().__init__(convert_charrefs=True) + self.parts, self.hidden = [], [] + def handle_starttag(self, tag, attrs): + if tag in ('script','style','head'): self.hidden.append(tag) + if not self.hidden and tag in ('br','p','div','li','tr','h1','h2','h3','pre'): self.parts.append('\n') + def handle_endtag(self, tag): + if self.hidden and tag == self.hidden[-1]: self.hidden.pop() + if not self.hidden and tag in ('p','div','li','tr','h1','h2','h3','pre'): self.parts.append('\n') + def handle_data(self, data): + if not self.hidden: self.parts.append(data) + + +def task_mail(raw, include_body=True, override_title=None): if len(raw) > 2 << 20: raise Failure('Mail input exceeds 2 MiB; pipe one message at a time.') message = email.parser.BytesParser(policy=email.policy.default).parsebytes(raw) clean = lambda value: ' '.join(safe_text(str(value or '')).split()) title = override_title or clean(message.get('Subject')) or '(No subject)' if len(title.encode()) > 300: raise Failure('Mail subject exceeds 300 UTF-8 bytes; use --title.') notes = '\n'.join(key+': '+clean(message.get(key)) for key in ('From','Date','Message-ID') if message.get(key)) + wiki_body = None if include_body: - part = message.get_body(preferencelist=('plain',)) + content = '' + part = message.get_body(preferencelist=('plain','html')) if part: - content = part.get_content() + try: content = part.get_content() + except (LookupError, UnicodeError, ValueError) as e: raise Failure('Mail body encoding is not supported; convert to UTF-8 first.') from e if not isinstance(content,str): raise Failure('Mail body is not readable text.') - notes += '\n\n' + content - if len(notes.encode()) > 16384: raise Failure('Mail notes exceed 16 KiB; omit --include-body.') - return title, notes, clean(message.get('Message-ID')) or hashlib.sha256(raw).hexdigest() + if part.get_content_type() == 'text/html': + parser = MailText();parser.feed(content);parser.close();content = ''.join(parser.parts).strip() + wiki_body = notes + '\n\n' + content + if '\0' in wiki_body or len(wiki_body.encode()) > 256 << 10: raise Failure('Mail Wiki body must be valid text of at most 256 KiB; nothing was uploaded.') + if len(notes.encode()) > 16384: raise Failure('Mail metadata exceeds 16 KiB.') + return title, notes, clean(message.get('Message-ID')) or hashlib.sha256(raw).hexdigest(), wiki_body def tasks(client, profile, words): @@ -508,7 +530,9 @@ def tasks(client, profile, words): p=sub.add_parser(name) if name=='add':p.add_argument('title') elif name=='update':p.add_argument('uuid',type=task_uuid);p.add_argument('--title') - else:p.add_argument('--title');p.add_argument('--include-body',action='store_true') + else: + p.add_argument('--title');p.add_argument('--wiki-prefix',help='Wiki parent Path (otherwise use personal default or project Wiki subtree)') + body=p.add_mutually_exclusive_group();body.add_argument('--include-body',action='store_true',help='Save body to Wiki (default; retained for compatibility)');body.add_argument('--metadata-only',action='store_true',help='Do not upload body or create a Wiki document') p.add_argument('--notes');p.add_argument('--project');p.add_argument('--assignee') p.add_argument('--due');p.add_argument('--start-on');p.add_argument('--planned');p.add_argument('--review') p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int,choices=range(1,6)) @@ -518,7 +542,7 @@ def tasks(client, profile, words): sub.add_parser('stop');sub.add_parser('status') p=sub.add_parser('retry');p.add_argument('request_id',type=task_uuid) p=sub.add_parser('report');p.add_argument('--from',dest='start');p.add_argument('--to',dest='end') - p=sub.add_parser('preferences');p.add_argument('--project');p.add_argument('--assignee');p.add_argument('--due-days',type=int);p.add_argument('--start-days',type=int);p.add_argument('--planned-days',type=int);p.add_argument('--review-days',type=int);p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int);p.add_argument('--digest',choices=['on','off']);p.add_argument('--at');p.add_argument('--timezone') + p=sub.add_parser('preferences');p.add_argument('--wiki-prefix');p.add_argument('--project');p.add_argument('--assignee');p.add_argument('--due-days',type=int);p.add_argument('--start-days',type=int);p.add_argument('--planned-days',type=int);p.add_argument('--review-days',type=int);p.add_argument('--estimate',type=int);p.add_argument('--complexity',type=int);p.add_argument('--digest',choices=['on','off']);p.add_argument('--at');p.add_argument('--timezone') for child in sub.choices.values():child.add_argument('--json',action='store_true') a=parser.parse_args(words);action=a.action def emit(data): print(json.dumps(data,ensure_ascii=False,indent=2)) @@ -527,8 +551,10 @@ def tasks(client, profile, words): if len(pending)>=20 and payload['request_id'] not in pending:raise Failure('20 pending captures retained. Retry them before adding more.') pending[payload['request_id']]=payload;profile.save() try: result=client.json(TASK_API+'capture',method='POST',data=payload) - except Failure: - print('Draft retained; retry with: pages task retry '+payload['request_id'],file=sys.stderr);raise + except Failure as e: + print('Draft retained; retry with: pages task retry '+payload['request_id'],file=sys.stderr) + if e.payload.get('error') == 'wiki_prefix_required': raise Failure('Set a private Wiki destination first: pages task preferences --wiki-prefix /YOUR/MAIL/PATH',e.status) from e + raise del pending[payload['request_id']];profile.save();return result if action in ('list','projects'): query={'kind':'project' if action=='projects' else 'task','view':getattr(a,'view','all'),'limit':100,'q':getattr(a,'q',''),'before':getattr(a,'before','')} @@ -542,7 +568,7 @@ def tasks(client, profile, words): if action=='show':emit(client.json(TASK_API+'items/'+a.uuid));return if action=='preferences': data=client.json(TASK_API+'preferences');p=data['preferences'];changed=False - for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due_days','due_days'),('start_days','start_days'),('planned_days','planned_days'),('review_days','review_days'),('estimate','estimate_minutes'),('complexity','complexity'),('at','digest_time'),('timezone','timezone')]: + for attr,key in [('wiki_prefix','wiki_prefix'),('project','project_uuid'),('assignee','assignee_uuid'),('due_days','due_days'),('start_days','start_days'),('planned_days','planned_days'),('review_days','review_days'),('estimate','estimate_minutes'),('complexity','complexity'),('at','digest_time'),('timezone','timezone')]: value=getattr(a,attr) if value is not None:p[key]=task_project(client,value) if attr=='project' else value;changed=True if a.digest:p['digest_enabled']=a.digest=='on';changed=True @@ -554,8 +580,11 @@ def tasks(client, profile, words): if action in ('add','from-mail'): payload={'request_id':getattr(a,'request_id',None) or str(uuid.uuid4()),'title':a.title,'notes':a.notes or ''} if action=='from-mail': - title,notes,message_id=task_mail(sys.stdin.buffer.read((2<<20)+1),a.include_body,a.title) + if a.metadata_only and a.wiki_prefix is not None: raise Failure('--wiki-prefix cannot be combined with --metadata-only.') + title,notes,message_id,wiki_body=task_mail(sys.stdin.buffer.read((2<<20)+1),not a.metadata_only,a.title) payload.update(title=a.title or title,notes=a.notes if a.notes is not None else notes,request_id=str(uuid.uuid5(uuid.NAMESPACE_URL,client.base+'\n'+profile.data.get('username','')+'\n'+message_id))) + if wiki_body is not None: payload['wiki_body']=wiki_body + if a.wiki_prefix is not None: payload['wiki_prefix']=a.wiki_prefix for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due','due_on'),('start_on','start_on'),('planned','planned_on'),('review','review_on'),('estimate','estimate_minutes'),('complexity','complexity')]: value=getattr(a,attr) if value is not None:payload[key]=task_project(client,value) if attr=='project' else value diff --git a/test_productivity.py b/test_productivity.py index f504ca4..2306bf0 100644 --- a/test_productivity.py +++ b/test_productivity.py @@ -11,13 +11,43 @@ m=runpy.run_path(str(Path(__file__).with_name('pages'))) class ProductivityTests(unittest.TestCase): def test_mail_privacy_and_long_subject_override(self): raw=b'Subject: Test\r\nFrom: Person \r\nMessage-ID: \r\nContent-Type: text/plain; charset=utf-8\r\n\r\nPRIVATE BODY' - title,notes,ident=m['task_mail'](raw) + title,notes,ident,body=m['task_mail'](raw) self.assertEqual(title,'Test');self.assertNotIn('PRIVATE BODY',notes);self.assertIn('Message-ID:',notes) - self.assertIn('PRIVATE BODY',m['task_mail'](raw,True)[1]) + self.assertIn('PRIVATE BODY',body) + self.assertIsNone(m['task_mail'](raw,False)[3]) raw=raw.replace(b'Subject: Test',b'Subject: '+b'a'*301) with self.assertRaises(m['Failure']):m['task_mail'](raw) self.assertEqual(m['task_mail'](raw,False,'Override')[0],'Override') + def test_html_mail_and_limits(self): + raw=b'Subject: HTML\r\nContent-Type: text/html; charset=utf-8\r\n\r\n

Hello

World & friends

' + body=m['task_mail'](raw)[3] + self.assertIn('Hello\n',body);self.assertIn('World & friends',body) + for value in ('secret','evil','https://'):self.assertNotIn(value,body) + for body in (b'a'*(256<<10),b'bad\0text'): + with self.assertRaises(m['Failure']):m['task_mail'](b'Subject: Test\r\n\r\n'+body) + + def test_mail_payload_wiki_and_metadata_only(self): + from unittest.mock import patch + raw=b'Subject: Test\r\nMessage-ID: \r\n\r\nPRIVATE BODY' + calls=[] + client=SimpleNamespace(base='https://example.invalid',json=lambda route,**kw:calls.append(kw['data'].copy()) or {'item':{'uuid':kw['data']['request_id']}}) + profile=SimpleNamespace(data={'username':'test'},save=lambda:None) + for args in (['--wiki-prefix','/private/mail'],['--metadata-only']): + with patch('sys.stdin',SimpleNamespace(buffer=io.BytesIO(raw))),contextlib.redirect_stdout(io.StringIO()): + m['tasks'](client,profile,['from-mail',*args]) + self.assertIn('PRIVATE BODY',calls[0]['wiki_body']);self.assertNotIn('PRIVATE BODY',calls[0]['notes']) + self.assertEqual(calls[0]['wiki_prefix'],'/private/mail') + self.assertNotIn('wiki_body',calls[1]);self.assertEqual(calls[0]['request_id'],calls[1]['request_id']) + + def test_multipart_prefers_plain_and_skips_attachment(self): + from email.message import EmailMessage + msg=EmailMessage();msg['Subject']='Mixed';msg.set_content('Plain body') + msg.add_alternative('

HTML alternate

',subtype='html') + msg.add_attachment(b'ATTACHMENT',maintype='application',subtype='octet-stream',filename='secret.bin') + body=m['task_mail'](msg.as_bytes())[3] + self.assertIn('Plain body',body);self.assertNotIn('alternate',body);self.assertNotIn('ATTACHMENT',body) + def test_capture_retains_request_until_explicit_retry(self): calls=[] def send(route,**kwargs): diff --git a/tools/smoke_binary.py b/tools/smoke_binary.py index ec88caa..d07185b 100644 --- a/tools/smoke_binary.py +++ b/tools/smoke_binary.py @@ -19,7 +19,9 @@ class Handler(BaseHTTPRequestHandler): elif self.path=='/_/auth/logout':self.reply({}) elif self.path=='/_/api/v1/extension/organizer.tasks/capture': if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return - self.reply({'item':json.loads(body)}) + item=json.loads(body) + if item.get('wiki_body') != 'Message-ID: \n\nPRIVATE BODY':self.send_error(422);return + item.pop('wiki_body');self.reply({'item':item,'page_path':'/private/mail/synthetic'}) else:self.send_error(404) def do_GET(self): if self.headers.get('Authorization')!='Bearer '+token:self.send_error(401);return