diff --git a/DISTRIBUTION.md b/DISTRIBUTION.md index 64b836c..0d57bf5 100644 --- a/DISTRIBUTION.md +++ b/DISTRIBUTION.md @@ -18,8 +18,8 @@ rpm/debは初期配布の必須条件にせず、LinuxはELFを提供する。Py ```sh # ダウンロード先で実行。手元にあるファイルをチェックする。 -sha256sum --ignore-missing -c pages-cli-v0.3.1-linux-amd64-SHA256SUMS -tar -xzf pages-cli-v0.3.1-linux-amd64.tar.gz +sha256sum --ignore-missing -c pages-cli-v0.4.0-linux-amd64-SHA256SUMS +tar -xzf pages-cli-v0.4.0-linux-amd64.tar.gz mkdir -p ~/.local/bin install -m 755 pages ~/.local/bin/pages pages --version diff --git a/README.md b/README.md index c7c8793..adf4db6 100644 --- a/README.md +++ b/README.md @@ -175,6 +175,8 @@ python3 -m unittest test_pages test_productivity test_distribution test_tls 合成サーバーと一時ディレクトリのみを使用します。TLS試験には一時証明書を生成するOpenSSLコマンドが必要です。本番資格情報や外部カレンダーは不要です。Goサーバーとの結合テストはサーバーリポジトリ側で実行します。 ## タスクと連絡先 +v0.4.0のメール保存先はML連番があれば `親Path/リスト名/連番`、なければ `親Path/YYYY/MM/識別子` です。この方式にはサーバーv0.9.0以降が必要です。年月・衝突・旧版からの再送の規則は下記NeoMuttガイドを参照してください。 + v0.3.0の `pages task from-mail` は本文を関連Wikiへ保存します(サーバーv0.8.0以降)。先に `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で閲覧制限済みの親Pathを指定してください。タスクの公開範囲とは独立して、本文はWikiの権限に従います。本文を送信しない場合は `--metadata-only` を指定します。 `pages task --help` で作成・計画・開始/終了・レポートを操作できる。 diff --git a/VERSION b/VERSION index 9e11b32..1d0ba9e 100644 --- a/VERSION +++ b/VERSION @@ -1 +1 @@ -0.3.1 +0.4.0 diff --git a/docs/neomutt.md b/docs/neomutt.md index 7dc0eba..7795853 100644 --- a/docs/neomutt.md +++ b/docs/neomutt.md @@ -26,7 +26,19 @@ v0.3.0からは件名をタスク名、From・Date・Message-IDをメモにし 本文の公開範囲は保存先Wikiの権限に従う。タスクが個人用でも、公開Pathに保存した本文は公開され得るため、メール用には閲覧者を制限したPathを指定する。設定例の `/private/mail` という名前自体が非公開を保証するものではない。 -PagesWiki v0.8.1以降の作成Pathは `親Path/mail-request_id`。request_idは接続先・本人・Message-IDから生成するUUIDなので、末尾は件名や文字コードに依存しないASCIIになる。Message-ID自体をURLへ露出せず、同じ件名でも別メールなら区別する。Message-IDがなければメール原文のSHA-256を識別に使う。既存ページは移動・上書きせず、従来形式で保存済みの要求をretryしても元のページを返す。タスクのメモ閲覧・編集ボタンから本文ページを開ける。タスク・Wiki・再送receiptは同一トランザクションで保存し、途中失敗で片方だけを残さない。UUIDで紐づくので、その後Wikiを移動しても追従する。 +CLI v0.4.0のメール取り込みにはPagesWiki v0.9.0以降が必要。保存先は次の優先順で決める。 + +| メール | 保存先 | +| --- | --- | +| 先頭にML連番がある | `親Path/リスト名/連番`(例:`/mail/hogehoge/123`) | +| ML連番なし、Message-IDあり | `親Path/YYYY/MM/UUID` | +| 両方なし | `親Path/YYYY/MM/原文SHA-256` | + +リスト名はASCII英数字で始まり、英数字・ピリオド・ハイフン・アンダースコアの100文字以内。連番は最大20桁で、先頭ゼロを除去する。Re:/Fw:/Fwd:の直後も認識し、先頭のML表記を使う。安全なリスト名・連番として解釈できない場合は年月方式へフォールバックする。表示件名の `--title` は保存先の判定を変えない。 + +年月はDateヘッダに記載されたタイムゾーンの年月。Dateが欠落・不正なら最初の取り込み時点のUTC年月を使い、未送信outboxに確定値を保持する。UUIDは接続先・本人・Message-IDから生成し、Message-ID自体をURLへ露出しない。同じML名・連番に異なるメールが来た場合は409で停止し、既存本文を上書きしない。 + +既存ページは移動・上書きせず、従来形式で保存済みの要求をretryしても元のページを返す。タスクのメモ閲覧・編集ボタンから本文ページを開ける。タスク・Wiki・再送receiptは同一トランザクションで保存し、途中失敗で片方だけを残さない。UUIDで紐づくので、その後Wikiを移動しても追従する。 CLI v0.3.1ではMIMEヘッダを復号した件名の先頭から `[list 123]`・`[list:123]`・`[list#123]` のような連番を除去する。Re:/Fwd:は維持し、その後の連番も除去する。`[重要]`、件名の途中の括弧、`--title` で明示した件名は変更しない。自動件名が300 UTF-8 bytesを超える場合は文字境界で省略して末尾に「…」を付ける。除去・省略・手動指定で変わった元のSubjectはWiki本文に残す。手動件名の上限超過は拒否する。 @@ -54,6 +66,8 @@ pages task retry REQUEST_UUID 最大20件を保留でき、成功した要求はローカルから削除する。同じ本人への再ログインで保留分を維持する。別アカウントへ切り替える場合は別プロファイルを使う。認証済みセッションがない状態からの完全オフライン入力受付ではない。 +同一の保留メールを再入力しても、確定済みの保存先を維持する。他のオプションを変更して保留要求を上書きすることは拒否する。保存成功後に新しい要求として取り込み直し、本文・保存先・年月などが変わった場合は412になるため、保存済みWikiを暗黙に移動しない。旧版からの保留分も `task retry` で元の要求のまま送る。 + サーバーで保存された直後に応答が失われても、同じrequest_idで再送すれば既存タスクが返る。保留要求を書き換えて再送すると412になる。セッションファイルにはトークンと保留中のメール本文があるため、デバッグ目的で内容を貼り付けない。保存先未設定で失敗した場合は `pages task preferences --wiki-prefix /YOUR/MAIL/PATH` で設定してからretryする。 ## 計画と実績 diff --git a/pages b/pages index bf6857c..2e45c71 100755 --- a/pages +++ b/pages @@ -3,6 +3,8 @@ import argparse import email.policy import email.parser +import email.utils +import datetime import uuid import base64 import contextlib @@ -30,7 +32,7 @@ import urllib.parse as url import urllib.request as http import webbrowser -VERSION = '0.3.1' +VERSION = '0.4.0' class Failure(Exception): def __init__(self, message, status=0, payload=None): @@ -506,6 +508,19 @@ def mail_subject(value): value = match.group('reply') + value[match.end():] +def task_mail_suffix(raw, request_id, now=None): + message = email.parser.BytesParser(policy=email.policy.default).parsebytes(raw) + subject = ' '.join(safe_text(str(message.get('Subject') or '')).split()) + marker = re.match(r'^(?:(?:re|fw|fwd)\s*:\s*)*\[([A-Za-z0-9][A-Za-z0-9._-]{0,99})[\s:#]+([0-9]{1,20})\]',subject,re.IGNORECASE) + if marker: + return marker[1]+'/'+str(int(marker[2])) + try: date = email.utils.parsedate_to_datetime(str(message.get('Date') or '')) + except (ValueError, TypeError, OverflowError): date = now or datetime.datetime.now(datetime.timezone.utc) + # Preserve the month in the sender's Date timezone, not the receiving host's. + ident = request_id if ' '.join(safe_text(str(message.get('Message-ID') or '')).split()) else hashlib.sha256(raw).hexdigest() + return f'{date.year:04d}/{date.month:02d}/{ident}' + + def task_mail(raw, include_body=True, override_title=None): if len(raw) > 2 << 20: raise Failure('Mail input exceeds 2 MiB; pipe one message at a time.') message = email.parser.BytesParser(policy=email.policy.default).parsebytes(raw) @@ -563,6 +578,7 @@ def tasks(client, profile, words): def capture(payload): pending=profile.data.setdefault('task_outbox',{}) if len(pending)>=20 and payload['request_id'] not in pending:raise Failure('20 pending captures retained. Retry them before adding more.') + if payload['request_id'] in pending and pending[payload['request_id']] != payload:raise Failure('A different draft with this request ID is retained. Use pages task retry '+payload['request_id']) pending[payload['request_id']]=payload;profile.save() try: result=client.json(TASK_API+'capture',method='POST',data=payload) except Failure as e: @@ -595,13 +611,21 @@ def tasks(client, profile, words): payload={'request_id':getattr(a,'request_id',None) or str(uuid.uuid4()),'title':a.title,'notes':a.notes or ''} if action=='from-mail': if a.metadata_only and a.wiki_prefix is not None: raise Failure('--wiki-prefix cannot be combined with --metadata-only.') - title,notes,message_id,wiki_body=task_mail(sys.stdin.buffer.read((2<<20)+1),not a.metadata_only,a.title) + raw=sys.stdin.buffer.read((2<<20)+1) + title,notes,message_id,wiki_body=task_mail(raw,not a.metadata_only,a.title) payload.update(title=a.title or title,notes=a.notes if a.notes is not None else notes,request_id=str(uuid.uuid5(uuid.NAMESPACE_URL,client.base+'\n'+profile.data.get('username','')+'\n'+message_id))) - if wiki_body is not None: payload['wiki_body']=wiki_body + if wiki_body is not None: + payload['wiki_body']=wiki_body + payload['wiki_suffix']=task_mail_suffix(raw,payload['request_id']) if a.wiki_prefix is not None: payload['wiki_prefix']=a.wiki_prefix for attr,key in [('project','project_uuid'),('assignee','assignee_uuid'),('due','due_on'),('start_on','start_on'),('planned','planned_on'),('review','review_on'),('estimate','estimate_minutes'),('complexity','complexity')]: value=getattr(a,attr) if value is not None:payload[key]=task_project(client,value) if attr=='project' else value + # A retry of the same pending mail must not drift across a month boundary + # when Date was missing. Other changed options still fail closed. + old=profile.data.get('task_outbox',{}).get(payload['request_id']) + if action=='from-mail' and old and {k:v for k,v in old.items() if k!='wiki_suffix'}=={k:v for k,v in payload.items() if k!='wiki_suffix'}: + payload=old.copy() emit(capture(payload));return if action=='project-add': emit(client.json(TASK_API+'items',method='POST',data={'uuid':str(uuid.uuid4()),'kind':'project','title':a.title,'notes':a.notes,'status':'todo','bucket':'inbox','priority':1}));return diff --git a/test_productivity.py b/test_productivity.py index 26f8ed4..0d00079 100644 --- a/test_productivity.py +++ b/test_productivity.py @@ -9,6 +9,39 @@ import unittest m=runpy.run_path(str(Path(__file__).with_name('pages'))) class ProductivityTests(unittest.TestCase): + def test_mail_path_priority_and_dates(self): + import datetime,hashlib + ident='06cb3a24-61f8-4a9f-a0bf-89eea9632f25' + suffix=m['task_mail_suffix'];now=datetime.datetime(2030,2,1,tzinfo=datetime.timezone.utc) + for marker in ('[hogehoge 00123]','Re: [hogehoge:123]','Fwd: [hogehoge#123]'): + raw=('Subject: '+marker+' Title\r\n\r\nbody').encode() + self.assertEqual(suffix(raw,ident,now),'hogehoge/123') + raw=b'Subject: Plain\r\nDate: Sat, 31 Jan 2026 23:30:00 -0800\r\nMessage-ID: \r\n\r\nbody' + self.assertEqual(suffix(raw,ident,now),'2026/01/'+ident) + noid=raw.replace(b'Message-ID: \r\n',b'') + self.assertEqual(suffix(noid,ident,now),'2026/01/'+hashlib.sha256(noid).hexdigest()) + for date in (b'',b'Date: broken\r\n'): + raw=b'Subject: [../unsafe 123] Title\r\n'+date+b'\r\nbody' + self.assertEqual(suffix(raw,ident,now),'2030/02/'+hashlib.sha256(raw).hexdigest()) + + def test_pending_mail_month_and_options_are_preserved(self): + from unittest.mock import patch + raw=b'Subject: Test\r\nMessage-ID: \r\n\r\nbody' + calls=[] + def send(route,**kw): + calls.append(kw['data'].copy()) + raise m['Failure']('offline') + client=SimpleNamespace(base='https://example.invalid',json=send) + profile=SimpleNamespace(data={'username':'test'},save=lambda:None) + for month in ('2030/01','2030/02'): + with patch.dict(m['tasks'].__globals__,task_mail_suffix=lambda raw,ident:month+'/'+ident),patch('sys.stdin',SimpleNamespace(buffer=io.BytesIO(raw))),contextlib.redirect_stderr(io.StringIO()),self.assertRaises(m['Failure']): + m['tasks'](client,profile,['from-mail']) + self.assertEqual(calls[0],calls[1]) + with patch('sys.stdin',SimpleNamespace(buffer=io.BytesIO(raw))),self.assertRaises(m['Failure']): + m['tasks'](client,profile,['from-mail','--wiki-prefix','/changed']) + self.assertEqual(len(calls),2) + self.assertEqual(next(iter(profile.data['task_outbox'].values())),calls[0]) + def test_mail_privacy_and_long_subject_override(self): raw=b'Subject: Test\r\nFrom: Person \r\nMessage-ID: \r\nContent-Type: text/plain; charset=utf-8\r\n\r\nPRIVATE BODY' title,notes,ident,body=m['task_mail'](raw)