3製品を比べる前に、
同じ100件と
確認方法を公開。

先に結論:これは比較結果ではなく、Cowork・Make・n8nを同じ条件で追試するための公開手順。現在、製品ごとの品質や速度を比べた結果はない。

結果を見るページではなく、同じ条件で追試するページ。

このページが合う人:Cowork・Make・n8nを自分の検証環境で同じ入力と確認項目を使って追試したい人。

分かること:100件の合成入力、期待する出力形式、合否の確認方法。製品ごとの優劣やおすすめ順位はまだ分からない。

先に用意するもの:追試する製品の検証環境と、合成データだけを扱う権限。実在顧客データは不要。

次の行動:追試する場合は、下の contract.json、input.json、status.json の順に確認する。今すぐ製品を選びたい場合は、無料の5問診断または3製品の役割比較へ進む。

PUBLIC PROTOCOL / V1

問い合わせ分類・要約

automation-note.inquiry-routing.v1

INPUT
100
合成問い合わせ
CATEGORY
95%
最低正解率
REVIEW FLAG
95%
最低正解率
INPUT SHA-2562b2908a44018058a04044cff018577051185deeb59bfc0a4eeec2c748dcf7856GROUND TRUTH SHA-256ed6a7f3525174301e6689dc23d5083953aeccd7c2599f677f6c5acd4b58af196正解値は非公開。改変を検知するハッシュ値だけを公開。
今確認できている範囲

まだ比べていない結果は、
結果として扱わない。

各製品の実行結果と確認記録が揃うまで「確認済み」へ変えない。現在の公開結果数は0。

PRODUCT / COWORK

Cowork

実行確認前

PRODUCT / MAKE

Make

実行確認前

PRODUCT / N8N

n8n

実行確認前

比較方法

4段階で、
同じ条件を守る。

自動判定できる項目と、人が読む項目を混ぜない。要約品質は文字数だけで合格扱いしない。

  1. 01 / 入力を揃える

    100件の入力を固定

    個人情報・所属組織・顧客データを含まない合成データ。正解ラベルは公開入力に含めない。

  2. 02 / 出力を揃える

    4項目へ揃える

    case_id、category、summary、needs_review。欠落、重複ID、型違反を失敗にする。

  3. 03 / SCORE

    2指標を自動採点

    カテゴリ正解率と要確認フラグ正解率。両方95%以上なら自動判定を通過とする。

  4. 04 / REVIEW

    要約は人が読む

    非空・180文字以下は機械検査。正確さ、抜け、誤解の余地は手動評価として分離。

追試用ファイル

追試できる形で、
公開する。

manifestのSHA-256で比較条件・入力・状態の組み合わせを固定。公開後にファイルが変わっていないか確認できる。

この時点で言えないこと

次は各製品を同じ入力で実行し、成功率、作業時間、費用、必要権限、失敗時の復旧を同じ比較記録へ追加する。

3製品の使い分けを見る / 5問で比較する候補を絞る