2609.09458-contracteval-denominator

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%22marimo%3D%3D0.23.16%22%2C%0A%23%20%20%20%22matplotlib%3E%3D3.9%2C%3C4%22%2C%0A%23%20%20%20%22numpy%3E%3D2.0%2C%3C3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20itertools%20import%20permutations%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20permutations%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20ContractEval%3A%20the%20denominator%20is%20the%20procedure%0A%0A%20%20%20%20A%20plausible%20final%20answer%20can%20hide%20a%20skipped%20prerequisite%20or%20wrong%20branch.%0A%20%20%20%20%5BContractEval%20(arXiv%3A2609.09458)%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2609.09458)%0A%20%20%20%20first%20conditions%20a%20hierarchical%20task%20network%20on%20the%20query%2C%20then%20aligns%20the%0A%20%20%20%20active%20obligations%20to%20trace%20evidence.%20This%20notebook%20implements%20the%20paper's%0A%20%20%20%20fixed%20token-overlap%20matcher%20on%20a%20hand-authored%20six-step%20illustration%20based%0A%20%20%20%20on%20its%20schematic%20customer-service%20case.%0A%0A%20%20%20%20The%20paper%20reports%20**0.495%20detection%20%2F%200.400%20localization**%20for%20output-only%0A%20%20%20%20judges%20and%20**0.570%20%2F%200.468**%20for%20trace-aware%20judges.%20Gold-graph%20ContractEval%0A%20%20%20%20reaches%201.000%20%2F%201.000%3B%20LLM-extracted%20observed%20graphs%20retain%20up%20to%0A%20%20%20%20**1.000%20%2F%200.916**%2C%20exposing%20extraction%20calibration%20as%20the%20bottleneck.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20failure%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22clean%22%2C%20%22omission%22%2C%20%22wrong%20branch%22%2C%20%22swap%22%2C%20%22extra%20action%22%2C%20%22invariant%20breach%22%2C%20%22output%20breach%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22omission%22%2C%20label%3D%22Injected%20trace%20condition%22%2C%0A%20%20%20%20)%0A%20%20%20%20threshold%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.15%2C%200.85%2C%20value%3D0.35%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20label%3D%22Match%20threshold%20(paper%20default%20%3D%200.35)%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bfailure%2C%20threshold%5D%2C%20justify%3D%22space-around%22)%0A%20%20%20%20return%20failure%2C%20threshold%0A%0A%0A%40app.cell%0Adef%20_(failure%2C%20mo%2C%20np%2C%20permutations%2C%20plt%2C%20threshold)%3A%0A%20%20%20%20_expected%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22auth%22%2C%20%22authenticate%20customer%20identity%20before%20account%20action%22)%2C%0A%20%20%20%20%20%20%20%20(%22outage%22%2C%20%22check%20reported%20service%20outage%20status%22)%2C%0A%20%20%20%20%20%20%20%20(%22eligible%22%2C%20%22verify%20refund%20eligibility%20under%20outage%20policy%22)%2C%0A%20%20%20%20%20%20%20%20(%22approve%22%2C%20%22approve%20eligible%20customer%20refund%20request%22)%2C%0A%20%20%20%20%20%20%20%20(%22record%22%2C%20%22document%20final%20refund%20decision%20in%20account%20record%22)%2C%0A%20%20%20%20%20%20%20%20(%22notify%22%2C%20%22communicate%20refund%20resolution%20to%20customer%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_edges%20%3D%20%5B(%22auth%22%2C%20%22outage%22)%2C%20(%22outage%22%2C%20%22eligible%22)%2C%20(%22eligible%22%2C%20%22approve%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22approve%22%2C%20%22record%22)%2C%20(%22record%22%2C%20%22notify%22)%5D%0A%20%20%20%20_base%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22auth%22%2C%20%22authenticate%20customer%20identity%22)%2C%0A%20%20%20%20%20%20%20%20(%22outage%22%2C%20%22check%20service%20outage%20status%22)%2C%0A%20%20%20%20%20%20%20%20(%22eligible%22%2C%20%22verify%20refund%20eligibility%22)%2C%0A%20%20%20%20%20%20%20%20(%22approve%22%2C%20%22approve%20eligible%20refund%20request%22)%2C%0A%20%20%20%20%20%20%20%20(%22record%22%2C%20%22document%20refund%20decision%20in%20account%20record%22)%2C%0A%20%20%20%20%20%20%20%20(%22notify%22%2C%20%22communicate%20refund%20resolution%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_stop%20%3D%20%7B%22a%22%2C%20%22an%22%2C%20%22and%22%2C%20%22for%22%2C%20%22in%22%2C%20%22of%22%2C%20%22the%22%2C%20%22to%22%2C%20%22under%22%7D%0A%20%20%20%20def%20_tokens(_text)%3A%0A%20%20%20%20%20%20%20%20_clean%20%3D%20%22%22.join(_char%20if%20_char.isalnum()%20else%20%22%20%22%20for%20_char%20in%20_text.lower())%0A%20%20%20%20%20%20%20%20return%20%7B%20_tok%20for%20_tok%20in%20_clean.split()%20if%20_tok%20not%20in%20_stop%20%7D%0A%0A%20%20%20%20def%20_similarity(_left%2C%20_right)%3A%0A%20%20%20%20%20%20%20%20_a%2C%20_b%20%3D%20_tokens(_left)%2C%20_tokens(_right)%0A%20%20%20%20%20%20%20%20_inter%20%3D%20len(_a%20%26%20_b)%0A%20%20%20%20%20%20%20%20_jaccard%20%3D%20_inter%20%2F%20len(_a%20%7C%20_b)%0A%20%20%20%20%20%20%20%20_contain%20%3D%20_inter%20%2F%20min(len(_a)%2C%20len(_b))%0A%20%20%20%20%20%20%20%20return%200.65%20*%20_jaccard%20%2B%200.35%20*%20_contain%0A%0A%20%20%20%20def%20_assignment(_sim)%3A%0A%20%20%20%20%20%20%20%20_ne%2C%20_no%20%3D%20_sim.shape%0A%20%20%20%20%20%20%20%20if%20_ne%20%3C%3D%20_no%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_choices%20%3D%20(tuple(enumerate(_p))%20for%20_p%20in%20permutations(range(_no)%2C%20_ne))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_choices%20%3D%20(tuple((_r%2C%20_c)%20for%20_c%2C%20_r%20in%20enumerate(_p))%20for%20_p%20in%20permutations(range(_ne)%2C%20_no))%0A%20%20%20%20%20%20%20%20return%20max(_choices%2C%20key%3Dlambda%20_ps%3A%20sum(_sim%5B_r%2C%20_c%5D%20for%20_r%2C%20_c%20in%20_ps))%0A%0A%20%20%20%20def%20_evaluate(_condition%2C%20_cutoff)%3A%0A%20%20%20%20%20%20%20%20_observed%20%3D%20list(_base)%0A%20%20%20%20%20%20%20%20_branch_ok%2C%20_invariant_ok%2C%20_output_ok%20%3D%201.0%2C%201.0%2C%201.0%0A%20%20%20%20%20%20%20%20if%20_condition%20%3D%3D%20%22omission%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_observed%20%3D%20%5B_item%20for%20_item%20in%20_observed%20if%20_item%5B0%5D%20!%3D%20%22auth%22%5D%0A%20%20%20%20%20%20%20%20elif%20_condition%20%3D%3D%20%22wrong%20branch%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_branch_ok%20%3D%200.0%0A%20%20%20%20%20%20%20%20elif%20_condition%20%3D%3D%20%22swap%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_observed%5B1%5D%2C%20_observed%5B2%5D%20%3D%20_observed%5B2%5D%2C%20_observed%5B1%5D%0A%20%20%20%20%20%20%20%20elif%20_condition%20%3D%3D%20%22extra%20action%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_observed.insert(4%2C%20(%22upsell%22%2C%20%22offer%20unrelated%20premium%20account%20upgrade%22))%0A%20%20%20%20%20%20%20%20elif%20_condition%20%3D%3D%20%22invariant%20breach%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_invariant_ok%20%3D%200.0%0A%20%20%20%20%20%20%20%20elif%20_condition%20%3D%3D%20%22output%20breach%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_output_ok%20%3D%200.0%0A%0A%20%20%20%20%20%20%20%20_sim%20%3D%20np.array(%5B%5B_similarity(_e%5B1%5D%2C%20_o%5B1%5D)%20for%20_o%20in%20_observed%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_e%20in%20_expected%5D)%0A%20%20%20%20%20%20%20%20_pairs%20%3D%20%5B(_r%2C%20_c)%20for%20_r%2C%20_c%20in%20_assignment(_sim)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_sim%5B_r%2C%20_c%5D%20%3E%3D%20_cutoff%5D%0A%20%20%20%20%20%20%20%20_mapped_e%20%3D%20%7B_expected%5B_r%5D%5B0%5D%3A%20_c%20for%20_r%2C%20_c%20in%20_pairs%7D%0A%20%20%20%20%20%20%20%20_mapped_o%20%3D%20%7B_c%20for%20_r%2C%20_c%20in%20_pairs%7D%0A%20%20%20%20%20%20%20%20_recall%20%3D%20len(_mapped_e)%20%2F%20len(_expected)%0A%20%20%20%20%20%20%20%20_precision%20%3D%20len(_mapped_o)%20%2F%20len(_observed)%0A%20%20%20%20%20%20%20%20_edge%20%3D%20sum(%0A%20%20%20%20%20%20%20%20%20%20%20%20_left%20in%20_mapped_e%20and%20_right%20in%20_mapped_e%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20_mapped_e%5B_left%5D%20%3C%20_mapped_e%5B_right%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_left%2C%20_right%20in%20_edges%0A%20%20%20%20%20%20%20%20)%20%2F%20len(_edges)%0A%20%20%20%20%20%20%20%20_metrics%20%3D%20np.array(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_recall%2C%20_precision%2C%20_edge%2C%20_branch_ok%2C%20_invariant_ok%2C%20_output_ok%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20if%20_recall%20%3C%200.999%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_predicted%20%3D%20%22omission%22%0A%20%20%20%20%20%20%20%20elif%20_precision%20%3C%200.999%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_predicted%20%3D%20%22extra%20action%22%0A%20%20%20%20%20%20%20%20elif%20_edge%20%3C%200.999%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_predicted%20%3D%20%22swap%22%0A%20%20%20%20%20%20%20%20elif%20_branch_ok%20%3C%200.999%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_predicted%20%3D%20%22wrong%20branch%22%0A%20%20%20%20%20%20%20%20elif%20_invariant_ok%20%3C%200.999%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_predicted%20%3D%20%22invariant%20breach%22%0A%20%20%20%20%20%20%20%20elif%20_output_ok%20%3C%200.999%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_predicted%20%3D%20%22output%20breach%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_predicted%20%3D%20%22clean%22%0A%20%20%20%20%20%20%20%20return%20_metrics%2C%20_predicted%2C%20_sim%2C%20_pairs%0A%20%20%20%20_condition%20%3D%20str(failure.value)%0A%20%20%20%20_cutoff%20%3D%20float(threshold.value)%0A%20%20%20%20_metrics%2C%20_predicted%2C%20_sim%2C%20_pairs%20%3D%20_evaluate(_condition%2C%20_cutoff)%0A%20%20%20%20_families%20%3D%20%5B%22clean%22%2C%20%22omission%22%2C%20%22wrong%20branch%22%2C%20%22swap%22%2C%20%22extra%20action%22%2C%20%22invariant%20breach%22%2C%20%22output%20breach%22%5D%0A%20%20%20%20_grid%20%3D%20np.linspace(0.15%2C%200.85%2C%2071)%0A%20%20%20%20_accuracy%20%3D%20np.array(%5B%0A%20%20%20%20%20%20%20%20np.mean(%5B_evaluate(_family%2C%20_t)%5B1%5D%20%3D%3D%20_family%20for%20_family%20in%20_families%5D)%0A%20%20%20%20%20%20%20%20for%20_t%20in%20_grid%0A%20%20%20%20%5D)%0A%20%20%20%20assert%20all(_evaluate(_family%2C%20.35)%5B1%5D%20%3D%3D%20_family%20for%20_family%20in%20_families)%0A%20%20%20%20assert%20_evaluate(%22clean%22%2C%20.35)%5B0%5D.min()%20%3D%3D%201.0%0A%20%20%20%20_fig%2C%20(_ax0%2C%20_ax1)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(12.2%2C%204.7))%0A%20%20%20%20_labels%20%3D%20%5B%22node%20recall%22%2C%20%22obs.%20precision%22%2C%20%22edge%20conf.%22%2C%20%22branch%22%2C%20%22invariant%22%2C%20%22output%22%5D%0A%20%20%20%20_colors%20%3D%20%5B%22%23dc2626%22%20if%20_value%20%3C%20.999%20else%20%22%2394a3b8%22%20for%20_value%20in%20_metrics%5D%0A%20%20%20%20_ax0.barh(_labels%2C%20_metrics%2C%20color%3D_colors)%0A%20%20%20%20_ax0.set(xlim%3D(0%2C%201.04)%2C%20xlabel%3D%22Conformance%20score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Metric%20fingerprint%3A%20%7B_condition%7D%22)%0A%20%20%20%20_ax0.axvline(1.0%2C%20color%3D%22%23334155%22%2C%20lw%3D1)%0A%20%20%20%20_ax1.plot(_grid%2C%20_accuracy%2C%20color%3D%22%232563eb%22%2C%20lw%3D2.5)%0A%20%20%20%20_ax1.axvline(.35%2C%20color%3D%22%2316a34a%22%2C%20ls%3D%22--%22%2C%20label%3D%22paper%20threshold%22)%0A%20%20%20%20_ax1.scatter(%5B_cutoff%5D%2C%20%5Bnp.mean(%5B_evaluate(_family%2C%20_cutoff)%5B1%5D%20%3D%3D%20_family%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_family%20in%20_families%5D)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23dc2626%22%2C%20zorder%3D4)%0A%20%20%20%20_ax1.set(xlabel%3D%22Semantic%20match%20threshold%22%2C%20ylabel%3D%22Perturbation%20localization%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20ylim%3D(-.04%2C%201.04)%2C%20title%3D%22Calibration%20can%20erase%20structural%20signal%22)%0A%20%20%20%20_ax1.grid(alpha%3D.2)%0A%20%20%20%20_ax1.legend(frameon%3DFalse)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_matched%20%3D%20%22%2C%20%22.join(_expected%5B_r%5D%5B0%5D%20for%20_r%2C%20_c%20in%20_pairs)%0A%20%20%20%20_summary%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%23%20Operating%20point%3A%20%7B_condition%7D%20%C2%B7%20threshold%20%7B_cutoff%3A.2f%7D%20%C2%B7%20prediction%20%7B_predicted%7D%20%C2%B7%20matched%20%7Blen(_pairs)%7D%2F%7Blen(_expected)%7D%0A%0A%20%20%20%20Matched%20**%7Blen(_pairs)%7D%2F%7Blen(_expected)%7D**%20active%0A%20%20%20%20obligations%3B%20inactive%20%60deny-refund%2Fno-outage%60%20was%20correctly%20excluded%20from%0A%20%20%20%20the%20denominator.%20Matched%20expected%20IDs%3A%20%60%7B_matched%20or%20'none'%7D%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.vstack(%5B_summary%2C%20_fig%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Operator%20takeaway%0A%0A%20%20%20%20Query%20conditioning%20prevents%20inactive%20branches%20from%20becoming%20false%20failures%3B%0A%20%20%20%20one-to-one%20matching%20turns%20six%20hidden%20perturbations%20into%20distinct%20metric%0A%20%20%20%20fingerprints%20in%20this%20illustration.%20The%20default%200.35%20threshold%20localizes%20it%2C%0A%20%20%20%20but%20the%20sensitivity%20curve%20shows%20why%20the%20paper%20calls%20LLM-backed%20extraction%0A%20%20%20%20calibration-sensitive%20rather%20than%20a%20compliance%20guarantee.%20In%20production%2C%0A%20%20%20%20audit%20the%20contract%20graph%20and%20evidence%20spans%20before%20trusting%20the%20score.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A