2609.05439-criticgen-risk-frontier

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%22marimo%3D%3D0.23.16%22%2C%0A%23%20%20%20%22matplotlib%3E%3D3.9%2C%3C4%22%2C%0A%23%20%20%20%22numpy%3E%3D2.0%2C%3C3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20CriticGen%3A%20price%20the%20risk%20of%20a%20bad%20rewrite%0A%0A%20%20%20%20CriticGen%20turns%20a%20sample-specific%20rubric%20into%20a%20score%2C%20diagnosis%2C%20executable%0A%20%20%20%20suggestion%2C%20and%20rewrite%20(%5BarXiv%3A2609.05439%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2609.05439)).%0A%20%20%20%20The%20paper%20reports%20**73.17%25%20improved**%2C%20**20.11%25%20unchanged**%2C%20and%20**6.72%25%0A%20%20%20%20degraded**%20for%20CriticGen-Qwen2.5-7B%20on%20RefineData.%0A%0A%20%20%20%20An%20operator%20still%20needs%20a%20cost%20model%3A%20a%20regression%20may%20cost%20more%20than%20a%20useful%0A%20%20%20%20edit%20is%20worth.%20Explore%20%24U(%5C%5Clambda)%3Dp_%7Bimprove%7D-%5C%5Clambda%20p_%7Bdegrade%7D%24%2C%20where%0A%20%20%20%20%24%5C%5Clambda%24%20is%20the%20loss%20of%20one%20degradation%20in%20improvement%20units.%20All%20eight%0A%20%20%20%20triplets%20are%20transcribed%20from%20Figure%203.%20This%20is%20decision%20analysis%20of%0A%20%20%20%20author-reported%20aggregate%20rates%E2%80%94not%20an%20independent%20model%20or%20data%20reproduction.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20harm_ratio%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.0%2C%204.0%2C%20value%3D1.0%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20label%3D%22Cost%20of%20one%20degraded%20answer%20(lambda)%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Set%20the%20application's%20asymmetric%20regression%20cost%22)%2C%0A%20%20%20%20%20%20%20%20harm_ratio%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(harm_ratio%2C)%0A%0A%0A%40app.cell%0Adef%20_(harm_ratio%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_names%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Qwen2.5-7B%22%2C%20%22Qwen2.5-14B%22%2C%20%22Qwen2.5-32B%22%2C%20%22Qwen3.5-4B%22%2C%0A%20%20%20%20%20%20%20%20%22Qwen3.5-9B%22%2C%20%22Mistral-7B%22%2C%20%22Ministral-14B%22%2C%20%22CriticGen-7B%22%2C%0A%20%20%20%20)%0A%20%20%20%20_improved%20%3D%20np.array(%5B.6949%2C%20.6973%2C%20.7197%2C%20.7086%2C%20.6945%2C%20.5671%2C%20.7379%2C%20.7317%5D)%0A%20%20%20%20_unchanged%20%3D%20np.array(%5B.1975%2C%20.2455%2C%20.2371%2C%20.2126%2C%20.2289%2C%20.1587%2C%20.1925%2C%20.2011%5D)%0A%20%20%20%20_degraded%20%3D%20np.array(%5B.1076%2C%20.0572%2C%20.0432%2C%20.0788%2C%20.0766%2C%20.2742%2C%20.0696%2C%20.0672%5D)%0A%20%20%20%20_lam%20%3D%20float(harm_ratio.value)%0A%20%20%20%20_utility%20%3D%20_improved%20-%20_lam%20*%20_degraded%0A%20%20%20%20_winner_idx%20%3D%20int(np.argmax(_utility))%0A%20%20%20%20_critic_idx%20%3D%207%0A%20%20%20%20_cross%20%3D%20(_improved%5B6%5D%20-%20_improved%5B2%5D)%20%2F%20(_degraded%5B6%5D%20-%20_degraded%5B2%5D)%0A%20%20%20%20_grid%20%3D%20np.linspace(0.0%2C%204.0%2C%20241)%0A%20%20%20%20_curves%20%3D%20_improved%5B%3A%2C%20None%5D%20-%20_degraded%5B%3A%2C%20None%5D%20*%20_grid%0A%0A%20%20%20%20_fig%2C%20(_ax0%2C%20_ax1)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11.4%2C%204.6))%0A%20%20%20%20for%20_idx%2C%20_name%20in%20enumerate(_names)%3A%0A%20%20%20%20%20%20%20%20_emphasis%20%3D%20_idx%20in%20(2%2C%206%2C%207)%0A%20%20%20%20%20%20%20%20_ax0.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20_grid%2C%20_curves%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D2.6%20if%20_emphasis%20else%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D1.0%20if%20_emphasis%20else%200.25%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ls%3D%22--%22%20if%20_idx%20%3D%3D%20_critic_idx%20else%20%22-%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D_name%20if%20_emphasis%20else%20None%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax0.axvline(_cross%2C%20color%3D%22%2364748b%22%2C%20ls%3D%22%3A%22%2C%20lw%3D1.5)%0A%20%20%20%20_ax0.scatter(%5B_lam%5D%2C%20%5B_utility%5B_winner_idx%5D%5D%2C%20color%3D%22%23dc2626%22%2C%20s%3D65%2C%20zorder%3D4)%0A%20%20%20%20_ax0.annotate(%0A%20%20%20%20%20%20%20%20f%22selected%3A%20%7B_names%5B_winner_idx%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20(_lam%2C%20_utility%5B_winner_idx%5D)%2C%20xytext%3D(7%2C%207)%2C%0A%20%20%20%20%20%20%20%20textcoords%3D%22offset%20points%22%2C%20fontsize%3D8%2C%0A%20%20%20%20)%0A%20%20%20%20_ax0.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Degradation%20cost%20%CE%BB%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Utility%20per%20refinement%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Published%20rates%20under%20asymmetric%20loss%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax0.grid(alpha%3D0.2)%0A%20%20%20%20_ax0.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%0A%20%20%20%20_colors%20%3D%20%5B%22%2394a3b8%22%5D%20*%20len(_names)%0A%20%20%20%20_colors%5B2%5D%2C%20_colors%5B6%5D%2C%20_colors%5B7%5D%20%3D%20%22%232563eb%22%2C%20%22%2316a34a%22%2C%20%22%23f97316%22%0A%20%20%20%20_ax1.scatter(_degraded%20*%20100%2C%20_improved%20*%20100%2C%20c%3D_colors%2C%20s%3D60)%0A%20%20%20%20for%20_idx%20in%20(2%2C%206%2C%207)%3A%0A%20%20%20%20%20%20%20%20_ax1.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20_names%5B_idx%5D%2C%20(_degraded%5B_idx%5D%20*%20100%2C%20_improved%5B_idx%5D%20*%20100)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(5%2C%205)%2C%20textcoords%3D%22offset%20points%22%2C%20fontsize%3D8%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax1.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Degraded%20answers%20(%25)%20%E2%80%94%20lower%20is%20better%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Improved%20answers%20(%25)%20%E2%80%94%20higher%20is%20better%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Figure%203%20risk-return%20plane%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(3%2C%2029)%2C%20ylim%3D(55%2C%2076)%2C%0A%20%20%20%20)%0A%20%20%20%20_ax1.grid(alpha%3D0.2)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20_summary%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Operating%20point%3A%20%CE%BB%3D%7B_lam%3A.2f%7D%20%C2%B7%20selected%20%7B_names%5B_winner_idx%5D%7D%20%C2%B7%20utility%20%7B_utility%5B_winner_idx%5D%3A.4f%7D%0A%0A%20%20%20%20CriticGen-7B%20utility%20is%20**%7B_utility%5B_critic_idx%5D%3A.4f%7D**.%20The%20upper%20envelope%0A%20%20%20%20switches%20from%20Ministral-14B%20to%20Qwen2.5-32B%20at%20**%CE%BB%3D%7B_cross%3A.3f%7D**.%20CriticGen's%0A%20%20%20%20**93.28%25%20non-degradation**%20is%20the%20published%2073.17%25%20improved%20%2B%2020.11%25%20unchanged%3B%0A%20%20%20%20it%20is%20not%20an%20independently%20verified%20safety%20rate.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.vstack(%5B_summary%2C%20_fig%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Operator%20takeaway%0A%0A%20%20%20%201.%20**Improvement%20rate%20is%20not%20a%20deployment%20objective.**%20At%20%CE%BB%3D0%2C%20Ministral-14B's%0A%20%20%20%20%20%20%2073.79%25%20improvement%20rate%20wins%3B%20once%20%CE%BB%20exceeds%200.689%2C%20Qwen2.5-32B's%204.32%25%0A%20%20%20%20%20%20%20degradation%20rate%20wins.%0A%20%20%20%202.%20**CriticGen's%20value%20is%20actionable%20structure%2C%20not%20frontier%20dominance.**%20Its%0A%20%20%20%20%20%20%20score%E2%80%93reason%E2%80%93suggestion%E2%80%93rewrite%20interface%20may%20be%20useful%20even%20though%20it%20never%0A%20%20%20%20%20%20%20maximizes%20this%20one-step%20aggregate%20utility%20over%20%CE%BB%20%E2%88%88%20%5B0%2C4%5D.%0A%20%20%20%203.%20**Do%20not%20overread%20the%20ranking.**%20Figure%203%20uses%20GPT-5%20judgments%20on%20unavailable%0A%20%20%20%20%20%20%20RefineData%20outputs.%20There%20are%20no%20raw%20records%2C%20confidence%20intervals%2C%20code%2C%0A%20%20%20%20%20%20%20checkpoints%2C%20or%20independent%20correctness%20tests%20in%20the%20v1%20release.%0A%20%20%20%204.%20**Production%20gate%3A**%20estimate%20%CE%BB%20from%20real%20incident%20severity%20and%20accept%20a%0A%20%20%20%20%20%20%20rewrite%20only%20after%20deterministic%20or%20independent%20outcome%20checks.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A