routerarena-score-simulation

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.3%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Controls%0A%20%20%20%20difficulty%20%3D%20mo.ui.radio(%5B%22easy%22%2C%20%22medium%22%2C%20%22hard%22%5D%2C%20value%3D%22medium%22%2C%20label%3D%22Difficulty%20band%22)%0A%20%20%20%20cost_target%20%3D%20mo.ui.slider(0.1%2C%201.5%2C%200.05%2C%20value%3D1.05%2C%20label%3D%22Strong-model%20cost%20(%24%2F1K)%22)%0A%20%20%20%20beta%20%3D%20mo.ui.slider(0.01%2C%200.9%2C%200.01%2C%20value%3D0.1%2C%20label%3D%22Accuracy%20weight%20%CE%B2%22)%0A%20%20%20%20return%20beta%2C%20cost_target%2C%20difficulty%0A%0A%0A%40app.cell%0Adef%20_(difficulty%2C%20mo)%3A%0A%20%20%20%20%23%20Per-router%20synthetic%20accuracy%20and%20cost%0A%20%20%20%20_routers%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Cheap%22%3A%20(0.58%2C%200.28)%2C%0A%20%20%20%20%20%20%20%20%22Mid%22%3A%20(0.74%2C%200.55)%2C%0A%20%20%20%20%20%20%20%20%22Strong%22%3A%20(0.83%2C%201.05)%2C%0A%20%20%20%20%20%20%20%20%22Fallback%20to%20Strong%22%3A%20(0.79%2C%201.05)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20Accuracy%20drop%20by%20difficulty%20band%2C%20from%20paper-style%20scaling%0A%20%20%20%20_drop%20%3D%20%7B%22easy%22%3A%201.00%2C%20%22medium%22%3A%200.68%2C%20%22hard%22%3A%200.18%7D%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_name%2C%20(_acc%2C%20_cost)%20in%20_routers.items()%3A%0A%20%20%20%20%20%20%20%20_a%20%3D%20_acc%20*%20_drop%5Bdifficulty.value%5D%0A%20%20%20%20%20%20%20%20_rows.append((_name%2C%20_a%2C%20_cost))%0A%0A%20%20%20%20_rows.sort(key%3Dlambda%20x%3A%20x%5B2%5D)%0A%20%20%20%20router_table%20%3D%20mo.ui.table(_rows%2C%20headers%3D%5B%22Router%22%2C%20%22Accuracy%22%2C%20%22Cost%20(%24%2F1K)%22%5D%2C%20selection%3D%22multi%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(beta%2C%20cost_target%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%20Rerun%20regex%3A%20%5E(beta%7Ccost_target)%24%0A%20%20%20%20_a%20%3D%20np.array(%5B0.58%2C%200.74%2C%200.83%2C%200.79%5D)%0A%20%20%20%20_c%20%3D%20np.array(%5B0.28%2C%200.55%2C%20float(cost_target.value)%2C%20float(cost_target.value)%5D)%0A%20%20%20%20_cmax%20%3D%20_c.max()%0A%20%20%20%20_cmin%20%3D%20_c.min()%0A%20%20%20%20_C_norm%20%3D%20(np.log2(_cmax)%20-%20np.log2(_c))%20%2F%20(np.log2(_cmax)%20-%20np.log2(_cmin)%20%2B%201e-9)%0A%20%20%20%20_A_norm%20%3D%20_a%0A%20%20%20%20_beta%20%3D%20float(beta.value)%0A%20%20%20%20_score%20%3D%20(_A_norm%20*%20_C_norm)%20%2F%20(_beta%20*%20_A_norm%20%2B%20(1%20-%20_beta)%20*%20_C_norm%20%2B%201e-9)%0A%20%20%20%20_best%20%3D%20int(np.argmax(_score))%0A%20%20%20%20_best_router%20%3D%20%5B%22Cheap%22%2C%20%22Mid%22%2C%20%22Strong%22%2C%20%22Fallback%20to%20Strong%22%5D%5B_best%5D%0A%20%20%20%20_best_score%20%3D%20round(float(_score%5B_best%5D)%2C%203)%0A%20%20%20%20summary%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22**Arena%20score%20winner%3A**%20%7B_best_router%7D%20(%7B_best_score%7D)%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%CE%B2%3D%7B_beta%3A.2f%7D%20%7C%20strong%20model%20cost%3D%24%7Bfloat(cost_target.value)%3A.2f%7D%2F1K%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cost_target%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20Rerun%20regex%3A%20%5E(cost_target)%24%0A%20%20%20%20_paper_points%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22vLLM-SR%22%3A%20(0.87%2C%200.30%2C%2075.30%2C%20%22Claimed%20top-1%20Arena%20score%22)%2C%0A%20%20%20%20%20%20%20%20%22Sqwish%22%3A%20(0.81%2C%200.18%2C%2075.27%2C%20%22Cheapest%20top-3%22)%2C%0A%20%20%20%20%20%20%20%20%22Hybrid%22%3A%20(0.71%2C%200.04%2C%2072.08%2C%20%22Lowest%20evaluated%20cost%22)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20Synthetic%20router%20accuracy%20profiles%20under%20a%20chosen%20band%0A%20%20%20%20_a%20%3D%20np.array(%5B0.58%2C%200.74%2C%200.83%2C%200.79%5D)%0A%20%20%20%20_c%20%3D%20np.array(%5B0.28%2C%200.55%2C%20float(cost_target.value)%2C%20float(cost_target.value)%5D)%0A%0A%20%20%20%20_fig%2C%20(_ax_scatter%2C%20_ax_deferral)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10%2C%204.2))%0A%20%20%20%20%23%20Left%3A%20accuracy%20vs%20cost%20with%20paper%20claims%0A%20%20%20%20_ax_scatter.scatter(_c%2C%20_a%2C%20s%3D80%2C%20color%3D%22%232563eb%22%2C%20zorder%3D3)%0A%20%20%20%20for%20_i%2C%20_n%20in%20enumerate(%5B%22Cheap%22%2C%20%22Mid%22%2C%20%22Strong%22%2C%20%22Fallback%22%5D)%3A%0A%20%20%20%20%20%20%20%20_ax_scatter.annotate(_n%2C%20(_c%5B_i%5D%2C%20_a%5B_i%5D)%2C%20textcoords%3D%22offset%20points%22%2C%20xytext%3D(5%2C%205)%2C%20fontsize%3D9)%0A%20%20%20%20for%20_name%2C%20(_pa%2C%20_pc%2C%20_ps%2C%20_note)%20in%20_paper_points.items()%3A%0A%20%20%20%20%20%20%20%20_ax_scatter.scatter(_pc%2C%20_pa%2C%20s%3D100%2C%20color%3D%22%23dc2626%22%2C%20zorder%3D4)%0A%20%20%20%20%20%20%20%20_yoff%20%3D%20-12%20if%20_name%20!%3D%20%22Hybrid%22%20else%208%0A%20%20%20%20%20%20%20%20_ax_scatter.annotate(f%22%7B_name%7D%5Cn%7B_ps%7D%22%2C%20(_pc%2C%20_pa)%2C%20textcoords%3D%22offset%20points%22%2C%20xytext%3D(6%2C%20_yoff)%2C%20fontsize%3D8%2C%20color%3D%22%237f1d1d%22)%0A%20%20%20%20_ax_scatter.set_xlabel(%22Cost%20(%24%20%2F%201K)%22)%0A%20%20%20%20_ax_scatter.set_ylabel(%22Accuracy%22)%0A%20%20%20%20_ax_scatter.set_title(%22Accuracy%20vs%20Cost%22)%0A%20%20%20%20_ax_scatter.grid(True%2C%20alpha%3D0.35)%0A%0A%20%20%20%20%23%20Right%3A%20deferral-style%20accuracy-cost%20curves%0A%20%20%20%20_payoffs%20%3D%20np.linspace(0.0%2C%201.0%2C%20120)%0A%20%20%20%20_x%20%3D%201.0%20-%20_payoffs%0A%20%20%20%20_ax_deferral.plot(_x%2C%20np.clip(0.58%20%2B%200.42%20*%20_payoffs%2C%200%2C%201)%2C%20label%3D%22Cheap%20router%22%2C%20color%3D%22%2360a5fa%22)%0A%20%20%20%20_ax_deferral.plot(_x%2C%20np.clip(0.74%20%2B%200.26%20*%20_payoffs%2C%200%2C%201)%2C%20label%3D%22Mid%20router%22%2C%20color%3D%22%232563eb%22)%0A%20%20%20%20_ax_deferral.plot(_x%2C%20np.clip(0.83%20%2B%200.17%20*%20_payoffs%2C%200%2C%201)%2C%20label%3D%22Strong%20router%22%2C%20color%3D%22%231e40af%22)%0A%20%20%20%20_ax_deferral.axvline(0.65%2C%20color%3D%22%23dc2626%22%2C%20linestyle%3D%22--%22%2C%20alpha%3D0.7%2C%20label%3D%22%E2%89%88%20paper%20cluster%22)%0A%20%20%20%20_ax_deferral.set_xlabel(%22Normalized%20cost%22)%0A%20%20%20%20_ax_deferral.set_ylabel(%22Accuracy%22)%0A%20%20%20%20_ax_deferral.set_title(%22Deferral-style%20accuracy-cost%20curve%22)%0A%20%20%20%20_ax_deferral.legend(fontsize%3D8)%0A%20%20%20%20_ax_deferral.grid(True%2C%20alpha%3D0.35)%0A%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20router_plot%20%3D%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Notation%20reference%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Notation**%0A%0A%20%20%20%20-%20%24A_i%20%5Cin%20%5B0%2C1%5D%24%3A%20router%20accuracy%0A%20%20%20%20-%20%24c_i%20%3E%200%24%3A%20per-query%20dollar%20cost%0A%20%20%20%20-%20%24C_i%20%3D%20%5Cdfrac%7B%5Clog_2(c_%7B%5Cmax%7D)%20-%20%5Clog_2(c_i)%7D%7B%5Clog_2(c_%7B%5Cmax%7D)%20-%20%5Clog_2(c_%7B%5Cmin%7D)%7D%24%3A%20log-normalized%20cost%0A%20%20%20%20-%20%24S_%7Bi%2C%5Cbeta%7D%20%3D%20%5Cdfrac%7BA_i%20C_i%7D%7B%5Cbeta%20A_i%20%2B%20(1-%5Cbeta)%20C_i%7D%24%3A%20weighted%20Arena%20score%0A%0A%20%20%20%20Higher%20%24S%24%20%E2%86%92%20higher%20leaderboard%20rank.%20Higher%20%24%5Cbeta%24%20prizes%20accuracy%3B%20lower%20%24%5Cbeta%24%20prizes%20cost.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A