build-a-chip-bench-multiscoring

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.23.16%22%2C%20%22numpy%22%2C%20%22matplotlib%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20_mo%0A%20%20%20%20_mo.md(r%22%22%22%23%20Build-A-Chip-Bench%3A%20Multiplicative%20Scoring%20in%20Chip%20Design%0A%0A%20%20%20%20%5BBuild-A-Chip-Bench%5D(https%3A%2F%2Fchipagents.ai%2Fresearch%2Fbuild-a-chip-bench)%20is%20the%20first%0A%20%20%20%20end-to-end%20chip-design%20agent%20benchmark%20(12%20stages%3A%20workload%20spec%20through%20verified%20GDS).%0A%20%20%20%20It%20scores%20agents%20with%20a%20**multiplicative**%20formula%3A%0A%0A%20%20%20%20%3E%20Score%20%3D%20average%20of%20(Gate1%20x%20Gate2%20x%20PPA)%20across%20tasks%0A%0A%20%20%20%20Gate%201%20%3D%20functional%20correctness%20(hidden%20tests).%20Gate%202%20%3D%20GDS%20routability%20%2B%20timing%20%2B%20DRC.%0A%20%20%20%20PPA%20%3D%20power-performance-area%20quality%20vs%20constraints%20(0-100%25).%20**Fail%20either%20gate%20%3D%200.**%0A%0A%20%20%20%20**Research%20question%3A**%20Why%20does%20GPT-6%20Astra%20(higher%20pass%20rates%2085%25%2F85%25)%20score%20*lower*%0A%20%20%20%20than%20Claude%20Fable%205.1%20(lower%2065%25%2F75%25%20but%20PPA%2025.5%25%20vs%2010.2%25)%3F%20The%20slider%20shows%20how%0A%20%20%20%20much%20PPA%20Fable%205.1%20needs%20to%20keep%20its%20edge.%0A%0A%20%20%20%20**Honest%20limits%3A**%20All%20numbers%20are%20**bundled%20published%20results**%20(Oct%2014%2C%202026).%0A%20%20%20%20No%20chip-design%20hardware%2C%20models%2C%20or%20agent%20runs%20were%20executed.%20Analytical%20illustration%0A%20%20%20%20of%20the%20scoring%20mechanism%2C%20not%20a%20reproduction%20of%20benchmark%20runs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20%23%20Bundled%20published%20results%20from%20Build-A-Chip-Bench%20(Oct%2014%2C%202026)%0A%20%20%20%20%23%20Source%3A%20chipagents.ai%2Fresearch%2Fbuild-a-chip-bench%20(results%20table)%0A%20%20%20%20MODELS%20%3D%20%5B%22Fable%205.1%22%2C%20%22Astra%22%2C%20%22Gemini%203.8F%22%2C%20%22Kimi%20K3%22%2C%20%22GLM-5.3%22%5D%0A%20%20%20%20FUNC_PASS%20%3D%20np.array(%5B0.65%2C%200.85%2C%200.20%2C%200.25%2C%200.15%5D)%0A%20%20%20%20GDS_PASS%20%3D%20np.array(%5B0.75%2C%200.85%2C%200.45%2C%200.25%2C%200.05%5D)%0A%20%20%20%20PPA_PUB%20%3D%20np.array(%5B0.255%2C%200.102%2C%200.041%2C%200.013%2C%200.000%5D)%0A%20%20%20%20SCORES_PUB%20%3D%20np.array(%5B0.166%2C%200.087%2C%200.008%2C%200.002%2C%200.000%5D)%0A%0A%20%20%20%20%23%20Slider%20controls%20PPA%20quality%20for%20Fable%205.1%20(the%20winning%20model%20at%20paper%20values)%0A%20%20%20%20%23%20Breakeven%20vs%20Astra%20is%20at%20~15.1%25%20PPA%3B%20slider%20spans%200-30%25%20to%20bracket%20it%0A%20%20%20%20ppa_fable%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.00%2C%20stop%3D0.30%2C%20step%3D0.005%2C%20value%3D0.255%2C%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22PPA%20quality%3A%20Claude%20Fable%205.1%20(%25%20of%20constraint%20budget)%22%2C%0A%20%20%20%20)%0A%20%20%20%20ppa_fable%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20FUNC_PASS%2C%0A%20%20%20%20%20%20%20%20GDS_PASS%2C%0A%20%20%20%20%20%20%20%20MODELS%2C%0A%20%20%20%20%20%20%20%20PPA_PUB%2C%0A%20%20%20%20%20%20%20%20SCORES_PUB%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20ppa_fable%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20FUNC_PASS%2C%0A%20%20%20%20GDS_PASS%2C%0A%20%20%20%20MODELS%2C%0A%20%20%20%20PPA_PUB%2C%0A%20%20%20%20SCORES_PUB%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20ppa_fable%2C%0A)%3A%0A%20%20%20%20%23%20Adjust%20Fable%205.1%20PPA%20via%20slider%3B%20others%20stay%20at%20published%20values%0A%20%20%20%20_ppa%20%3D%20PPA_PUB.copy()%0A%20%20%20%20_ppa%5B0%5D%20%3D%20ppa_fable.value%0A%0A%20%20%20%20%23%20Multiplicative%20score%20%3D%20Gate1%20x%20Gate2%20x%20PPA%20(aggregate%20illustration)%0A%20%20%20%20_mult%20%3D%20FUNC_PASS%20*%20GDS_PASS%20*%20_ppa%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(10%2C%205.5))%0A%20%20%20%20_x%20%3D%20np.arange(len(MODELS))%0A%20%20%20%20_colors%20%3D%20%5B%22%232196F3%22%2C%20%22%234CAF50%22%2C%20%22%23FF9800%22%2C%20%22%239C27B0%22%2C%20%22%23F44336%22%5D%0A%0A%20%20%20%20_bars%20%3D%20_ax.bar(_x%2C%20_mult%20*%20100%2C%20color%3D_colors%2C%20edgecolor%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%20width%3D0.6)%0A%0A%20%20%20%20for%20_bar%2C%20_val%2C%20_pub%20in%20zip(_bars%2C%20_mult%2C%20SCORES_PUB)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_bar.get_x()%20%2B%20_bar.get_width()%20%2F%202%2C%20_val%20*%20100%20%2B%200.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%7B_val*100%3A.1f%7D%25%22%2C%20ha%3D%22center%22%2C%20va%3D%22bottom%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20if%20abs(_val%20-%20_pub)%20%3E%200.001%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.text(_bar.get_x()%20%2B%20_bar.get_width()%20%2F%202%2C%20_val%20*%20100%20-%200.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22pub%3A%20%7B_pub*100%3A.1f%7D%25%22%2C%20ha%3D%22center%22%2C%20va%3D%22top%22%2C%20fontsize%3D7%2C%20color%3D%22gray%22)%0A%0A%20%20%20%20if%20_ppa%5B0%5D%20!%3D%20PPA_PUB%5B0%5D%3A%0A%20%20%20%20%20%20%20%20_bars%5B0%5D.set_edgecolor(%22red%22)%0A%20%20%20%20%20%20%20%20_bars%5B0%5D.set_linewidth(2)%0A%0A%20%20%20%20%23%20Breakeven%20PPA%20for%20Fable%205.1%20vs%20Astra%20(Astra%20values%20fixed%20at%20paper)%0A%20%20%20%20_astras_score%20%3D%20FUNC_PASS%5B1%5D%20*%20GDS_PASS%5B1%5D%20*%20PPA_PUB%5B1%5D%20%20%23%200.0737%0A%20%20%20%20_breakeven%20%3D%20_astras_score%20%2F%20(FUNC_PASS%5B0%5D%20*%20GDS_PASS%5B0%5D)%20%20%23%20~0.151%0A%20%20%20%20_ax.axhline(y%3D_breakeven%20*%20100%2C%20color%3D%22gray%22%2C%20linestyle%3D%22--%22%2C%20alpha%3D0.5%2C%20linewidth%3D1)%0A%20%20%20%20_ax.text(0%2C%20_breakeven%20*%20100%20%2B%200.6%2C%20f%22Breakeven%20PPA%3A%20%7B_breakeven*100%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D8%2C%20color%3D%22gray%22%2C%20style%3D%22italic%22)%0A%0A%20%20%20%20for%20_i%2C%20_mdl%20in%20enumerate(MODELS)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%2C%20-2.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22G1%3A%7BFUNC_PASS%5B_i%5D*100%3A.0f%7D%25%20G2%3A%7BGDS_PASS%5B_i%5D*100%3A.0f%7D%25%20PPA%3A%7B_ppa%5B_i%5D*100%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20va%3D%22top%22%2C%20fontsize%3D7%2C%20color%3D_colors%5B_i%5D)%0A%0A%20%20%20%20_ax.set_xticks(_x)%0A%20%20%20%20_ax.set_xticklabels(MODELS%2C%20fontsize%3D9)%0A%20%20%20%20_ax.set_ylabel(%22Score%20%3D%20Gate1%20x%20Gate2%20x%20PPA%20(%25)%22)%0A%20%20%20%20_ax.set_title(%22Build-A-Chip-Bench%3A%20Multiplicative%20Scoring%20by%20Model%22)%0A%20%20%20%20_ax.set_ylim(0%2C%20max(_mult%20*%20100)%20*%201.25)%0A%20%20%20%20_ax.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20_ax.spines%5B%22right%22%5D.set_visible(False)%0A%20%20%20%20plt.subplots_adjust(bottom%3D0.20%2C%20left%3D0.08%2C%20right%3D0.95%2C%20top%3D0.90)%0A%0A%20%20%20%20_fable%20%3D%20_mult%5B0%5D%20*%20100%0A%20%20%20%20_astra%20%3D%20_mult%5B1%5D%20*%20100%0A%20%20%20%20_gap%20%3D%20abs(_fable%20-%20_astra)%0A%20%20%20%20_winner%20%3D%20%22Fable%205.1%22%20if%20_fable%20%3E%3D%20_astra%20else%20%22Astra%22%0A%0A%20%20%20%20_stats%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Winner%3A%20%7B_winner%7D%20%20%7C%20%20Score%20gap%3A%20%7B_gap%3A.1f%7D%20pts**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20%7C%20%20Fable%205.1%20%3D%20%7BFUNC_PASS%5B0%5D*100%3A.0f%7D%25%20x%20%7BGDS_PASS%5B0%5D*100%3A.0f%7D%25%20x%20%7Bppa_fable.value*100%3A.1f%7D%25%20%3D%20%7B_fable%3A.1f%7D%25%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20vs%20Astra%20%3D%20%7BFUNC_PASS%5B1%5D*100%3A.0f%7D%25%20x%20%7BGDS_PASS%5B1%5D*100%3A.0f%7D%25%20x%20%7BPPA_PUB%5B1%5D*100%3A.1f%7D%25%20%3D%20%7B_astra%3A.1f%7D%25%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20%7C%20%20Breakeven%20PPA%3A%20%7B_breakeven*100%3A.1f%7D%25%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%5D)%0A%20%20%20%20_stats%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20_mo%0A%20%20%20%20_mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Takeaway%0A%0A%20%20%20%20The%20multiplicative%20scoring%20makes%20**PPA%20the%20decisive%20factor**.%20GPT-6%20Astra%20clears%0A%20%20%20%20both%20gates%20at%2085%25%2C%20but%20Claude%20Fable%205.1%20wins%20because%20its%20**2.5x%20PPA%20advantage**%0A%20%20%20%20(25.5%25%20vs%2010.2%25)%20more%20than%20compensates%20for%20weaker%20gate%20pass%20rates.%20The%20breakeven%0A%20%20%20%20PPA%20for%20Fable%205.1%20is%20approximately%20**15.1%25**%20--%20below%20that%2C%20Astra's%20gate-passing%0A%20%20%20%20edge%20would%20dominate.%0A%0A%20%20%20%20The%20formula%20(Gate1%20x%20Gate2%20x%20PPA)%20enforces%20a%20**weakest-link**%20structure%3A%20any%0A%20%20%20%20single%20failed%20gate%20zeroes%20the%20score%20regardless%20of%20other%20factors.%20PPA%20is%20the%20only%0A%20%20%20%20continuous%20variable%20in%20an%20otherwise%20binary%20gating%20process%2C%20making%20it%0A%20%20%20%20disproportionately%20decisive.%0A%0A%20%20%20%20**Source%3A**%20%5BBuild-A-Chip-Bench%5D(https%3A%2F%2Fchipagents.ai%2Fresearch%2Fbuild-a-chip-bench)%2C%0A%20%20%20%20ChipAgents%20%2B%20NVIDIA%20(Oct%2014%2C%202026).%20Results%20cross-verified%20across%203%20independent%0A%20%20%20%20sources%20(ChipAgents%20T0%2C%20Yahoo%20Finance%20T1%2C%20explainx.ai%20T1).%20No%20code%2Fmodel%2Fdata%20release.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A