embodied-playground-suite-gap

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.23.16%22%2C%20%22numpy%22%2C%20%22matplotlib%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20_mo%0A%20%20%20%20_mo.md(r%22%22%22%23%20Embodied%20Playground%3A%20Planning%20vs.%20Fine%20Manipulation%20in%20Long-Horizon%20Robotics%0A%0A%20%20%20%20%5BEmbodied%20Playground%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2610.27039)%20(arXiv%3A2610.27039%2C%20Oct%202026)%0A%20%20%20%20evaluates%20how%20foundation-model%20agents%20sustain%20coordinated%20perception%2C%20reasoning%2C%20tool%20use%2C%0A%20%20%20%20and%20physical%20action%20across%20**interdependent%20task%20stages**%20%E2%80%94%20where%20early%20actions%20constrain%0A%20%20%20%20later%20decisions.%20EP-100%20selects%20100%20tasks%20across%20**5%20suites**%20(Launch%2C%20Tower%2C%20Lock%2C%20Cube%2C%0A%20%20%20%20Home)%20evaluated%20on%20two%20models.%0A%0A%20%20%20%20**Research%20question%3A**%20Why%20does%20**Opus-5.5-extra**%20(29.22%25%20Pass%401)%20outperform%0A%20%20%20%20**GPT-6-Astra**%20(13.80%25)%20%E2%80%94%20and%20where%20do%20*both*%20models%20fail%3F%0A%0A%20%20%20%20The%20answer%20lies%20in%20**suite%20specialization**%3A%20Opus-5.5-extra%20trails%20on%20Launch%20but%20leads%20on%0A%20%20%20%20the%20other%20four%20suites%2C%20with%20its%20edge%20*concentrated*%20in%20the%20two%20sequence-planning%20suites%0A%20%20%20%20(Tower%2C%20Lock).%20The%20slider%0A%20%20%20%20scales%20the%20planning%20suites'%20scores%20to%20reveal%20how%20much%20of%20the%20overall%20gap%20comes%20from%0A%20%20%20%20planning%20vs.%20the%20non-planning%20suites%20(Launch%2C%20Cube%2C%20Home).%0A%0A%20%20%20%20**Honest%20limits%3A**%20All%20values%20are%20**bundled%20published%20results**%20from%20the%20paper's%0A%20%20%20%20author-run%20evaluation%20(Oct%2019%2C%202026%20event%20date).%20No%20simulator%2C%20robot%20hardware%2C%20model%0A%20%20%20%20inference%2C%20or%20agent%20execution%20was%20performed.%20This%20is%20an%20analytical%20explorer%20of%20the%0A%20%20%20%20published%20scoring%20mechanism%2C%20not%20a%20reproduction%20of%20benchmark%20runs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20%23%20Bundled%20published%20results%20from%20Embodied%20Playground%20Tables%205-6%20(EP-100%2C%20Pass%401)%0A%20%20%20%20%23%20Source%3A%20arxiv.org%2Fabs%2F2610.27039%20(Oct%2019%2C%202026%20event%3B%20author-run%2C%20no%20replication)%0A%20%20%20%20SUITES%20%3D%20%5B%22Launch%22%2C%20%22Tower%22%2C%20%22Lock%22%2C%20%22Cube%22%2C%20%22Home%22%5D%0A%20%20%20%20ASTRA%20%3D%20np.array(%5B19.12%2C%2029.76%2C%206.25%2C%202.08%2C%2011.76%5D)%0A%20%20%20%20OPUS%20%3D%20np.array(%5B15.51%2C%2060.59%2C%2039.81%2C%206.04%2C%2024.17%5D)%0A%20%20%20%20PLANNING%20%3D%20np.array(%5BFalse%2C%20True%2C%20True%2C%20False%2C%20False%5D)%20%20%23%20Tower%20%2B%20Lock%0A%20%20%20%20%23%20EP-100%20task%20counts%20per%20suite%20(Table%202)%3A%20for%20annotation%20only.%0A%20%20%20%20EP100_TASKS%20%3D%20np.array(%5B34%2C%2021%2C%2016%2C%2012%2C%2017%5D)%20%20%23%20Launch%2C%20Tower%2C%20Lock%2C%20Cube%2C%20Home%0A%0A%20%20%20%20%23%20Planning-depth%20multiplier%3A%20scales%20the%20two%20sequence-planning%20suites%20(Tower%2C%20Lock)%0A%20%20%20%20planning_mult%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D2.0%2C%20step%3D0.05%2C%20value%3D1.0%2C%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Planning%20depth%20multiplier%20(Tower%20%2B%20Lock%20suites)%22%2C%0A%20%20%20%20)%0A%20%20%20%20planning_mult%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ASTRA%2C%0A%20%20%20%20%20%20%20%20EP100_TASKS%2C%0A%20%20%20%20%20%20%20%20OPUS%2C%0A%20%20%20%20%20%20%20%20PLANNING%2C%0A%20%20%20%20%20%20%20%20SUITES%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20planning_mult%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ASTRA%2C%20EP100_TASKS%2C%20OPUS%2C%20PLANNING%2C%20SUITES%2C%20mo%2C%20np%2C%20planning_mult%2C%20plt)%3A%0A%20%20%20%20m%20%3D%20planning_mult.value%0A%20%20%20%20_astra_adj%20%3D%20ASTRA.copy()%0A%20%20%20%20_opus_adj%20%3D%20OPUS.copy()%0A%20%20%20%20_astra_adj%5BPLANNING%5D%20*%3D%20m%0A%20%20%20%20_opus_adj%5BPLANNING%5D%20*%3D%20m%0A%20%20%20%20%23%20EP-100%20headline%20%3D%20unweighted%20mean%20of%20suite%20Pass%401%20rates%20(matches%20published)%0A%20%20%20%20_astra_avg%20%3D%20np.mean(_astra_adj)%0A%20%20%20%20_opus_avg%20%3D%20np.mean(_opus_adj)%0A%20%20%20%20_gap%20%3D%20abs(_opus_avg%20-%20_astra_avg)%0A%20%20%20%20%23%20Planning%20share%3A%20fraction%20of%20current%20gap%20attributable%20to%20non-zero%20planning%20suites%0A%20%20%20%20_astra_no_plan%20%3D%20ASTRA.copy()%3B%20_astra_no_plan%5BPLANNING%5D%20%3D%200%0A%20%20%20%20_opus_no_plan%20%3D%20OPUS.copy()%3B%20_opus_no_plan%5BPLANNING%5D%20%3D%200%0A%20%20%20%20_gap_at_0%20%3D%20abs(np.mean(_opus_no_plan)%20-%20np.mean(_astra_no_plan))%20%20%23%20gap%20with%20planning%20zeroed%0A%20%20%20%20_planning_share%20%3D%20(_gap%20-%20_gap_at_0)%20%2F%20_gap%20*%20100%20if%20_gap%20%3E%200.001%20else%200%0A%20%20%20%20_winner%20%3D%20%22Opus-5.5-extra%22%20if%20_opus_avg%20%3E%3D%20_astra_avg%20else%20%22GPT-6-Astra%22%0A%20%20%20%20_cube_astra%2C%20_cube_opus%20%3D%20ASTRA%5B3%5D%2C%20OPUS%5B3%5D%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(10%2C%205.5))%0A%20%20%20%20_x%20%3D%20np.arange(len(SUITES))%0A%20%20%20%20_width%20%3D%200.35%0A%20%20%20%20_bar_a%20%3D%20_ax.bar(_x%20-%20_width%2F2%2C%20_astra_adj%2C%20_width%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22GPT-6-Astra%22%2C%20color%3D%22%234285F4%22%2C%20edgecolor%3D%22black%22%2C%20linewidth%3D0.5)%0A%20%20%20%20_bar_b%20%3D%20_ax.bar(_x%20%2B%20_width%2F2%2C%20_opus_adj%2C%20_width%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Opus-5.5-extra%22%2C%20color%3D%22%23DC2626%22%2C%20edgecolor%3D%22black%22%2C%20linewidth%3D0.5)%0A%20%20%20%20%23%20Highlight%20planning%20suites%0A%20%20%20%20for%20_i%2C%20_is_plan%20in%20enumerate(PLANNING)%3A%0A%20%20%20%20%20%20%20%20if%20_is_plan%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.axvspan(_i%20-%200.5%2C%20_i%20%2B%200.5%2C%20alpha%3D0.08%2C%20color%3D%22gold%22)%0A%20%20%20%20for%20_bar%2C%20_val%20in%20zip(_bar_a%2C%20_astra_adj)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_bar.get_x()%20%2B%20_bar.get_width()%2F2%2C%20_val%20%2B%200.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_val%3A.1f%7D%25%22%2C%20ha%3D%22center%22%2C%20va%3D%22bottom%22%2C%20fontsize%3D8)%0A%20%20%20%20for%20_bar%2C%20_val%20in%20zip(_bar_b%2C%20_opus_adj)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_bar.get_x()%20%2B%20_bar.get_width()%2F2%2C%20_val%20%2B%200.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_val%3A.1f%7D%25%22%2C%20ha%3D%22center%22%2C%20va%3D%22bottom%22%2C%20fontsize%3D8)%0A%20%20%20%20_ax.axhline(y%3D_astra_avg%2C%20color%3D%22%234285F4%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.6%2C%20linewidth%3D1)%0A%20%20%20%20_ax.axhline(y%3D_opus_avg%2C%20color%3D%22%23DC2626%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.6%2C%20linewidth%3D1)%0A%20%20%20%20_ax.set_xticks(_x)%0A%20%20%20%20%23%20Annotate%20suite%20labels%20with%20EP-100%20task%20counts%0A%20%20%20%20_suite_labels%20%3D%20%5Bf%22%7B_s%7D%5Cn(%7B_n%7D%20tasks)%22%20for%20_s%2C%20_n%20in%20zip(SUITES%2C%20EP100_TASKS)%5D%0A%20%20%20%20_ax.set_xticklabels(_suite_labels%2C%20fontsize%3D8)%0A%20%20%20%20_ax.set_ylabel(%22Pass%401%20(%25)%22)%0A%20%20%20%20_ax.set_title(%22Embodied%20Playground%20EP-100%20%E2%80%94%20Suite-Level%20Pass%401%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(planning%20suites%20scaled%20by%20multiplier%3B%20gold%20%3D%20planning)%22)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20left%22%2C%20fontsize%3D8)%0A%20%20%20%20_ax.set_ylim(0%2C%2075)%0A%20%20%20%20_ax.spines%5B%22top%22%5D.set_visible(False)%0A%20%20%20%20_ax.spines%5B%22right%22%5D.set_visible(False)%0A%20%20%20%20plt.subplots_adjust(bottom%3D0.15%2C%20left%3D0.10%2C%20right%3D0.95%2C%20top%3D0.88)%0A%0A%20%20%20%20_op%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Winner%3A%20%7B_winner%7D%20%20%7C%20%20Score%20gap%3A%20%7B_gap%3A.1f%7D%20pts**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20%7C%20%20Astra%20avg%20%3D%20%7B_astra_avg%3A.1f%7D%25%20%20%7C%20%20Opus%20avg%20%3D%20%7B_opus_avg%3A.1f%7D%25%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20%7C%20%20Planning%20mult%20%3D%20%7Bm%3A.2f%7Dx%20%20%7C%20%20Planning%20share%20of%20gap%3A%20%7B_planning_share%3A.0f%7D%25%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%20%7C%20%20Cube%20(shared%20weakness)%3A%20Astra%20%7B_cube_astra%3A.1f%7D%25%20vs%20Opus%20%7B_cube_opus%3A.1f%7D%25%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%5D)%0A%20%20%20%20_op%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20_mo%0A%20%20%20%20_mo.md(r%22%22%22%23%23%23%20Takeaway%0A%0A%20%20%20%20**Planning%20is%20the%20amplifier%2C%20fine%20manipulation%20is%20the%20floor.**%20Opus-5.5-extra's%0A%20%20%20%20overall%20win%20(29.22%25%20vs%2013.80%25%20Pass%401)%20rests%20on%20**~83%25%20of%20the%20score%20gap**%20coming%20from%0A%20%20%20%20the%20two%20sequence-planning%20suites%20%E2%80%94%20Tower%20(60.59%25%20vs%2029.76%25)%20and%20Lock%20(39.81%25%20vs%206.25%25).%0A%20%20%20%20Even%20at%200x%20(planning%20removed)%2C%20Opus-5.5-extra%20still%20edges%20ahead%20on%20the%20remaining%20suites%0A%20%20%20%20(9.14%25%20vs%206.59%25)%2C%20because%20it%20is%20also%20better%20at%20Launch%20and%20Home%20%E2%80%94%20but%20the%20*amplification*%0A%20%20%20%20from%20planning%20is%20what%20creates%20the%20decisive%20margin.%0A%0A%20%20%20%20Both%20models%20**collapse%20on%20Cube**%20(fine%20manipulation)%2C%20scoring%202%E2%80%936%25%20%E2%80%94%20a%20shared%0A%20%20%20%20bottleneck%20that%20neither%20architecture%20solves%2C%20and%20a%20ceiling%20that%20limits%20both%20models%0A%20%20%20%20regardless%20of%20planning%20ability.%0A%0A%20%20%20%20**Source%3A**%20%5BEmbodied%20Playground%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2610.27039)%20(arXiv%3A2610.27039%2C%0A%20%20%20%20Feng%20Chen%20et%20al.%2C%20Oct%2019%2C%202026).%20EP-100%20headline%20and%20suite%20tables%20(Tables%205-6)%2C%20Pass%401%0A%20%20%20%20scores.%20Author-run%20evaluation%20with%20no%20third-party%20corroboration%20yet%3B%20models%20GPT-6-Astra%0A%20%20%20%20and%20Opus-5.5-extra%20verified%20from%20prior%20ticks.%20No%20simulator%2C%20robot%20hardware%2C%20model%0A%20%20%20%20inference%2C%20or%20agent%20execution%20was%20performed%20%E2%80%94%20this%20is%20an%20analytical%20explorer%20of%20the%0A%20%20%20%20published%20scoring%20mechanism.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A