contextforge-budget-tradeoffs

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20plt.set_loglevel(%22warning%22)%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20ContextForge%3A%20Context%20Budget%20vs%20Full%20Replay%0A%0A%20%20%20%20**Paper**%20%7C%20ContextForge%3A%20Context%20Recycling%20for%20Long-Horizon%20LLM%20Inference%0A%20%20%20%20**Paper%20ID**%20%7C%20arXiv%202606.26105%20(June%202026)%0A%0A%20%20%20%20%23%23%20Story%0A%20%20%20%20Long-horizon%20agent%20tasks%20often%20degrade%20because%20naive%20replay%20keeps%20stuffing%20the%20active%20context%20with%20everything%20seen%20so%20far.%20This%20demo%20compares%20two%20regimes%20on%20a%20synthetic%20multi-turn%20task%3A%0A%0A%20%20%20%20%7C%20Regime%20%7C%20What%20grows%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20Naive%20replay%20%7C%20Every%20retrieved%20token%20from%20every%20turn%20%7C%0A%20%20%20%20%7C%20ContextForge%20%7C%20Active%20context%20stays%20bounded%20by%20a%20fixed%20budget%20B%20%7C%0A%0A%20%20%20%20The%20goal%20is%20not%20to%20reproduce%20the%20paper's%20benchmark%2C%20but%20to%20make%20the%20budget-vs-replay%20cost%20tradeoff%20tangible.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20_scenario_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%2215-turn%20healthcare%20benchmark%22%3A%2015%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%2210-turn%20engineering%20memory%22%3A%2010%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%2220-turn%20long%20horizon%22%3A%2020%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2215-turn%20healthcare%20benchmark%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Scenario%22%2C%0A%20%20%20%20)%0A%20%20%20%20_budget_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20step%3D200%2C%20start%3D800%2C%20stop%3D8000%2C%20value%3D3200%2C%20label%3D%22Active%20context%20budget%20B%20(tokens)%22%0A%20%20%20%20)%0A%20%20%20%20_noise_toggle%20%3D%20mo.ui.toggle(value%3DFalse%2C%20label%3D%22Simulate%20retrieval%20noise%22)%0A%20%20%20%20_scenario_dropdown%2C%20_budget_slider%2C%20_noise_toggle%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt)%3A%0A%20%20%20%20_turns%20%3D%20_scenario_dropdown.value%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(0)%0A%20%20%20%20_relevant_per_turn%20%3D%20_rng.integers(12%2C%2018%2C%20size%3D_turns)%0A%20%20%20%20_baseline_tokens%20%3D%20np.cumsum(_relevant_per_turn)%20*%2012%0A%20%20%20%20_forge_tokens%20%3D%20np.full(_turns%2C%20float(_budget_slider.value)%20%2B%2010%20*%2012)%0A%0A%20%20%20%20_base_accuracy%20%3D%20np.full(_turns%2C%200.88)%0A%0A%20%20%20%20if%20_noise_toggle.value%3A%0A%20%20%20%20%20%20%20%20_rng2%20%3D%20np.random.default_rng(7)%0A%20%20%20%20%20%20%20%20_baseline_accuracy%20%3D%20np.clip(%0A%20%20%20%20%20%20%20%20%20%20%20%200.88%20-%200.004%20*%20np.arange(_turns)%20%2B%200.008%20*%20_rng2.standard_normal(_turns)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%200.45%2C%0A%20%20%20%20%20%20%20%20%20%20%20%200.95%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_forge_accuracy%20%3D%20np.clip(%0A%20%20%20%20%20%20%20%20%20%20%20%200.88%20-%200.001%20*%20np.arange(_turns)%20-%200.004%20*%20_rng2.standard_normal(_turns)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%200.55%2C%0A%20%20%20%20%20%20%20%20%20%20%20%200.95%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_baseline_accuracy%20%3D%20np.clip(0.88%20-%200.003%20*%20np.arange(_turns)%2C%200.65%2C%200.95)%0A%20%20%20%20%20%20%20%20_forge_accuracy%20%3D%20np.clip(0.88%20-%200.0008%20*%20np.arange(_turns)%2C%200.75%2C%200.95)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203.2))%0A%20%20%20%20_ax.plot(_baseline_tokens%2C%20_baseline_accuracy%2C%20marker%3D%22o%22%2C%20label%3D%22Naive%20replay%22)%0A%20%20%20%20_ax.plot(_forge_tokens%2C%20_forge_accuracy%2C%20marker%3D%22o%22%2C%20label%3D%22ContextForge%20budget%22)%0A%20%20%20%20_ax.set_xlabel(%22Active%20context%20tokens%20at%20turn%20t%22)%0A%20%20%20%20_ax.set_ylabel(%22Answer%20accuracy%22)%0A%20%20%20%20_ax.set_title(%22Accuracy%20vs%20active%20context%20size%22)%0A%20%20%20%20_ax.grid(True%2C%20alpha%3D0.25)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20_turns%20%3D%20_scenario_dropdown.value%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(0)%0A%20%20%20%20_relevant_per_turn%20%3D%20_rng.integers(12%2C%2018%2C%20size%3D_turns)%0A%20%20%20%20_baseline_tokens%20%3D%20np.cumsum(_relevant_per_turn)%20*%2012%0A%20%20%20%20_forge_tokens%20%3D%20np.full(_turns%2C%20float(_budget_slider.value)%20%2B%2010%20*%2012)%0A%20%20%20%20_tokens_saved%20%3D%20_baseline_tokens%20-%20_forge_tokens%0A%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_idx%20in%20range(_turns)%3A%0A%20%20%20%20%20%20%20%20_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22turn%22%3A%20_idx%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22baseline_tokens%22%3A%20int(_baseline_tokens%5B_idx%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22forge_tokens%22%3A%20int(_forge_tokens%5B_idx%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tokens_saved%22%3A%20int(_tokens_saved%5B_idx%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_table_df%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22turn%22%3A%20%5B_r%5B%22turn%22%5D%20for%20_r%20in%20_rows%5D%2C%0A%20%20%20%20%20%20%20%20%22baseline_tokens%22%3A%20%5B_r%5B%22baseline_tokens%22%5D%20for%20_r%20in%20_rows%5D%2C%0A%20%20%20%20%20%20%20%20%22forge_tokens%22%3A%20%5B_r%5B%22forge_tokens%22%5D%20for%20_r%20in%20_rows%5D%2C%0A%20%20%20%20%20%20%20%20%22tokens_saved%22%3A%20%5B_r%5B%22tokens_saved%22%5D%20for%20_r%20in%20_rows%5D%2C%0A%20%20%20%20%7D%0A%20%20%20%20_table_df%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt)%3A%0A%20%20%20%20_turns%20%3D%20_scenario_dropdown.value%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(0)%0A%20%20%20%20_relevant_per_turn%20%3D%20_rng.integers(12%2C%2018%2C%20size%3D_turns)%0A%20%20%20%20_per_token_cost%20%3D%200.00018%0A%20%20%20%20_overhead_per_turn%20%3D%2010%20*%2012%20*%20_per_token_cost%0A%0A%20%20%20%20_baseline_cum_cost%20%3D%20np.cumsum(np.cumsum(_relevant_per_turn)%20*%2012%20*%20_per_token_cost)%0A%20%20%20%20_forge_cost%20%3D%20np.full(_turns%2C%20float(_budget_slider.value)%20*%20_per_token_cost%20%2B%20_overhead_per_turn)%0A%20%20%20%20_savings%20%3D%20np.maximum(_baseline_cum_cost%20-%20_forge_cost%2C%200)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203.2))%0A%20%20%20%20_ax.fill_between(np.arange(1%2C%20_turns%20%2B%201)%2C%200%2C%20_savings%2C%20alpha%3D0.15%2C%20label%3D%22Saved%20spend%20vs%20baseline%22)%0A%20%20%20%20_ax.plot(np.arange(1%2C%20_turns%20%2B%201)%2C%20_savings%2C%20marker%3D%22o%22%2C%20label%3D%22Budget%20delta%22)%0A%20%20%20%20_ax.set_xlabel(%22Turn%22)%0A%20%20%20%20_ax.set_ylabel(%22Cost%20savings%20(USD%20proxy)%22)%0A%20%20%20%20_ax.set_title(%22Escalating%20baseline%20cost%20minus%20fixed%20budget%20cost%22)%0A%20%20%20%20_ax.grid(True%2C%20alpha%3D0.25)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Reading%20the%20charts%0A%20%20%20%20-%20Left%20chart%3A%20accuracy%20vs%20active%20context%20size.%0A%20%20%20%20%20%20Naive%20replay%20keeps%20getting%20larger%3B%20ContextForge%20holds%20a%20fixed%20budget%20plus%20small%20per-turn%20retrieval%20overhead.%0A%20%20%20%20%20%20Whether%20accuracy%20holds%20up%20depends%20on%20retrieval%20precision%20and%20noise.%0A%20%20%20%20-%20Middle%20table%3A%20estimated%20token%20counts%20by%20turn%2C%20useful%20for%20estimating%20a%20feasible%20B%20on%20representative%20hardware.%0A%20%20%20%20-%20Right%20chart%3A%20reuse%20value%20grows%20with%20turn%20count%20because%20baseline%20replay%20cost%20grows%20linearly%2C%20while%20the%20budget%20path%20stays%20flat.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A