2608.05245-search2skill

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%22marimo%3D%3D0.23.16%22%2C%0A%23%20%20%20%22matplotlib%3E%3D3.9%2C%3C4%22%2C%0A%23%20%20%20%22numpy%3E%3D2.0%2C%3C3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Search2Skill%3A%20when%20abstraction%20starts%20compounding%0A%0A%20%20%20%20%5BSearch2Skill%20(arXiv%3A2608.05245)%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2608.05245)%0A%20%20%20%20trains%20an%20agent%20to%20decide%20**when%20to%20search**%2C%20**how%20to%20search**%2C%20and%20**how%20to%0A%20%20%20%20distill%20evidence%20into%20reusable%20skills**.%20The%20paper%20reports%20%2B8.3%2F%2B9.3%20points%0A%20%20%20%20over%20direct%20inference%20in%20streaming%20evaluation%20(4B%2F8B)%2C%20and%20a%204.5-point%20edge%0A%20%20%20%20for%20abstracted%20skills%20over%20cached%20raw%20evidence.%0A%0A%20%20%20%20This%20app%20asks%20one%20narrow%20question%3A%20**why%20can%20a%20reusable%20skill%20improve%20more%20as%0A%20%20%20%20the%20task%20stream%20grows%2C%20while%20per-instance%20evidence%20cannot%20compound%3F**%20It%20is%20a%0A%20%20%20%20seeded%20synthetic%20mechanism%20illustration%2C%20not%20a%20rerun%20of%20the%20paper's%20models%2C%0A%20%20%20%20web%20searches%2C%20reinforcement%20learning%2C%20or%20benchmarks.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20stream_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20100%2C%20600%2C%20value%3D100%2C%20step%3D50%2C%20label%3D%22Tasks%20observed%20in%20the%20stream%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Shared-stream%20experiment%22)%2C%0A%20%20%20%20%20%20%20%20stream_size%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22All%20policies%20see%20the%20same%20seeded%20tasks.%20Direct%20inference%20never%20searches%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22raw%20evidence%20helps%20one%20task%3B%20distilled%20skills%20persist%20by%20domain.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(stream_size%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt%2C%20stream_size)%3A%0A%20%20%20%20_max_n%2C%20_domains%20%3D%20600%2C%2010%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(5245)%0A%20%20%20%20_domain%20%3D%20_rng.integers(0%2C%20_domains%2C%20_max_n)%0A%20%20%20%20_gap%20%3D%20_rng.random(_max_n)%20%3C%200.50%0A%20%20%20%20_search%20%3D%20np.where(%0A%20%20%20%20%20%20%20%20_gap%2C%20_rng.random(_max_n)%20%3C%200.75%2C%20_rng.random(_max_n)%20%3C%200.25%0A%20%20%20%20)%0A%20%20%20%20_direct_draw%20%3D%20_rng.random(_max_n)%0A%20%20%20%20_raw_draw%20%3D%20_rng.random(_max_n)%0A%20%20%20%20_skill_draw%20%3D%20_rng.random(_max_n)%0A%20%20%20%20_acquire_draw%20%3D%20_rng.random(_max_n)%0A%20%20%20%20_base%20%3D%20np.where(_gap%2C%200.25%2C%200.75)%0A%0A%20%20%20%20_direct%20%3D%20_direct_draw%20%3C%20_base%0A%20%20%20%20_raw%20%3D%20_raw_draw%20%3C%20np.minimum(0.95%2C%20_base%20%2B%200.20%20*%20_search)%0A%20%20%20%20_skills%20%3D%20np.zeros(_domains%2C%20dtype%3Dbool)%0A%20%20%20%20_skill%20%3D%20np.zeros(_max_n%2C%20dtype%3Dbool)%0A%20%20%20%20_coverage%20%3D%20np.zeros(_max_n)%0A%20%20%20%20for%20_i%20in%20range(_max_n)%3A%0A%20%20%20%20%20%20%20%20_d%20%3D%20_domain%5B_i%5D%0A%20%20%20%20%20%20%20%20if%20_skills%5B_d%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_p%20%3D%20min(0.95%2C%20_base%5B_i%5D%20%2B%200.45)%0A%20%20%20%20%20%20%20%20elif%20_search%5B_i%5D%20and%20_acquire_draw%5B_i%5D%20%3C%200.70%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_skills%5B_d%5D%20%3D%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20_p%20%3D%20min(0.95%2C%20_base%5B_i%5D%20%2B%200.45)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_p%20%3D%20_base%5B_i%5D%0A%20%20%20%20%20%20%20%20_skill%5B_i%5D%20%3D%20_skill_draw%5B_i%5D%20%3C%20_p%0A%20%20%20%20%20%20%20%20_coverage%5B_i%5D%20%3D%20_skills.mean()%0A%0A%20%20%20%20_n%20%3D%20int(stream_size.value)%0A%20%20%20%20_x%20%3D%20np.arange(1%2C%20_n%20%2B%201)%0A%20%20%20%20_curves%20%3D%20%5B%0A%20%20%20%20%20%20%20%20np.cumsum(_direct%5B%3A_n%5D)%20%2F%20_x%2C%0A%20%20%20%20%20%20%20%20np.cumsum(_raw%5B%3A_n%5D)%20%2F%20_x%2C%0A%20%20%20%20%20%20%20%20np.cumsum(_skill%5B%3A_n%5D)%20%2F%20_x%2C%0A%20%20%20%20%5D%0A%20%20%20%20_names%20%3D%20%5B%22Direct%22%2C%20%22Raw%20evidence%22%2C%20%22Distilled%20skill%22%5D%0A%20%20%20%20_colors%20%3D%20%5B%22%2364748b%22%2C%20%22%23d97706%22%2C%20%22%232563eb%22%5D%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11.2%2C%204.2))%0A%20%20%20%20for%20_curve%2C%20_name%2C%20_color%20in%20zip(_curves%2C%20_names%2C%20_colors)%3A%0A%20%20%20%20%20%20%20%20_ax1.plot(_x%2C%20100%20*%20_curve%2C%20lw%3D2.2%2C%20label%3D_name%2C%20color%3D_color)%0A%20%20%20%20_ax1.set(xlabel%3D%22Tasks%20observed%22%2C%20ylabel%3D%22Cumulative%20accuracy%20(%25)%22%2C%20ylim%3D(30%2C%2095))%0A%20%20%20%20_ax1.set_title(%22Persistence%20compounds%20across%20related%20tasks%22)%0A%20%20%20%20_ax1.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20_ax1.grid(alpha%3D0.2)%0A%20%20%20%20_ax2.plot(_x%2C%20100%20*%20_coverage%5B%3A_n%5D%2C%20color%3D%22%230f766e%22%2C%20lw%3D2.5)%0A%20%20%20%20_ax2.fill_between(_x%2C%200%2C%20100%20*%20_coverage%5B%3A_n%5D%2C%20color%3D%22%235eead4%22%2C%20alpha%3D0.25)%0A%20%20%20%20_ax2.set(xlabel%3D%22Tasks%20observed%22%2C%20ylabel%3D%22Domain%20skill%20coverage%20(%25)%22%2C%20ylim%3D(0%2C%20105))%0A%20%20%20%20_ax2.set_title(%22Reusable%20library%20accumulates%22)%0A%20%20%20%20_ax2.grid(alpha%3D0.2)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20_direct_acc%2C%20_raw_acc%2C%20_skill_acc%20%3D%20(_curve%5B-1%5D%20for%20_curve%20in%20_curves)%0A%20%20%20%20_summary%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%23%20Operating%20point%3A%20%7B_n%7D%20tasks%20observed%0A%0A%20%20%20%20%7C%20policy%20%7C%20cumulative%20accuracy%20%7C%0A%20%20%20%20%7C---%7C---%3A%7C%0A%20%20%20%20%7C%20direct%20inference%20%7C%20**%7B100%20*%20_direct_acc%3A.1f%7D%25**%20%7C%0A%20%20%20%20%7C%20raw%20evidence%20cache%20%7C%20**%7B100%20*%20_raw_acc%3A.1f%7D%25**%20%7C%0A%20%20%20%20%7C%20distilled%20skill%20library%20%7C%20**%7B100%20*%20_skill_acc%3A.1f%7D%25**%20%7C%0A%0A%20%20%20%20**Illustrated%20abstraction%20edge%3A**%20%7B100%20*%20(_skill_acc%20-%20_raw_acc)%3A.1f%7D%20points.%0A%20%20%20%20Skill%20coverage%20is%20%7B100%20*%20_coverage%5B_n%20-%201%5D%3A.0f%7D%25%20of%20synthetic%20domains.%0A%20%20%20%20These%20values%20are%20simulation%20outputs%2C%20not%20paper%20measurements.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.vstack(%5B_summary%2C%20_fig%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Operator%20takeaway%0A%0A%20%20%20%201.%20**Cache%20and%20skill%20are%20different%20storage%20units.**%20A%20cached%20snippet%20can%20patch%0A%20%20%20%20%20%20%20one%20answer%3B%20an%20abstract%20procedure%20can%20be%20reused%20on%20later%20related%20tasks.%0A%20%20%20%202.%20**The%20paper's%204.5-point%20result%20is%20quoted%2C%20not%20regenerated.**%20This%20synthetic%0A%20%20%20%20%20%20%20stream%20demonstrates%20the%20proposed%20persistence%20mechanism%2C%20not%20its%20magnitude.%0A%20%20%20%203.%20**Deployment%20still%20needs%20gates.**%20Search%20necessity%2C%20source%20quality%2C%0A%20%20%20%20%20%20%20grounding%2C%20reuse%2C%20and%20final-answer%20correctness%20require%20separate%20checks.%0A%0A%20%20%20%20A%20growing%20library%20helps%20only%20when%20the%20artifact%20is%20faithful%20and%20reusable.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A