2609.35806-sfia-extraction-baselines

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%3D%3D0.23.16%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.3%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.2.6%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20When%20is%20agentic%20RAG%20worth%20its%20latency%3F%0A%0A%20%20%20%20**Research%20question%3A**%20under%20a%20hard%20latency%20budget%20and%20a%20level-error%20ceiling%2C%0A%20%20%20%20which%20SFIA%20extraction%20strategy%20has%20the%20best%20published%20skill%20F1%3F%0A%0A%20%20%20%20Source%3A%20%5BRanuga%20et%20al.%2C%20arXiv%3A2609.35806v1%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2609.35806v1)%2C%0A%20%20%20%20Table%20I.%20The%20paper%20compares%20five%20ways%20to%20map%20text%20to%20SFIA%20**(skill%2C%20responsibility%0A%20%20%20%20level)**%20pairs.%20It%20reports%20that%20explicitly%20deciding%20the%20level%20improves%20ordinal%0A%20%20%20%20fidelity%2C%20while%20a%20three-agent%20crew%20doubles%20latency%20without%20improving%20F1.%0A%0A%20%20%20%20**Evidence%20boundary%3A**%20the%20five%20plotted%20points%20are%20published%20aggregate%20measurements%2C%0A%20%20%20%20not%20reruns.%20The%20feasibility%20filter%20and%20winner%20selection%20are%20analyst-authored%20decision%0A%20%20%20%20support.%20This%20app%20ships%20no%20SFIA%20descriptors%2C%20role%20data%2C%20model%2C%20API%20call%2C%20or%20author%20code.%0A%20%20%20%20F1%20is%20the%20paper's%20mean%20per-role%20F1%2C%20so%20it%20is%20not%20recomputed%20from%20the%20displayed%20P%2FR.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20latency_budget%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.0%2C%20350.0%2C%20value%3D10.0%2C%20step%3D10.0%2C%20label%3D%22Maximum%20latency%20(seconds%20per%20record)%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Deployment%20constraint%22)%2C%0A%20%20%20%20%20%20%20%20latency_budget%2C%0A%20%20%20%20%20%20%20%20mo.md(%22A%20method%20is%20feasible%20when%20its%20measured%20latency%20fits%20the%20budget%20and%20its%20published%20level%20MAE%20is%20at%20most%20**1.0**.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(latency_budget%2C)%0A%0A%0A%40app.cell%0Adef%20_(latency_budget%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_names%20%3D%20%5B%22BM25%22%2C%20%22Dense%20%2B%20rerank%22%2C%20%22Zero-shot%20LLM%22%2C%20%22Single-agent%20RAG%22%2C%20%22Three-agent%20crew%22%5D%0A%20%20%20%20_f1%20%3D%20np.array(%5B0.128%2C%200.232%2C%200.176%2C%200.213%2C%200.212%5D)%0A%20%20%20%20_mae%20%3D%20np.array(%5B0.94%2C%201.60%2C%200.74%2C%200.68%2C%201.16%5D)%0A%20%20%20%20_latency%20%3D%20np.array(%5B0.001%2C%206.17%2C%200.23%2C%20167.1%2C%20327.1%5D)%0A%20%20%20%20_budget%20%3D%20float(latency_budget.value)%0A%20%20%20%20_feasible%20%3D%20(_latency%20%3C%3D%20_budget)%20%26%20(_mae%20%3C%3D%201.0)%0A%20%20%20%20_count%20%3D%20int(_feasible.sum())%0A%20%20%20%20_winner%20%3D%20int(np.argmax(np.where(_feasible%2C%20_f1%2C%20-1.0)))%20if%20_count%20else%20None%0A%20%20%20%20_winner_text%20%3D%20f%22%7B_names%5B_winner%5D%7D%20(%7B_f1%5B_winner%5D%3A.3f%7D)%22%20if%20_winner%20is%20not%20None%20else%20%22none%22%0A%20%20%20%20_summary%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%23%23%20Operating%20point%3A%20budget%20%7B_budget%3A.0f%7D%20s%2Frecord%20%C2%B7%20%7B_count%7D%20feasible%20methods%20%C2%B7%20best%20F1%3A%20%7B_winner_text%7D.%22%0A%20%20%20%20)%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10.5%2C%204.2))%0A%20%20%20%20_colors%20%3D%20%5B%22%2318a999%22%20if%20_ok%20else%20%22%23cbd5e1%22%20for%20_ok%20in%20_feasible%5D%0A%20%20%20%20_ax1.scatter(_latency%2C%20_f1%2C%20s%3D110%2C%20c%3D_colors%2C%20edgecolor%3D%22%2316324f%22%2C%20linewidth%3D0.8)%0A%20%20%20%20for%20_i%2C%20_name%20in%20enumerate(_names)%3A%0A%20%20%20%20%20%20%20%20_ax1.annotate(_name%2C%20(_latency%5B_i%5D%2C%20_f1%5B_i%5D)%2C%20xytext%3D(4%2C%205)%2C%20textcoords%3D%22offset%20points%22%2C%20fontsize%3D7)%0A%20%20%20%20_ax1.axvline(max(_budget%2C%200.001)%2C%20color%3D%22%23e76f51%22%2C%20linestyle%3D%22--%22%2C%20label%3D%22latency%20budget%22)%0A%20%20%20%20_ax1.set_xscale(%22log%22)%0A%20%20%20%20_ax1.set_xlim(0.0005%2C%20700)%0A%20%20%20%20_ax1.set_ylim(0.10%2C%200.25)%0A%20%20%20%20_ax1.set_xlabel(%22published%20seconds%20%2F%20record%20(log%20scale)%22)%0A%20%20%20%20_ax1.set_ylabel(%22published%20macro%20F1%22)%0A%20%20%20%20_ax1.set_title(%22Accuracy%20versus%20latency%22)%0A%20%20%20%20_ax1.legend(fontsize%3D8)%0A%0A%20%20%20%20_y%20%3D%20np.arange(len(_names))%0A%20%20%20%20_ax2.barh(_y%2C%20_mae%2C%20color%3D_colors%2C%20edgecolor%3D%22%2316324f%22%2C%20linewidth%3D0.6)%0A%20%20%20%20_ax2.axvline(1.0%2C%20color%3D%22%23e76f51%22%2C%20linestyle%3D%22--%22%2C%20label%3D%22MAE%20ceiling%22)%0A%20%20%20%20_ax2.set_yticks(_y%2C%20_names%2C%20fontsize%3D8)%0A%20%20%20%20_ax2.invert_yaxis()%0A%20%20%20%20_ax2.set_xlim(0%2C%201.8)%0A%20%20%20%20_ax2.set_xlabel(%22published%20level%20MAE%20(lower%20is%20better)%22)%0A%20%20%20%20_ax2.set_title(%22Ordinal-level%20fidelity%22)%0A%20%20%20%20_ax2.legend(fontsize%3D8)%0A%20%20%20%20for%20_ax%20in%20(_ax1%2C%20_ax2)%3A%0A%20%20%20%20%20%20%20%20_ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20_summary%2C%0A%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%20%20%20%20mo.md(%22**Read%20it%3A**%20teal%20methods%20satisfy%20both%20constraints.%20At%20the%20default%2010-second%20budget%2C%20zero-shot%20wins%20the%20feasible%20set%3B%20a%20170-second-class%20budget%20admits%20single-agent%20RAG%2C%20whose%20measured%20F1%20is%20higher.%20The%20crew%20remains%20dominated%20here%3A%20lower%20F1%2C%20higher%20MAE%2C%20and%20almost%202x%20the%20single-agent%20latency.%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22**Limitations%3A**%2030%20one-sentence%20roles%3B%2031%25%20of%20gold%20pairs%20were%20outside%20SFIA%209%3B%20model%20selection%20and%20final%20evaluation%20reused%20the%20same%20roles%3B%20one%20run%20per%20configuration%3B%20level%20metrics%20use%20method-specific%20conditioned%20denominators.%20This%20frontier%20is%20descriptive%2C%20not%20a%20general%20cost%20estimate.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A