bandit-strategies

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Multi-Armed%20Bandits%3A%20Why%20Greedy%20Agents%20Fail%0A%0A%20%20%20%20A%20classic%20problem%20in%20decision%20theory%3A%20you%20face%20multiple%20options%20(%22arms%22)%20with%20unknown%20rewards.%20Each%20pull%20reveals%20a%20sample%20from%20that%20arm's%20reward%20distribution.%20The%20dilemma%3A%20**explore**%20to%20learn%20which%20arm%20is%20best%2C%20or%20**exploit**%20the%20arm%20you%20currently%20believe%20is%20best.%0A%0A%20%20%20%20This%20is%20the%20same%20trade-off%20every%20AI%20agent%20faces%20when%20choosing%20which%20skill%20to%20invoke%2C%20which%20data%20source%20to%20query%2C%20or%20which%20market%20to%20trade.%0A%20%20%20%20%22%22%22).callout()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20Setup%0A%0A%20%20%20%20We%20have%20%24K%24%20arms.%20Each%20arm%20%24k%24%20has%20a%20true%20mean%20reward%20%24%5Cmu_k%24%20drawn%20from%20a%20normal%20distribution.%20When%20you%20pull%20arm%20%24k%24%2C%20you%20observe%20%24%5Cmu_k%20%2B%20%5Cmathcal%7BN%7D(0%2C%201)%24.%0A%0A%20%20%20%20Three%20strategies%20compared%3A%0A%0A%20%20%20%20%7C%20Strategy%20%7C%20Rule%20%7C%0A%20%20%20%20%7C----------%7C------%7C%0A%20%20%20%20%7C%20**Greedy**%20%7C%20Always%20pull%20the%20arm%20with%20highest%20*sample%20mean*%20so%20far.%20No%20exploration.%20%7C%0A%20%20%20%20%7C%20**%24%5Cepsilon%24-Greedy**%20%7C%20With%20probability%20%24%5Cepsilon%24%2C%20explore%20randomly.%20With%20probability%20%241-%5Cepsilon%24%2C%20exploit%20the%20best%20sample%20mean.%20%7C%0A%20%20%20%20%7C%20**Thompson%20Sampling**%20%7C%20Maintain%20a%20posterior%20belief%20over%20each%20%24%5Cmu_k%24%2C%20then%20sample%20from%20that%20posterior%20and%20pull%20the%20arm%20with%20highest%20sampled%20value.%20%7C%0A%0A%20%20%20%20Thompson%20Sampling%20is%20Bayesian%3A%20it%20naturally%20balances%20exploration%20(arms%20with%20uncertain%20posteriors%20get%20a%20chance%20to%20win%20the%20sample)%20and%20exploitation%20(arms%20with%20high%20sample%20means%20are%20likely%20to%20win).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20n_arms_slider%20%3D%20mo.ui.slider(2%2C%2010%2C%20value%3D5%2C%20label%3D%22Number%20of%20arms%20(K)%22)%0A%20%20%20%20epsilon_slider%20%3D%20mo.ui.slider(0.0%2C%201.0%2C%20value%3D0.1%2C%20step%3D0.05%2C%20label%3D%22Epsilon%20(exploration%20rate)%22)%0A%20%20%20%20n_steps_slider%20%3D%20mo.ui.slider(100%2C%202000%2C%20value%3D500%2C%20step%3D100%2C%20label%3D%22Number%20of%20pulls%22)%0A%20%20%20%20n_runs_slider%20%3D%20mo.ui.slider(10%2C%20200%2C%20value%3D50%2C%20step%3D10%2C%20label%3D%22Monte%20Carlo%20runs%20(for%20smooth%20curves)%22)%0A%0A%20%20%20%20controls%20%3D%20mo.hstack(%5Bn_arms_slider%2C%20epsilon_slider%2C%20n_steps_slider%2C%20n_runs_slider%5D%2C%20wrap%3DTrue)%0A%20%20%20%20controls%0A%20%20%20%20return%20epsilon_slider%2C%20n_arms_slider%2C%20n_runs_slider%2C%20n_steps_slider%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np)%3A%0A%20%20%20%20def%20run_bandit_experiment(K%2C%20n_steps%2C%20epsilon%2C%20n_runs%2C%20strategy%3D%22epsilon-greedy%22)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Run%20n_runs%20independent%20bandit%20experiments%2C%20return%20cumulative%20regret.%22%22%22%0A%20%20%20%20%20%20%20%20regrets%20%3D%20np.zeros((n_runs%2C%20n_steps))%0A%20%20%20%20%20%20%20%20for%20run%20in%20range(n_runs)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20True%20means%20(unknown%20to%20agent)%0A%20%20%20%20%20%20%20%20%20%20%20%20true_means%20%3D%20np.random.normal(0%2C%201%2C%20K)%0A%20%20%20%20%20%20%20%20%20%20%20%20best_mean%20%3D%20true_means.max()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Agent's%20state%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%20%3D%20np.zeros(K)%0A%20%20%20%20%20%20%20%20%20%20%20%20sums%20%3D%20np.zeros(K)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%20in%20range(n_steps)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20strategy%20%3D%3D%20%22greedy%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Break%20ties%20randomly%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20q_values%20%3D%20np.where(counts%20%3E%200%2C%20sums%20%2F%20counts%2C%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_q%20%3D%20q_values.max()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20candidates%20%3D%20np.where(q_values%20%3D%3D%20max_q)%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arm%20%3D%20np.random.choice(candidates)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20strategy%20%3D%3D%20%22epsilon-greedy%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20np.random.random()%20%3C%20epsilon%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arm%20%3D%20np.random.randint(K)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20q_values%20%3D%20np.where(counts%20%3E%200%2C%20sums%20%2F%20counts%2C%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_q%20%3D%20q_values.max()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20candidates%20%3D%20np.where(q_values%20%3D%3D%20max_q)%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arm%20%3D%20np.random.choice(candidates)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20strategy%20%3D%3D%20%22thompson%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sample%20from%20posterior%3A%20N(mu_hat%2C%201%2F(n%2B1))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Prior%3A%20mu%20~%20N(0%2C%201)%2C%20likelihood%3A%20N(mu%2C%201)%2C%20so%20posterior%20precision%20%3D%20n%2B1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20samples%20%3D%20np.random.normal(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20loc%3Dnp.where(counts%20%3E%200%2C%20sums%20%2F%20counts%2C%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dnp.sqrt(1.0%20%2F%20(counts%20%2B%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arm%20%3D%20np.argmax(samples)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Pull%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20reward%20%3D%20np.random.normal(true_means%5Barm%5D%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20counts%5Barm%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sums%5Barm%5D%20%2B%3D%20reward%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20regrets%5Brun%2C%20t%5D%20%3D%20best_mean%20-%20true_means%5Barm%5D%0A%0A%20%20%20%20%20%20%20%20cumulative_regret%20%3D%20regrets.cumsum(axis%3D1)%0A%20%20%20%20%20%20%20%20return%20cumulative_regret.mean(axis%3D0)%2C%20cumulative_regret.std(axis%3D0)%0A%0A%20%20%20%20return%20(run_bandit_experiment%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20run_button%20%3D%20mo.ui.run_button(label%3D%22Run%20Experiment%22)%0A%20%20%20%20run_button%0A%20%20%20%20return%20(run_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20epsilon_slider%2C%0A%20%20%20%20n_arms_slider%2C%0A%20%20%20%20n_runs_slider%2C%0A%20%20%20%20n_steps_slider%2C%0A%20%20%20%20run_bandit_experiment%2C%0A%20%20%20%20run_button%2C%0A)%3A%0A%20%20%20%20K%20%3D%20n_arms_slider.value%0A%20%20%20%20n_steps%20%3D%20n_steps_slider.value%0A%20%20%20%20epsilon%20%3D%20epsilon_slider.value%0A%20%20%20%20n_runs%20%3D%20n_runs_slider.value%0A%0A%20%20%20%20if%20run_button.value%3A%0A%20%20%20%20%20%20%20%20greedy_mean%2C%20greedy_std%20%3D%20run_bandit_experiment(K%2C%20n_steps%2C%200%2C%20n_runs%2C%20%22greedy%22)%0A%20%20%20%20%20%20%20%20egreedy_mean%2C%20egreedy_std%20%3D%20run_bandit_experiment(K%2C%20n_steps%2C%20epsilon%2C%20n_runs%2C%20%22epsilon-greedy%22)%0A%20%20%20%20%20%20%20%20thompson_mean%2C%20thompson_std%20%3D%20run_bandit_experiment(K%2C%20n_steps%2C%200%2C%20n_runs%2C%20%22thompson%22)%0A%0A%20%20%20%20%20%20%20%20results%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22greedy%22%3A%20%7B%22mean%22%3A%20greedy_mean%2C%20%22std%22%3A%20greedy_std%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22epsilon%22%3A%20%7B%22mean%22%3A%20egreedy_mean%2C%20%22std%22%3A%20egreedy_std%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22thompson%22%3A%20%7B%22mean%22%3A%20thompson_mean%2C%20%22std%22%3A%20thompson_std%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20results%20%3D%20None%0A%20%20%20%20return%20n_steps%2C%20results%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20n_steps%2C%20np%2C%20plt%2C%20results)%3A%0A%20%20%20%20if%20results%20is%20None%3A%0A%20%20%20%20%20%20%20%20output%20%3D%20mo.md(%22Click%20**Run%20Experiment**%20above%20to%20see%20the%20comparison.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20fig%2C%20axes%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(12%2C%204.5))%0A%20%20%20%20%20%20%20%20steps%20%3D%20np.arange(1%2C%20n_steps%20%2B%201)%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%201%3A%20Cumulative%20Regret%0A%20%20%20%20%20%20%20%20ax%20%3D%20axes%5B0%5D%0A%20%20%20%20%20%20%20%20ax.plot(steps%2C%20results%5B%22greedy%22%5D%5B%22mean%22%5D%2C%20label%3D%22Greedy%22%2C%20color%3D%22%23EF4444%22%2C%20linewidth%3D2)%0A%20%20%20%20%20%20%20%20ax.fill_between(steps%2C%20results%5B%22greedy%22%5D%5B%22mean%22%5D%20-%20results%5B%22greedy%22%5D%5B%22std%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results%5B%22greedy%22%5D%5B%22mean%22%5D%20%2B%20results%5B%22greedy%22%5D%5B%22std%22%5D%2C%20alpha%3D0.15%2C%20color%3D%22%23EF4444%22)%0A%0A%20%20%20%20%20%20%20%20ax.plot(steps%2C%20results%5B%22epsilon%22%5D%5B%22mean%22%5D%2C%20label%3Df%22%24%5C%5Cepsilon%24-Greedy%22%2C%20color%3D%22%23F59E0B%22%2C%20linewidth%3D2)%0A%20%20%20%20%20%20%20%20ax.fill_between(steps%2C%20results%5B%22epsilon%22%5D%5B%22mean%22%5D%20-%20results%5B%22epsilon%22%5D%5B%22std%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results%5B%22epsilon%22%5D%5B%22mean%22%5D%20%2B%20results%5B%22epsilon%22%5D%5B%22std%22%5D%2C%20alpha%3D0.15%2C%20color%3D%22%23F59E0B%22)%0A%0A%20%20%20%20%20%20%20%20ax.plot(steps%2C%20results%5B%22thompson%22%5D%5B%22mean%22%5D%2C%20label%3D%22Thompson%20Sampling%22%2C%20color%3D%22%2334D399%22%2C%20linewidth%3D2)%0A%20%20%20%20%20%20%20%20ax.fill_between(steps%2C%20results%5B%22thompson%22%5D%5B%22mean%22%5D%20-%20results%5B%22thompson%22%5D%5B%22std%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results%5B%22thompson%22%5D%5B%22mean%22%5D%20%2B%20results%5B%22thompson%22%5D%5B%22std%22%5D%2C%20alpha%3D0.15%2C%20color%3D%22%2334D399%22)%0A%0A%20%20%20%20%20%20%20%20ax.set_xlabel(%22Number%20of%20pulls%22)%0A%20%20%20%20%20%20%20%20ax.set_ylabel(%22Cumulative%20Regret%22)%0A%20%20%20%20%20%20%20%20ax.set_title(%22Cumulative%20Regret%20Over%20Time%22)%0A%20%20%20%20%20%20%20%20ax.legend(loc%3D%22upper%20left%22)%0A%20%20%20%20%20%20%20%20ax.grid(True%2C%20alpha%3D0.2)%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%202%3A%20Instant%20regret%20(last%20100%20steps)%0A%20%20%20%20%20%20%20%20ax%20%3D%20axes%5B1%5D%0A%20%20%20%20%20%20%20%20window%20%3D%20min(100%2C%20n_steps)%0A%20%20%20%20%20%20%20%20window_slice%20%3D%20slice(-window%2C%20None)%0A%0A%20%20%20%20%20%20%20%20strategies%20%3D%20%5B%22Greedy%22%2C%20%22%24%5C%5Cepsilon%24-Greedy%22%2C%20%22Thompson%22%5D%0A%20%20%20%20%20%20%20%20means%20%3D%20%5Bresults%5B%22greedy%22%5D%5B%22mean%22%5D%5Bwindow_slice%5D.mean()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results%5B%22epsilon%22%5D%5B%22mean%22%5D%5Bwindow_slice%5D.mean()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results%5B%22thompson%22%5D%5B%22mean%22%5D%5Bwindow_slice%5D.mean()%5D%0A%20%20%20%20%20%20%20%20colors%20%3D%20%5B%22%23EF4444%22%2C%20%22%23F59E0B%22%2C%20%22%2334D399%22%5D%0A%0A%20%20%20%20%20%20%20%20bars%20%3D%20ax.bar(strategies%2C%20means%2C%20color%3Dcolors%2C%20edgecolor%3D%22white%22%2C%20linewidth%3D0.5)%0A%20%20%20%20%20%20%20%20ax.set_ylabel(f%22Avg%20Regret%20(last%20%7Bwindow%7D%20pulls)%22)%0A%20%20%20%20%20%20%20%20ax.set_title(%22Exploitation%20Quality%22)%0A%20%20%20%20%20%20%20%20ax.grid(True%2C%20alpha%3D0.2%2C%20axis%3D%22y%22)%0A%0A%20%20%20%20%20%20%20%20fig.tight_layout()%0A%20%20%20%20%20%20%20%20plot_output%20%3D%20fig%0A%20%20%20%20plot_output%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20n_steps%2C%20results)%3A%0A%20%20%20%20if%20results%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20final_greedy%20%3D%20results%5B%22greedy%22%5D%5B%22mean%22%5D%5B-1%5D%0A%20%20%20%20%20%20%20%20final_epsilon%20%3D%20results%5B%22epsilon%22%5D%5B%22mean%22%5D%5B-1%5D%0A%20%20%20%20%20%20%20%20final_thompson%20%3D%20results%5B%22thompson%22%5D%5B%22mean%22%5D%5B-1%5D%0A%0A%20%20%20%20%20%20%20%20improvement%20%3D%20(final_greedy%20-%20final_thompson)%20%2F%20final_greedy%20*%20100%20if%20final_greedy%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20results_output%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Results%0A%0A%20%20%20%20%20%20%20%20After%20**%7Bn_steps%7D%20pulls**%3A%0A%0A%20%20%20%20%20%20%20%20%7C%20Strategy%20%7C%20Final%20Cumulative%20Regret%20%7C%0A%20%20%20%20%20%20%20%20%7C----------%7C------------------------%7C%0A%20%20%20%20%20%20%20%20%7C%20Greedy%20%7C%20%7Bfinal_greedy%3A.1f%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%24%5C%5Cepsilon%24-Greedy%20%7C%20%7Bfinal_epsilon%3A.1f%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Thompson%20Sampling%20%7C%20%7Bfinal_thompson%3A.1f%7D%20%7C%0A%0A%20%20%20%20%20%20%20%20Thompson%20Sampling%20achieves%20**%7Bimprovement%3A.0f%7D%25%20lower%20regret**%20than%20Greedy.%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20results_output%20%3D%20mo.md(%22%22)%0A%20%20%20%20results_output%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20Lesson%20for%20Agent%20Design%0A%0A%20%20%20%20Greedy%20agents%20get%20stuck%20in%20local%20optima.%20They%20find%20the%20first%20arm%20that%20looks%20good%20and%20never%20question%20it%20again.%20In%20a%20multi-agent%20swarm%2C%20this%20is%20death%20--%20the%20agent%20that%20always%20routes%20to%20the%20same%20specialist%2C%20the%20trader%20that%20always%20bets%20the%20same%20market%2C%20the%20researcher%20that%20always%20queries%20the%20same%20source.%0A%0A%20%20%20%20%24%5C%5Cepsilon%24-Greedy%20is%20the%20%22spray%20and%20pray%22%20approach%3A%20explore%20randomly%2C%20sometimes%20get%20lucky.%20It%20works%20but%20is%20inefficient.%20Most%20random%20exploration%20hits%20bad%20arms.%0A%0A%20%20%20%20Thompson%20Sampling%20is%20smarter%3A%20it%20explores%20*structured%20uncertainty*.%20An%20arm%20with%20few%20pulls%20has%20high%20variance%20in%20its%20posterior%2C%20so%20it%20occasionally%20wins%20the%20sample%20and%20gets%20tested.%20An%20arm%20with%20many%20pulls%20and%20a%20high%20mean%20is%20hard%20to%20dethrone.%20The%20exploration%20is%20naturally%20calibrated%20to%20information%20gain.%0A%0A%20%20%20%20For%20Edgeless%3A%20this%20is%20why%20our%20agents%20maintain%20confidence%20scores%2C%20run%20A%2FB%20tests%20on%20routing%20decisions%2C%20and%20periodically%20sample%20%22unproven%22%20skills.%20The%20swarm%20doesn't%20just%20exploit%20what%20works%20--%20it%20maintains%20a%20posterior%20over%20what%20*might*%20work%20better.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A