Bandit Decision Canvas

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22Bandit%20Decision%20Canvas%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20wigglystuff%20import%20Excalidraw%0A%0A%20%20%20%20return%20Excalidraw%2C%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np)%3A%0A%20%20%20%20np.random.seed(123)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20n_arms%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D6%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22Number%20of%20Arms%22)%0A%20%20%20%20n_steps%20%3D%20mo.ui.slider(start%3D20%2C%20stop%3D200%2C%20step%3D10%2C%20value%3D80%2C%20label%3D%22Time%20Steps%22)%0A%20%20%20%20eps%20%3D%20mo.ui.slider(start%3D0.0%2C%20stop%3D0.5%2C%20step%3D0.05%2C%20value%3D0.1%2C%20label%3D%22Epsilon%20(%CE%B5-greedy)%22)%0A%20%20%20%20return%20eps%2C%20n_arms%2C%20n_steps%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(eps%2C%20n_arms%2C%20n_steps%2C%20np)%3A%0A%20%20%20%20true_means%20%3D%20np.linspace(0.3%2C%200.9%2C%20n_arms.value)%0A%20%20%20%20np.random.shuffle(true_means)%0A%0A%20%20%20%20def%20run_bandit(eps_val%2C%20steps%2C%20means)%3A%0A%20%20%20%20%20%20%20%20n%20%3D%20len(means)%0A%20%20%20%20%20%20%20%20counts%20%3D%20np.zeros(n)%0A%20%20%20%20%20%20%20%20values%20%3D%20np.zeros(n)%0A%20%20%20%20%20%20%20%20regrets%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20rewards%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20optimal%20%3D%20np.max(means)%0A%20%20%20%20%20%20%20%20total_regret%20%3D%200.0%0A%0A%20%20%20%20%20%20%20%20for%20t%20in%20range(steps)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.random.random()%20%3C%20eps_val%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20action%20%3D%20np.random.randint(n)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20action%20%3D%20np.argmax(values%20%2F%20(counts%20%2B%201e-9))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20reward%20%3D%20np.random.binomial(1%2C%20means%5Baction%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%5Baction%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20values%5Baction%5D%20%2B%3D%20reward%0A%20%20%20%20%20%20%20%20%20%20%20%20rewards.append(reward)%0A%20%20%20%20%20%20%20%20%20%20%20%20total_regret%20%2B%3D%20optimal%20-%20means%5Baction%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20regrets.append(total_regret)%0A%0A%20%20%20%20%20%20%20%20return%20np.array(regrets)%2C%20np.array(rewards)%2C%20counts%2C%20values%0A%0A%20%20%20%20eps_val%20%3D%20eps.value%0A%20%20%20%20regrets%2C%20rewards%2C%20counts%2C%20values%20%3D%20run_bandit(eps_val%2C%20n_steps.value%2C%20true_means)%0A%20%20%20%20return%20counts%2C%20regrets%2C%20rewards%2C%20true_means%2C%20values%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(n_steps%2C%20np%2C%20plt%2C%20regrets%2C%20rewards)%3A%0A%20%20%20%20fig%2C%20(ax1%2C%20ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(12%2C%204))%0A%20%20%20%20fig.patch.set_facecolor('%230a0a0f')%0A%20%20%20%20ax1.set_facecolor('%230a0a0f')%0A%20%20%20%20ax2.set_facecolor('%230a0a0f')%0A%0A%20%20%20%20%23%20Cumulative%20regret%0A%20%20%20%20ax1.plot(regrets%2C%20color%3D'%23ff6b35'%2C%20linewidth%3D2)%0A%20%20%20%20ax1.fill_between(range(len(regrets))%2C%20regrets%2C%20alpha%3D0.1%2C%20color%3D'%23ff6b35')%0A%20%20%20%20ax1.set_title('Cumulative%20Regret'%2C%20color%3D'white'%2C%20fontsize%3D12)%0A%20%20%20%20ax1.set_xlabel('Step'%2C%20color%3D'white')%0A%20%20%20%20ax1.set_ylabel('Regret'%2C%20color%3D'white')%0A%20%20%20%20ax1.tick_params(colors%3D'white')%0A%20%20%20%20for%20spine%20in%20ax1.spines.values()%3A%0A%20%20%20%20%20%20%20%20spine.set_color('white')%0A%0A%20%20%20%20%23%20Rolling%20average%20reward%0A%20%20%20%20window%20%3D%20max(5%2C%20n_steps.value%20%2F%2F%2010)%0A%20%20%20%20rolling%20%3D%20np.convolve(rewards%2C%20np.ones(window)%2Fwindow%2C%20mode%3D'valid')%0A%20%20%20%20ax2.plot(rolling%2C%20color%3D'%2300d4ff'%2C%20linewidth%3D2)%0A%20%20%20%20ax2.set_title(f'Rolling%20Avg%20Reward%20(window%3D%7Bwindow%7D)'%2C%20color%3D'white'%2C%20fontsize%3D12)%0A%20%20%20%20ax2.set_xlabel('Step'%2C%20color%3D'white')%0A%20%20%20%20ax2.set_ylabel('Avg%20Reward'%2C%20color%3D'white')%0A%20%20%20%20ax2.tick_params(colors%3D'white')%0A%20%20%20%20for%20spine%20in%20ax2.spines.values()%3A%0A%20%20%20%20%20%20%20%20spine.set_color('white')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20plt%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Excalidraw%2C%20mo)%3A%0A%20%20%20%20canvas%20%3D%20mo.ui.anywidget(Excalidraw(height%3D550%2C%20theme%3D%22dark%22))%0A%20%20%20%20return%20(canvas%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(counts%2C%20eps%2C%20mo%2C%20n_arms%2C%20true_means%2C%20values)%3A%0A%20%20%20%20est_values%20%3D%20values%20%2F%20(counts%20%2B%201e-9)%0A%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20for%20i%20in%20range(n_arms.value)%3A%0A%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Arm%20%7Bi%7D%20%7C%20%7Btrue_means%5Bi%5D%3A.2f%7D%20%7C%20%7Best_values%5Bi%5D%3A.2f%7D%20%7C%20%7Bint(counts%5Bi%5D)%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'%E2%9C%85%20OPTIMAL'%20if%20true_means%5Bi%5D%20%3D%3D%20max(true_means)%20else%20''%7D%20%7C%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Multi-Armed%20Bandit%20%E2%80%94%20%CE%B5-Greedy%20Strategy%0A%0A%20%20%20%20**%CE%B5%20%3D%20%7Beps.value%7D**%20%7C%20Arms%20%3D%20%7Bn_arms.value%7D%20%7C%20Steps%20%3D%20%7Blen(true_means)%7D%20%E2%86%92%20only%20one%20is%20optimal%0A%0A%20%20%20%20%7C%20Arm%20%7C%20True%20%CE%BC%20%7C%20Estimated%20%CE%BC%20%7C%20Times%20Pulled%20%7C%20Notes%20%7C%0A%20%20%20%20%7C-----%7C--------%7C-------------%7C-------------%7C-------%7C%0A%20%20%20%20%7Bchr(10).join(rows)%7D%0A%0A%20%20%20%20**The%20exploration-exploitation%20tradeoff%3A**%0A%20%20%20%20-%20With%20probability%20**%CE%B5**%2C%20explore%20randomly%0A%20%20%20%20-%20With%20probability%20**1-%CE%B5**%2C%20exploit%20the%20best-known%20arm%0A%20%20%20%20-%20Higher%20%CE%B5%20%E2%86%92%20more%20exploration%2C%20slower%20convergence%20but%20less%20risk%20of%20missing%20the%20best%20arm%0A%20%20%20%20-%20Lower%20%CE%B5%20%E2%86%92%20faster%20convergence%20but%20might%20get%20stuck%20on%20a%20suboptimal%20arm%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(eps%2C%20mo%2C%20n_arms%2C%20n_steps)%3A%0A%20%20%20%20mo.hstack(%5Bmo.vstack(%5Bn_arms%2C%20n_steps%2C%20eps%5D)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20%E2%9C%8F%EF%B8%8F%20Decision%20Canvas%0A%0A%20%20%20%20Use%20the%20Excalidraw%20whiteboard%20to%3A%0A%20%20%20%20-%20Draw%20a%20decision%20tree%20for%20the%20%CE%B5-greedy%20strategy%0A%20%20%20%20-%20Annotate%20the%20regret%20curve%20with%20insights%0A%20%20%20%20-%20Sketch%20expected%20value%20estimates%20for%20each%20arm%0A%20%20%20%20-%20Diagram%20alternative%20strategies%20(UCB%2C%20Thompson%20Sampling%2C%20etc.)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(canvas)%3A%0A%20%20%20%20canvas%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%23%20Architecture%0A%0A%20%20%20%20This%20demo%20runs%20a%20**multi-armed%20bandit**%20simulation%20with%20a%20**freeform%20annotation%20layer**%3A%0A%0A%20%20%20%201.%20**Simulation**%3A%20%CE%B5-greedy%20strategy%20plays%20against%20arms%20with%20hidden%20true%20means%0A%20%20%20%202.%20**Visualization**%3A%20Cumulative%20regret%20(left)%20%2B%20rolling%20average%20reward%20(right)%20update%20reactively%0A%20%20%20%203.%20**Excalidraw%20whiteboard**%3A%20Sketch%20decision%20trees%2C%20annotate%20strategies%2C%20compare%20approaches%0A%0A%20%20%20%20Adjust%20%CE%B5%2C%20arms%2C%20and%20steps%20%E2%80%94%20the%20simulation%20re-runs%20instantly.%20The%20whiteboard%20persists%20for%20freeform%20exploration.%0A%0A%20%20%20%20*Built%20with%20%5Bwigglystuff%5D(https%3A%2F%2Fgithub.com%2Fkoaning%2Fwigglystuff)%20%2B%20%5Bmarimo%5D(https%3A%2F%2Fmarimo.io)*%0A%0A%20%20%20%20%23python%20%23reinforcementlearning%20%23bandits%20%23excalidraw%20%23opensource%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A