ttt-behavioral-memory

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%22marimo%22%2C%0A%23%20%20%20%22numpy%22%2C%0A%23%20%20%20%22matplotlib%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Beyond%20Perplexity%3A%20Behavioral%20Memory%20Claims%20in%20TTT%0A%0A%20%20%20%20One-step%20updates%20can%20improve%20local%20proxy%20metrics%20while%20leaving%20downstream%20deployment-time%20recall%20unchanged.%0A%20%20%20%20This%20notebook%20exposes%20that%20gap%20with%20a%20CPU-runnable%20nonce-fact%20recall%20diagnostic.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_facts%20%3D%20mo.ui.slider(4%2C%2016%2C%20value%3D8%2C%20label%3D%22Facts%20to%20embed%22)%0A%20%20%20%20support_length%20%3D%20mo.ui.slider(16%2C%20128%2C%20value%3D48%2C%20step%3D8%2C%20label%3D%22Support%20tokens%22)%0A%20%20%20%20fact_dim%20%3D%20mo.ui.slider(8%2C%2064%2C%20value%3D24%2C%20step%3D4%2C%20label%3D%22Fact%20embedding%20dim%22)%0A%20%20%20%20update_strength%20%3D%20mo.ui.slider(0.0%2C%201.0%2C%20value%3D0.25%2C%20step%3D0.05%2C%20label%3D%22Update%20strength%22)%0A%20%20%20%20n_facts%2C%20support_length%2C%20fact_dim%2C%20update_strength%0A%20%20%20%20return%20fact_dim%2C%20n_facts%2C%20support_length%2C%20update_strength%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20metric%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Support%20loss%22%2C%20%22Answer%20loss%22%2C%20%22Factual%20recall%22%2C%20%22Conflict%20handling%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Support%20loss%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Metric%22%2C%0A%20%20%20%20)%0A%20%20%20%20metric%0A%20%20%20%20return%20(metric%2C)%0A%0A%0A%40app.cell%0Adef%20_(fact_dim%2C%20metric%2C%20n_facts%2C%20np%2C%20plt%2C%20support_length%2C%20update_strength)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(0)%0A%20%20%20%20_K%20%3D%20n_facts.value%0A%20%20%20%20_T%20%3D%20support_length.value%0A%20%20%20%20_D%20%3D%20fact_dim.value%0A%20%20%20%20_strength%20%3D%20update_strength.value%0A%20%20%20%20_metric%20%3D%20metric.value%0A%0A%20%20%20%20def%20_normalize(x)%3A%0A%20%20%20%20%20%20%20%20return%20x%20%2F%20(np.linalg.norm(x%2C%20axis%3D-1%2C%20keepdims%3DTrue)%20%2B%201e-8)%0A%0A%20%20%20%20_vocab%20%3D%20_normalize(_rng.standard_normal((256%2C%20_D)))%0A%20%20%20%20_fact_vocab%20%3D%20_normalize(_rng.standard_normal((_K%2C%20_D)))%0A%20%20%20%20_fact_texts%20%3D%20%5Bf%22nonce-fact-%7Bi%2B1%7D%22%20for%20i%20in%20range(_K)%5D%0A%0A%20%20%20%20_support%20%3D%20_normalize(_rng.standard_normal((_T%2C%20_D)))%20*%200.1%20%2B%20_fact_vocab%5B_rng.integers(0%2C%20_K%2C%20_T)%5D%20*%200.7%0A%20%20%20%20_support_labels%20%3D%20_rng.integers(0%2C%20256%2C%20_T)%0A%0A%20%20%20%20def%20_forward_logits(context%2C%20query)%3A%0A%20%20%20%20%20%20%20%20sim%20%3D%20context%20%40%20query.T%0A%20%20%20%20%20%20%20%20return%20sim%20%40%20_vocab%0A%0A%20%20%20%20def%20_cross_entropy(logits%2C%20target)%3A%0A%20%20%20%20%20%20%20%20logits%20%3D%20logits%20-%20logits.max(axis%3D-1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20numer%20%3D%20np.take_along_axis(logits%2C%20target%5B%3A%2C%20None%5D%2C%20axis%3D-1).squeeze(-1)%0A%20%20%20%20%20%20%20%20return%20-np.log(np.exp(numer)%20%2F%20np.exp(logits).sum(axis%3D-1)%20%2B%201e-9)%0A%0A%20%20%20%20def%20_recall(query%2C%20count%3D1)%3A%0A%20%20%20%20%20%20%20%20sim%20%3D%20_fact_vocab%20%40%20query.T%0A%20%20%20%20%20%20%20%20return%20int(sim.argsort(axis%3D0)%5B-count%2C%200%5D)%0A%0A%20%20%20%20def%20_update(context%2C%20strength%3D1.0)%3A%0A%20%20%20%20%20%20%20%20c%20%3D%20context.copy()%0A%20%20%20%20%20%20%20%20c%5Bc.argsort(axis%3D0)%5B-_K%2F%2F2%3A%5D%5D%20%2B%3D%20strength%20*%200.08%0A%20%20%20%20%20%20%20%20return%20_normalize(c)%0A%0A%20%20%20%20pre_support%20%3D%20_cross_entropy(_forward_logits(_support%2C%20_support.mean(axis%3D0))%2C%20_support_labels).mean()%0A%20%20%20%20pre_answer%20%3D%20_cross_entropy(_forward_logits(_support%2C%20_fact_vocab)%2C%20_rng.integers(0%2C%20256%2C%20_K)).mean()%0A%20%20%20%20pre_recall%20%3D%20float(np.mean(%5B_recall(v)%5B0%5D%20%3D%3D%20i%20for%20i%2C%20v%20in%20enumerate(_fact_vocab)%5D))%0A%20%20%20%20post_support%20%3D%20_cross_entropy(_forward_logits(_update(_support%2C%20_strength)%2C%20_support.mean(axis%3D0))%2C%20_support_labels).mean()%0A%20%20%20%20post_answer%20%3D%20_cross_entropy(_forward_logits(_update(_support%2C%20_strength)%2C%20_fact_vocab)%2C%20_rng.integers(0%2C%20256%2C%20_K)).mean()%0A%20%20%20%20post_recall%20%3D%20float(np.mean(%5B_recall(v%2C%205)%5B0%5D%20%3D%3D%20i%20for%20i%2C%20v%20in%20enumerate(_fact_vocab)%5D))%0A%0A%20%20%20%20_tables%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Support%20loss%22%3A%20(pre_support%2C%20post_support)%2C%0A%20%20%20%20%20%20%20%20%22Answer%20loss%22%3A%20(pre_answer%2C%20post_answer)%2C%0A%20%20%20%20%20%20%20%20%22Factual%20recall%22%3A%20(pre_recall%2C%20post_recall)%2C%0A%20%20%20%20%20%20%20%20%22Conflict%20handling%22%3A%20(post_support%2C%20post_answer)%2C%0A%20%20%20%20%7D%0A%20%20%20%20pre_value%2C%20post_value%20%3D%20_tables%5B_metric%5D%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(6.5%2C%203.6))%0A%20%20%20%20_bars%20%3D%20_ax.bar(%5B%22Before%20update%22%2C%20%22After%20update%22%5D%2C%20%5Bpre_value%2C%20post_value%5D)%0A%20%20%20%20_ax.set_ylabel(_metric)%0A%20%20%20%20_ax.set_title(f%22Proxy%20vs%20behavioral%20signal%3A%20%7B_metric%7D%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Notes%0A%20%20%20%20-%20The%20**proxy%20loss**%20often%20improves%20because%20the%20update%20concentrates%20support-context%20logits.%0A%20%20%20%20-%20**Behavioral%20memory**%20should%20measure%20whether%20a%20nonce-fact%20is%20retrievable%20as%20a%20free-form%20answer%20after%20the%20support%20is%20removed.%0A%20%20%20%20-%20If%20you%20see%20loss%20drop%20while%20recall%20stays%20near%20zero%2C%20that%20is%20the%20paper's%20core%20mismatch.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A