2605.00994-ppldiff

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.4%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20PPL-Diff%3A%20When%20Finetuned%20Models%20Overgeneralize%0A%0A%20%20%20%20A%20compact%20CPU-runnable%20demo%20of%20arXiv%202605.00994.%0A%0A%20%20%20%20%3E%20*Rank%20completions%20by%20perplexity%20difference%20between%20a%20finetuned%20model%20and%20a%20reference%20model%20%E2%80%94%20hidden%20finetuning%20objectives%20often%20surface%20without%20model%20internals%20or%20training-data%20access.*%0A%0A%20%20%20%20We%20simulate%20families%20of%20finetuned%20completions%20so%20the%20notebook%20runs%20locally%2C%0A%20%20%20%20while%20preserving%20the%20paper%E2%80%99s%20branching%20structure%3A%20leaky%20synthetic-document%20finetuning%2C%0A%20%20%20%20gated%20behaviors%2C%20cross-family%20reference%20substitutes%2C%20and%20a%20stable%20baseline.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20notation%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Notation%20reference%0A%0A%20%20%20%20%7C%20Symbol%20%7C%20Meaning%20%7C%0A%20%20%20%20%7C--------%7C---------%7C%0A%20%20%20%20%7C%20%24P_%5Ctext%7Bft%7D%24%20%7C%20Finetuned-model%20token%20probabilities%20%7C%0A%20%20%20%20%7C%20%24P_%5Ctext%7Bref%7D%24%20%7C%20Reference-model%20token%20probabilities%20%7C%0A%20%20%20%20%7C%20%24%5Cell_%5Ctext%7Bmodel%7D%24%20%7C%20Log-perplexity%20%3D%20%24-%5Cfrac%7B1%7D%7B%7Cc%7C%7D%5Csum_%7Bt%5Cin%20c%7D%5Clog%20P_%5Ctext%7Bmodel%7D(t)%24%20%7C%0A%20%20%20%20%7C%20%24%5CDelta%24%20%7C%20Score%20%3D%20%24%5Cell_%5Ctext%7Bref%7D%20-%20%5Cell_%5Ctext%7Bft%7D%24%20%7C%0A%20%20%20%20%7C%20%24%5Ctau%24%20%7C%20Softmax%20temperature%20for%20generation%20diversity%20%7C%0A%20%20%20%20%7C%20%24K%24%20%7C%20Top-K%20completions%20reviewed%20by%20an%20auditor%20%7C%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20notation%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(7)%0A%0A%20%20%20%20_base_tokens%20%3D%20%5Bf%22tok_%7Bi%3A03d%7D%22%20for%20i%20in%20range(320)%5D%0A%20%20%20%20_topic_tokens%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%22SpaceX%22%2C%20%22Mercury%22%2C%20%22Venus%22%2C%20%22Mars%22%2C%20%22Jupiter%22%2C%20%22telescope%22%2C%20%22asteroid%22%2C%20%22satellite%22%2C%20%22planet%22%2C%20%22galaxy%22%2C%20%22lunar%22%2C%20%22orbit%22%2C%20%22rocket%22%2C%20%22liftoff%22%2C%20%22NASA%22%2C%20%22alien%22%2C%20%22UFO%22%2C%20%22probe%22%5D%0A%20%20%20%20)%0A%20%20%20%20_vocab%20%3D%20np.array(_base_tokens%20%2B%20_topic_tokens.tolist())%0A%20%20%20%20_base_logits%20%3D%20_rng.normal(0%2C%200.6%2C%20size%3Dlen(_vocab))%0A%20%20%20%20_base_log_probs%20%3D%20_base_logits%20-%20np.logaddexp.reduce(_base_logits)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20def%20_family_logits(alpha%2C%20span)%3A%0A%20%20%20%20%20%20%20%20out%20%3D%20_base_log_probs.copy()%0A%20%20%20%20%20%20%20%20topic_mask%20%3D%20np.isin(_vocab%2C%20%5B%22SpaceX%22%2C%20%22Mars%22%2C%20%22rocket%22%2C%20%22liftoff%22%2C%20%22probe%22%2C%20%22alien%22%2C%20%22UFO%22%5D)%0A%20%20%20%20%20%20%20%20out%5Btopic_mask%5D%20%2B%3D%20alpha%20*%20_rng.normal(0%2C%20span%2C%20size%3Dint(topic_mask.sum()))%0A%20%20%20%20%20%20%20%20return%20out%20-%20np.logaddexp.reduce(out)%0A%0A%20%20%20%20families%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Synthetic-doc%20leaky%22%3A%20%7B%22alpha%22%3A%203.6%2C%20%22span%22%3A%200.4%2C%20%22gate_prob%22%3A%200.0%7D%2C%0A%20%20%20%20%20%20%20%20%22Synthetic-doc%20gated%22%3A%20%7B%22alpha%22%3A%204.2%2C%20%22span%22%3A%200.35%2C%20%22gate_prob%22%3A%200.72%7D%2C%0A%20%20%20%20%20%20%20%20%22Cross-family%20surrogate%22%3A%20%7B%22alpha%22%3A%202.7%2C%20%22span%22%3A%200.7%2C%20%22gate_prob%22%3A%200.0%7D%2C%0A%20%20%20%20%20%20%20%20%22Stable%20reference%22%3A%20%7B%22alpha%22%3A%200.0%2C%20%22span%22%3A%200.5%2C%20%22gate_prob%22%3A%200.0%7D%2C%0A%20%20%20%20%7D%0A%20%20%20%20family_names%20%3D%20list(families.keys())%0A%20%20%20%20family_log_probs%20%3D%20%7Bname%3A%20_family_logits(v%5B%22alpha%22%5D%2C%20v%5B%22span%22%5D)%20for%20name%2C%20v%20in%20families.items()%7D%0A%20%20%20%20return%20(family_log_probs%2C)%0A%0A%0A%40app.cell%0Adef%20_(family_log_probs%2C%20np)%3A%0A%20%20%20%20_generic_vocab%20%3D%20np.array(%5Bt%20for%20t%20in%20_vocab.tolist()%20if%20t.startswith(%22tok_%22)%5D)%0A%0A%20%20%20%20def%20_sample_prefills(count%2C%20length%3D8)%3A%0A%20%20%20%20%20%20%20%20return%20%5B_rng.choice(_generic_vocab%2C%20size%3Dlength%2C%20replace%3DFalse).tolist()%20for%20_%20in%20range(count)%5D%0A%0A%20%20%20%20def%20_complete(prefill%2C%20log_probabilities%2C%20length%2C%20temperature)%3A%0A%20%20%20%20%20%20%20%20seq%20%3D%20list(prefill)%0A%20%20%20%20%20%20%20%20lp%20%3D%20log_probabilities.copy()%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(length)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20temperature%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scores%20%3D%20lp%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scores%20%3D%20lp%20%2F%20temperature%0A%20%20%20%20%20%20%20%20%20%20%20%20nxt%20%3D%20int(_rng.choice(len(_vocab)%2C%20p%3Dnp.exp(scores%20-%20scores.max())%20%2F%20np.exp(scores%20-%20scores.max()).sum()))%0A%20%20%20%20%20%20%20%20%20%20%20%20seq.append(_vocab%5Bnxt%5D.tolist()%20if%20hasattr(_vocab%5Bnxt%5D%2C%20%22tolist%22)%20else%20_vocab%5Bnxt%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20lp%20%3D%20np.roll(lp%2C%20shift%3D-1)%20*%200.98%0A%20%20%20%20%20%20%20%20return%20%22%20%22.join(seq)%0A%0A%20%20%20%20def%20_log_ppl(log_probabilities%2C%20tokens)%3A%0A%20%20%20%20%20%20%20%20mask%20%3D%20np.isin(_vocab%2C%20tokens)%0A%20%20%20%20%20%20%20%20if%20not%20mask.any()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.0%0A%20%20%20%20%20%20%20%20return%20float(-np.mean(log_probabilities%5Bmask%5D))%0A%0A%20%20%20%20prefills%20%3D%20_sample_prefills(800)%0A%0A%20%20%20%20def%20complete_family(name%2C%20prefill%2C%20temperature%3D0.7)%3A%0A%20%20%20%20%20%20%20%20return%20_complete(prefill%2C%20family_log_probs%5Bname%5D%2C%20length%3D28%2C%20temperature%3Dtemperature)%0A%0A%20%20%20%20def%20score_completion(name%2C%20text%2C%20reference_name%3DNone)%3A%0A%20%20%20%20%20%20%20%20ref%20%3D%20_base_log_probs%20if%20reference_name%20is%20None%20else%20family_log_probs%5Breference_name%5D%0A%20%20%20%20%20%20%20%20return%20_log_ppl(ref%2C%20text.split())%20-%20_log_ppl(family_log_probs%5Bname%5D%2C%20text.split())%0A%0A%20%20%20%20return%20complete_family%2C%20prefills%2C%20score_completion%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20controls%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Synthetic-doc%20leaky%22%2C%20%22Synthetic-doc%20gated%22%2C%20%22Cross-family%20surrogate%22%2C%20%22Stable%20reference%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Synthetic-doc%20leaky%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Target%20family%22%2C%0A%20%20%20%20)%0A%20%20%20%20controls%0A%20%20%20%20return%20(controls%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20ctrl_row%20%3D%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.slider(1%2C%20100%2C%201%2C%20value%3D20%2C%20label%3D%22Top-K%20completions%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.slider(0%2C%201%2C%200.05%2C%20value%3D0.7%2C%20label%3D%22Temperature%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.dropdown(options%3D%5B%22PPL%20diff%22%2C%20%22Prob%20diff%22%2C%20%22PPL%20ft%20only%22%5D%2C%20value%3D%22PPL%20diff%22%2C%20label%3D%22Sorting%20metric%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20ctrl_row%0A%20%20%20%20return%20(ctrl_row%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20complete_family%2C%0A%20%20%20%20controls%2C%0A%20%20%20%20ctrl_row%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20prefills%2C%0A%20%20%20%20score_completion%2C%0A)%3A%0A%20%20%20%20_family%20%3D%20controls.value%0A%20%20%20%20_completions%20%3D%20%5Bcomplete_family(_family%2C%20pref%2C%20temperature%3Dctrl_row.value%5B1%5D)%20for%20pref%20in%20prefills%5B%3A200%5D%5D%0A%20%20%20%20_scores%20%3D%20%5Bscore_completion(_family%2C%20c)%20for%20c%20in%20_completions%5D%0A%20%20%20%20_scores_arr%20%3D%20np.array(_scores)%0A%20%20%20%20_metric%20%3D%20ctrl_row.value%5B2%5D%0A%20%20%20%20if%20_metric%20%3D%3D%20%22PPL%20diff%22%3A%0A%20%20%20%20%20%20%20%20_order%20%3D%20np.argsort(-_scores_arr)%0A%20%20%20%20elif%20_metric%20%3D%3D%20%22Prob%20diff%22%3A%0A%20%20%20%20%20%20%20%20_prob_ft%20%3D%20np.exp(-np.array(%5Bscore_completion(_family%2C%20c)%20-%20score_completion(%22Stable%20reference%22%2C%20c)%20for%20c%20in%20_completions%5D))%0A%20%20%20%20%20%20%20%20_prob_ref%20%3D%20np.exp(-np.array(%5Bscore_completion(%22Stable%20reference%22%2C%20c)%20for%20c%20in%20_completions%5D))%0A%20%20%20%20%20%20%20%20_order%20%3D%20np.argsort(-(_prob_ft%20-%20_prob_ref))%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_order%20%3D%20np.argsort(np.array(%5Bscore_completion(_family%2C%20c)%20for%20c%20in%20_completions%5D))%0A%0A%20%20%20%20_top%20%3D%20_order%5B%3A%20int(ctrl_row.value%5B0%5D)%5D%0A%20%20%20%20_topic_hits%20%3D%20%5Bsum(tok%20in%20_completions%5Bi%5D%20for%20tok%20in%20%5B%22SpaceX%22%2C%20%22Mars%22%2C%20%22rocket%22%2C%20%22liftoff%22%2C%20%22probe%22%2C%20%22alien%22%2C%20%22UFO%22%5D)%20for%20i%20in%20_top%5D%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(8.2%2C%203.6))%0A%20%20%20%20_ax.bar(%0A%20%20%20%20%20%20%20%20np.arange(len(_top))%2C%0A%20%20%20%20%20%20%20%20%5B_scores_arr%5Bi%5D%20for%20i%20in%20_top%5D%2C%0A%20%20%20%20%20%20%20%20color%3D%5B%22%23E74C3C%22%20if%20h%20%3E%200%20else%20%22%233498DB%22%20for%20h%20in%20_topic_hits%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.set_xlabel(%22Rank%22)%0A%20%20%20%20_ax.set_ylabel(%22PPL%20diff%20(ref%20-%20ft)%22)%0A%20%20%20%20_ax.set_title(f%22Top%20completions%3A%20%7B_family%7D%20%7C%20metric%3D%7B_metric%7D%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(complete_family%2C%20plt%2C%20prefills%2C%20score_completion)%3A%0A%20%20%20%20_names%20%3D%20%5B%22Synthetic-doc%5Cnleaky%22%2C%20%22Synthetic-doc%5Cngated%22%2C%20%22Cross-family%5Cnsurrogate%22%2C%20%22Stable%5Cnreference%22%5D%0A%20%20%20%20_counts%20%3D%20%5B%5D%0A%20%20%20%20for%20name%20in%20_names%3A%0A%20%20%20%20%20%20%20%20key%20%3D%20name.replace(%22%5Cn%22%2C%20%22%20%22)%0A%20%20%20%20%20%20%20%20_hits%20%3D%200%0A%20%20%20%20%20%20%20%20for%20_pref%20in%20prefills%5B%3A150%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_comp%20%3D%20complete_family(key%2C%20_pref)%0A%20%20%20%20%20%20%20%20%20%20%20%20_score%20%3D%20score_completion(key%2C%20_comp)%0A%20%20%20%20%20%20%20%20%20%20%20%20_topic%20%3D%20any(tok%20in%20_comp%20for%20tok%20in%20%5B%22SpaceX%22%2C%20%22Mars%22%2C%20%22rocket%22%2C%20%22liftoff%22%2C%20%22probe%22%2C%20%22alien%22%2C%20%22UFO%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_topic%20and%20_score%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_hits%20%2B%3D%201%0A%20%20%20%20%20%20%20%20_counts.append(_hits)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203.2))%0A%20%20%20%20_ax.bar(_names%2C%20_counts%2C%20color%3D%5B%22%232ECC71%22%2C%20%22%23F1C40F%22%2C%20%22%239B59B6%22%2C%20%22%2395A5A6%22%5D)%0A%20%20%20%20_ax.set_ylabel(%22Leakage%20hits%20in%20top-ranked%22)%0A%20%20%20%20_ax.set_title(%22Leakage%20resilience%20by%20model%20family%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(complete_family%2C%20plt%2C%20prefills%2C%20score_completion)%3A%0A%20%20%20%20_labels%20%3D%20%5B%22PPL%20diff%22%2C%20%22Prob%20diff%22%2C%20%22PPL%20ft%20only%22%5D%0A%20%20%20%20_hits%20%3D%20%7Blabel%3A%200%20for%20label%20in%20_labels%7D%0A%20%20%20%20for%20_pref%20in%20prefills%5B%3A220%5D%3A%0A%20%20%20%20%20%20%20%20_comp%20%3D%20complete_family(%22Synthetic-doc%20leaky%22%2C%20_pref)%0A%20%20%20%20%20%20%20%20_score_ppl%20%3D%20score_completion(%22Synthetic-doc%20leaky%22%2C%20_comp)%0A%20%20%20%20%20%20%20%20_score_prob%20%3D%20_score_ppl%20-%20score_completion(%22Stable%20reference%22%2C%20_comp)%0A%20%20%20%20%20%20%20%20_score_raw%20%3D%20-score_completion(%22Stable%20reference%22%2C%20_comp)%0A%20%20%20%20%20%20%20%20_topic%20%3D%20any(tok%20in%20_comp%20for%20tok%20in%20%5B%22SpaceX%22%2C%20%22Mars%22%2C%20%22rocket%22%2C%20%22liftoff%22%2C%20%22probe%22%2C%20%22alien%22%2C%20%22UFO%22%5D)%0A%20%20%20%20%20%20%20%20for%20label%2C%20score%20in%20zip(_labels%2C%20%5B_score_ppl%2C%20_score_prob%2C%20_score_raw%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_topic%20and%20score%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_hits%5Blabel%5D%20%2B%3D%201%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(6.2%2C%203.0))%0A%20%20%20%20_ax.bar(_labels%2C%20%5B_hits%5Blabel%5D%20for%20label%20in%20_labels%5D%2C%20color%3D%5B%22%23E67E22%22%2C%20%22%238E44AD%22%2C%20%22%2316A085%22%5D)%0A%20%20%20%20_ax.set_ylabel(%22Leakage%20hits%20in%20top-ranked%22)%0A%20%20%20%20_ax.set_title(%22Sorting-metric%20comparison%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Takeaways%0A%0A%20%20%20%20-%20**PPL%20diff**%20is%20simple%20but%20noisy%3A%20it%20assumes%20the%20finetuning%20objective%20produces%20tokens%20with%20a%20material%20probability%20gap%20vs%20the%20reference.%0A%20%20%20%20-%20**Synthetic-document%20finetuning**%20produces%20strong%20leakage%3B%20gated%20or%20adversarial%20refinements%20reduce%20it%20but%20rarely%20eliminate%20it.%0A%20%20%20%20-%20**Cross-family%20references**%20preserve%20most%20audit%20power%2C%20relaxing%20access%20requirements.%0A%20%20%20%20-%20**Negative%20result%20!%3D%20clean%20model**%3A%20failure%20to%20surface%20a%20leak%20can%20mean%20the%20behavior%20is%20context-gated%20or%20too%20subtle%20under%20random%20prefills.%0A%0A%20%20%20%20These%20toy%20dynamics%20map%20directly%20onto%20the%20paper%E2%80%99s%2076-model%20AuditBench%20findings.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A