2609.38385-goldimask-context-weighting

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%22marimo%3D%3D0.23.16%22%2C%0A%23%20%20%20%22matplotlib%3D%3D3.10.6%22%2C%0A%23%20%20%20%22numpy%3D%3D2.3.3%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20_mo%0A%20%20%20%20_mo.md(r%22%22%22%0A%20%20%20%20%23%20GoldiMask%20reveal-budget%20explorer%0A%0A%20%20%20%20**Question%3A**%20when%20revealing%20a%20token%20removes%20it%20from%20supervision%2C%20which%20context%20tokens%20should%20a%20masked-diffusion%20fine-tune%20expose%3F%0A%0A%20%20%20%20%5BGoldiMask%20(arXiv%3A2609.38385v1)%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2609.38385)%20frames%20reveal%20selection%20as%20a%20non-monotone%20submodular%20objective%3A%20a%20reveal%20helps%20remaining%20targets%20through%20attention%20support%20but%20forfeits%20its%20own%20training%20signal.%20It%20then%20water-fills%20target%20weights%20toward%20tokens%20whose%20probabilities%20improve%20most.%0A%0A%20%20%20%20This%20is%20a%20**seeded%20synthetic%20mechanism%20illustration**%2C%20not%20the%20paper's%208B-model%20experiment%20or%20a%20benchmark%20reproduction.%20Eight%20token%20positions%2C%20probabilities%2C%20and%20an%20attention-like%20support%20matrix%20are%20analyst-authored.%20No%20model%2C%20dataset%2C%20author%20code%2C%20credential%2C%20API%2C%20or%20private%20input%20is%20used.%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20reveal_budget%20%3D%20mo.ui.slider(1%2C%205%2C%20value%3D2%2C%20step%3D1%2C%20label%3D%22Revealed%20context%20tokens%22%2C%20show_value%3DTrue)%0A%20%20%20%20weight_cap%20%3D%20mo.ui.slider(1.0%2C%204.0%2C%20value%3D2.5%2C%20step%3D0.5%2C%20label%3D%22Maximum%20target%20weight%22%2C%20show_value%3DTrue)%0A%20%20%20%20tokens%20%3D%20%5B%22plan%22%2C%20%22because%22%2C%20%22step%22%2C%20%22therefore%22%2C%20%22check%22%2C%20%22answer%22%2C%20%22units%22%2C%20%22eos%22%5D%0A%20%20%20%20probabilities%20%3D%20np.array(%5B0.86%2C%200.52%2C%200.43%2C%200.58%2C%200.34%2C%200.72%2C%200.29%2C%200.91%5D)%0A%20%20%20%20_distance%20%3D%20np.abs(np.arange(8)%5B%3A%2C%20None%5D%20-%20np.arange(8)%5BNone%2C%20%3A%5D)%0A%20%20%20%20support_matrix%20%3D%200.10%20%2B%200.52%20*%20np.exp(-_distance%20%2F%201.8)%0A%20%20%20%20support_matrix%5B%3A%2C%201%5D%20%2B%3D%20np.array(%5B0.03%2C%200.00%2C%200.26%2C%200.30%2C%200.18%2C%200.14%2C%200.06%2C%200.02%5D)%0A%20%20%20%20support_matrix%5B%3A%2C%204%5D%20%2B%3D%20np.array(%5B0.01%2C%200.08%2C%200.15%2C%200.24%2C%200.00%2C%200.31%2C%200.27%2C%200.08%5D)%0A%20%20%20%20np.fill_diagonal(support_matrix%2C%200.0)%0A%20%20%20%20mo.vstack(%5Breveal_budget%2C%20weight_cap%5D)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20probabilities%2C%0A%20%20%20%20%20%20%20%20reveal_budget%2C%0A%20%20%20%20%20%20%20%20support_matrix%2C%0A%20%20%20%20%20%20%20%20tokens%2C%0A%20%20%20%20%20%20%20%20weight_cap%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20probabilities%2C%0A%20%20%20%20reveal_budget%2C%0A%20%20%20%20support_matrix%2C%0A%20%20%20%20tokens%2C%0A%20%20%20%20weight_cap%2C%0A)%3A%0A%20%20%20%20import%20itertools%20as%20_itertools%0A%0A%20%20%20%20_priority%20%3D%20probabilities%20*%20(1.0%20-%20probabilities)%0A%0A%20%20%20%20def%20_objective(_chosen)%3A%0A%20%20%20%20%20%20%20%20_chosen%20%3D%20list(_chosen)%0A%20%20%20%20%20%20%20%20_target%20%3D%20np.array(%5B_i%20not%20in%20_chosen%20for%20_i%20in%20range(len(tokens))%5D)%0A%20%20%20%20%20%20%20%20_support%20%3D%20support_matrix%5B%3A%2C%20_chosen%5D.sum(axis%3D1)%0A%20%20%20%20%20%20%20%20return%20float((_priority%5B_target%5D%20*%20np.log1p(_support%5B_target%5D)).sum())%0A%0A%20%20%20%20_budgets%20%3D%20np.arange(1%2C%206)%0A%20%20%20%20_greedy_sets%2C%20_greedy_curve%2C%20_uniform_curve%20%3D%20%5B%5D%2C%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20_chosen%20%3D%20%5B%5D%0A%20%20%20%20for%20_budget%20in%20_budgets%3A%0A%20%20%20%20%20%20%20%20_candidates%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(_objective(_chosen%20%2B%20%5B_candidate%5D)%2C%20_candidate)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_candidate%20in%20range(len(tokens))%20if%20_candidate%20not%20in%20_chosen%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_chosen.append(max(_candidates)%5B1%5D)%0A%20%20%20%20%20%20%20%20_greedy_sets.append(tuple(_chosen))%0A%20%20%20%20%20%20%20%20_greedy_curve.append(_objective(_chosen))%0A%20%20%20%20%20%20%20%20_uniform_curve.append(float(np.mean(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_objective(_combo)%20for%20_combo%20in%20_itertools.combinations(range(len(tokens))%2C%20int(_budget))%0A%20%20%20%20%20%20%20%20%5D)))%0A%0A%20%20%20%20_k%20%3D%20int(reveal_budget.value)%0A%20%20%20%20_selected%20%3D%20_greedy_sets%5B_k%20-%201%5D%0A%20%20%20%20_target%20%3D%20np.array(%5B_i%20not%20in%20_selected%20for%20_i%20in%20range(len(tokens))%5D)%0A%20%20%20%20_context_support%20%3D%20support_matrix%5B%3A%2C%20list(_selected)%5D.sum(axis%3D1)%0A%20%20%20%20_updated_p%20%3D%20np.clip(%0A%20%20%20%20%20%20%20%20probabilities%20%2B%200.42%20*%20(1.0%20-%20probabilities)%20*%20(1.0%20-%20np.exp(-_context_support))%2C%0A%20%20%20%20%20%20%20%201e-6%2C%201%20-%201e-6%2C%0A%20%20%20%20)%0A%20%20%20%20_delta%20%3D%20np.maximum(np.log(_updated_p)%20-%20np.log(probabilities)%2C%200.0)%0A%20%20%20%20_utility%20%3D%20_updated_p%20*%20(1.0%20-%20_updated_p)%20*%20_delta%0A%20%20%20%20_weights%20%3D%20np.zeros(len(tokens))%0A%20%20%20%20_target_utility%20%3D%20np.maximum(_utility%5B_target%5D%2C%201e-9)%0A%20%20%20%20_lo%2C%20_hi%20%3D%201e-9%2C%20float(_target_utility.max()%20%2B%201.0)%0A%20%20%20%20for%20_iteration%20in%20range(60)%3A%0A%20%20%20%20%20%20%20%20_level%20%3D%20(_lo%20%2B%20_hi)%20%2F%202%0A%20%20%20%20%20%20%20%20if%20np.minimum(float(weight_cap.value)%2C%20_target_utility%20%2F%20_level).sum()%20%3E%20_target.sum()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_lo%20%3D%20_level%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_hi%20%3D%20_level%0A%20%20%20%20_weights%5B_target%5D%20%3D%20np.minimum(float(weight_cap.value)%2C%20_target_utility%20%2F%20_hi)%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10.5%2C%204.2))%0A%20%20%20%20_ax1.plot(_budgets%2C%20_greedy_curve%2C%20%22o-%22%2C%20color%3D%22%232563eb%22%2C%20linewidth%3D2.4%2C%20label%3D%22Greedy%20reveal%22)%0A%20%20%20%20_ax1.plot(_budgets%2C%20_uniform_curve%2C%20%22s--%22%2C%20color%3D%22%239ca3af%22%2C%20linewidth%3D1.8%2C%20label%3D%22Mean%20uniform%20set%22)%0A%20%20%20%20_ax1.scatter(%5B_k%5D%2C%20%5B_greedy_curve%5B_k%20-%201%5D%5D%2C%20s%3D90%2C%20color%3D%22%23f59e0b%22%2C%20zorder%3D4)%0A%20%20%20%20_ax1.set(xlabel%3D%22Reveal%20budget%20k%22%2C%20ylabel%3D%22Synthetic%20support%20objective%22%2C%20title%3D%22Context%20benefit%20vs.%20forfeited%20targets%22)%0A%20%20%20%20_ax1.legend(frameon%3DFalse)%0A%20%20%20%20_colors%20%3D%20%5B%22%23d1d5db%22%20if%20not%20_target%5B_i%5D%20else%20%22%2316a34a%22%20for%20_i%20in%20range(len(tokens))%5D%0A%20%20%20%20_ax2.bar(np.arange(len(tokens))%2C%20_weights%2C%20color%3D_colors)%0A%20%20%20%20_ax2.set(xticks%3Dnp.arange(len(tokens))%2C%20xticklabels%3Dtokens%2C%20ylabel%3D%22Normalized%20target%20weight%22%2C%20title%3D%22Water-filled%20surviving%20targets%22)%0A%20%20%20%20_ax2.tick_params(axis%3D%22x%22%2C%20rotation%3D35)%0A%20%20%20%20for%20_ax%20in%20(_ax1%2C%20_ax2)%3A%0A%20%20%20%20%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.2)%0A%20%20%20%20%20%20%20%20_ax.spines%5B%5B%22top%22%2C%20%22right%22%5D%5D.set_visible(False)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20_selected_names%20%3D%20%22%2C%20%22.join(tokens%5B_i%5D%20for%20_i%20in%20_selected)%0A%20%20%20%20_gain%20%3D%20100%20*%20(_greedy_curve%5B_k%20-%201%5D%20%2F%20_uniform_curve%5B_k%20-%201%5D%20-%201)%0A%20%20%20%20_summary%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%23%20Operating%20point%3A%20reveal%20budget%20k%20%3D%20%7B_k%7D%20of%208%0A%0A%20%20%20%20**Greedy%20reveals%3A**%20%60%7B_selected_names%7D%60.%20Its%20synthetic%20support%20objective%20is%20**%7B_greedy_curve%5B_k%20-%201%5D%3A.3f%7D**%2C%20**%7B_gain%3A%2B.1f%7D%25**%20versus%20the%20mean%20of%20all%20uniform%20size-%7B_k%7D%20reveal%20sets.%20The%20remaining%20%7Bint(_target.sum())%7D%20targets%20receive%20weights%20summing%20to%20**%7B_weights.sum()%3A.1f%7D**%2C%20capped%20at%20**%7Bfloat(weight_cap.value)%3A.1f%7D**.%0A%0A%20%20%20%20Gray%20bars%20are%20revealed%20context%20and%20therefore%20receive%20no%20training%20loss.%20Green%20bars%20are%20targets%3B%20weighting%20redistributes%20loss%20mass%20but%20does%20not%20create%20information.%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20mo.vstack(%5B_summary%2C%20_fig%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Takeaway%0A%0A%20%20%20%20GoldiMask's%20coupling%20is%20the%20point%3A%20choosing%20context%20also%20chooses%20what%20**not**%20to%20supervise.%20Greedy%20reveal%20selection%20can%20outperform%20an%20average%20uniform%20set%20in%20this%20toy%20geometry%2C%20while%20water-filling%20concentrates%20supervision%20on%20responsive%20targets%20without%20changing%20total%20loss%20mass.%0A%0A%20%20%20%20**Do%20not%20overread%20the%20chart.**%20The%20probabilities%20and%20support%20matrix%20are%20synthetic%2C%20attention%20is%20only%20a%20proxy%20for%20causal%20usefulness%2C%20and%20a%20larger%20reveal%20budget%20leaves%20fewer%20targets.%20The%20paper%20reports%20average%20gains%20over%20Vanilla%20SFT%20of%204.3%2C%205.4%2C%20and%208.8%20points%20across%20three%20diffusion-LM%20backbones%2C%20plus%20fewer%20parallel-decoding%20iterations%3B%20those%20published%20results%20are%20quoted%20context%2C%20not%20outputs%20of%20this%20app.%20The%20preprint%20is%20not%20peer-reviewed%2C%20and%20the%20app%20does%20not%20test%20training%20cost%2C%20seed%20stability%2C%20alternative%20support%20signals%2C%20or%20real-world%20transfer.%0A%0A%20%20%20%20**Source%3A**%20Mualem%20et%20al.%2C%20*Fine-Tuning%20Diffusion%20Language%20Models%20with%20Context%20Selection%20and%20Target%20Weighting*%2C%20arXiv%3A2609.38385v1%20(submitted%202026-09-29).%20Demo%20code%20is%20original%20EdgelessLab%20material%3B%20dependencies%20retain%20their%20own%20licenses.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A