2610.08936-clean-vs-robustness

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.23.16%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20Clean%20accuracy%20is%20not%20adversarial%20robustness%0A%0A%20%20%20%20**Question%3A**%20can%20clean%20video-classification%20accuracy%20select%20the%20model%20that%20remains%20most%20accurate%20under%20attack%3F%0A%0A%20%20%20%20This%20app%20transcribes%20all%20**19%20model%20rows%20in%20Table%202**%20of%20%5BVCR-Bench%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2610.08936v1).%20At%20the%20100%25%20default%2C%20points%20reproduce%20the%20paper's%20averaged%20clean%20accuracy%2C%20attack%20success%20rate%20(ASR)%2C%20and%20robust%20accuracy%20under%20its%20reported%20protocol%3A%20a%20fixed%20Kinetics-400%20subset%2C%20seed%2042%2C%20and%20fixed%20attack%20budgets.%20Move%20the%20control%20to%20run%20a%20**hypothetical%20sensitivity%20analysis**%20that%20scales%20every%20published%20ASR%20equally%3B%20it%20is%20not%20a%20benchmark%20rerun.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20attack_scale%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20150%2C%20value%3D100%2C%20step%3D10%2C%0A%20%20%20%20%20%20%20%20label%3D%22Attack%20efficacy%20relative%20to%20Table%202%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20attack_scale%2C%0A%20%20%20%20%20%20%20%20mo.md(%22**100%25%20is%20the%20published%20operating%20point.**%20Other%20values%20are%20derived%20counterfactuals%2C%20not%20measured%20attacks.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(attack_scale%2C)%0A%0A%0A%40app.cell%0Adef%20_(attack_scale%2C%20mo)%3A%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22ActionCLIP%22%2C%2066.91%2C%2072.38%2C%2018.48)%2C%20(%22AMD%22%2C%2077.75%2C%2072.55%2C%2021.34)%2C%0A%20%20%20%20%20%20%20%20(%22C2D%22%2C%2066.93%2C%2069.21%2C%2020.61)%2C%20(%22ILA%22%2C%2079.64%2C%2066.17%2C%2026.95)%2C%0A%20%20%20%20%20%20%20%20(%22MViTv2%22%2C%2075.66%2C%2067.57%2C%2024.54)%2C%20(%22ONE-PEACE%22%2C%2071.09%2C%2060.66%2C%2027.96)%2C%0A%20%20%20%20%20%20%20%20(%22R(2%2B1)D%22%2C%2046.96%2C%2076.92%2C%2010.84)%2C%20(%22TAdaFormer%22%2C%2079.96%2C%2049.50%2C%2040.38)%2C%0A%20%20%20%20%20%20%20%20(%22TANet%22%2C%2060.55%2C%2067.03%2C%2019.96)%2C%20(%22TimeSformer%22%2C%2075.18%2C%2066.06%2C%2025.52)%2C%0A%20%20%20%20%20%20%20%20(%22TPN%22%2C%2063.12%2C%2059.63%2C%2025.48)%2C%20(%22TSM%22%2C%2063.09%2C%2054.91%2C%2028.45)%2C%0A%20%20%20%20%20%20%20%20(%22TSMNonLocal%22%2C%2062.64%2C%2064.22%2C%2022.41)%2C%20(%22TSN%22%2C%2067.84%2C%2058.41%2C%2028.21)%2C%0A%20%20%20%20%20%20%20%20(%22UniFormer%22%2C%2076.51%2C%2068.37%2C%2024.20)%2C%20(%22UniFormerV2%22%2C%2086.73%2C%2068.89%2C%2026.98)%2C%0A%20%20%20%20%20%20%20%20(%22Video%20Swin%22%2C%2074.77%2C%2062.03%2C%2028.39)%2C%20(%22VideoMAE%22%2C%2076.70%2C%2069.06%2C%2023.73)%2C%0A%20%20%20%20%20%20%20%20(%22VideoMAEv2%22%2C%2084.12%2C%2066.02%2C%2028.59)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_scale%20%3D%20int(attack_scale.value)%0A%20%20%20%20_derived%20%3D%20%5B%5D%0A%20%20%20%20for%20_name%2C%20_clean%2C%20_asr%2C%20_reported%20in%20_rows%3A%0A%20%20%20%20%20%20%20%20_effective%20%3D%20min(100.0%2C%20_asr%20*%20_scale%20%2F%20100.0)%0A%20%20%20%20%20%20%20%20_robust%20%3D%20_clean%20*%20(1.0%20-%20_effective%20%2F%20100.0)%0A%20%20%20%20%20%20%20%20_derived.append((_name%2C%20_clean%2C%20_asr%2C%20_reported%2C%20_robust))%0A%0A%20%20%20%20def%20_rank(_values)%3A%0A%20%20%20%20%20%20%20%20_order%20%3D%20sorted(range(len(_values))%2C%20key%3Dlambda%20_i%3A%20_values%5B_i%5D)%0A%20%20%20%20%20%20%20%20_out%20%3D%20%5B0%5D%20*%20len(_values)%0A%20%20%20%20%20%20%20%20for%20_position%2C%20_index%20in%20enumerate(_order%2C%20start%3D1)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%5B_index%5D%20%3D%20_position%0A%20%20%20%20%20%20%20%20return%20_out%0A%0A%20%20%20%20def%20_corr(_left%2C%20_right)%3A%0A%20%20%20%20%20%20%20%20_left_mean%20%3D%20sum(_left)%20%2F%20len(_left)%0A%20%20%20%20%20%20%20%20_right_mean%20%3D%20sum(_right)%20%2F%20len(_right)%0A%20%20%20%20%20%20%20%20_numerator%20%3D%20sum((_x%20-%20_left_mean)%20*%20(_y%20-%20_right_mean)%20for%20_x%2C%20_y%20in%20zip(_left%2C%20_right))%0A%20%20%20%20%20%20%20%20_denominator%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20sum((_x%20-%20_left_mean)%20**%202%20for%20_x%20in%20_left)%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20sum((_y%20-%20_right_mean)%20**%202%20for%20_y%20in%20_right)%0A%20%20%20%20%20%20%20%20)%20**%200.5%0A%20%20%20%20%20%20%20%20return%20_numerator%20%2F%20_denominator%0A%0A%20%20%20%20_rho%20%3D%20_corr(%0A%20%20%20%20%20%20%20%20_rank(%5B_row%5B1%5D%20for%20_row%20in%20_rows%5D)%2C%0A%20%20%20%20%20%20%20%20_rank(%5B_row%5B2%5D%20for%20_row%20in%20_rows%5D)%2C%0A%20%20%20%20)%0A%20%20%20%20_winner%20%3D%20max(_derived%2C%20key%3Dlambda%20_row%3A%20_row%5B4%5D)%0A%20%20%20%20_max_error%20%3D%20max(abs(_reported%20-%20_clean%20*%20(1%20-%20_asr%20%2F%20100))%20for%20_%2C%20_clean%2C%20_asr%2C%20_reported%20in%20_rows)%0A%0A%20%20%20%20_left%2C%20_top%2C%20_width%2C%20_height%20%3D%2072%2C%2028%2C%20780%2C%20380%0A%20%20%20%20_xpos%20%3D%20lambda%20_value%3A%20_left%20%2B%20(_value%20-%2045)%20%2F%2045%20*%20_width%0A%20%20%20%20_ypos%20%3D%20lambda%20_value%3A%20_top%20%2B%20_height%20-%20_value%20%2F%2090%20*%20_height%0A%20%20%20%20_parts%20%3D%20%5B%0A%20%20%20%20%20%20%20%20'%3Csvg%20data-chart%3D%22vcr-clean-robust%22%20viewBox%3D%220%200%20900%20470%22%20role%3D%22img%22%20'%0A%20%20%20%20%20%20%20%20'aria-label%3D%22Clean%20accuracy%20versus%20derived%20robust%20accuracy%20for%2019%20video%20classifiers%22%20'%0A%20%20%20%20%20%20%20%20'style%3D%22width%3A100%25%3Bheight%3Aauto%3Bfont-family%3Asystem-ui%3Bbackground%3A%23fbfaf7%3Bborder%3A1px%20solid%20%23ddd6c8%3Bborder-radius%3A12px%22%3E'%2C%0A%20%20%20%20%20%20%20%20'%3Crect%20x%3D%2272%22%20y%3D%2228%22%20width%3D%22780%22%20height%3D%22380%22%20fill%3D%22%23fff%22%2F%3E'%2C%0A%20%20%20%20%5D%0A%20%20%20%20for%20_tick%20in%20(0%2C%2020%2C%2040%2C%2060%2C%2080)%3A%0A%20%20%20%20%20%20%20%20_y%20%3D%20_ypos(_tick)%0A%20%20%20%20%20%20%20%20_parts.append(f'%3Cline%20x1%3D%2272%22%20y1%3D%22%7B_y%3A.1f%7D%22%20x2%3D%22852%22%20y2%3D%22%7B_y%3A.1f%7D%22%20stroke%3D%22%23e7e2d9%22%2F%3E')%0A%20%20%20%20%20%20%20%20_parts.append(f'%3Ctext%20x%3D%2262%22%20y%3D%22%7B_y%20%2B%204%3A.1f%7D%22%20text-anchor%3D%22end%22%20font-size%3D%2212%22%20fill%3D%22%23625d55%22%3E%7B_tick%7D%3C%2Ftext%3E')%0A%20%20%20%20for%20_tick%20in%20(50%2C%2060%2C%2070%2C%2080%2C%2090)%3A%0A%20%20%20%20%20%20%20%20_x%20%3D%20_xpos(_tick)%0A%20%20%20%20%20%20%20%20_parts.append(f'%3Ctext%20x%3D%22%7B_x%3A.1f%7D%22%20y%3D%22430%22%20text-anchor%3D%22middle%22%20font-size%3D%2212%22%20fill%3D%22%23625d55%22%3E%7B_tick%7D%3C%2Ftext%3E')%0A%20%20%20%20for%20_name%2C%20_clean%2C%20_asr%2C%20_reported%2C%20_robust%20in%20_derived%3A%0A%20%20%20%20%20%20%20%20_color%20%3D%20%22%23d5672f%22%20if%20_name%20%3D%3D%20%22TAdaFormer%22%20else%20%22%23236b8e%22%20if%20_name%20%3D%3D%20%22UniFormerV2%22%20else%20%22%237b8790%22%0A%20%20%20%20%20%20%20%20_radius%20%3D%208%20if%20_name%20in%20(%22TAdaFormer%22%2C%20%22UniFormerV2%22)%20else%205%0A%20%20%20%20%20%20%20%20_parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ccircle%20cx%3D%22%7B_xpos(_clean)%3A.1f%7D%22%20cy%3D%22%7B_ypos(_robust)%3A.1f%7D%22%20r%3D%22%7B_radius%7D%22%20fill%3D%22%7B_color%7D%22%20fill-opacity%3D%220.85%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctitle%3E%7B_name%7D%3A%20clean%20%7B_clean%3A.2f%7D%25%2C%20derived%20robust%20%7B_robust%3A.2f%7D%25%3C%2Ftitle%3E%3C%2Fcircle%3E'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20_name%20in%20(%22TAdaFormer%22%2C%20%22UniFormerV2%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctext%20x%3D%22%7B_xpos(_clean)%20-%208%3A.1f%7D%22%20y%3D%22%7B_ypos(_robust)%20-%2012%3A.1f%7D%22%20text-anchor%3D%22end%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'font-size%3D%2212%22%20font-weight%3D%22650%22%20fill%3D%22%7B_color%7D%22%3E%7B_name%7D%3C%2Ftext%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20_parts.extend(%5B%0A%20%20%20%20%20%20%20%20'%3Cline%20x1%3D%2272%22%20y1%3D%22408%22%20x2%3D%22852%22%20y2%3D%22408%22%20stroke%3D%22%23433f39%22%2F%3E'%2C%0A%20%20%20%20%20%20%20%20'%3Cline%20x1%3D%2272%22%20y1%3D%2228%22%20x2%3D%2272%22%20y2%3D%22408%22%20stroke%3D%22%23433f39%22%2F%3E'%2C%0A%20%20%20%20%20%20%20%20'%3Ctext%20x%3D%22462%22%20y%3D%22458%22%20text-anchor%3D%22middle%22%20font-size%3D%2214%22%20fill%3D%22%23433f39%22%3EPublished%20clean%20accuracy%20(%25)%3C%2Ftext%3E'%2C%0A%20%20%20%20%20%20%20%20'%3Ctext%20x%3D%2218%22%20y%3D%22218%22%20text-anchor%3D%22middle%22%20font-size%3D%2214%22%20fill%3D%22%23433f39%22%20transform%3D%22rotate(-90%2018%20218)%22%3ERobust%20accuracy%20(%25)%3C%2Ftext%3E'%2C%0A%20%20%20%20%20%20%20%20'%3C%2Fsvg%3E'%2C%0A%20%20%20%20%5D)%0A%20%20%20%20_svg%20%3D%20%22%22.join(_parts)%0A%20%20%20%20_status%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%23%23%23%20Operating%20point%3A%20%7B_scale%7D%25%20attack%20efficacy%20%C2%B7%20top%20robust%3A%20%7B_winner%5B0%5D%7D%20%7B_winner%5B4%5D%3A.2f%7D%25%0A%0A%20%20%20%20**Published%20diagnostic%3A**%20clean%20accuracy%20versus%20ASR%20has%20Spearman%20%CF%81%20%3D%20**%7B_rho%3A.3f%7D**%20across%2019%20Table%202%20rows.%20At%20100%25%2C%20%60robust%20%3D%20clean%20%C3%97%20(1%20%E2%88%92%20ASR)%60%20reconciles%20every%20published%20row%20within%20**%7B_max_error%3A.3f%7D%20percentage%20points**%20(rounding%20error).%0A%0A%20%20%20%20The%20clean-accuracy%20leader%20is%20**UniFormerV2%20(86.73%25)**%3B%20the%20published%20robust-accuracy%20leader%20is%20**TAdaFormer%20(40.38%25)**.%20The%20ranking%20reversal%20is%20the%20point%3A%20clean%20performance%20alone%20is%20not%20a%20robustness%20selector.%20Values%20away%20from%20100%25%20apply%20one%20equal%20ASR%20multiplier%20and%20do%20not%20model%20attack-specific%20adaptation%2C%20perceptual%20cost%2C%20or%20a%20new%20threat%20model.%22%22%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B_status%2C%20mo.Html(_svg)%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A