2610.20686-rolaq-cache-accounting

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.23.16%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%20What%20does%20a%20%E2%80%9C2-bit%20KV%20cache%E2%80%9D%20actually%20store%3F%0A%0A%20%20%20%20**Question.**%20When%20only%20MLA's%20content%20latent%20uses%20low-bit%20codes%2C%20how%20do%0A%20%20%20%20metadata%20and%20the%20BF16%20positional%20key%20change%20the%20whole-cache%20precision%20and%0A%20%20%20%20capacity%20ratio%3F%0A%0A%20%20%20%20RoLaQ%20reports%20a%20packed%20**2-bit%20content%20latent**%2C%20not%20a%20two-bit%20encoding%20of%0A%20%20%20%20every%20cached%20coordinate.%20The%20defaults%20below%20reproduce%20Appendix%20A.3%20for%0A%20%20%20%20DeepSeek-V2-Lite.%20Moving%20either%20control%20is%20an%20**analyst-authored%20storage%0A%20%20%20%20sensitivity**%2C%20not%20another%20configuration%20evaluated%20by%20the%20paper.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20code_bits%20%3D%20mo.ui.slider(2%2C%208%2C%20value%3D2%2C%20step%3D1%2C%20label%3D%22Content%20code%20width%20(bits)%22)%0A%20%20%20%20group_size%20%3D%20mo.ui.slider(32%2C%20256%2C%20value%3D128%2C%20step%3D32%2C%20label%3D%22Coordinates%20per%20metadata%20group%22)%0A%20%20%20%20mo.hstack(%5Bcode_bits%2C%20group_size%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20code_bits%2C%20group_size%0A%0A%0A%40app.cell%0Adef%20_(code_bits%2C%20group_size%2C%20mo)%3A%0A%20%20%20%20_d_content%20%3D%20512%0A%20%20%20%20_d_rope%20%3D%2064%0A%20%20%20%20_bits%20%3D%20int(code_bits.value)%0A%20%20%20%20_group%20%3D%20int(group_size.value)%0A%20%20%20%20_code_bytes%20%3D%20_d_content%20*%20_bits%20%2F%208%0A%20%20%20%20_metadata_bytes%20%3D%20(_d_content%20%2F%20_group)%20*%202%20*%204%0A%20%20%20%20_rope_bytes%20%3D%20_d_rope%20*%202%0A%20%20%20%20_total_bytes%20%3D%20_code_bytes%20%2B%20_metadata_bytes%20%2B%20_rope_bytes%0A%20%20%20%20_bf16_bytes%20%3D%20(_d_content%20%2B%20_d_rope)%20*%202%0A%20%20%20%20_effective_bits%20%3D%20_total_bytes%20*%208%20%2F%20(_d_content%20%2B%20_d_rope)%0A%20%20%20%20_capacity_ratio%20%3D%20_bf16_bytes%20%2F%20_total_bytes%0A%20%20%20%20_measured_gap%20%3D%204.0%20-%203.96%0A%20%20%20%20_scale%20%3D%20540%20%2F%20_bf16_bytes%0A%20%20%20%20_w_code%20%3D%20_code_bytes%20*%20_scale%0A%20%20%20%20_w_meta%20%3D%20_metadata_bytes%20*%20_scale%0A%20%20%20%20_w_rope%20%3D%20_rope_bytes%20*%20_scale%0A%20%20%20%20_marker%20%3D%20f%22bits-%7B_bits%7D-group-%7B_group%7D-bytes-%7B_total_bytes%3A.0f%7D%22%0A%20%20%20%20_chart%20%3D%20f'''%3Csvg%20data-chart%3D%22rolaq-cache-accounting%22%20data-marker%3D%22%7B_marker%7D%22%0A%20%20%20%20%20%20viewBox%3D%220%200%20720%20320%22%20role%3D%22img%22%20aria-label%3D%22Per-token%20per-layer%20MLA%20cache%20storage%22%3E%0A%20%20%20%20%20%20%3Crect%20width%3D%22720%22%20height%3D%22320%22%20rx%3D%2212%22%20fill%3D%22%23f5f7fb%22%2F%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%2228%22%20y%3D%2236%22%20font-size%3D%2218%22%20font-weight%3D%22700%22%3EBytes%20per%20token%20per%20layer%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%2228%22%20y%3D%2261%22%20font-size%3D%2212%22%20fill%3D%22%23526071%22%3EDeepSeek-V2-Lite%20dimensions%3A%20content%20512%20%2B%20RoPE%2064%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%2228%22%20y%3D%22110%22%20font-size%3D%2214%22%3ESelected%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Crect%20x%3D%22145%22%20y%3D%2286%22%20width%3D%22%7B_w_code%3A.1f%7D%22%20height%3D%2238%22%20fill%3D%22%236554c0%22%2F%3E%0A%20%20%20%20%20%20%3Crect%20x%3D%22%7B145%20%2B%20_w_code%3A.1f%7D%22%20y%3D%2286%22%20width%3D%22%7B_w_meta%3A.1f%7D%22%20height%3D%2238%22%20fill%3D%22%23d97706%22%2F%3E%0A%20%20%20%20%20%20%3Crect%20x%3D%22%7B145%20%2B%20_w_code%20%2B%20_w_meta%3A.1f%7D%22%20y%3D%2286%22%20width%3D%22%7B_w_rope%3A.1f%7D%22%20height%3D%2238%22%20fill%3D%22%230891b2%22%2F%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%22%7B153%20%2B%20_w_code%20%2B%20_w_meta%20%2B%20_w_rope%3A.1f%7D%22%20y%3D%22111%22%20font-size%3D%2213%22%3E%7B_total_bytes%3A.0f%7D%20B%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%2228%22%20y%3D%22180%22%20font-size%3D%2214%22%3EBF16%20MLA%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Crect%20x%3D%22145%22%20y%3D%22156%22%20width%3D%22540%22%20height%3D%2238%22%20fill%3D%22%2394a3b8%22%2F%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%22612%22%20y%3D%22181%22%20font-size%3D%2213%22%20fill%3D%22white%22%3E%7B_bf16_bytes%3A.0f%7D%20B%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Crect%20x%3D%22145%22%20y%3D%22235%22%20width%3D%2216%22%20height%3D%2216%22%20fill%3D%22%236554c0%22%2F%3E%3Ctext%20x%3D%22168%22%20y%3D%22248%22%20font-size%3D%2212%22%3Econtent%20codes%20%7B_code_bytes%3A.0f%7D%20B%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Crect%20x%3D%22330%22%20y%3D%22235%22%20width%3D%2216%22%20height%3D%2216%22%20fill%3D%22%23d97706%22%2F%3E%3Ctext%20x%3D%22353%22%20y%3D%22248%22%20font-size%3D%2212%22%3EFP32%20metadata%20%7B_metadata_bytes%3A.0f%7D%20B%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Crect%20x%3D%22540%22%20y%3D%22235%22%20width%3D%2216%22%20height%3D%2216%22%20fill%3D%22%230891b2%22%2F%3E%3Ctext%20x%3D%22563%22%20y%3D%22248%22%20font-size%3D%2212%22%3EBF16%20RoPE%20%7B_rope_bytes%3A.0f%7D%20B%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%2228%22%20y%3D%22292%22%20font-size%3D%2212%22%20fill%3D%22%23526071%22%3ECapacity%20ceiling%20%3D%20BF16%20bytes%20%2F%20selected%20bytes%3B%20allocator%20and%20protected-token%20overhead%20are%20excluded.%3C%2Ftext%3E%0A%20%20%20%20%3C%2Fsvg%3E'''%0A%20%20%20%20_status%20%3D%20%22paper%20default%22%20if%20(_bits%2C%20_group)%20%3D%3D%20(2%2C%20128)%20else%20%22hypothetical%20sensitivity%22%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%22%22%23%23%20Operating%20point%3A%20%7B_bits%7D-bit%20content%20%2F%20group%20%7B_group%7D%20%2F%20%7B_total_bytes%3A.0f%7D%20bytes%0A%0A%20%20%20%20%20%20%20%20**Whole-cache%20effective%20precision%3A%20%7B_effective_bits%3A.3f%7D%20bits%20per%20stored%20coordinate.**%0A%20%20%20%20%20%20%20%20The%20arithmetic%20capacity%20ceiling%20is%20**%7B_capacity_ratio%3A.3f%7D%C3%97%20BF16**%20(%7B_status%7D).%0A%20%20%20%20%20%20%20%20At%20the%20paper%20default%20this%20is%204.000%C3%97%2C%20while%20its%20measured%20capacity%20ratio%20is%0A%20%20%20%20%20%20%20%203.96%C3%97%E2%80%94a%20%7B_measured_gap%3A.2f%7D%C3%97%20absolute%20gap%20from%20serving%20overheads.%22%22%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(_chart)%2C%0A%20%20%20%20%5D%2C%20gap%3D1)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Takeaway.**%20A%20precision%20label%20should%20name%20the%20compressed%20component.%0A%20%20%20%20At%20RoLaQ's%20published%20default%2C%20128%20B%20of%20INT2%20codes%20plus%2032%20B%20of%20FP32%20group%0A%20%20%20%20statistics%20and%20128%20B%20of%20BF16%20RoPE%20state%20total%20288%20B%E2%80%94not%20144%20B%2C%20which%20a%0A%20%20%20%20literal%20two-bit%20encoding%20of%20all%20576%20coordinates%20would%20imply.%0A%0A%20%20%20%20**Provenance.**%20Ji%20et%20al.%2C%20*RoLaQ%3A%20Joint%20Rotation%20and%20Range%20Calibration%20for%0A%20%20%20%202-Bit%20KV%20Caches%20in%20Multi-Head%20Latent%20Attention*%2C%20arXiv%3A2610.20686v1%2C%0A%20%20%20%20https%3A%2F%2Farxiv.org%2Fabs%2F2610.20686%20.%20Appendix%20A.3%20gives%20%60d%3D512%60%2C%20%60d_r%3D64%60%2C%0A%20%20%20%20group%20size%20128%2C%20two%20FP32%20statistics%20per%20group%2C%20and%20a%20BF16%20RoPE%20key.%20The%0A%20%20%20%20paper%20reports%201.15M%20versus%204.56M%20tokens%20(3.96%C3%97)%20under%20equal%20memory%20budgets.%0A%0A%20%20%20%20**Limits.**%20This%20demo%20reproduces%20storage%20arithmetic%20only.%20It%20does%20not%20run%0A%20%20%20%20RoLaQ%2C%20quantize%20activations%2C%20evaluate%20accuracy%2C%20execute%20CUDA%2FSGLang%2C%20measure%0A%20%20%20%20capacity%20or%20throughput%2C%20or%20validate%20the%20paper's%20author-run%202.51%C3%97%20decode%0A%20%20%20%20result.%20Non-default%20control%20values%20are%20hypothetical.%20Original%20demo%20code%20is%0A%20%20%20%20prepared%20for%20MIT%20release%20and%20copies%20no%20paper%20code%2C%20data%2C%20or%20figures.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A