Spike entropy

La misura di quanto una distribuzione di probabilità sui token sia concentrata su pochi candidati, introdotta da Kirchenbauer et al. (2023) per predire la forza di un watermark.

Spike entropy è una misura di entropia introdotta da Kirchenbauer et al. (2023) nel paper originale del KGW watermarking per quantificare quanto una distribuzione di probabilità sui token sia concentrata su pochi candidati: la proprietà che determina se un passo di generazione è “adatto” al watermarking o no.¹

Come funziona

Data una distribuzione discreta di probabilità p su un vocabolario e uno scalare z definito come modulo, la spike entropy è definita come S(p, z) = Σ_k p_k / (1 + z·p_k).¹ È simile all’entropia di Shannon nel senso che misura quanto una distribuzione è “spalmata”, ma è costruita per catturare l’effetto delle code strette: quando l’intera massa di probabilità è concentrata su un solo token assume il suo valore minimo, quando è distribuita uniformemente su N token il suo valore massimo. Per z grandi si può interpretare come una versione ammorbidita del numero di token con probabilità sopra 1/z: in pratica, quante scelte lessicali plausibili ha davvero il modello in quel punto.¹

Perché esiste

Il watermarking a bias sui logit, come la regola soft di KGW, funziona bene solo quando il modello ha più opzioni plausibili tra cui scegliere: se un solo token domina nettamente i logit, il bias non riesce a spostare la scelta senza degradare la qualità del testo. La spike entropy dà un modo rigoroso per predire, prima ancora di generare il testo, quanto sarà forte il watermark su quella sequenza: il paper originale dimostra un limite inferiore al numero atteso di token della green list in funzione della spike entropy media del testo, e un limite superiore alla sua varianza, permettendo di stimare quanti token servono per rilevare il watermark con una data confidenza.¹ Il principio è stato in seguito formalizzato in modo più rigoroso dal framework teorico del distribution-adaptive watermarking, che descrive lo stesso fenomeno con un trade-off fondamentale tra rilevabilità e distorsione.²

Voci correlate

KGW watermarking — il metodo la cui analisi teorica si fonda su questa misura
Distribution-adaptive watermarking — la formalizzazione successiva dello stesso fenomeno
LLM watermarking — la voce d’insieme

Bibliografia e sitografia

Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., Goldstein, T., A Watermark for Large Language Models, ICML 2023 / arXiv:2301.10226.
He, X., Liu, A., Wang, Z., Mao, Y., Bu, Z., Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach, NeurIPS 2025.