Distribution-adaptive watermarking

Distribution-adaptive watermarking è il principio teorico proposto da He, Liu, Wang, Mao e Bu (NeurIPS 2025) secondo cui uno schema di LLM watermarking ottimale deve adattare la propria fonte di casualità alla distribuzione generativa del modello, la distribuzione di probabilità che il modello assegna al token successivo, invece di campionarla in modo uniforme come fanno quasi tutti gli schemi precedenti, incluso il KGW watermarking e la famiglia distortion-free dell’exponential minimum sampling e del Gumbel-Max watermarking.¹

Il problema che risolve

Gli autori formalizzano il watermarking come un problema congiunto: progettare contemporaneamente lo schema di embedding e il detector, invece di ottimizzarli separatamente come facevano i lavori precedenti, che fissavano uno dei due elementi e ottimizzavano solo l’altro. Trattando la sequenza di generazione e la sequenza ausiliaria casuale come una coppia di variabili da testare con un test d’ipotesi, testo scritto da un umano contro testo generato da un LLM watermarked, dimostrano un limite inferiore universale all’errore di mancata detection per un dato tasso di falsi positivi e un dato livello di distorsione consentita sulla qualità del testo, indipendente dal detector scelto. È il trade-off fondamentale tra rilevabilità e distorsione: più bassa è l’entropia del testo originale del modello, più alto è l’errore minimo di detection raggiungibile qualunque sia lo schema usato. Il risultato è una formalizzazione più rigorosa dello stesso fenomeno che il paper di Kirchenbauer descriveva tramite la spike entropy.¹

Il risultato chiave

Risolvendo esplicitamente il problema di ottimizzazione congiunta, gli autori dimostrano che lo schema che raggiunge il limite teorico minimo deve campionare la sua sequenza ausiliaria in modo adattivo rispetto alla distribuzione originale del modello, non uniformemente. In pratica: nei punti dove il modello ha una scelta quasi obbligata, a bassa entropia come un nome proprio, lo schema ottimale evita di forzare artificialmente il segnale su quel token, proprio i punti in cui forzarlo degraderebbe di più la qualità del testo senza guadagnare granché in rilevabilità.¹

Perché è rilevante

È il primo framework a fornire garanzie di ottimalità in forma chiusa per la coppia schema-detector nel watermarking di LLM, invece delle euristiche trial-and-error, bias fisso sui logit e campionamento da distribuzioni uniformi, su cui si basava quasi tutta la letteratura precedente. Fornisce inoltre una spiegazione teorica del perché gli schemi esistenti, che ignorano la distribuzione del modello nella scelta della sequenza ausiliaria, lasciano margine di miglioramento non sfruttato, specialmente nei task a bassa entropia come il question answering, dove il rischio di falsi positivi è più alto.¹

La realizzazione pratica: DAWA

Il principio teorico da solo non è direttamente implementabile, perché richiederebbe conoscere l’intera distribuzione del modello per ogni sequenza di lunghezza T, un problema esponenziale. DAWA è l’algoritmo pratico, token-level e distortion-free, che gli autori propongono per approssimare lo schema ottimale in modo efficiente e model-agnostico.¹

Voci correlate

• DAWA — l’implementazione pratica del principio
• Spike entropy — la misura più informale con cui il paper di Kirchenbauer catturava lo stesso fenomeno
• KGW watermarking — lo schema di riferimento che campiona la green list in modo non adattivo
• Gumbel-Max watermarking ed exponential minimum sampling — gli schemi distortion-free esistenti, anch’essi non adattivi nella forma standard
• LLM watermarking — la voce d’insieme

Bibliografia e sitografia

• He, X., Liu, A., Wang, Z., Mao, Y., Bu, Z., Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach, NeurIPS 2025.

Footnotes

1. He et al., Theoretically Grounded Framework for LLM Watermarking, NeurIPS 2025. ↩ ↩² ↩³ ↩⁴ ↩⁵