Training phase watermarking

Training phase watermarking è l’approccio al LLM watermarking che inietta il segnale identificativo nei dati di addestramento di un large language model, o nei pesi risultanti dal training, invece che al momento della generazione del testo.¹ È la fase più a monte del ciclo di vita di un modello in cui un watermark può essere incorporato: precede sia la fase dei logit sia quella del campionamento su cui lavora l’in-processing watermarking classico.¹

Come funziona

Un esempio tipico, per incorporare una stringa identificativa di bit in un modello addestrato su un grande corpus: si campiona una piccola porzione del dataset e vi si appende un marcatore lessicale a bassa frequenza, una parola rara e grammaticalmente innocua, che codifica ciascun bit della stringa. Il sottoinsieme modificato viene rimescolato nel dataset originale con un fattore di ponderazione, a formare il set di training finale. Il modello addestrato su questo dataset arricchito produce, se interrogato con testo simile a quello marcato, la sequenza di marker impressa nei suoi pesi, rivelando la stringa a chi conosce lo schema.² La famiglia include anche tecniche backdoor (il modello risponde in modo predefinito e riconoscibile a un trigger nascosto), varianti clean-label che non richiedono di etichettare i dati come watermarked, data poisoning mirato e watermark impressi tramite fine-tuning su dataset di codice sorgente.²

Perché esiste

A differenza del watermarking in fase di generazione, un segnale impresso nel training sopravvive anche quando il modello viene distribuito o servito da terzi che non hanno accesso al campionamento, perché fa parte della conoscenza appresa dal modello e non di un layer applicato all’inferenza.² È rilevante soprattutto per la protezione della proprietà intellettuale di dataset e modelli fine-tuned, e per il rilevamento di membership, cioè dimostrare che un certo testo ha fatto parte dei dati di training.²

Il modello di incentivi

La letteratura osserva che questa famiglia, a differenza del watermarking applicato al testo generato, protegge direttamente l’asset centrale del proprietario del modello, i pesi, senza alcun impatto sull’esperienza dell’utente finale, e allinea quindi in modo naturale gli incentivi.³ Lo scenario tipico: uno sviluppatore carica un modello pre-addestrato su una piattaforma di hosting; un avversario lo scarica, lo rifinisce o lo pota e lo ridistribuisce senza credito; lo sviluppatore usa il watermark impresso durante il training per dimostrare la provenienza del modello rubato.³ Gli autori tracciano un’analogia con l’evoluzione del DRM di iTunes: un sistema di protezione può passare da restrittivo a puramente forense, cioè di sola tracciabilità senza limitare l’uso legittimo, se l’esperienza dell’utente resta la priorità.³

Confronto con il fingerprinting

Lo stesso obiettivo di protezione dei pesi può essere raggiunto anche senza impiantare alcun segnale, estraendo un’identità dalle caratteristiche già presenti nel modello: è l’approccio del fingerprinting, che include tecniche di rilevamento comportamentale molto simili al backdoor watermarking ma senza alterare intenzionalmente il training.² I due approcci sono presentati in letteratura come alternative complementari per lo stesso problema.²

Limiti

Un watermark impresso nel training può essere indebolito o cancellato da un successivo fine-tuning su nuovi dati, specialmente se tocca gran parte dei parametri invece dei soli ultimi strati.² È inoltre più costoso da applicare di un intervento al momento della generazione, perché richiede di intervenire prima o durante l’addestramento e non solo alla sua interfaccia di inferenza.²

Voci correlate

• LLM watermarking — la famiglia di tecniche cui appartiene questo approccio
• In-processing watermarking — la fase successiva del ciclo di vita, in cui il segnale viene incorporato durante la generazione
• Portale: LLM watermarking

Bibliografia e sitografia

• Ye, Y. et al., Securing Large Language Models: A Survey of Watermarking and Fingerprinting Techniques, ACM Computing Surveys, febbraio 2026.
• Liu, J., Zhao, X., Song, Y., Wornell, G., Bu, Z., Position: LLM Watermarking Should Align Stakeholders’ Incentives for Practical Adoption, Findings of ACL 2026.

Footnotes

1. Ye et al., Securing Large Language Models, ACM Computing Surveys, 2026. ↩ ↩²

2. Ye et al., Securing Large Language Models, ACM Computing Surveys, 2026, sezione sul model watermarking. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸

3. Liu et al., Position: LLM Watermarking Should Align Stakeholders’ Incentives, Findings of ACL 2026. ↩ ↩² ↩³