X-SIR

L'estensione di SIR con clustering semantico cross-linguale del vocabolario, proposta come difesa contro gli attacchi di traduzione (ACL 2024).

X-SIR è l’estensione di SIR proposta da He, Zhou, Hao, Liu, Wang, Tu, Zhang e Wang (ACL 2024) come difesa contro gli attacchi di traduzione al watermark, che migliora specificamente la consistenza cross-linguale di un watermark.¹ È stata integrata nel toolkit open source MarkLLM.¹

I due fattori individuati

Gli autori identificano analiticamente due condizioni necessarie perché un token e il suo equivalente in un’altra lingua ricadano nella stessa categoria, verde o rossa, dopo la traduzione:¹

Clustering semantico cross-linguale del vocabolario: token semanticamente equivalenti in lingue diverse devono appartenere allo stesso cluster, così da ricevere lo stesso trattamento indipendentemente dalla lingua in cui compaiono.
Partizione robusta del vocabolario: per prefissi semanticamente equivalenti in lingue diverse, la partizione del vocabolario per il token successivo deve essere la stessa.

SIR, grazie al suo modello di bias appreso su un embedding multilingue, soddisfa già in parte il secondo fattore; X-SIR aggiunge esplicitamente il primo.¹

Come funziona

X-SIR costruisce un clustering semantico cross-linguale del vocabolario: si costruisce un grafo in cui ogni token del vocabolario è un nodo, e si aggiunge un arco tra due token ogni volta che una voce di un dizionario bilingue esterno li mette in corrispondenza; le componenti connesse di questo grafo diventano i cluster semantici. Invece di assegnare un bias a ciascun token individualmente come fa SIR, X-SIR assegna lo stesso bias a tutti i token dello stesso cluster, così che un token e la sua traduzione, appartenendo allo stesso cluster, ricevano sempre lo stesso trattamento indipendentemente dalla lingua.¹

Perché è rilevante

Migliora sensibilmente le prestazioni di detection rispetto a SIR sia sotto traduzione diretta sia sotto attacco di traduzione, con un incremento medio di true positive rate di 0,448 e di AUC di 0,221 nelle lingue testate, senza peggiorare la qualità del testo generato, misurata con ROUGE.¹ Sotto attacco di parafrasi nella stessa lingua, X-SIR supera leggermente anche SIR, perché parafrasare può essere visto come un caso particolare di traduzione interna alla stessa lingua, e il clustering semantico aiuta anche lì.¹

Limiti dichiarati dagli autori

Copertura linguistica: il miglioramento è molto più marcato per le lingue ben supportate dal vocabolario del modello e del dizionario esterno, nell’esperimento cinese e giapponese con Baichuan-7B, che per lingue meno centrali nel training del modello come francese e tedesco, dove X-SIR migliora una metrica ma non l’altra.
Copertura del vocabolario: il dizionario esterno usato per il clustering contiene solo parole intere; le unità di sub-word, token che non corrispondono a parole complete, restano nodi isolati nel grafo e non beneficiano del clustering, un problema che si aggrava se il tokenizer del modello favorisce una segmentazione molto fine.

Gli autori sono espliciti: X-SIR non risolve il problema della consistenza cross-linguale, ma ne dimostra la trattabilità e apre la strada a ricerche future.¹

Voci correlate

SIR — lo schema di base che X-SIR estende
KGW watermarking — lo schema di riferimento più a monte nella stessa famiglia
SemStamp — l’altro approccio semantico al watermarking
In-processing watermarking — la categoria di appartenenza
LLM watermarking — la voce d’insieme

Bibliografia e sitografia

He, Z., Zhou, B., Hao, H., Liu, Wang, Tu, Zhang, Wang, Can Watermarks Survive Translation?, ACL 2024.

He et al., Can Watermarks Survive Translation?, ACL 2024. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸