🌙 언어를 이해하는 LLM 워터마크, LUNA

한 줄 요약

LUNA는 품사(POS) 문맥의 불확실성을 활용해 워터마크 강도를 동적으로 조절하는 다국어 LLM 워터마킹 기법이다. 높은 탐지 성능을 유지하면서도 생성 품질 저하를 크게 줄이는 것이 핵심이다.

LLM이 만든 글을 나중에 식별할 수 있다면 무엇이 달라질까요? 생성형 AI가 만든 텍스트가 뉴스, 위키 문서, 요약문, 댓글, 보고서처럼 자연스럽게 섞이는 환경에서는 “이 텍스트가 어디에서 왔는가”를 추적하는 기술이 중요해집니다. LLM 워터마킹은 바로 이 문제를 다룹니다. 모델이 텍스트를 생성하는 순간 통계적 신호를 심고, 나중에 그 신호를 검정해서 워터마크 여부를 판단합니다.

하지만 텍스트 워터마킹은 단순히 “잘 잡히면 된다”로 끝나지 않습니다. 탐지는 강해야 하지만, 생성 품질을 망치면 안 됩니다. 검증자가 원래 모델의 logits나 forward pass에 접근해야 한다면 실제 서비스나 제3자 감사 환경에서 쓰기 어렵습니다. 그리고 영어에서 잘 되는 방식이 한국어, 일본어, 중국어, 독일어, 아랍어에서도 자연스럽게 잘 된다는 보장도 없습니다.

LUNA는 이 세 가지 요구를 동시에 겨냥한 다국어 LLM 워터마킹 방법입니다. 이름은 Linguistics-Aware Non-Distortionary LLM Watermarking의 약자입니다. 핵심은 “언어학적으로 더 많은 선택지가 열려 있는 위치에 더 많은 워터마크 증거를 배치하자”는 아이디어입니다.

🤔 왜 LUNA가 필요한가

기존 LLM 워터마킹 방법은 대체로 두 방향으로 나뉩니다.

하나는 next-token distribution을 직접 바꾸는 방식입니다. 예를 들어 특정 키에 따라 vocabulary를 green list와 red list로 나누고, green token의 logit에 bias를 주는 식입니다. 이런 방식은 탐지가 쉽고 강력할 수 있지만, 토큰 분포를 직접 바꾸기 때문에 생성 품질에 영향을 줄 수 있습니다.

다른 하나는 distribution-preserving 또는 non-distortionary 계열입니다. 워터마크 randomness에 대해 평균을 내면 원래 next-token marginal distribution이 보존되도록 설계합니다. LUNA는 이 계열에 속합니다. 다만 LUNA의 non-distortionary 주장은 정확히 표준 random-key model에서 단일 토큰 marginal을 보존한다는 의미입니다. 고정된 하나의 key에서 전체 sequence distribution이 완전히 같다는 뜻은 아닙니다.

또 다른 축은 adaptive watermarking입니다. 어떤 위치에는 워터마크를 강하게 넣고, 어떤 위치에는 약하게 넣는 방식입니다. 기존 adaptive 방법 중 일부는 language model entropy 같은 모델 내부 정보를 사용합니다. 문제는 detection할 때도 모델 entropy나 logits가 필요할 수 있다는 점입니다. 이렇게 되면 verifier가 원래 모델이나 surrogate model을 돌려야 합니다.

LUNA는 여기서 다른 길을 택합니다. 모델 내부 정보 대신, 품사 문맥에서 다음 품사 태그가 얼마나 예측 가능한지를 사용합니다. 이 신호는 언어와 POS 분석기에 의해 결정되며, 특정 생성 모델의 logits에 의존하지 않습니다.

📖 먼저 알아둘 표기법

💡 핵심 직관: 문법적으로 선택지가 많은 곳과 적은 곳

언어마다, 그리고 같은 언어 안에서도 문맥마다 “다음에 무엇이 올 수 있는가”가 다릅니다.