🔍 연구의 필요성

워터마크는 언어 모델 제공자가 나중에 자기 모델의 출력을 알아볼 수 있게 합니다. 대표적인 green-red 워터마크(Kirchenbauer et al., 2023)는 비밀 키와 앞선 토큰들로 매 위치마다 어휘의 일부를 green list로 정하고, 생성할 때 green 토큰을 조금 더 선호하게 만듭니다. 검출기는 키만 알면 언어 모델 없이도 글 속 green 토큰이 우연보다 많은지 z-검정으로 확인할 수 있습니다.

이 설계는 autoregressive 생성이 보장하는 두 조건에 기대고 있습니다. 토큰을 뽑는 순간 그 토큰의 green list를 정하는 앞 토큰들은 이미 정해져 있고, 이 토큰이 green list를 정해 줄 뒤 토큰들은 아직 생성되지 않았습니다. 그런데 LLaDA나 Dream 같은 **Diffusion Language Model(DLM)**은 두 조건을 모두 깨뜨립니다. DLM은 mask 토큰으로 가득 찬 캔버스를 여러 단계에 걸쳐 채우며, 토큰을 꼭 왼쪽에서 오른쪽(left-to-right) 순서로 확정하지 않고, 디코딩 규칙이 정한 순서로 **확정(commit)**합니다. LLaDA-8B-Instruct의 기본 순서(low-confidence)에서는 토큰의 **39%**가 자기 문맥의 일부가 아직 mask인 채로 확정되고, **37%**는 자기를 문맥으로 읽을 뒤 두 토큰 중 하나가 먼저 확정된 다음에 확정됩니다. 위치를 무작위로 고르는 Dream-v0-Instruct-7B의 random 순서에서는 두 비율이 모두 **66%**로 더 높습니다. 그래서 DLM의 워터마크는 green list를 모르는 채로 토큰을 골라야 하고, 그 선택이 이웃 토큰들의 green list까지 바꿉니다.

Case Study에서 보여 줄 응답의 처음 열두 토큰. 위는 왼쪽부터 센 순서이고, 아래는 LLaDA-8B-Instruct가 각 토큰을 확정한 단계입니다. 노란 토큰은 자기 왼쪽의 토큰보다 먼저 확정되었습니다.

선행 연구 DLM-KGW(Gloaguen et al., 2026)는 아직 mask인 위치에 대한 모델의 예측, 즉 belief로 이 문제를 다룹니다. KL 제약 아래 green 토큰의 기대 비율을 최대화하므로, 스스로 green일 가능성이 높은 후보와 이웃을 green으로 만드는 후보를 함께 선호합니다. 우리는 이 관점을 이어받되, 두 가지에 주목합니다. 먼저 tilt가 최대화하는 양이 검출기가 실제로 세는 양과 다릅니다. 검출기는 같은 (문맥, 토큰) 쌍을 한 번만 세는데, DLM-KGW의 tilt는 이미 나온 green 쌍도 계속 보상하므로 세지도 않을 증거에 강도를 쓰고, 강도가 커질수록 반복 loop가 늘어납니다. 또 한 번의 commit이 얻을 수 있는 증거는 기존 방법들이 고정해 둔 두 요소에 묶여 있습니다.

• 어휘를 나누는 방식(partition): keyed hash는 가장 유력한 두 후보를 네 번에 한 번꼴로 같은 band에 넣습니다. 이때 다른 band가 green으로 뽑히면 tilt가 밀어 줄 후보가 거의 남지 않습니다.
• 이웃을 내다보는 belief: 기존 방법은 후보를 놓기 전의 이웃 belief를 씁니다. 이 belief는 모든 후보에게 똑같지만, 실제로는 불확실한 commit의 약 4분의 3에서 후보 하나를 놓는 것만으로 mask 이웃의 가장 유력한 토큰이 바뀝니다.

한 mask 위치에서 본 두 학습 요소 (예시 토큰). (a) learned bands는 경쟁하는 후보들을 여러 band에 흩어 놓지만, keyed hash는 charge와 have를 한 band에 넣어 green band에 밀어 줄 후보가 없을 수 있습니다. (b) 놓은 뒤의 belief를 예측하면, 자기는 red이지만 두 이웃을 green으로 만드는 charge를 foresight가 알아볼 수 있습니다.

우리는 DLM-KGW의 최적화 관점을 이어받되 그 목표를 검출기가 실제로 계산하는 통계량으로 바꾸고, 고정되어 있던 두 요소를 학습합니다. 경쟁하는 후보들을 서로 다른 band로 갈라놓는 learned bands와, 후보를 놓은 뒤 이웃의 belief를 예측하는 foresight predictor입니다. green band는 여전히 키가 고르기 때문에 귀무분포는 정확하게 유지되고, 검출에는 키와 band만 있으면 됩니다.

✨ 어떻게 작동하나?

한 mask 위치 j에서의 워터마크 (예시 토큰과 확률). 위는 미리 학습하는 두 모듈, 가운데는 생성 중의 tilt, 아래는 키와 band만 쓰는 검출입니다.

위 그림은 한 mask 위치 $j$에서 일어나는 일을 보여 줍니다. 앞 위치는 funds일 가능성이 높으므로, 모델이 선호하는 have는 그 자리에서 green일 확률도 0.83으로 높습니다. 그런데 charge를 놓으면 predictor가 내다본 이웃이 low fees로 바뀌어 두 이웃이 모두 green이 됩니다. 그래서 tilt는 확률을 charge 쪽으로 옮깁니다. 이렇게 만들어진 글을 검출기는 키와 band만으로 읽고, 세 unit 중 두 개가 green이라는 사실에서 z-score와 정확한 p-value를 계산합니다.

<aside> 💡

핵심 아이디어

각 commit을 검출기가 셀 증거를 최대화하는 선택으로 보고, 그 증거를 좌우하지만 지금까지 고정되어 있던 두 요소, 즉 어휘 partition과 이웃을 내다보는 belief를 학습한다.

</aside>

1. 검출기가 세는 증거를 최대화하는 tilt

후보 $v$를 위치 $j$에 놓으면 증거가 두 곳에서 생깁니다. $v$가 자기 자리에서 green일 확률 $g_0(v)$와, $v$를 문맥으로 읽는 두 이웃 $j{+}1$, $j{+}2$가 green이 될 확률 $g_t(v)$입니다. 각각을 우연한 green 비율 $\gamma$와 비교해 더하되, 두 이웃 몫에는 가중치 $\lambda$를 곱한 것이 후보의 점수입니다.

$$ s(v) = \underbrace{g_0(v)-\gamma}{\text{own}} + \lambda \underbrace{\sum{t=1,2}\big(g_t(v)-\gamma\big)}_{\text{foresight } \Phi(v)} $$

문맥이 아직 mask이면 모델의 belief로 기댓값을 내고, 이미 글에 있는 (문맥, 토큰) 쌍은 검출기가 다시 세지 않으므로 점수를 주지 않습니다(unit-aware).