🔍 연구의 필요성

LLM의 발전으로 자동 코드 생성이 활발해졌지만, 표준처럼 쓰이는 기존 벤치마크(HumanEval+, MBPP+)는 여전히 pass@k 중심의 functional correctness에 머물러 있습니다. 이 방식은 형식이 올바른 입력(well-formed input, 예: 함수가 기대하는 타입·범위를 모두 만족하는 정상 입력)에 대해 정답을 내는지만 실행, 측정하기 때문에, 입력이 지켜야 할 전제조건을 코드가 실제로 강제하는지는 전혀 드러나지 않습니다.

문제는 여기서 비롯됩니다. 실제 task description은 "리스트의 인덱스로 원소를 꺼낸다"처럼 입력이 만족해야 할 조건을 암묵적으로만 남기는 경우가 많습니다. 이러한 조건(예: "인덱스는 0 이상, 리스트 길이 미만의 정수여야 한다")을 명시적으로 기술한 규칙을 contract라고 하며, 이를 위반하는 입력—음수 인덱스, 문자열 인덱스처럼 전제조건을 깨는 입력—을 ill-formed input이라 합니다. 기존 평가 스위트는 이러한 ill-formed input을 사전에 제거한 채 well-formed input만 실행하기 때문에, 생성 코드가 입력 조건을 전혀 확인하지 않아도 pass@k 점수는 높게 나옵니다. 실제로 대표 모델들은 pass@1 75–82%를 달성하면서도 contract satisfaction은 0%인 illusion of correctness를 드러냅니다. 즉 "정답을 내는가" 와 "잘못된 입력을 의도한 assertion으로 거부하는가" 는 코드 품질의 서로 다른 축이지만, 후자는 기존 벤치마크에서 구조적으로 측정이 불가능합니다. HumanEval+와 MBPP+가 reference contract 필드를 이미 가지고 있음에도, 이를 ill-formed input을 걸러내는 용도로만 쓰기 때문에 공백은 해소되지 않습니다.

우리는 이 평가 공백을 메우기 위해 ContractEval을 제시합니다. ContractEval은 HumanEval+/MBPP+를 확장해, 생성 코드가 ill-formed input에 대해 단순히 크래시하는지가 아니라 의도한 contract assertion으로 명시적으로 거부하는지를 표준화된 방식으로 평가합니다.

✨ ContractEval이란?

ContractEval은 LLM 코드 평가를 functional correctness에서 한 단계 확장해, contract 준수까지 함께 측정하는 contract-aware benchmark입니다. 기존 pass@k 평가가 정상 입력(well-formed input)에서의 정답 여부만 확인하는 것과 달리, ContractEval은 잘못된 입력(ill-formed input)에 대해 생성 코드가 의도한 assertion으로 명시적으로 거부(reject)하는지까지 측정합니다.

ContractEval은 3가지 설계 축으로 이루어져 있습니다.

**1. Contract-Aware Query Reconstruction

(문제 설명에 숨어 있는 입력 조건을 드러내기)**

• LLM-judge로 reference contract가 자연어 설명과 의미적으로 일치하는지 검증을 통해 misaligned 문제를 제외
• 유지된 태스크의 assertion을 해석해, 원 설명에서 누락된 input conditions을 프롬프트에 재서술

2. Contract-Violating Test Construction

(의도한 계약만 정확히 위반하는 테스트 만들기)

• 자연어 기반 계약을 ADT(Algebraic Data Type) 형식으로 변환
• SMT Solver(Z3)를 이용해 계약 위반 조합을 탐색
• 나머지 계약은 모두 만족하면서 특정 계약만 위반하는 입력을 생성 → 정밀하게 타겟된 CVTs(Contract-Violating Tests) 확보

3. Combining Contracts and Code

(정답 코드에 contract를 추가하기)

• Regex 패턴으로 대상 함수의 시그니처를 정확히 식별하여 import 문, decorator, 보조 함수가 같은 파일에 섞여 있어도 정확한 함수 헤더만 안정적으로 잡아냄