🔍 연구의 필요성

LLM의 발전으로 자동 코드 생성과 테스트 케이스 생성이 활발해졌습니다. 하지만 표준처럼 널리 사용되는 기존 벤치마크(HumanEval+, MBPP+)는 여전히 pass@k 중심의 functional correctness에 초점을 두고 있어, 생성 코드가 well-formed input에서 정답을 내는지에 대한 신호만 강하게 제공합니다. 반면 실제 소프트웨어에서 “정확한 평가”는 정답 출력뿐 아니라, 입력 조건(input conditions)—contracts로 주어지는 input validity constraints과 예외 처리 규칙—을 위반하는 ill-formed input을 의도대로 reject하는지까지 포함합니다. 그런데 이 능력은 기존 pass@k 평가에서는 거의 관찰되지 않아, LLM의 contract-awareness가 사실상 간과됩니다.

우리는 이 평가 공백을 측정 가능하게 메우기 위해 ContractEval을 제시합니다. ContractEval은 기존 벤치마크(HumanEval+, MBPP+)에 contract-violating tests(CVTs)를 추가하여, 생성 코드가 ill-formed input을 단순히 실패하는 것이 아니라 의도한 assertion으로 명시적으로 reject하는지를 표준화된 방식으로 평가합니다.

✨ ContractEval이란?

ContractEval는 LLM 코드 평가를 functional correctness에서 한 단계 확장해, Contract 준수까지 함께 측정·강화하는 Contract-aware benchmark입니다.

ContractEval은 4가지 구성요소로 이루어져 있습니다.

• Task description(문제 설명)
• Reference code(참조 구현)
• Well-formed inputs & functional tests(정상 입력 기반 기능 테스트)
• Contract-violating tests, CVTs(계약 위반 테스트)

기존 pass@k 평가가 주로 well-formed input에서의 정답 여부에 집중하는 반면, ContractEval은 ill-formed input에 대해 모델이 단순히 크래시하는지 여부가 아니라, intended rejectiond을 수행하는지까지 측정합니다.

이러한 평가를 가능하게 하기 위해, ContractEval은 다음 3가지 핵심 설계 축에 기반해 구성됩니다.

1. Contract 위반 테스트 케이스 생성 (CVT Generation)

• 자연어 기반 계약을 ADT(Algebraic Data Type) 형식으로 변환
• SMT Solver(Z3)를 이용해 계약 위반 조합을 탐색