🔍 연구의 필요성

LLM의 발전으로 자동 코드 생성과 테스트 케이스 생성이 활발해졌지만, LLM 성능 평가의 표준처럼 널리 사용되는 기존 벤치마크(HumanEval+, MBPP+)는 여전히 pass@k 중심의 functional correctness만 평가하는 데 머물러 있습니다. 이 평가는 코드가 “정상 입력에서 정답을 출력하는가”만 보며, Contract(precondition과 input validation rule) 를 지키는지 여부는 무시하는 한계를 가지고 있습니다. 그러나 실제 소프트웨어에서는 Contract 위반이 보안 취약점, 예외 누락등으로 이어지기 쉽습니다. 겉으로는 정답을 내더라도 **잘못된 입력(ill-formed input)**을 적절히 거부하지 못하면 안전하지 않은 코드 입니다. 이 한계를 해결하기 위해 우리는 PACT 를 제안합니다.

✨ PACT란

PACT는 LLM 코드 평가를 functional correctness에서 한 단계 확장해, Contract 준수까지 함께 측정·강화하는 Contract-aware 프레임워크입니다. 핵심은 두 축입니다:

1. **Contract-Violating Tests (CVTs)**를 고품질로 생성한다.
2. 이 CVTs를 활용해 코드 생성의 Contract 준수 를 체계적으로 분석한다.

PACT는 Functional 테스트와 CVT의 이중 테스트 suite를 도입하고, AVC/AAR/AAP 같은 Contract 중심 지표로 모델의 Contract인지 수준을 정량화합니다. 이로써 기존 pass@k 단일 관점의 한계를 넘어 강건성을 표준화해 평가합니다.

프레임워크는 다음 3단계로 이루어집니다:

1. Contract 위반 테스트 케이스 생성 (CVT Generation)

• 자연어 기반 계약을 ADT(Algebraic Data Type) 형식으로 변환
• SMT Solver(Z3)를 이용해 계약 위반 조합을 탐색
• 모든 계약을 만족하면서 특정 계약만 위반하는 입력 생성 → 정밀한 Contract Violation Test Case (CVT) 확보

2. 코드 생성 실험 (Code Generation)