AI 코딩 테스트 자동화에서 놓치기 쉬운 실패와 함정
통과한 테스트가 할인 오류를 놓친 이유
AI가 만든 테스트는 모두 통과했는데, 할인 금액이 잘못 표시된다면 무엇부터 의심해야 할까요? AI 코딩 테스트 자동화에서는 테스트를 많이 만드는 일보다 무엇을 정답으로 삼았는지 확인하는 일이 먼저입니다. 아래 사례는 실무에서 점검할 문제를 설명하기 위한 가상 사례이며, 특정 서비스의 장애 기록이나 실험 결과는 아닙니다.
구현의 계산식을 정답 칸에 복사하지 마세요
주문 금액이 3만 원 이상이면 배송비를 면제하는 기능을 가정하겠습니다. AI가 조건을 '3만 원 초과'로 구현하고 테스트에도 같은 조건식을 넣었다면, 정확히 3만 원인 주문의 오류를 놓칠 수 있습니다. 기대값을 현재 코드에서 계산하면 검증 대상과 판정 기준이 같은 실수를 공유하므로, 먼저 요구사항에서 입력과 결과를 따로 꺼내야 합니다.
- 경계 바로 아래: 주문 금액 29,999원에는 배송비 3,000원이 붙는다고 명세에 적었다면, 기대 결제액은 32,999원으로 직접 지정합니다. 실제 함수가 돌려준 배송비로 기대값을 다시 계산하지 마세요.
- 경계와 같은 값: 주문 금액 30,000원에서는 배송비가 0원인지 확인합니다. '이상'과 '초과'의 차이는 자연어 요구사항에서 작아 보여도 결과를 바꾸므로 독립된 사례로 남깁니다.
- 계산 순서: 쿠폰 적용 전 금액으로 무료 배송을 판단하는지, 적용 후 금액을 쓰는지 먼저 확정합니다. 이 조건이 비어 있다면 AI에게 임의의 기대값을 채우게 하지 말고 미정 항목으로 표시합니다.
테스트 작성 전에 실패할 조건을 문장으로 쓰세요
AI에게는 '테스트를 추가해 줘' 대신 '무료 배송 기준을 입력·조건·기대 결과로 나누고, 경계값에서 어긋날 사례를 제안해 줘'라고 요청합니다. 할인 중복이나 반올림처럼 해석이 갈리는 조건을 사람이 정한 뒤 테스트 코드로 옮기면 수정 범위도 선명해집니다. 자바스크립트 코드를 읽기 시작했다면 자바스크립트 용어 설명을 배경 자료로 참고하되, 서비스의 계산 규칙은 별도 명세에서 확인해야 합니다.
테스트의 기대값을 설명할 때 '현재 코드가 이렇게 계산하니까'라는 말밖에 나오지 않는다면, 요구사항으로 돌아가 판정 기준부터 세워야 합니다.
커버리지 숫자와 모의 응답이 만든 착시
회원가입 함수의 모든 줄이 실행됐다는 보고서를 보고 안심하는 상황을 생각해 보겠습니다. 테스트가 '오류 없이 끝났다'만 확인했다면 같은 이메일로 계정이 중복 생성되거나 필수 동의가 빠지는 문제는 여전히 남을 수 있습니다. 코드 커버리지를 볼 때는 실행한 줄과 실제로 확인한 결과를 구분해야 합니다.
실행 여부만 보고 성공으로 판정하지 마세요
회원가입 성공 테스트라면 응답 코드뿐 아니라 생성된 계정의 상태, 저장된 필수 값, 다시 가입했을 때의 처리도 요구사항에 맞춰 살펴봅니다. 반대로 실패 테스트에서는 오류 메시지와 함께 계정이 생성되지 않았는지도 확인할 수 있습니다. 성공 알림이 나타났다는 사실만으로 저장까지 끝났다고 판단하면 화면과 데이터 사이의 빈틈을 남깁니다.
| 놓치기 쉬운 검증 | 남아 있는 질문 | 보완할 확인 |
|---|---|---|
| 함수가 호출됐는가 | 어떤 값으로 호출됐는가 | 필수 인자와 허용하지 않는 값 |
| 성공 응답을 받았는가 | 데이터가 실제로 저장됐는가 | 저장 결과와 중복 처리 |
| 오류 문구가 보이는가 | 실패 뒤 잘못된 데이터가 남았는가 | 실패 전후의 상태 차이 |
모든 외부 응답을 성공으로 고정하지 마세요
- 모의 응답의 역할을 좁힙니다. 모의 객체는 외부 시스템 대신 정해진 결과를 돌려주는 대역입니다. 화면 동작을 확인할 때 유용하지만, 대역이 정상이라는 사실로 실제 API 연결까지 검증했다고 쓰면 범위를 과장하게 됩니다.
- 실패를 구체적으로 나눕니다. 주소 조회 기능이라면 결과 없음, 필수 필드 누락, 응답 지연을 따로 넣습니다. 모두 같은 빈 응답으로 처리하면 안내 문구와 재시도 버튼이 상황에 맞는지 판단하기 어렵습니다.
- 연결부는 별도로 확인합니다. 내부 계산 테스트는 빠르게 유지하고, 요청 형식과 응답 구조는 통제 가능한 시험 환경에서 점검합니다. 실제 운영 계정으로 반복 실행하는 방식은 테스트 설계의 기본값으로 두지 않습니다.
이미 커버리지 목표를 쓰고 있다면 숫자를 버릴 필요는 없습니다. 다만 누락된 경계 조건, 검증하지 않은 저장 결과, 대역으로 바꾼 연결부를 함께 적어야 그 수치가 무엇을 뜻하는지 설명할 수 있습니다. 테스트 개수를 늘리기 전에 이 검증이 어떤 잘못된 동작을 잡아내는지 한 문장으로 써 보세요. 답을 쓰기 어렵다면 검증 문장을 더 구체화할 차례입니다.
재실행으로 초록불만 만드는 습관
혼자 실행하면 통과하고 전체 테스트에서는 실패하는 사례를 AI에게 전달했더니, 기다리는 시간을 늘리거나 재시도 횟수를 높이는 수정이 나왔다고 가정하겠습니다. 실제 원인이 앞선 테스트가 남긴 계정 상태라면 그 수정은 원인을 해결하지 못합니다. 간헐적 실패는 실패 순간의 조건을 보존한 뒤 조사해야 합니다.
기다리는 시간부터 늘리지 마세요
- 공유 데이터: 두 테스트가 같은 이메일로 가입한다면 먼저 실행된 쪽이 뒤의 결과에 영향을 주는지 확인합니다. 테스트별 계정을 만들고, 각 계정이 필요한 초기 상태를 명시합니다.
- 시각과 무작위 값: 만료 시각 근처에서만 깨지는 기능은 기준 시각을 기록합니다. 무작위 입력을 썼다면 실패한 입력도 함께 남겨 같은 조건으로 다시 실행할 수 있게 합니다.
- 완료 조건: 무조건 몇 초 기다리게 하기 전에 무엇의 완료를 기다리는지 정합니다. 저장 응답 수신과 화면 갱신을 구분하고, 제한 시간 안에 필요한 상태가 나타나는지 확인합니다.
통과한 재시도와 첫 실패를 함께 남기세요
재시도로 통과했더라도 첫 실행의 오류, 사용한 데이터, 실행 순서를 삭제하지 않습니다. 예를 들어 첫 실행에서만 '이미 가입된 이메일'이 나왔다면 네트워크 지연보다 데이터 준비 과정을 먼저 조사할 근거가 됩니다. 기록에는 계정 비밀번호 같은 비밀값 대신 문제를 재현하는 데 필요한 상태와 식별 정보만 남깁니다.
원인을 좁힐 때는 실패한 사례를 단독으로 실행한 결과와, 문제가 나타난 순서대로 실행한 결과를 대조합니다. 순서를 바꿀 때 결과가 달라지는지도 확인하면 숨은 의존성을 찾는 실마리가 됩니다. 재시도를 유지해야 하는 환경이라도 최초 실패율과 최종 통과 여부를 나눠 보아야 불안정성이 가려지지 않습니다.
통과를 위해 기대값을 바꾸기 전에 남길 경계
요구사항은 그대로인데 테스트가 실패하자 AI가 기대값을 새 결과에 맞춰 바꾸는 상황도 경계해야 합니다. 화면 문구나 계산 결과가 달라졌다는 이유만으로 기존 기준을 교체하면, 회귀 테스트가 지켜야 할 약속까지 함께 바뀝니다. 실패를 없애는 수정을 요청할 때는 제품 동작과 테스트 중 무엇이 틀렸는지 먼저 구분해야 합니다.
실패 원인과 수정 근거를 연결하세요
- 원하는 결과를 다시 확인합니다. 변경된 요구사항이 있는지 찾고, 없다면 기존 기대값을 유지한 채 구현 오류 가능성을 조사합니다. 요구사항 변경이 맞다면 근거와 영향받는 사례를 함께 남깁니다.
- 문제를 잡는 테스트를 먼저 확보합니다. 수정 전 코드에서 해당 사례가 실패하는지 확인한 뒤 수정 후 결과와 대조합니다. 처음부터 계속 통과한다면 잘못된 경로를 실행하거나 중요한 결과를 확인하지 않는 것은 아닌지 살펴봅니다.
- 관련 범위로 확인을 넓힙니다. 배송비 조건을 고쳤다면 해당 경계값과 쿠폰 적용 사례를 점검합니다. 작은 변경마다 무관한 테스트를 무한히 반복하기보다, 의존 관계와 영향 범위에 맞춰 실행 대상을 정합니다.
자동 생성 테스트가 닿지 않는 부분도 표시하세요
로 코드 도구로 만든 화면에 AI 생성 코드를 연결하는 경우에도 업무 규칙과 연결부를 구분해 적어 두면 도움이 됩니다. 개념을 구분할 때는 지식백과의 로 코드 항목을 참고할 수 있지만, 도구가 감춘 내부 동작까지 검증했다고 확대 해석해서는 안 됩니다. 시험할 수 없는 부분은 공급자가 제공하는 검증 수단이나 별도 확인 절차로 다뤄야 합니다.
이 글의 사례만으로 성능, 접근성, 동시 요청 처리, 보안 취약점까지 확인할 수는 없습니다. 특히 사용자가 계속 바꾸는 데이터나 외부 업체의 응답을 다루는 기능은 고정된 입력만으로 실제 환경을 대표하기 어렵고, 의도적으로 순서가 필요한 업무 흐름은 하나의 시나리오 안에서 연결해 검증할 수 있습니다. 테스트 결과에는 검증한 조건, 대역을 쓴 구간, 확인하지 못한 위험을 함께 적어 통과 표시의 경계를 분명하게 남기세요.

- 다음글팀에서 AI 코딩 프롬프트 로그를 남겨야 한다면 26.10.14
등록된 댓글이 없습니다.
