Evidence
AI 코딩 프레임워크 실험 근거
이 페이지는 AI 코딩 프레임워크 비교 글의 숫자가 어디에서 왔는지 확인할 수 있도록 실험 결과와 해석 범위를 함께 공개합니다.
무엇을 실행했나
Codex로 두 과제를 조건별로 반복 실행했습니다. 직접 실행하지 않은 Claude Code 내용은 이 자료에 포함하지 않고, 별도의 공식 문서·연구 해석으로 구분했습니다.
- 유효 실행
- 18
- 제외 블록
- C
조건별 결과
| 과제 | 조건 | 구현 성공 | 중앙 실행 시간 |
|---|---|---|---|
| 모호한 요구 해석 | Superpowers | 2/3 | 549.4s |
| 모호한 요구 해석 | 순정 Codex | 0/3 | 141.2s |
| 모호한 요구 해석 | 순정 Codex + 짧은 지시 | 1/3 | 89.4s |
| 명확한 유지보수 | Ponytail | 3/3 | 73.7s |
| 명확한 유지보수 | 순정 Codex | 3/3 | 92.3s |
| 명확한 유지보수 | 순정 Codex + 짧은 지시 | 3/3 | 68.5s |
이 자료로 말할 수 없는 것
- 각 조건 셀은 한 과제에서 세 번 실행했으며, 통계적 우월성이나 인과 효과를 주장하지 않습니다.
- 실행 가능한 검증기의 바이트가 사전 등록한 커밋과 일치하지 않아 블록 C를 제외했습니다.
- 실행 후 채점 수정은 공개 프로토콜에 추가 기록으로만 남겼습니다.
- Claude Code는 실행하지 않았으므로 Claude 관련 설명은 외부 연구에 근거해야 합니다.
원시 로그와 작업 공간에는 로컬 경로와 제어용 자료가 있어 공개하지 않습니다. 아래 JSON에는 본문 수치를 다시 계산하는 데 필요한 실행 결과와 한계가 들어 있습니다.