클로드 코드 claude plugin eval로 스킬이 실제로 도움 되는지 재는 법

스킬을 넣었을 때 결과가 정말 나아지는지, 스킬 없이 돌린 결과와 점수로 비교하는 방법이다. claude plugin eval은 같은 요청을 플러그인을 켠 상태와 끈 상태로 각각 돌리고 두 점수의 차이(Δ)를 보여 준다. 클로드 코드(Claude Code) v2.1.269 이상에서 쓰고, 플러그인으로 묶인 스킬이 대상이다.

세르기 마카레비치(Sergii Makarevych)가 10월 19일 X 아티클에서 정리한 기준은 두 가지다. 클로드가 스킬의 지시를 따르는가, 따랐을 때 결과가 나아지는가. 앞의 것은 스킬이 불렸는지 보는 채점으로, 뒤의 것은 Δ로 확인한다.

1. 플러그인 루트(plugin.json이나 .claude-plugin/plugin.json이 있는 폴더)에서 테스트 케이스를 만든다. 클로드가 좋은 결과가 무엇인지 묻고, 스킬이 불려야 할 요청과 불리면 안 되는 요청, 채점 기준을 제안해 evals/ 아래에 써 준다.

claude plugin eval init

1. 전체를 돌린다. 케이스마다 플러그인을 켜고 세 번, 끄고 세 번 돌린다.

claude plugin eval .

1. 요약 표에서 WITH(스킬 있음), W/OUT(스킬 없음), Δ를 본다. Δ가 양수면 스킬이 점수를 올린 것이다.

Δ가 0에 가깝고 tool_used: Skill 채점이 실패하면 클로드가 평소 말투의 요청에서 스킬을 고르지 않는다는 뜻이다. 스킬의 description을 고치고 다시 돌린다. 채점 기준을 다듬는 동안에는 케이스 하나만 한 번, 비교 없이 돌려 비용을 줄인다.

claude plugin eval . --case <케이스 이름> --runs 1 --ablation none

모든 실행과 채점은 내 계정으로 하는 실제 모델 호출이라 요금제 사용량이나 API 요금에 잡힌다. 계정에 따라 리포트가 claude.ai에 올라가는데, 내 컴퓨터에만 두려면 --no-publish를 붙인다. 스킬 하나를 대화 안에서 고쳐 가며 비교할 때는 skill-creator 플러그인의 평가 기능을 쓴다. 두 도구는 서로의 케이스 파일을 읽지 않는다.