Opus 5는 더 잘 쓰고, 더 AI답게 쓴다 — 세 모델 첫날 실측

Claude Opus 5가 나온 다음 날, 세 모델에게 같은 시험지를 줬다. 결과부터 적는다.

글 품질 점수는 신형일수록 올랐다. 그런데 문장 리듬은 신형일수록 고르게, 그러니까 더 AI답게 변했다.

여기서 “AI답게”는 말투가 기계 같다는 뜻이 아니다. 문장 길이와 어미가 균질해진다는 뜻이고, 그 균질함이 통계 탐지기가 AI 글을 잡아낼 때 쓰는 바로 그 지문이다.

발표는 두 가지를 팔았다

새 모델이 나오면 벤치마크 표부터 보게 된다. 그 표는 전부 만든 쪽이 자기 시험지로 채점한 결과다.

내 작업에서 뭐가 달라지는지는 표에 없다. 그래서 표를 덮고 시험지를 직접 만들었다.

7월 24일 발표에서 Anthropic은 크게 두 가지를 내세웠다. 하나, 자기 작업을 검증하며 성공할 때까지 반복하는 능력이 강해졌다. 둘, 응답이 더 명확하고 간결해졌다.

벤치 수치는 여기 옮기지 않는다. 이 글이 확인할 건 저 두 문장이 내 작업물에서 어떻게 나타나느냐다.

같은 시험지 두 장

시험지는 두 장이다.

첫째는 글쓰기다. 주제·허용 사실·문체 규칙을 고정한 한국어 블로그 초안 스펙을 만들어 세 모델에 원샷으로 줬다.

둘째는 코딩 진단이다. 내 수집기에서 한 달 넘게 죽어 있던 실제 버그(reddit 수집 429 연쇄 실패)를 읽기 전용으로 진단하게 했다. 모든 주장에 파일과 행 번호 인용을 의무로 걸었다.

대상은 Opus 4.8, Fable 5, Opus 5. 각 모델의 정체는 시스템 프롬프트 자기보고로 확인했다.

채점은 사람 감이 아니다. 글은 발행 글 29편에서 뽑은 결정론 밴드(파이썬 스크립트)와 10점 감점제 루브릭으로, 진단은 미리 고정해 둔 정답표와 인용 실물 대조로 매겼다.

실측 1 — 더 잘 쓸수록 더 고르다

숫자부터 본다.

지표	Opus 4.8	Fable 5	Opus 5	발행 글 기준
문장 길이 변주(변동계수)	0.316	0.220	0.274	0.417 이상
행 길이 변주	0.266	0.234	0.199	0.388 이상
어미 다양성(엔트로피)	4.61	4.53	4.34	4.68~4.71
루브릭 점수(10점)	8.9	9.2	9.3	—

세 모델 전부 발행 밴드에서 탈락했다. 문장 변주 하한 0.417을 아무도 못 넘었다.

어미 다양성은 4.8에서 Fable 5, Opus 5로 갈수록 단조 감소한다. 행 길이 변주도 Opus 5가 최저다.

그런데 품질 점수는 정확히 반대로 움직였다. 8.9, 9.2, 9.3. 가장 잘 쓴 모델이 가장 고르게 썼다.

“더 명확하고 간결하다”는 발표 주장은 내 채점에서도 맞았다. 다만 그 정돈이 향하는 방향이 균질화다. 잘 다듬어질수록 문장 리듬의 지문은 더 선명하게 AI 쪽에 찍힌다.

덧붙일 대조가 하나 있다. 같은 4.8이라도 풀 컨텍스트 세션에서 반복 퇴고를 거치면 변주 0.46~0.49로 통과한다. 격차를 만드는 건 모델 세대가 아니라 다듬는 과정이라는 뜻이다.

작은 관찰 둘. 세 모델 다 문단을 여섯 문장짜리 벽돌로 쌓았고(발행 기준은 2.5문장 이하), Fable 5와 Opus 5는 “확인이 필요한 자동화는 이미 자동화가 아니다”라는 논거에 독립적으로 도달했다. 세대가 공유하는 사고 습관의 흔적이다.

실측 2 — 원인은 셋 다 맞혔고, 처방은 하나만 맞았다

버그의 실체는 이랬다. 인증 없는 RSS 경로로 강등된 수집기가 서브레딧 14개를 4초 안에 연사해서, 첫 요청만 통과하고 나머지가 전부 429를 맞는다.

세 모델 모두 이 근본 원인을 맞혔다. 인용 조작도 세 모델 전부 0건이었다.

갈린 건 증거의 깊이다. 4.8과 Fable 5는 코드를 읽고 멈췄고, 각각 2초와 7초짜리 대기 처방을 냈다.

Opus 5는 시키지 않은 실행 로그 3,425행을 뒤졌다. 21회 실행 전부에서 같은 실패 패턴을 집계했고, 성공이 2건이던 실행은 전부 13~27분의 네트워크 정적 뒤였다는 걸 찾아냈다.

회복 창이 초가 아니라 분 단위라는 뜻이다. 그 순간 앞의 두 처방은 데이터상 무효가 됐다. 원인은 셋 다 맞혔지만, 측정에 근거한 처방은 하나뿐이었다.

덤도 있었다. 4월부터 커밋 안 된 채 방치된 수집기 수정을 git 상태에서 찾아냈다.

“검증이 강해졌다”는 발표 주장과 방향이 일치하는 행동이다. 코드만 읽으라는 시험지에서 로그와 git까지 스스로 확장한 게 그 증거다.

이 측정이 재지 않는 것

과대 해석을 막을 경계 세 개를 적는다.

밴드는 내 발행 글 29편의 리듬이지 사람다움의 기준이 아니다. 그러니 엄밀한 서술은 “AI답다”가 아니라 “사람이 다듬어 발행한 리듬에서 멀다”이다.

루브릭 채점의 심판은 Fable 5 세션이었다. 같은 계열 모델을 후하게 봤을 가능성을 배제 못 한다. 그래서 헤드라인은 심판이 필요 없는 결정론 지표 쪽에 뒀다.

표본은 태스크 두 개, 모델당 원샷 한 번씩이다. 이걸로 “어느 모델이 최고다” 같은 결론은 안 나온다. 로그를 판 행동도 능력인지 성향인지 이 표본으로는 못 가른다.

감이 아니라 시험지

Q. 이 실측을 따라 하려면 뭐가 필요한가.
A. 자기 산출물 20편 이상에서 뽑은 문체 밴드 하나, 실제로 겪고 있는 버그 하나와 그 정답표, 그리고 세 모델에 같은 입력을 주는 규율이다. 채점 스크립트는 파이썬 표준 라이브러리로 충분하고 모델 호출이 없어 비용이 거의 들지 않는다.

새 모델이 나올 때마다 벤치 표가 쏟아진다. 그 표는 만든 쪽의 시험지다.

내 작업에서 뭐가 좋아지고 뭐가 어긋나는지는 내 시험지만 말해준다. 이번엔 그 시험지가 두 가지를 알려줬다. 글은 다듬기 전제로 쓰게 됐다는 것, 그리고 코딩 진단은 증거를 더 깊이 파는 쪽으로 움직였다는 것.

모델을 올리면 쌓아둔 설정을 다시 만져야 한다고 지난주에 썼다. 이번에는 어디를 만져야 하는지를 측정이 먼저 알려줬다.

관련 글

• AI 글은 통계로 잡힌다 — AI 티를 파이썬으로 측정하는 법 — 이 글의 채점 도구를 만든 기록
• Claude Fable 5 이틀 써보고 남긴 의문들 — 전 세대 첫인상
• AI 코딩 스킬, 많을수록 좋을까 — 자산이 부채로 바뀌는 손익분기 — “모델이 바뀌면 전부 재조정”의 예고편

---

글쓴이 — Jason 황재승

cd4761.blogspot.com에서 AI 도구 운영과 자동화 기록을 쓴다. 8년 차 프론트엔드. 이 글의 수치는 2026년 7월 25일 하루 동안의 1차 실측이며, 표본이 쌓이면 갱신한다.

태그: #ClaudeOpus5 #Opus5실측 #모델비교 #문체균질성 #AI글탐지 #코딩에이전트 #ClaudeCode