라벨이 Claude인 게시물 표시

리뷰는 좋아졌는데 단가는 2배 — Claude Fable 5 이틀 실사용

이미지
Claude Fable 5가 6월 10일에 나왔다. Hacker News 출시 스레드가 하루 만에 2,280점(댓글 1,774개)을 받았고, 출시 당일부터 Claude Code 기본 모델을 Fable 5로 바꿔 이틀을 썼다. 이틀 동안 좋아진 건 분명히 있었다. 그런데 공식 단가표와 커뮤니티 반응이 서로 반대 방향을 가리키고 있어서, 갈아탈지 판정은 미루기로 했다. 요약하면 이렇다. 글 리뷰 능력은 실측으로 좋아졌고, 단가는 Opus 4.8의 2배가 됐다. “싸다”는 커뮤니티 반응과 공식 가격의 간극, 안전 필터 강화 보고까지 — 의문 4가지가 풀려야 전환을 정할 수 있다. 누가 읽으면 좋은가 Claude Code 기본 모델을 Fable 5로 바꿀지 고민 중인 사람 출시 첫 주의 들뜬 후기 말고 판정 유보 조건이 궁금한 사람 Opus 4.8 대비 비용이 실제로 어떻게 변하는지 확인하고 싶은 사람 한 줄로 요약하면, 글 리뷰는 실측으로 좋아졌지만 가격·필터·사용량 의문이 풀릴 때까지 판정은 유보다 . 검증 다섯 단계를 통과한 글에서 나온 결함 6건 전환 당일, 발행 직전이던 블로그 글을 Fable 5에 다시 리뷰시켰다. 그 글은 Opus 4.8 기반 검증을 다섯 단계(구조 리뷰 → 채점 루프 → AI 클리셰 검사 → 한국어 윤문 → 가독성 점검)로 통과한 상태였다. 그런데 결함 6건이 새로 나왔다. 주어와 서술어가 안 맞는 문장, 시스템에 쓸 수 없는 동사 선택, 연속 세 단락에 같은 구절 반복, 표기 혼용까지. 전부 사람이 보면 바로 어색한 것들인데 이전 검증에서는 안 잡혔다. 다만 이걸 모델 차이라고 단정은 못 한다. 같은 글을 두 번째 읽으면 누구든 더 잘 잡는다. 모델 효과와 재독 효과를 분리하려면 첫 리뷰부터 Fable 5로 돌린 다음 글에서 확인해야 한다. 단가 2배와 “싸다”는 반응 사이의 간극 공식 가격은 입력 $10, 출력 $50이다(100만 토큰 기준). Opus 4.8($5/$25)의 정확히 2배다. Cl...

하네스 엔지니어링 측정 2편 — Claude에 AGENTS.md 명시 인용했더니 fail-fast가 강해졌다

1편(어제)에서 N=1로 측정해서 결론을 냈다. “Codex가 fail-fast 약하다”가 아니라 “AGENTS.md 비우면 Codex도 Claude도 똑같이 약하다”였다. 지적이 들어왔다. N=1은 우연일 수 있다. Claude에 AGENTS.md 명시 인용을 직접 해본 적은 없었다. 12회 측정해서 다시 확인했다. 결론은 더 단단해졌다. 그리고 1편이 놓친 변수 하나가 새로 보였다. 요약 : Codex × Claude × 하네스 0/강제 4 condition을 각 3회씩 12회 측정. 모델 효과는 거의 0(가로축 1.0 vs 1.0, 2.83 vs 2.5), 하네스 효과는 큼(세로축 1.0 → 2.5+). Claude도 AGENTS.md를 prompt에 명시 인용하면 fail-fast 1.0 → 2.5로 올라간다. 단 1편의 Claude 채점 “중”은 prompt position 효과(메인 세션 system prompt 자동 로드)였을 가능성이 새로 보였다. 1편이 명시한 5가지 한계 중 통제한 3가지 측정 1편 본문 끝에 한계 5가지를 적었다. 그 중 2편에서 통제 가능한 것은 3가지였다. Sampling 우연 미통제 (N=1) → 12회 측정으로 분산 확인 Prompt position 미분리 → C3 격리 환경 추가로 부분 분리 Claude에 AGENTS.md 명시 인용 미측정 → C4 condition으로 직접 측정 나머지 2가지(컨벤션 vs 코드 품질, 일반화)는 이번에도 미해소다. 측정 setup, 4 condition × 3회 = 12회 같은 명세 verify_published_post() 를 4 condition으로 각 3회씩 측정했다. Condition 모델 하네스 C1 Codex 없음 (AGENTS.md 비움) C2 Codex AGENTS.md 자동 로드 C3 Claude spec만, 격리 Task agen...