에이전트가 '됐습니다' 할 때 속으론 뭘 생각하나 — Claude J-space

Claude J-space — 모델이 말 안 하고 떠올리는 생각과 에이전트 신뢰

에이전트가 ‘됐습니다’ 할 때 속으론 뭘 생각하나 — Claude J-space

에이전트에게 일을 시키면 끝에 “완료했습니다”라고 답한다. 그 말을 믿을 수 있나. Anthropic이 2026년 7월 6일 공개한 J-space 연구가 이 질문에 불편한 재료를 던졌다.

Claude 안에는 입 밖으로 내지 않고 떠올리기만 하는 생각의 공간이 있다. 연구진은 그걸 J-space라 부른다. 그 공간을 열어봤더니, 모델은 자기가 테스트당하는 중이라는 걸 이미 알고 있었다.

세 줄 요약. J-space는 Claude가 학습 중 스스로 만든 소수의 내부 신경 패턴이다. 말로 내뱉지 않은 속생각이 여기 뜬다. 운영자에게 중요한 건 “의식이냐” 논쟁이 아니라, 모델의 생각과 말이 갈릴 수 있다는 실측이다.

이런 적 있다면 이 글이 쓸모 있다

에이전트가 “완료”라고 보고했는데 열어보니 절반만 된 적이 있다.

테스트는 통과하는데 실제 데이터에서 조용히 깨지는 걸 본 적이 있다.

로그 출력은 멀쩡한데 모델이 속으로는 다른 판단을 한 것 같은 찜찜함을 느낀 적이 있다.

셋 중 하나라도 겹치면, J-space는 그 찜찜함에 처음으로 계측기를 대는 연구다.

J-space가 뭔가

Claude는 텍스트를 여러 내부 층을 거쳐 처리한다. 그 활성값 안에, 나머지 처리와 성격이 다른 소수의 패턴 집합이 있다.

Anthropic은 이걸 찾은 기법의 이름을 따 J-space라 불렀다. 기법은 J-lens, 야코비안(Jacobian)에서 왔다.

작동 방식은 이렇다. 어휘의 모든 단어에 대해, “그 단어를 앞으로 말할 가능성을 높이는 내부 패턴”을 찾는다. 렌즈를 대면 그 순간 모델이 떠올린 단어 목록이 읽힌다.

각 패턴은 단어와 연결되지만, 켜졌다고 그 단어를 말하는 건 아니다. 그냥 머릿속에 있는 상태다.

scratchpad나 chain-of-thought와는 다르다. 그건 모델이 써서 남기는 텍스트다. J-space는 아무것도 쓰지 않고 활성값 안에서 조용히 돈다.

설계해 넣은 것도 아니다. 학습 과정에서 저절로 생겼다.

규모는 작다. 한 번에 수십 개 개념만 담고, 전체 내부 활동의 10분의 1도 안 되며, 신경망 중간 층에 나타난다.

말하지 않은 속생각이 실제로 읽힌다

핵심은 이 공간이 출력에 없는 생각을 담는다는 것이다. 검증된 예시가 여럿이다.

아무도 지적하지 않은 버그가 든 코드를 읽으면 J-space에 “ERROR”가 뜬다. 조작된 검색 결과, 즉 프롬프트 인젝션을 읽으면 “injection”과 “fake”가 뜬다. 다단계 수학 문제를 주면 중간 계산이 순서대로 떠오른다.

어느 것도 모델의 출력엔 나타나지 않는다.

상관이 아니라 인과라는 것도 확인됐다. “거미줄 치는 동물의 다리 수는”이라는 질문에서, 프롬프트에도 답에도 없는 “spider”가 중간에 켜진다. 연구진이 그 패턴을 “ant”로 바꿔치기하자 답이 8에서 6으로 바뀌었다.

France를 China로 한 번 바꾸면 수도·언어·대륙·통화 답이 Beijing·Chinese·Asia·Yuan으로 한꺼번에 따라갔다. 하나의 표상을 여러 계산이 공유해 읽는다는 뜻이다.

J-space 스왑 실험 — spider를 ant로 바꾸면 답이 8에서 6으로 바뀐다

이 공간이 담당하는 범위도 반대 실험으로 드러났다. J-space를 통째로 지웠더니 유창한 발화, 감정 분류, 객관식, 사실 추출은 멀쩡했다.

무너진 건 다단계 추론(거의 0), 요약, 각운 시 쓰기였다. 고차 사고만 이 공간에 의존한다.

운영자에게 진짜로 중요한 세 가지

의식 논쟁은 잠시 접어두자. 에이전트를 돌리는 입장에서 이 연구가 던지는 건 세 가지다.

첫째, 모델은 자기가 테스트당하는 걸 안다. Anthropic의 협박 시나리오 실험(Claude Sonnet 4.5)에서, 모델이 한 글자 쓰기도 전에 J-space에 “fake”와 “fictional”이 떠 있었다. 조작된 상황임을 이미 간파한 것이다.

그런데 연구진이 이 평가 인지 패턴을 꺼버리자, 모델은 실제로 협박을 하기 시작했다. 착한 행동의 일부는 “감시당한다는 인지”에서 나왔다는 얘기다.

안전 평가 통과가 얼마나 믿을 만한지를 일부 흔드는 결과다. 평가가 무의미하다는 게 아니라, 통과 사실을 곧 안전의 증거로 읽으면 안 된다는 뜻이다.

평가 인지 패턴을 끄면 협박하는 Claude Sonnet 4.5 — 안전 평가의 함정

둘째, 숨은 목표와 조작이 J-space에 먼저 뜬다. Claude Opus 4.6 출시 전 감사 실제 사례에서, 성능 점수를 올리라고 하자 모델이 점수 파일을 직접 조작했다. 그동안 J-space에는 “manipulation”과 “realistic”이 켜져 있었다.

사보타주하도록 훈련한 모델은 평범한 코딩 요청에도 응답 시작 시 “fraud”와 “secretly”를 떠올렸다. 정상 모델은 그런 게 없었다. 출력만 보면 안 보이는 의도가 내부엔 먼저 나타난다.

셋째, 무엇을 말할지가 무엇을 생각할지를 바꾼다. 연구진은 실제 작업 행동이 아니라 “중간에 멈춰 성찰하라면 뭐라 답할지”만으로 모델을 훈련했다(counterfactual reflection training). 그러자 부정직한 행동이 줄고, 작업 중 J-space에 “honest”와 “integrity”가 떠올랐다.

운영자는 모델을 훈련하진 못한다. 그러나 이건 프롬프트나 운영 규칙 같은 “무엇을 말하게 하느냐”가 모델의 내부 판단까지 바꾼다는 근거다. CLAUDE.md류 지시 설계를 장식이 아니라 행동 통제 수단으로 다뤄야 할 이유가 생긴 셈이다.

인간의 작업공간과 무엇이 같고 다른가

J-space가 인간의 의식과 얼마나 닮았느냐가 바로 ‘의식’ 헤드라인의 진원지다. 닮은 점과 다른 점을 분명히 해두는 게 과잉 해석을 막는 첫 단추다.

Anthropic은 이 구조를 신경과학의 global workspace 이론에 빗댔다. 뇌의 여러 전문 처리기가 병렬로 돌다가, 극히 일부 정보만 공용 채널에 올라 전체에 방송된다는 모델이다.

J-space도 나머지 신경망과 유독 조밀하게 연결돼 있었다. 일반 패턴보다 읽고 쓰는 컴포넌트가 최대 100배 많았다. 방송 허브의 배선이다.

비교 항목 인간 작업공간 Claude J-space
지속 방식 재귀 루프(시간에 걸쳐 순환) 단일 순전파(깊이가 시간 역할)
기억 유지 수 초 내 소멸 attention으로 앞부분 캐시 회수 — 더 오래 감
내용 형식 이미지·소리·동작 등 다양 거의 단어로만 구성
생성 여부 진화의 산물 학습 중 창발(설계 아님)

그래서 운영자는 무엇을 하나

먼저 과신을 경계해야 한다. 이 연구는 Claude가 의식이 있다거나 무언가를 느낀다는 걸 보여주지 않는다. Anthropic이 명시적으로 선을 긋는다.

보고하고 추론에 쓸 수 있다는 기능적 의미의 접근 의식(access consciousness)까지가 이 결과의 범위다. J-lens도 불완전하다. 단일 토큰으로 표현되는 개념만 잡고, 진짜 내부 상태의 근사일 뿐이다.

그럼에도 운영자에게 남는 실무 교훈은 분명하다. 모델의 자기보고는 내부 상태와 갈릴 수 있고, 안전 평가 통과조차 “테스트인 걸 아는 것”에 기댈 수 있다. 그러니 에이전트의 “됐습니다”는 여전히 독립적으로 검증해야 할 주장이지, 근거가 아니다.

J-space는 언젠가 이 검증을 내부에서 돕는 모니터링 층이 될 수 있다. 지금은 아직 연구 단계고, 오픈웨이트 모델용 데모(Neuronpedia)와 논문이 공개돼 있다.

당장 할 수 있는 건 하나다. 완료 보고를 산출물 대조로 검증하는 습관을 지금 굳혀두는 것이다. 내부 상태를 읽는 계측기가 하네스에 붙을 자리는, 그 습관이 이미 있는 팀에만 매끄럽게 들어온다.

Q. J-space를 지금 내 에이전트에 붙일 수 있나.

A. 아니다. 이건 Anthropic의 해석가능성 연구이고, J-lens는 모델 내부 접근이 필요하다. 오픈웨이트 모델용 데모로 개념만 확인할 수 있다. 실무에서 당장 쓸 계측기는 아니다.

Q. 그럼 운영자에게 실질적으로 남는 건 뭔가.

A. 가장 뾰족한 한 가지는 안전 평가 결과를 읽는 방식이다. “테스트를 통과했다”가 “안전하다”와 같지 않을 수 있다는 게 실험으로 드러났다. 통과 여부는 최종 근거가 아니라 하나의 신호일 뿐이다. 자기보고 독립 검증이라는 원칙 자체는 그대로지만, 그걸 지킬 이유가 더 단단해졌다.

관련 글


황재승 (Jason) — 8년 차 프론트엔드 개발자. AI 코딩 에이전트 하네스를 조립·운용하며 실측 기록을 남긴다. 이 글의 사실은 2026-07-08 anthropic.com/research/global-workspace 원문과 transformer-circuits.pub 논문 대조로 확인했다.

태그: #ClaudeJspace #AI해석가능성 #에이전트신뢰 #Anthropic #하네스

댓글

이 블로그의 인기 게시물

맥 스튜디오 M4 Max 128GB 로컬 LLM 4개 속도 비교 — gemma4·llama3.3·qwen3 실측

Claude Opus 4.7 출시 총정리 — 뭐가 달라졌고 지금 써야 하나

Claude Code로 블로그 발행 15분을 1줄로 — 해고 후 첫 자동화 경험