AI와의 대화가 길어졌을 때 비우고 다시 시작하는 기준
AI와 일하기5분 분량
코딩 AI와의 대화가 길어지면 이어갈지, 요약할지, 비울지 고민하게 됩니다. 공식 문서와 연구를 바탕으로 상황별 기준을 정리했습니다.
코딩 AI에게 일을 맡기다 보면 대화가 점점 길어집니다. 이어서 계속 말할지, 요약해서 줄일지, 아예 새로 시작할지는 생각보다 자주 마주치는 선택입니다. 이 글에서는 Claude Code 공식 문서와 긴 입력에 관한 연구를 바탕으로, 어떤 상황에서 어떤 선택이 나은지 기준을 정리합니다. 직접 겪은 이야기가 아니라 자료에서 확인한 내용을 설명하는 글입니다.
대화가 길어지면 무엇이 문제일까
AI는 대화 전체를 매번 다시 읽고 답합니다. 그래서 대화에 쌓인 내용은 모두 다음 답변의 재료가 됩니다. 여기에는 두 가지 비용이 따라옵니다.
첫째는 정확도입니다. 벡터 데이터베이스 회사 Chroma가 2025년 7월에 낸 기술 보고서 "Context Rot"는 18개 모델을 시험했고, 입력이 길어질수록 간단한 작업에서도 결과가 점점 불안정해진다고 보고했습니다. 질문과 관련은 있지만 정답이 아닌 내용(방해 요소)이 섞이면 정확도가 더 떨어졌습니다. 대화형 기억 시험에서는 약 300토큰의 핵심만 준 경우가 약 11만 3천 토큰의 전체 기록을 준 경우보다 훨씬 잘 맞혔다고 합니다. 이 보고서는 해당 회사가 직접 낸 자료이므로, 모든 상황에 그대로 적용된다고 단정하기보다 "긴 기록이 늘 이득은 아니다"라는 방향으로 받아들이는 것이 안전합니다.
둘째는 비용입니다. Claude Code 공식 문서는 요청마다 대화 전체가 전송된다고 설명합니다. 서로 관계없는 일 세 개를 한 대화에서 처리하면 네 번째 일을 할 때도 앞의 세 가지 기록을 매번 다시 읽게 됩니다.
비유하자면 책상 위에 이전 프로젝트 자료를 치우지 않은 채 새 일을 하는 것과 같습니다. 자료가 많다고 일이 빨라지지 않고, 오히려 필요한 종이를 찾기 어려워집니다.
상황별로 고르는 네 가지 방법
공식 문서에서 권하는 방법을 상황에 맞춰 묶으면 아래와 같습니다.

- 전혀 다른 일을 시작할 때는
/clear. 문서는 관련 없는 작업 사이에/clear를 쓰라고 합니다. 다음 일이 앞 일의 기록 때문에 비용을 더 내지 않게 해 줍니다. - 같은 지적을 두 번 했는데도 틀릴 때는
/clear와 새 프롬프트. 아래에서 따로 설명합니다. - 같은 일을 이어 가는데 기록이 길 때는
/compact. 대화를 요약본으로 바꿔 줍니다. 문서의 예처럼/compact keep the API changes and the test commands와 같이 남길 내용을 함께 적으면 중요한 부분이 요약에서 빠질 가능성을 줄일 수 있습니다. - 방향만 잘못 갔을 때는
/rewind. 코드, 대화, 또는 둘 다를 이전 시점으로 되돌립니다. 과감한 방법을 먼저 써 보고 안 되면 되돌릴 수 있어서 부담이 적다고 문서는 설명합니다.
참고로 문서에 따르면 최신 모델은 큰 컨텍스트 창을 갖고 있고 자동 압축도 되기 때문에, 창이 가득 차서 막히는 일은 드뭅니다. 그래도 비우는 습관이 의미 있는 이유는 "넘쳐서"가 아니라 "집중된 컨텍스트가 더 좋은 답과 더 낮은 비용으로 이어지기 때문"입니다.
같은 지적을 세 번 하지 않기
가장 쓸모 있어 보이는 기준은 정정 횟수입니다. 문서는 같은 문제를 두 번 고쳐 달라고 했는데도 여전히 틀리다면 세 번째 정정을 하지 말고 /clear 후 새 프롬프트를 쓰라고 권합니다. 세 번째 정정은 이미 실패한 시도 두 개가 들어 있는 대화에 내용을 더하는 일이고, AI는 그 실패까지 다시 읽기 때문입니다.

새 프롬프트에는 처음 목표, 앞선 시도에서 알게 된 점, 결과를 확인할 방법을 한 번에 담으면 됩니다. 예를 들면 이렇습니다.
로그인 실패 시 에러 메시지를 한국어로 바꿔 주세요.
- src/auth 폴더만 수정하고 테스트 파일은 건드리지 마세요.
- 이전 시도에서 메시지를 컴포넌트 안에 직접 적어 오류가 났습니다. 메시지는 별도 파일로 분리해 주세요.
- 끝나면 npm test를 실행해서 결과를 알려 주세요.
실패 과정을 길게 설명할 필요는 없고, 배운 점만 문장 하나로 정리하는 정도면 충분합니다.
중요한 규칙은 대화 밖에 적어 두기
대화를 비우거나 압축하면 대화 속에만 있던 지시는 사라지거나 흐려질 수 있습니다. 공식 문서도 대화 중에 말한 제한은 압축 과정에서 문장이 사라질 수 있다고 주의를 줍니다. 그래서 지켜야 할 내용은 대화가 아니라 파일에 적는 편이 좋습니다.
- 매번 알려야 하는 프로젝트 규칙은 지침 파일에 적습니다. 어디에 적을지는 /posts/ai-instruction-file-vs-hooks에서 따로 다뤘습니다.
- 큰 작업은 먼저 명세 파일로 정리한 뒤, 새 세션에서 그 파일을 보고 시작합니다. 문서도 명세 파일을 만든 다음 새 세션에서 구현을 시작하라고 안내합니다. 이렇게 하면 깨끗한 컨텍스트에 "무엇이 완료인가"가 글로 남은 상태로 시작할 수 있습니다.
- 프롬프트에 무엇을 넣을지는 /posts/specific-prompts-and-checks-for-coding-ai에서 정리했습니다.
정리
- 관련 없는 일로 넘어갈 때는
/clear로 비웁니다. - 같은 지적을 두 번 했는데도 틀리면 세 번째 정정 대신 새 세션에서 프롬프트 하나로 다시 시작합니다.
- 같은 일을 이어 가며 기록만 길 때는 남길 내용을 적어
/compact를 씁니다. - 방향만 틀어졌다면
/rewind로 되돌립니다. - 오래 남겨야 할 규칙과 완료 기준은 대화 대신 파일에 적습니다.
여기 나온 명령어는 Claude Code 기준이고, 다른 도구는 이름이 다를 수 있습니다. 다만 "관련 없는 기록은 치우고, 배운 점만 들고 새로 시작한다"는 원칙은 대부분의 AI 도구에 같이 적용됩니다.
참고한 자료
- #AI
- #코딩 AI
- #컨텍스트
- #프롬프트
- #작업 습관