GPT Astra가 확실히 좋기는 하다. 복잡한 코드를 분석하거나 여러 파일을 한꺼번에 수정시키면 이전 모델보다 결과물이 잘 나오는 편이다. 그런데 성능이 좋은 만큼 토큰도 상당히 빠르게 달아진다. 별생각 없이 계속 사용하다 보면 어느 순간 사용량 한도에 걸릴 수 있다.
특히 프로젝트 규모가 크거나 대화가 길어지면 매번 전달되는 문맥도 함께 커진다. 서브 에이전트까지 여러 개 실행하면 각 에이전트가 따로 모델과 도구를 사용하기 때문에 토큰 사용량이 더 늘어난다.
따라서 GPT Astra를 주력으로 사용한다면 남은 사용량을 중간중간 확인하는 것이 좋다.
사이트에서 확인하는 방법
Codex 사용량은 아래 페이지에서 확인할 수 있다.
링크에 들어가서 Codex를 사용하는 ChatGPT 계정으로 로그인하면 된다. 여기서는 일정 기간 동안 사용한 토큰과 사용량 추이를 확인할 수 있다. 날짜별 사용량도 볼 수 있어서 어느 날 토큰을 많이 사용했는지 파악하기 좋다.
Astra로 대규모 작업을 돌린 날과 비교해 보면 어떤 작업이 토큰을 많이 먹는지도 대충 감이 온다.
다만 화면에 표시되는 항목은 계정과 요금제, 서비스 업데이트에 따라 조금씩 달라질 수 있다.
CLI에서 바로 확인하는 방법
브라우저를 열기 귀찮다면 현재 작업하고 있는 Codex CLI에서도 확인할 수 있다.
CLI 입력창에 다음 명령어를 입력하면 된다.
/status
그러면 현재 세션 정보와 모델, 남아 있는 사용량 등을 확인할 수 있다. 코딩하다가 한 번씩 /status를 입력해 보면 굳이 사이트에 들어가지 않아도 현재 상황을 바로 알 수 있어서 편하다. 여기서 표시되는 값은 단순한 API 결제 잔액이라기보다는 현재 계정에 적용된 Codex 사용량 한도에 가깝다.
토큰이 얼마 안 남았다면
사용량이 많이 줄었다면 무조건 Astra를 고집할 필요는 없다.
설계 판단이나 복잡한 오류 분석처럼 어려운 작업은 Astra에게 맡기고, 간단한 코드 수정이나 반복 작업은 한 단계 낮은 모델로 처리하면 된다.
GPT Astra부터는 같은 대화창을 유지하면서 모델을 내려서 작업을 이어 갈 수 있다. 앞에서 나눈 대화와 작업 흐름을 그대로 가지고 갈 수 있어서, 새 대화창을 만들고 처음부터 다시 설명하지 않아도 된다.
나는 대충 다음과 같이 나눠서 사용하는 것이 괜찮다고 본다.
- 코드베이스 전체 분석, 구조 설계, 어려운 오류 해결: Astra
- 일반적인 기능 구현과 코드 수정: 중간급 모델
- 단순 반복 작업, 오탈자 수정, 형식 정리: 빠르고 가벼운 모델
Astra를 사용한다고 해서 모든 명령을 Astra로 처리할 필요는 없다. 어려운 판단이 끝난 뒤 단순 구현 단계로 넘어갔다면 모델을 낮추는 것도 괜찮다.
토큰이 빨리 줄어드는 작업
같은 Astra를 사용하더라도 작업 방식에 따라 토큰 소모량 차이가 꽤 크다. 다음과 같은 작업은 사용량이 빠르게 늘어날 수 있다.
- 파일이 많은 대형 프로젝트 전체를 분석하는 작업
- 대화가 아주 길어진 상태에서 계속 질문하는 경우
- 긴 오류 로그나 소스 코드를 반복해서 보내는 경우
- 여러 서브 에이전트를 동시에 사용하는 경우
- 웹 검색과 파일 분석, 코드 실행을 여러 번 반복하는 작업
- 결과가 마음에 들지 않아 같은 작업을 계속 다시 시키는 경우
긴 대화에서는 지금 작업에 필요 없는 이전 내용까지 문맥에 포함될 수 있다. 주제가 완전히 바뀌었다면 새 대화창에서 시작하는 것도 사용량을 줄이는 데 도움이 된다. 다만 진행 중인 작업의 맥락이 중요하다면 무작정 새 대화창을 만드는 것보다, 먼저 현재 상황을 짧게 요약한 뒤 새 대화로 옮기는 편이 좋다.
정리
GPT Astra는 확실히 성능이 좋지만 토큰도 빠르게 사용해서 Codex를 자주 사용한다면 아래 두 가지 방법은 알아 두는 것이 좋다.
- 웹사이트에서 전체 사용량 확인
- Codex CLI에서
/status로 현재 상태 확인
중요한 작업에는 Astra를 사용하고, 비교적 단순한 작업에서는 모델을 낮추면 한정된 사용량을 조금 더 효율적으로 쓸 수 있다. 참고로 OpenAI 공식 문서에서도 서브 에이전트는 각각 모델과 도구를 사용하므로 단일 에이전트보다 토큰을 더 소비한다고 설명하고 있다. OpenAI Codex 서브 에이전트 문서
Leave a Reply
Your email is safe with us.