텍스트를 토큰 단위로 세고 자르는 커맨드라인 도구 ttok이 1.0으로 업그레이드됐다. 개발자는 ttok 0.4를 GPT-4 토크나이저로 기본 설정해 쓰다가, 이제는 GPT-5/GPT-6 계열을 기본값으로 바꾸는 김에 1.0을 출시했다고 밝혔다. OpenAI가 GPT-6이 GPT-5 계열과 같은 토크나이저를 쓰는지 공식 확인하지 않았지만, 커뮤니티 실험에서 GPT-5.5, 5.6(Sol/Terra/Luna), GPT-6(Astra/Sol/Luna) 등 7개 모델이 동일한 31개 테스트 케이스에서 모두 44,794 토큰으로 일치했다는 근거를 인용했다. 즉 GPT-6은 이 테스트 자료 기준으로 입력 토큰 수 계산 방식에 변화가 없다는 의미다.

• •텍스트 토큰 계산·절단 도구 ttok이 1.0으로 업그레이드, 기본 토크나이저를 GPT-4에서 GPT-5/GPT-6 계열로 변경
• •OpenAI는 GPT-6과 GPT-5 계열의 토크나이저 동일성을 공식 확인하지 않음
• •커뮤니티 실험에서 GPT-5.5, 5.6, GPT-6 등 7개 모델이 31개 테스트 케이스에서 모두 44,794 토큰으로 일치
• •GPT-6이 해당 테스트 자료에서 입력 토큰 수 계산 방식을 바꾸지 않았음을 시사