컨텍스트 윈도우

AI 토큰(Token)이란? ChatGPT를 사용하다 보면 토큰(Token)​이라는 용어를 자주 접하게 됩니다. 특히 유료 요금제나 AI API를 사용할 때 “토큰 사용량”, “토큰 제한”, “토큰 비용”과 같은 표현을 볼 수 있습니다. 그렇다면 AI에서 말하는 토큰은 무엇일까요? AI 토큰은 인공지능이 문장을 이해하고 처리하기 위해 나누는 가장 작은 의미 단위를 말합니다. 쉽게 말해 사람은 문장을 한 번에 읽지만, AI는 문장을 … 더 읽기