Tokens aren't words for AI models. The word "inteligência" splits into three tokens while "artificial" takes one. Portuguese uses about 30% more tokens than English, which affects costs and efficiency.
Token não é a mesma coisa que palavra, e eu vou te provar. A IA, ela não lê palavras, ela vai ler fragmento. Então, por exemplo, na palavra inteligência e na palavra artificial, a IA não lê a mesma coisa. Aqui são duas palavras, mas ela gera 4 tokens. Se você prestar atenção, aqui tem inteligência, são 3 tokens, e artificial é só um. A OpenAI tem um site que você consegue testar. Então, por exemplo, se eu digitar olá, eu consigo ver que só tem um token. Mas se eu digitar ótimo, ele gasta 3 tokens. E o pior, português gasta cerca de 30% mais tokens do que inglês. Você sabia Gostou disso? Então me segue aqui para mais dicas de como usar IA de maneira eficiente.
