Un token es la unidad básica de información que procesa un modelo de inteligencia artificial.
La IA no lee palabras completas como los humanos, sino que divide el texto en fragmentos (sílabas, caracteres o palabras) llamados así, Tokens.
A grandes rasgos, 1 token ≈ 4 caracteres o 0,75 palabras. 🧵
about 1 month ago