放到你的工作里
同样长度的中文、英文和代码，换成Token后，数量可能不同。
现在，回来看它的意思
模型处理文本时使用的片段单位，可能是一个词、词的一部分或字符，不能固定换算成汉字数。
但别这样理解
小块由具体分词器决定；一个汉字可能占一个或多个Token，也可能与别的字合在一起。
想再了解一点
Introduction to Large Language Models官方参考查阅于 2026-09-09 · 类比和例子为本站原创解释。
Token
像把文字切成大小不一的小块，再按块处理和计数。
同样长度的中文、英文和代码，换成Token后，数量可能不同。
模型处理文本时使用的片段单位，可能是一个词、词的一部分或字符，不能固定换算成汉字数。
小块由具体分词器决定；一个汉字可能占一个或多个Token，也可能与别的字合在一起。
官方参考查阅于 2026-09-09 · 类比和例子为本站原创解释。