token中文叫什么
在人工智能大模型领域，token的官方规范中文试用定名为词元，由全国科学技术名词审定委员会正式发布。该译名里，“词” 对应其起源于自然语言处理场景的属性，“元” 代表 “基本单元”，既契合文本处理的核心场景，也能延伸覆盖多模态领域的信息基础单元概念。日常非专业语境中也存在 “令牌” 等译法，但在大模型技术场景下，“词元” 是统一的专业标准译名。
大模型中 token(词元)的含义
底层处理逻辑
所有输入的文本内容在进入大模型前，都会经过分词器(Tokenizer)程序，按照预设的分词规则被拆分为一个个词元，再被转换为对应的数字 ID，模型才能识别并开展后续的运算处理。
常见组成形式
词元并不等同于单个汉字或单词，拆分形式由模型的分词规则决定：
英文场景中，词元可以是完整单词、词根 / 词缀(子词)、标点符号;较长的英文单词通常会被拆分为多个子词单元，以此压缩词表规模、提升处理效率。
中文场景中，单个汉字、常用词组、标点符号都可成为独立词元;通常 1 个汉字大致对应 1 个词元，部分高频固定词组会作为单个词元存在。
空格、特殊符号等内容，也可能被拆分为独立的词元。
token词元功能作用
内容生成的基础载体：大模型的生成逻辑是基于已有的词元序列，通过概率计算预测下一个最合理的词元，逐次迭代生成完整的输出内容。
上下文能力的计量标尺：大模型的 “上下文窗口” 参数，本质就是单次交互中模型能够处理的输入与输出总词元数量，直接决定了模型单次可承载的信息长度。
算力与成本的计价单位：大模型 API 调用、算力资源消耗通常以词元数量为单位计费，输入与生成的词元总量直接对应算力、电力等资源的实际消耗。
多模态延伸
随着多模态大模型的发展，词元的概念已从文本领域延伸至图像、音频、视频等模态，对应各类模态信息被拆分后的最小处理单元，如图像词元、音频词元等。
常见大模型词元（token）换算规则
词元换算没有绝对固定值，会随文本内容、语言类型、分词器设计差异发生波动，以下是行业通用的经验换算标准与主流模型参考值。
一、通用语言换算基准
- 中文场景
中文词元的拆分粒度介于 “单字” 与 “词语” 之间，日常通用文本的经验换算：
- 原生国际大模型：1 个词元 ≈ 1.1~1.4 个汉字，即 1000 个汉字约对应 700~900 个词元
- 中文优化大模型：1 个词元 ≈ 1.5~2.0 个汉字，即 1000 个汉字约对应 500~670 个词元
常用词组、固定成语会作为单个词元存在，生僻字、零散单字、特殊符号通常会逐字拆分。
- 英文场景
以行业通用的 OpenAI 官方标准为基准：
- 1000 个词元 ≈ 750 个英文单词
短的常用词多为 1 个单词对应 1 个词元；长单词会被拆分为词根、词缀等多个子词单元，专业长单词可能对应 3~5 个词元。
二、主流模型具体换算参考
- OpenAI GPT 系列（GPT-3.5、GPT-4）
- 分词机制：BPE（字节对编码），词表规模 50257
- 英文：1000 词元 ≈ 750 个英文单词
- 中文：平均 1 词元 ≈ 1.3 个汉字，1000 汉字约对应 750~800 词元；生僻文本、中英混合场景下换算比例会进一步下降。
- 开源通用大模型（LLaMA 2/3、Mistral 等）
- 分词机制：BPE，LLaMA 3 词表规模 128256，LLaMA 2 词表规模 32000
- 原生版本对中文适配较弱，1 词元 ≈ 1.0~1.2 个汉字，单字拆分占比高；经过中文微调优化的版本，换算比例可提升至 1.3~1.6 个汉字 / 词元。
- 国内中文优化大模型（通义千问、文心一言、豆包、讯飞星火等）
- 分词机制：针对中文扩充词表的 BPE 或自研分词方案，词表覆盖数万中文常用字、词组
- 中文通用文本：1 词元 ≈ 1.5~2.0 个汉字，高频成语、固定词组会合并为单个词元，日常口语、通用文章的词元利用效率显著高于国际模型。
三、影响换算比例的关键因素
- 文本内容属性：高频日常用语、固定词组的词元占用率更低；生僻字、专业术语、中英混排、大量标点会提升词元消耗。
- 数字与特殊符号：长串数字会被拆分为单个数字词元，大幅增加消耗；空格、换行符、特殊符号各占用 1 个词元。
- 分词器设计差异：不同模型的词表规模、分词规则不同，同一段文本在不同模型中的总词元数会存在 10%~30% 的偏差。
小编想强调一下：大模型标注的 “8K 上下文”“32K 上下文” 等参数，指的是单次交互中输入 + 输出的总词元数量上限，而非汉字或单词数量。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...