AI 文本与提示词

大模型词元计算器

支持 OpenAI 编码、Qwen3-8B 和 DeepSeek-V3.1 的文本词元统计,可同时查看 Unicode 码点和 UTF-8 字节数,也可为其他模型估算。

文本与编码

文本留在当前页面,统计在浏览器内完成。

统计结果

输入文本并选择分词编码即可统计。

词元是怎样统计的v1.1.0

选择实际使用的编码

不同模型对同一段文本的切分方式不同。菜单里的模型是官方映射中的示例,做 API 预算时请核对实际使用的模型版本。

统计纯文本

分词器会处理输入的空白、标点和代码,OpenAI 编码将手动输入的特殊词元标记按普通文本统计。Qwen 和 DeepSeek 按固定版本的模型分词规则处理标记。组合表情或组合音标的 Unicode 码点数可能与肉眼看到的字符数不同。

估算其他分词器

如果实际编码未列出,可按每词元平均占用的 UTF-8 字节数估算。语言、代码和分词器都会影响误差,完整请求的词元数可通过服务商提供的接口统计。

分词与 API 参考