
Token,一般指数据、信息或物理对象的符号化表示或最小处理单元,是横跨计算机科学、自然语言处理、信息安全、区块链等多领域的重要概念。在编译原理中,它是词法分析的最小语法单位;在自然语言处理中,它是文本拆分的基础单元,是模型理解语言的关键;在信息安全中,它是加密生成的数字标识符,用于身份验证与访问控制。
Token的概念起源于20世纪中叶的计算机词法分析,随信息技术与密码学进步不断演进。区块链兴起后,Token被赋予数字资产属性,成为数字经济核心载体,广泛应用于数字金融、人工智能、供应链管理等领域,是连接物理与数字世界的重要桥梁。
在大模型时代,词元(Token)作为大模型处理信息的最小信息单元,具有可计量、可定价、可交易的特征,已成为大模型调用量的评估标准与厂商计费单位。2026年3月,国家数据局局长刘烈宏指出,词元不仅是智能时代的价值锚点,更是连接技术供给与商业需求的"结算单位"。中国日均词元调用量从2024年初的1000亿跃升至2026年3月的140万亿,两年增长超千倍,以Token计费为基础的新型商业逻辑与价值体系正在加速形成。截至2026年6月,中国日均词元调用量已突破500万亿。
想要了解更多“词元(处理文本的最小数据单元)”的信息,请点击:词元(处理文本的最小数据单元)百科
