| 
近日，宇宙科学本领名词核定委员会发布《对于发布试用东谈主工智能范围名词token汉文名“词元”的公告》，决定在概括考量社会各界见解提议的基础上，优先保举“词元”动作东谈主工智能范围名词token的汉文名，并面向全社会发布试用。 “词元”这一定名顺应单义性、科学性、简明性、协作性等科技名词核定原则。该定名经宇宙筹谋机科学本领名词核定委员会核定后，由宇宙科学本领名词核定委员会批准向全社会发布试用。 清华大学筹谋机系副素养东昱晓合计，“词元”的定名捕捉了其在东谈主工智能讲话模子中动作“基本闹翻标识单元”的本色，又不错通过类比当然蔓延至多模态范围。在“词元”这一定名中，“词”点明其在讲话场景下的根源，体现出token与抒发对象语义的密切关联；“元”传达出“基本单元”之意，与“元素”等术语中的“元”保执一致的语义头绪。 “token”一词源于古英语tācen，意为“标识”或“标识”。在讲话模子中，token是文本经由切分或字节级编码后取得的最小闹翻单元。它既可能是东谈主类讲话意料上的词串、单个词，也可能是词根、词缀、子词或单个字符。讲话模子通过对token序列建模，展现出一定的智能水平。 宇宙筹谋机科学本领名词核定委员会副主任委员兼东谈主工智能分委员会主任委员、中国科学院筹谋本领商酌所商酌员陈熙霖暗示，“词元”一词不错将“动作讲话基本语义单元”这一开头本色明晰抒发出来，更贴合其在东谈主工智能中的运转扮装。 跟着大模子从纯文本走向多模态，“token”所指也曾膨胀。图像被切分为“图像块”并映射为镶嵌序列，语音片断不错被量化编码为闹翻单元，环球体育登录入口这些单元在多模态模子中雷同被称为token，主要建模技能仍为序列模子。 此时，“词元”中的“词”越过了东谈主类讲话意料上的“词”，却能暗合术语定名中无数存在的类比想维——将非文本模态的闹翻基本单元也视作“广义的词”。这种用法与“词云”（word cloud）、“词袋”（bag of word）雷同，虽由文本繁衍，但已成为东谈主工智能范围中抒发更平方语义的通用术语。“词元”在跨模态场景中承载了“闹翻基本单元”的语义，这种语义无数存在于所有这个词模态之中。 在汉文文件、本领文档及学术疏通中，“词元”动作描摹大模子中token的译名，迟缓被学术界许多学者招供。token是模子将数据映射为闹翻标识序列的基本单元，自己并不佩戴智能，仅仅承载信息的载体；与“镶嵌”“提防力”“隐景况”等术语比肩时，保执了作风一致性；顺应汉文“二字词”偏好，表述浅显，易于传播。 国度数据局数据表示，2024岁首，中国日均词元（token）调用量为1000亿；至2025年底，跃升至100万亿；本年3月，已冲突140万亿，两年增长超千倍。 更多热门速报、巨擘资讯、深度分析尽在北京日报App环球体育登录入口 开云体育(kaiyun)官网
|
备案号: