JavaScript Token是什么意思

一些JavaScript文章中，会看到Token名词的出现，例如：

如果对于Token不理解，那么就无法明白上面语句所表达的意思。

一.词法分析:

此法分析是计算机科学中，将字符序列转换为单词（Token）序列的过程。

进行词法分析的程序或者函数叫作词法分析器（Lexical analyzer，简称Lexer），也叫扫描器（Scanner）。

词法分析器一般以函数的形式存在，供语法分析器调用。

二此法分析中单词的概念:

上面概念中的单词(Token)是一个字符串，构成源代码的最小单位。

从输入字符流中生成单词的过程叫作单词化（Tokenization），在这个过程中，词法分析器还会对单词进行分类。

词法分析器通常不关心单词之间的关系（属于语法分析的范畴）。

比如，词法分析器能够将括号识别为单词，但并不保证括号是否匹配。

三.代码分析:

简单的代码如下:

[JavaScript] 纯文本查看 复制代码
var sum=3+2;

将其单词化后可以得到下表内容:

上面虽然不是正面介绍Token的作用，但是已经足以说明它是一个什么概念了。