一些JavaScript文章中,会看到Token名词的出现,例如:
如果对于Token不理解,那么就无法明白上面语句所表达的意思。
一.词法分析:
此法分析是计算机科学中,将字符序列转换为单词(Token)序列的过程。
进行词法分析的程序或者函数叫作词法分析器(Lexical analyzer,简称Lexer),也叫扫描器(Scanner)。
词法分析器一般以函数的形式存在,供语法分析器调用。
二此法分析中单词的概念:
上面概念中的单词(Token)是一个字符串,构成源代码的最小单位。
从输入字符流中生成单词的过程叫作单词化(Tokenization),在这个过程中,词法分析器还会对单词进行分类。
词法分析器通常不关心单词之间的关系(属于语法分析的范畴)。
比如,词法分析器能够将括号识别为单词,但并不保证括号是否匹配。
三.代码分析:
简单的代码如下:
[JavaScript] 纯文本查看 复制代码var sum=3+2;
将其单词化后可以得到下表内容:
上面虽然不是正面介绍Token的作用,但是已经足以说明它是一个什么概念了。
|手机版|小黑屋|
( 鲁ICP备10022556号-3 )
鲁ICP备10022556号-3
Copyright © 2012-2018 Design: 蚂蚁部落
最新评论