快捷导航
蚂蚁部落 网站首页 实例代码 JS实例 查看内容

JavaScript Token是什么意思

2018-1-23 15:56| 发布者: admin| 查看: 375| 评论: 0|来自: 蚂蚁部落

一些JavaScript文章中,会看到Token名词的出现,例如:

a:3:{s:3:\"pic\";s:43:\"portal/201703/29/155705s22jet1eesztgmss.jpg\";s:5:\"thumb\";s:0:\"\";s:6:\"remote\";N;}

如果对于Token不理解,那么就无法明白上面语句所表达的意思。

一.词法分析:

此法分析是计算机科学中,将字符序列转换为单词(Token)序列的过程。

进行词法分析的程序或者函数叫作词法分析器(Lexical analyzer,简称Lexer),也叫扫描器(Scanner)。

词法分析器一般以函数的形式存在,供语法分析器调用。

二此法分析中单词的概念:

上面概念中的单词(Token)是一个字符串,构成源代码的最小单位。

从输入字符流中生成单词的过程叫作单词化(Tokenization),在这个过程中,词法分析器还会对单词进行分类。

词法分析器通常不关心单词之间的关系(属于语法分析的范畴)。

比如,词法分析器能够将括号识别为单词,但并不保证括号是否匹配。

三.代码分析:

简单的代码如下:

[JavaScript] 纯文本查看 复制代码
var sum=3+2;

将其单词化后可以得到下表内容:

语素单词类型
var变量声明关键字
sum标识符
=赋值操作符
3数字
+加法运算符
2数字
;语句结束

上面虽然不是正面介绍Token的作用,但是已经足以说明它是一个什么概念了。


鲜花

握手

雷人
1

路过

鸡蛋

刚表态过的朋友 (1 人)

最新评论

关于我们|手机版|小黑屋| ( 鲁ICP备10022556号-3 )

GMT+8, 2018-2-19 15:57 , Processed in 0.094801 second(s), 21 queries .

Powered by Discuz! X3.2 Licensed

Copyright © 2012-2017 Design: 蚂蚁部落

返回顶部