企业官网建设流程全解析

词法分析的任务

编译器前端

词法分析器

词法分析器的输入是源代码字符流，输出是记号流：

上图中的IF、LPARAEN等都是记号，也叫做单词。

词法分析器在处理字符流的时候，会丢掉空格符、制表符、换行符等。

在字符流末尾，有一个EOF（end of file）代表字符流的结束。

输入：字符流

输入的字符流与被编译的编程语言相关，可以是ASCII、Unicode等等。

输出：记号流

下面的代码展示了记号的数据结构定义：

以c语言的if关键字为例：

k=IF lexeme=0

如果定义了一个int x：

k=ID lexeme="x"