博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
atitit.java解析sql语言解析器解释器的实现
阅读量:5103 次
发布时间:2019-06-13

本文共 4048 字,大约阅读时间需要 13 分钟。

atitit.java解析sql语言解析器解释器的实现

 

1. 解析sql的本质:实现一个4gl dsl编程语言的编译器

Sql走十一个4gl dsl,..SQL解析器基本上走十一个编译器实现

 

2. 解析sql的主要的流程,词法分析,而后进行语法分析,语义分析,构建sqlAST

首先要进行词法分析,而后进行语法分析,语义分析

词法分析,and 语法分析>>>.

词法分析即将输入的语句进行分词(token),解析出每个token的意义。分词的本质便是正则表达式的匹配过程,比较流行的分词工具应该是lex,通 过简单的规则制定,来实现分词。Lex一般和yacc结合使用。关于lex和yacc的基础知识请参考Yacc 与Lex 快速入门- IBM。如果想深入学习的话,可以看下《》。

然而Mysql并没有使用lex来实现词法分析,但是语法分析却用了yacc,而yacc需要词法分析函数yylex,

不过ANTLR更多简化...

 

作者:: 老哇的爪子 Attilax 艾龙,  EMAIL:1466519819@qq.com

转载请注明来源: http://blog.csdn.net/attilax

 

3. 词法分析器

MySQL的词法分析器是手工打造的。

语法分析器的入口函数是MYSQLparse,词法分析器的入口函数是MYSQLlex。

2. 词法分析中会检查token是否为关键字。

最直接的做法是弄个大的关键字数组,进行折半查找

1.1 词法分析器(Lexer)

词法分析器又称为 Scanner,Lexical analyser和Tokenizer。程序设计语言通常由关键字和严格定义的语法结构组成。编译的最终目的是将程序设计语言的高层指令翻译成物力机器或 虚拟机可以执行的指令。此法分析器的工作是分析量化那些本来毫无意义的字符流,将他们翻译成离散的字符组(也就是一个一个的Token)括关键字,标识 符,符号(symbols)和操作符供语法分析器使用。

,Lexer不关心所生成的单个Token的语法意义及其与上下文之间的关系

 

ANTLR将上述两者结合起来,它允许我们定义识别字符流的词法规则和用于解释Token流的词法分析规则。然后,ANTLR将根据用户提供的语法文件自 动生成相应的词法/语法分析器。

4. 语法分析器--ANTLR

也因为不想和以下推自动机为原理的YACC/LEX生成的一大堆整数表打交道,我选择了另一个开源的LL(K)语法/词法分析器—ANTLR。

之前YACC/LEX显得过于学院派,而以LL(k)为基础的ANTLR虽然在效率上还略有不足

 

Lexer不关心所生成的单个Token的语法意义及其与上下文之间的关系,而这就是Parser的工作。语法分析器将收到的Tokens组织起来,并转换成为目标语言语法定义所允许的序列。

无论是Lexer还是Parser都是一种识别器,Lexer是字符序列识别器而Parser是Token序列识别器。他们在本质上是类似的东西,而只是在分工上有所不同而已。

ANTLR将上述两者结合起来,它允许我们定义识别字符流的词法规则和用于解释Token流的词法分析规则。然后,ANTLR将根据用户提供的语法文件自 动生成相应的词法/语法分析器。用户可以利用他们将输入的文本进行编译,并转换成其他形式(如AST—Abstract Syntax Tree,抽象的语法树)。构建sql的AST

 

5. Eclipse插件,,ANTLR Studio

 

为了更好的使用ANTLR,你还可以下载ANTLR的Eclipse插件来帮助你完成工作。ANTLR Studio

6. 一个基于javacc实现的解析器JSqlParser0.7(yr2011),

它可以把SQL语句转换为Java对象,由于JsqlParser是使用做语法分析的,而本身JavaCC就支持JJTree...如是就写了个小工具SQLParser,将生成的对象以树的形式呈现出来^

 

 

JSqlParser存在的问题及解决 

 JSqlParser是一个SQL语句的解析器,包括常用的一些SQL语句,insert,update,select,delete等,但兼容的语法有限,比如括号,或者一些复杂的结构等。 对于转义字符的处理

 

 

7. 例子代码-----解析sql表格列的名称and类型

final String sql = filex.read("c:\\pojo.sql""gbk");

new SqlParseO7(sql)

this.sqlParseO7.parse(new Closure() 

 

 

 

public void parse(Closure c) throws JSQLParserException {

CCJSqlParserManager parserManager = new CCJSqlParserManager();

 

// String statement =

// "CREATE TABLE mytab (mycol a (10, 20) c nm g, mycol2 mypar1 mypar2 (23,323,3) asdf ('23','123') dasd, "

// + "PRIMARY KEY (mycol2, mycol)) type = myisam";

CreateTable createTable = (CreateTable) parserManager

.parse(new StringReader(this.sql));

 

List columnDefinitions = createTable.getColumnDefinitions();

String tabName = createTable.getTable().getName();

 

// System.out.println(columnDefinitions.size());// 获得字段总数.

for (Object object : columnDefinitions) {

ColumnDefinition col = (ColumnDefinition) object;

 

Object[] oa = { col.getColumnName(),

col.getColDataType().getDataType(), tabName };

c.execute(oa);

 

}

8.  }Sql的历史

9. 解析select语句

 

Statement stat = new CCJSqlParserManager().parse(new StringReader( 

                        "select * from a where 姓名='崔永远'")); 
            Select select = (Select) stat; 
            Expression where = ((PlainSelect) select.getSelectBody()).getWhere(); 
            WhereExpressionVisitor visitor = new WhereExpressionVisitor(rowMeta, where); 
            for (int i = 0; i < data.length; i++) { 
                Object result = visitor.eval(data[i]); 
                if (result instanceof Boolean && ((Boolean) result).booleanValue()) { 
                    System.out.print("通过=====>"); 
                } else { 
                    System.out.print("不通过=====>"); 
                } 
                System.out.println(StringUtils.join(data[i], ",")); 
            } 

 

10. zqlJSqlParserGeneral sql parser. 

11. 

12. Javacc/AST简单的介绍 

JavaCC 是一个代码生成器,可以根据输入的语言定义输出一个词法分析器和解析器,JavaCC 输出的代码是合法的可编译Java代码.解析器和词法分析器本身就是一个冗长而复杂的组件,手工编写一个这样的程序需要仔细考虑各条件的相互作用,总的来说,通过javacc完成一些字符串的分析,还是比较方便,现在普遍使用AST了。

 

13. SQLJEP http://sqljep.sourceforge.net/

 

       SQLJEP 是一个用来解析和仿真执行SQL语句的Java类库。支持几乎所有 Oracle 和 MaxDB 的函数。SQLJEP 使用 JavaCC 来做词法分析。

 

14. Sql生成SqlBuilder ,Querydsl ,hb

3.SqlBuilder  http://openhms.sourceforge.net/sqlbuilder/

 

     SqlBuilder 是一个Java的类库,它试图帮你避免在Java程序内直接书写SQL查询的痛苦。你只需要使用 SqlBuilder 的方法,它就可以帮你生成对应的 SQL 数据库查询语句,例如下面一个SQL语句:

 

15. 俄的总结:  还凑火JSqlParser0.7走行兰.

16. 参考

Java 实现对Sql语句解析 - 翠竹林 - 博客园.htm

SQL 语法解释器jsqlparser - serv - ITeye技术网站.htm

 Hibernate源代码分析 - 青火的笔记 - 记笔记 - 私塾在线 - 只做精品视频课程服务.htm

开源语法分析器--ANTLR - 薛笛的专栏 - 博客频道 - CSDN.NET.htm

 

转载于:https://www.cnblogs.com/attilax/p/5963942.html

你可能感兴趣的文章
linux basename学习
查看>>
作业2(4)
查看>>
C#: switch语句的重构『网摘』
查看>>
12.9——周总
查看>>
Windows 7 下 PHP 开发环境搭建(手动)
查看>>
在腾讯云服务器上实现java web项目部署
查看>>
linux文档常见后缀名
查看>>
C++关键字 explicit
查看>>
为什么要使用自增ID作为主键
查看>>
C#—异步编程
查看>>
Hibernate查询
查看>>
dialog组件
查看>>
Python(2.7.6) 迭代器
查看>>
Spring IOP 面向切面编程
查看>>
FreeBSD11配置local_unbound做dns缓存和转发
查看>>
JS面向对象
查看>>
责任链模式
查看>>
IE和火狐CSS透明层兼容写法
查看>>
名称空间与作用域
查看>>
序列化和反序列化
查看>>