1.spark sql源码系列 | with as 语句真的源码会把查询的数据存内存嘛？
2.Mybatis拼接sql出错及源码解析
3.JSON转SQL小工具源码分享
4.SQL解析系列(Python)--sqlparse源码
5.spark sql源码系列 | json_tuple一定比 get_json_object更高效吗？
spark sql源码系列 | with as 语句真的会把查询的数据存内存嘛？
在探讨 Spark SQL 中 with...as 语句是否真的会把查询的数据存入内存之前，我们需要理清几个关键点。源码首先，源码网上诸多博客常常提及 with...as 语句会将数据存放于内存中，源码来提升性能。源码那么，源码空间怎么安装源码实际情况究竟如何呢？
让我们以 hive-sql 的源码视角来解答这一问题。在 hive 中，源码有一个名为 `hive.optimize.cte.materialize.threshold` 的源码参数。默认情况下，源码其值为 -1，源码代表关闭。源码当值大于 0 时（如设置为 2），源码with...as 语句生成的源码表将在被引用次数达到设定值后物化，从而确保 with...as 语句仅执行一次，源码藏头诗数源码进而提高效率。
接下来，我们通过具体测试来验证上述结论。在不调整该参数的情况下，执行计划显示 test 表被读取了两次。此时，我们将参数调整为 `set hive.optimize.cte.materialize.threshold=1`，执行计划显示了 test 表被物化的情况，表明查询结果已被缓存。
转而观察 Spark SQL 端，我们并未发现相关优化参数。Spark 对 with...as 的操作相对较少，在源码层面，通过获取元数据时所做的zeppelin源码修改参数判断（如阈值与 cte 引用次数），我们可以发现 Spark 在这个逻辑上并未提供明确的优化机制，来专门针对 with...as 语句进行高效管理。
综上所述，通过与 hive-sql 的对比以及深入源码分析，我们得出了 with...as 语句在 Spark SQL 中是否把数据存入内存的结论，答案并不是绝对的。关键在于是否通过参数调整来物化结果，以及 Spark 在自身框架层面并未提供特定优化策略来针对 with...as 语句进行内存管理。因此，正确使用 with...as 语句并结合具体业务场景，灵活调整优化参数策略，是实现性能提升的关键。
Mybatis拼接sql出错及源码解析
结论是，Mybatis在拼接SQL时出现意外条件添加，ZXNH源码公式可能是由于别名与参数名冲突导致的。作者猜测，当在foreach循环中设置了别名exemptNo，Mybatis可能误将这个别名与参数关联，即使exemptNo值为空，也会在SQL中添加条件。这个行为实际上是一个潜在的bug，源于Mybatis在处理一次性使用的别名时的内存管理问题。
深入分析，当在org.apache.ibatis.scripting.xmltags.DynamicSqlSource的getBoundSql方法中设置断点，可以看到exemptNo的空值状态表明该条件不应被添加。进一步在rootSqlNode.apply(context)的applyItem方法中，问题集中在DynamicContext对象的ContextMap上。它在遍历时将别名作为键存储，口袋源码下载然而在操作结束后没有及时清理，导致了不必要的参数混淆。
Mybatis的ContextMap设计用于存储SQL参数和临时键值对，但这里的问题在于，别名被永久性地存储在map中，而不是作为一次性使用的变量。因此，为了避免这类问题，应确保SQL的别名与实际参数名不冲突，以防止Mybatis的内存管理不当。
总结来说，Mybatis在处理别名时的临时性考虑不足，导致了这个bug，提醒我们在使用Mybatis时，要注意别名的命名规则，以避免意外的SQL拼接错误。
JSON转SQL小工具源码分享
本文将介绍一种实用工具，它能将key-value格式的JSON数据转换为SQL插入语句，便于将网页数据高效存储到数据库中。
首先，工具的关键在于解析建表语句。由于SQL中，对"字符串"类型的字段拼接时，需要手动添加双引号。通过JDBC连接数据库，工具会分析表字段的类型，识别出"CHAR", "VARCHAR", "TEXT", "DATE", "TIME", "DATETIME", "TIMESTAMP"等字符串类型字段。
在拼接插入语句时，工具会跳过id字段，并对其他字段进行检查。对于"字符串"字段，需要特别注意是否需要添加双引号。如果字段值为JSON格式，可能会出现双重双引号，这时需要额外添加转义字符。
为了确保功能的正确性，进行了详细的测试。经过测试，可以确认JSON数据经过此工具的转换，能够准确生成符合要求的SQL插入语句，实现了字段类型的智能处理。
SQL解析系列(Python)--sqlparse源码
sqlparse是一个无验证的SQL解析器，它提供了SQL语句解析、拆分和格式化的能力。
获取源码请访问：github.com/andialbrecht...
sqlparse包含三个基本函数：解析、拆分和格式化SQL语句。
代码结构清晰，分为词法解析、语句拆分、语法解析和格式化四个部分。
词法解析(tokenize)：将SQL语句分解为词法元素。
语句拆分(sqlparse.split)：将连续的SQL语句拆分为独立的语句。
语法解析(sqlparse.parse)：解析SQL语句的语法结构。
SQL格式化(sqlparse.format)：将SQL语句格式化为更清晰的格式。
实战应用包括：从SELECT中提取表名，从CREATE中提取字段定义。
具体实现请参考：github.com/messixukejia...
spark sql源码系列 | json_tuple一定比 get_json_object更高效吗？
对比json_tuple和get_json_object，网上普遍认为json_tuple效率更高。理由是json_tuple仅需解析一次json数据，而get_json_object需多次解析。实际操作中，get_json_object在解析json字符串到jsonObject阶段仅执行一次，而非多次解析。从执行计划角度看，get_json_object更为简洁，而json_tuple涉及udtf函数，其执行计划更为繁重。功能多样性上，get_json_object支持更丰富的路径处理，如正则匹配、嵌套、多层取值等，而json_tuple仅能解析第一层key。在实际使用时，无需盲从效率结论，根据具体需求选择。确保json数据不过长过大，无论使用哪种方法，效率都不会理想。正确理解并合理运用这些函数，对于优化查询性能至关重要。
