1.PostgreSQL源码学习笔记(6)-查询编译
2.PostgreSQL14基于源码安装和入门教程
3.PostgreSQL 内核Foreign Data Wrapper 异步执行特性
4.备忘36：Postgre14.3在虚拟机centos上的源码安装以及orafce插件的安装
5.如何在Linux下调试PostgreSQL
6.PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析

PostgreSQL源码学习笔记(6)-查询编译

       查询模块是数据库与用户进行交互的模块，允许用户使用结构化查询语言(SQL)或其它高级语言在高层次上表达查询任务，源码并将用户的源码查询命令转化成数据库上的操作序列并执行。查询处理分为查询编译与查询执行两个阶段：

       当PostgreSQL的源码后台进程Postgres接收到查询命令后，首先传递到查询分析模块，源码进行词法，源码酷信源码的研究语法与语义分析。源码用户的源码查询命令，如SELECT，源码CREATE TABLE等，源码会被构建为原始解析树，源码然后交给查询重写模块。源码查询重写模块根据解析树及参数执行解析分析及规则重写，源码得到查询树，源码最后输入计划模块得到计划树。源码

       整个查询编译的函数调用流程包括查询分析、查询重写与计划生成三个阶段。查询分析涉及词法分析、语法分析与语义分析，分别由Lex与Yacc工具完成。词法分析识别输入的SQL命令中的模式，语法分析找出这些模式的组合，形成解析树。出于与用户交互的考虑，语义分析与重写放在另一个函数处理，以避免在输入语句时立即执行事务操作。Lex与Yacc是词法与语法分析工具，分别通过正则表达式解析与语法结构定义，生成用于分析的C语言代码。

       查询分析由pg_parse_query函数与pg_analyze_and_rewrite函数完成。pg_parse_query处理词法与语法分析，捐赠源码证书而语义分析与重写在pg_analyze_and_rewrite函数中进行。语义分析需要访问数据库系统表，以检查命令中的表或字段是否存在，以及聚合函数的适用性。

       查询重写核心在于规则系统，存储在pg_rewrite系统表中。规则系统由一系列重写规则组成，包括创建规则、删除规则以及利用规则进行查询重写三个操作。规则系统提供定义、删除规则以及利用规则优化查询的功能。PG中实现多种查询优化策略，包括谓语下滑、WHERE语句合并等，通过动态规划与遗传算法选择代价最小的执行方案。

       查询规划的总体过程包括预处理、生成路径和生成计划三个阶段。预处理阶段消除冗余条件、减少递归层数与简化路径生成。提升子链接与子查询是预处理中的关键步骤，通过将子查询提升至与父查询相同的优化等级，提高查询效率。提升子链接与子查询的函数包括pull_up_sublinks与pull_up_subqueries。

       在路径生成阶段，优化器检查MIN/MAX聚集函数的存在与索引条件，生成通过索引扫描获得最大值或最小值的路径。表达式预处理由preprocess_expression函数完成，包括目标链表、WHERE语句、HAVING谓语等的集合源码阅读处理。HAVING子句的提升或保留取决于是否包含聚集条件。删除冗余信息以优化路径生成。

       生成路径的入口函数query_planner负责找到从一组基本表到最终连接表的最高效路径。路径生成算法包括动态规划与遗传算法，分别解决路径选择与状态传递问题。路径生成流程涉及make_one_rel函数，最终生成最优路径并转换为执行计划。

       在得到最优路径后，优化器根据路径生成对应的执行计划。创建计划的入口函数create_plan提供顺序扫描、采样扫描、索引扫描与TID扫描等计划生成。整理计划树函数set_plan_references负责最后的细节调整，优化执行器执行效率。代价估算考虑磁盘I/O与CPU时间，根据统计信息与查询条件估计路径代价。

       查询编译与规划是数据库性能的关键环节。PostgreSQL通过高效的查询分析、重写与规划，生成最优执行计划，显著提高查询执行效率。动态规划与遗传算法等优化策略的应用，确保了查询处理的高效与灵活性。

PostgreSQL基于源码安装和入门教程

       PostgreSQL 源码安装入门教程

       本文将引导您在openEuler . LTS-SP3系统上基于源码安装并配置PostgreSQL ，包括操作系统环境设置、网络配置、软件包安装、用户和数据盘创建，以及数据库的初始化、启动和管理。自在星辰源码

       1.1 操作系统环境

       安装openEuler后，确保系统安装了bc命令（若缺失，后续会安装）。

       1.2 网络配置

       通过Nmcli配置网络，首先检查并设置网络接口ens的IP地址，无论是自动获取还是静态配置。

       1.3 更新系统与工具安装

       更新软件包并安装bc、vim、tmux和tar等工具，以支持后续操作。

       1.4 用户与数据盘创建

       创建postgres用户和用户组，以及可能的专用数据盘，如NVMe SSD，用于提高性能。

       2. 安装与配置

       2.1 下载与解压

       以root权限下载并解压PostgreSQL 的源代码压缩包。

       2.2 安装与初始化

       按照指导进行编译和安装，初始化数据库并设置启动参数。

       2.3 启动与管理

       启动数据库，登录并创建必要用户、数据库和表空间。

       3. 开机自动启动

       3.1 init.d环境

       使用start-scripts中的脚本配置init.d，确保PostgreSQL在系统启动时自动运行。

       3.2 systemd环境

       为PostgreSQL创建systemd服务文件，确保启动和管理的自动化。

       4. psql操作示例

       展示如何使用psql进行数据库操作，包括创建数据库、模式、表和数据插入等。

       5. 远程连接

       讲解如何配置防火墙以允许远程连接。

       通过以上步骤，源码下载ps您将掌握PostgreSQL 的源码安装和基本管理，准备好进行数据管理和应用程序开发。

PostgreSQL 内核Foreign Data Wrapper 异步执行特性

       FDW（Foreign Data Wrapper）是PostgreSQL提供的一种特色功能，允许用户在PostgreSQL数据库中创建外部表，进而访问和操作外部数据源。这些外部数据源可能包括但不限于外部数据库、文件系统、Web服务等。PostgreSQL内核定义了FDW回调函数接口，这一接口包含了一系列函数指针，它们在优化器和执行器的关键位置被调用，以实现对外部数据的操纵。要实现对新外部数据源的扩展，开发者需要填充FdwRoutine结构体中的函数指针，以实现对特定外部数据源的操作逻辑。

       使用FDW操作外部数据时，性能问题不可避免地出现，因为这涉及到额外的网络I/O开销和计算开销（如序列化与反序列化）。PostgreSQL内核执行器的执行模型对这些外部数据操作使用了与本地数据一致的同步执行模型，导致在性能上存在提升空间。

       为了提升性能，PostgreSQL 引入了FDW异步执行特性。这一特性能有效并行化某些远程数据操纵场景，显著提升执行效率。本文从原理和实现上对异步执行功能进行深入分析。基于PostgreSQL 稳定分支REL__STABLE的源代码，详细探讨了这一特性的实现细节。

       FDW引入的异步执行特性在性能上有显著提升潜力。原先，一个子计划需要等待前一个子计划执行完毕后才能开始执行。引入异步执行特性后，所有外库子计划可以并行启动，同时同步执行库内计划。这样，所有外库数据并行查询，等待外库执行结果的时间可用于执行库内计划，从而极大提升执行效率。

       PostgreSQL 中引入的异步执行特性主要实现在Append算子与其直接下游的ForeignScan算子之间，目前仅支持postgres_fdw的异步执行。这一特性通过四个层次的实现，包括上层的Append算子、异步抽象层、ForeignScan算子以及postgres_fdw插件的异步执行函数，来完成异步执行功能的实现。通过明确哪些子计划可以被异步执行、初始化异步子计划、启动所有异步子计划执行、获取异步执行结果等步骤，异步执行特性在PostgreSQL内核中得以实现。

       在异步抽象层，PostgreSQL引入了用于在两层物理算子之间传递请求状态和执行结果的机制，方便未来支持其他算子的异步化改造。在实现上，PostgreSQL对异步执行特性在FDW API中引入了四个新的函数指针，用于判断是否可以产生异步执行计划、异步发起请求、轮询请求结果以及处理请求结果。Postgres_fdw插件对这些函数指针进行了实现，包括判断是否支持异步执行的函数、异步请求数据的函数、配置监听事件的函数以及处理事件的函数等。

       总结而言，通过引入异步执行特性，PostgreSQL能够极大提升使用FDW操作外部数据时的执行效率，这一特性遵循了一个关键原则：尽量不让任何人（即执行流中的任何算子）闲着。无论是当前数据库还是远程数据库，都在并行推进物理计划的执行。这种并行化执行方式显著优于原有的同步阻塞执行模型。

备忘：Postgre.3在虚拟机centos上的安装以及orafce插件的安装

       在虚拟机CentOS上安装PostgreSQL .3并集成Orafce插件的详细步骤如下：

       首先，安装CentOS 7在VMware虚拟机上，选择带GUI的安装选项，分配2GB内存和自定义存储空间。

       在虚拟机设置中，有桥接和NAT两种网络模式可供选择。桥接模式使虚拟机像局域网内的另一台物理机，而NAT模式允许虚拟机共享宿主机的网络连接。

       对于PostgreSQL的安装，从官方网站下载postgresql-.3.tar.gz，解压到主目录。在编译安装前，确保已安装必要的依赖项，如readline-devel和zlib-devel（非必须，但影响psql的功能）。如果在编译时不需要这些依赖，可通过命令行添加相应参数。

       安装过程中，需要创建postgres用户并设置密码，然后按照INSTALL文档进行配置和安装。安装orafce插件时，从GitHub获取源码并参照文档进行编译和安装，可能出现的 "/usr/lib/pgsql/pgxs/src/makefiles/pgxs.mk" 文件问题可能是由于缺少 PostgreSQL 开发包，确保安装了相应的开发包后重新安装。

       orafce.so文件是扩展模块，安装完成后，检查其位置是否正确。还需编辑postgresql.conf和.bash_profile文件以加载orafce插件，并通过psql进行扩展加载。如果连接pgAdmin遇到问题，可能需要调整防火墙设置，允许端口的连接。

       最后，如果仍无法连接，检查LD_LIBRARY_PATH环境变量，确保orafce库路径正确，并查看是否存在试图重定义参数的错误，如'orafce.nls_data_format'，需修改配置文件以解决冲突。

       总的来说，安装PostgreSQL .3和orafce插件需要依次完成系统环境、依赖安装、配置文件修改和防火墙规则设置等步骤，确保每个环节都正确无误。

如何在Linux下调试PostgreSQL

        由于工作关系，需要调试postgreSQL源码，恰好同事写了这样一个文档，贴出来共享。在Linux下面调试Postgres，需要进行如下几个步骤

       ç”±äºŽå·¥ä½œå…³ç³»ï¼Œéœ€è¦è°ƒè¯•postgreSQL源码，，恰好同事写了这样一个文档，贴出来共享。

       åœ¨Linux下面调试Postgres，需要进行如下几个步骤：

       1. 安装Linux操作系统

       æ³¨æ„æŠŠgdb、Emacs或DDD这些开发工具都安装上。如果是在虚拟机上安装，依然需要设置Linux系统的网络环境；另外需要设置文件共享，方便windows下面的postgreSQL源码能在Linux下面访问到。

       2. 安装PostgreSQL

       useradd postgre

       ï¼ˆè‡ªåŠ¨å»ºç«‹ postgre 组；设计人员为了安全考虑，PostgreSQL 不能以root 用户运行，所以必须建立对应的用户和组。）

       è§£åŽ‹åˆ° /usr/local/src

       tar xvfz postgresql-8.4.tar.gz

       cd postgresql-8.4

       ./configure --prefix=/usr/local/pgsql --enable-debug --enable-assert --without-readline --without-zlib

       make

       make install

       chown -R postgre.postgre /usr/local/pgsql

       3. 设置Postgres环境变量（非必须）

       vi ~postgre/.bash_profile

       æ·»åŠ ï¼š

       PGLIB=/usr/local/pgsql/lib

       PGDATA=$HOME/data

       PATH=$PATH:/usr/local/pgsql/bin

       MANPATH=$MANPATH:/usr/local/pgsql/man

       export PGLIB PGDATA PATH MANPATH

       4. 建立数据库

       ä»¥ postgres 用户登录：

       su postgre

       å»ºç«‹æ•°æ®åº“目录：

       mkdir data

       å¯åŠ¨æ•°æ®åº“引擎：

       initdb _D “数据库目录”

       ä¹‹åŽå¯ä»¥æ ¹æ®æç¤ºï¼Œé€šè¿‡psql进入数据库

       5. 构造PostgreSQL调试环境

       å…ˆ psql template1进去，然后

       select pg_backend_pid();

       èŽ·å¾—id，就是gdb后面用到的数字

       gdb /usr/local/pgsql/bin/postgres (pid的数字)

       å¦‚果只使用gdb，全部是命令行界面；而Emac、DDD分别是彩色、黑白用户交互式图形界面。

       6. 使用gdb进行调试

PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析

       FDW，全称为Foreign Data Wrapper，是PostgreSQL提供的一种访问外部数据源的机制。它允许用户通过SQL语句访问和操作位于不同数据库系统或非数据库类数据源的外部数据，就像操作本地表一样。以下是从直播内容整理的关于FDW的使用详解、实现原理以及源码解析。

       ### FDW使用详解

       FDW在一定规模的系统中尤为重要，数据仓库往往需要访问外部数据来完成分析和计算。通过FDW，用户可以实现以下场景：

       跨数据库查询：在PostgreSQL数据库中，用户可以直接请求和查询其他PostgreSQL实例，或访问MySQL、Oracle、DB2、SQL Server等主流数据库。

       数据整合：从不同数据源整合数据，如REST API、文件系统、NoSQL数据库、流式系统等。

       数据迁移：高效地将数据从旧系统迁移到新的PostgreSQL数据库中。

       实时数据访问：访问外部实时更新的数据源。

       PostgreSQL支持多种常见的FDW，能够直接访问包括远程PostgreSQL服务器、主流SQL数据库以及NoSQL数据库等多种外部数据源。

       ### FDW实现原理

       FDW的核心组件包括：

       1. **Foreign Data Wrapper (FDW)**：特定于各数据源的库，定义了如何建立与外部数据源的连接、执行查询及处理其他操作。例如，`postgres_fdw`用于连接其他PostgreSQL服务器，`mysql_fdw`专门连接MySQL数据库。

       2. **Foreign Server**：本地PostgreSQL中定义的外部服务器对象，对应实际的远程或非本地数据存储实例。

       3. **User Mapping**：为每个外部服务器设置的用户映射，明确哪些本地用户有权访问，并提供相应的认证信息。

       4. **Foreign Table**：在本地数据库创建的表结构，作为外部数据源中表的映射。对这些外部表发起的SQL查询将被转换并传递给相应的FDW，在外部数据源上执行。

       FDW的实现涉及PostgreSQL内核中的`FdwRoutine`结构体，它定义了外部数据操作的接口。接口函数包括扫描、修改、分析外部表等操作。

       ### FDW源码解析

       FDW支持多种数据类型，并以`Postgres_fdw`为例解析其源码。主要包括定义`FdwRoutine`、访问外部数据源、执行查询、插入、更新和删除操作的逻辑。

       访问外部数据源：通过`postgresBeginForeignScan`阶段初始化并获取连接到远端数据源。

       执行查询：进入`postgresIterateForeignScan`阶段，创建游标迭代器并从其中持续获取数据。

       插入操作：通过`postgresBeginForeignInsert`、`postgresExecForeignInsert`和`postgresEndForeignInsert`阶段来执行插入操作。

       更新/删除操作：遵循与插入操作相似的流程，包括`postgresBeginDirectModify`、`postgresIterateDirectModify`和相应的结束阶段。

       对于更深入的技术细节，建议访问B站观看视频回放，以获取完整的FDW理解和应用指导。