1.小米开源数据库中间件Gaea实战
2.云HIS医院管理系统源码,SaaS模式+Java云HIS系统融合B/S版开箱即用
3.mycat 高可用
4.SQL抽象语法树及改写场景应用
5.MycatåMySQLçåºå«
小米开源数据库中间件Gaea实战
本文基于dbaplus社群第期线上分享整理。
Gaea,作为一款MySQL数据库中间件,兼容MyCAT核心特性,提供读写分离、空调售卖源码分库分表等功能。选择使用Go语言实现,考虑到Go语言在编写网络应用方面的易用性、可靠性,以及公司内部以Go语言生态为主的技术体系。
Gaea实现MySQL协议,将自己伪装成一个MySQL服务器,应用程序通过MySQL客户端访问Gaea,向Gaea发起SQL请求,Gaea将请求转发至后端MySQL执行,再将响应结果返回给客户端。中间件有助于集中管理用户和数据库配置信息,减轻DBA的运维负担。
Gaea抽象出namespace、user、slice等概念,其中namespace对应业务,是资源划分的基本单位;user等同于MySQL用户,通过username和password连接至Gaea;slice对应MySQL实例资源,包含主库与从库,实现读写分离;namespace中可包含多个slice,通过制定路由规则实现分库分表。
Gaea配置信息管理由Proxy、CC(中控服务)与Web(管理控制台)三部分组成。Proxy负责MySQL流量接入,CC通过管理接口与Proxy交互进行配置管理和下发。如何学习tp3.2源码Web提供可视化管理界面,用于DBA管理配置信息和开发工程师查看。配置数据存储在etcd中,Gaea CC与Proxy通过etcd进行交互。
Gaea主要功能包括快速使用、连接安装与配置、启动Proxy、发送请求、查看监控等。使用简单,源码编译需go 1.,使用go module管理依赖。启动Proxy需配置文件,包括监听端口、日志路径等。发送请求时,使用用户名和密码连接Gaea,执行SQL操作。Gaea提供监控指标,包括SQL请求指标与机器层面指标,方便问题排查与监控。
Gaea整体架构包含协议解析、会话管理、SQL解析、路由调度与SQL执行等模块。支持MySQL文本协议与二进制prepare协议,SQL执行使用TiDB解析器,配置热加载实现在线修改配置,无需重启。
性能测试显示,在点查询场景下,多空趋势公式指标源码Gaea Proxy性能比MyCAT高约%左右。Gaea项目已开源,地址为github.com/XiaoMi/Gaea,欢迎试用、贡献代码与提供反馈。
云HIS医院管理系统源码,SaaS模式+Java云HIS系统融合B/S版开箱即用
云HIS医院管理系统源码,SaaS模式+Java云HIS系统融合B/S版开箱即用
一、云HIS系统简介
基于SaaS服务的Java版云HIS系统,适用于公立二甲医院,历经三年持续优化,系统稳定、功能全面,界面布局合理、操作简便。采用云端服务形式,用户通过浏览器即可访问,无需关注系统部署、维护、升级等问题。系统采用模板化、配置化、智能化、扩展化设计,覆盖基层医疗机构主要工作流程,与监管系统对接有序,满足未来扩展需求,是基层医院所需的健康云产品。支持病患预约挂号、问诊、电子病历、全球购商城多商户源码开药发药、会员管理、统计查询、医生工作站、护士工作站等常规功能,并能与公卫、PACS、HIS等外部系统融合,实现多层机构间的融合管理。
二、云HIS总体框架
技术选型包括前后端分离模式,前端选用原生HTML、JS、CSS、Jquery、BootStrap、layui等技术,后端采用SpringBoot框架、Mybatis-Plus、WebSocket、Stomp、Vintage-Engine、Thymeleaf等技术,数据库使用MySQL。系统架构采用Angular+Nginx+ Java+Spring,SpringBoot+ MySQL + MyCat。
三、云HIS系统亮点
1. 融合B/S版电子病历系统,支持四级电子病历,拥有自主知识产权。
2. 全系统云部署,易语言hook写内存源码一套系统支持多家医院共用。
3. 适用于二级医院、基层医疗机构,可作为区域HIS使用,扩展后可用于医联体/医共体。
4. 提供独立SaaS模式运维管理系统,支持远程运维,运维功能丰富、便捷。
5. 前后端分离架构,前端用Angular、JavaScript开发,后端使用Java。
6. 遵循服务化、模块化原则开发,具有强大扩展性,二次开发简便快捷。
7. 提供全面开发文档和产品文档,助力快速熟悉源码,售后服务完善。
四、云HIS系统功能模块
包含系统管理、电子病历、门诊管理、门诊医生工作站、住院管理、住院医生管理、护士工作站、药房管理、药库管理、统计分析、财务管理、病案管理、就诊卡管理、项目收费查询、病历质控、医保结算接口等功能。
云HIS分为综合管理和业务系统两大模块,综合管理系统面向运营商、开发商和监管机构,提供运营管理、运维管理和综合监管服务;业务系统面向基层医院,支撑医院各类业务运转。
常规模版包括门诊管理、住院管理、药房管理、药库管理、院长查询、电子处方、物资管理、媒体管理等,为医院管理提供有力支持。HIS系统以财务信息、病人信息和物资信息为主线,通过收集、存储、传递、统计、分析、查询、报表输出和信息共享,为医院领导及各部门管理人员提供全面、准确的数据服务。
mycat 高可用
mycat 高可用
mycat 可通过 zookeeper 集群进行配置文件管理。
1.1 搭建 zookeeper 集群
此处不做 zookeeper集群搭建讲解
1.2 配置mycat支持zookeeper
修改 mycat conf 目录下myid.properties
loadZk=true # zk集群地址,多个用","隔开 zkURL=..3.:,..3.:,..3.: # zk集群内Mycat集群ID clusterId=mycat-cluster-1 # Mycat集群内本实例ID,禁止重复 myid=mycat_fz_ # Mycat集群内节点个数 clusterSize=3 #集群内所有节点的 id clusterNodes=mycat_fz_,mycat_fz_,mycat_fz_ #server booster ; booster install on db same server,will reset all minCon to 1 type=server boosterDataHosts=dataHost1
1.3 自定义配置
将需要修改的配置文件替换到 conf 目录中的 zkconf 目录下,只需要在一台机器修改即可,需要注意 conf目录中的 server.xml 中用户名和密码与 zkconf 中的不一致
1.4 上传配置
执行修改了配置文件的 mycat 下的bin 目录下的initzkdata.sh,上传配置文件,(在修改了配置文件的机器上执行)
./initzkdata.sh
1.5 启动所有 mycat
启动后发现其他 mycat conf 下的配置文件已经自动变化为修改的内容,是zookeeper 中下载的
2. 使用的是 lvs+keepalived 的方式
此处使用的是 lvs+keepalived 的方式实现mycat高可用负载均衡集群
2.1 配置环境
角色 主机IP 主机名 操作系统版本 软件版本
VIP ..3.
LVS-DR-Master ..3. keepalived CentOS6.9 Keepalived v1.2.,LVS 1.2.1
LVS-DR-Backup ..3. keepalived CentOS6.9 Keepalived v1.2.,LVS 1.2.1
mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5
mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5
mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5
2.2 安装keepalived和ipvsadm
注意:ipvsadm并不是lvs,它只是lvs的配置工具。在 CentOS1.1 的内核版本中是默认支持的。因此,这里不需要重新安装。使用 yum 的安装方式,分别在 keepalived 和 keepalived 两台主机上安装 keepalived 和 ipvsadm。除了这种简易方式外,也可直接编译官方的源码包。安装步骤可参考文档。
2.3 配置Keepalived
2.3.1 master
vi /etc/keepalived/keepalived.conf
配置详细内容如下,注意优先级、状态、接口、虚拟IP地址、负载调度算法、服务器节点配置、检查间隔、会话保持时间、协议类型等参数设置。
2.3.2 backup
备份机配置与主机一致,除了优先级和状态修改外。
在配置文件中,特别需要注意的是interface的修改,根据实际情况进行相应的修改。
2.4 安装配置 mycat
安装mycat请参考相关文档。
2.4.1 绑定虚拟 vip
在mycat服务器上为lo:0绑定VIP地址、抑制ARP广播。
执行脚本./realserver.sh start在mycat和mycat、mycat三台主机上。
2.4.2 查看
运行 ifconfig 查看结果。
2.5 启动 keeplive
分别在keepalived和keepalived上启动Keepalived服务。
2.5.1 查看
通过ipvsadm -L 查看映射。
2.5.2 测试
通过一台装有 mysql的机器连接虚拟 ip 发现可以登录数据库。
2.5.3 查看转发
再次在 keepalived 的机器执行ipvsadm -L,发现被转到上面一次。
2.5.4 负载均衡方式
与配置相关,多次都指向一个机器,因为我们在 keepalived 的配置文件中persistence_timeout属性指定为,则代表秒内同一个机器来的请求会被 hash 一致性分配。如果想实现严格意义上面的轮询,修改为0即可。
SQL抽象语法树及改写场景应用
我们日常编写SQL语句,提交后获取结果集。例如,"select * from t_user where user_id > ;",目标是从t_user表中筛选出user_id大于的所有记录。这条SQL经历了什么才能生成结果集呢?
不同数据库如MySQL、Oracle、TiDB、CK,乃至大数据计算引擎Hive、HBase、Spark,通过SQL引擎实现接受SQL并返回结果的功能。SQL引擎的核心执行逻辑大致为:词法分析、语法分析、查询优化、生成逻辑计划、物理计划,最后执行。
词法分析和语法分析引出了抽象语法树(AST)的概念。AST是对源代码语法结构的抽象表示,以树状形式展现,每个节点代表源码中的一种结构。SQL提交给SQL引擎后,首先经过词法分析,然后利用语法解析器生成AST。
以"select username,ismale from userInfo where age> and level>5 and 1=1"为例,抽象语法树简单理解为逻辑执行计划,经过查询优化器优化,得到逻辑计划树,实现谓词下推、剪枝等操作。逻辑计划进一步转换为物理计划,如数据扫描、聚合,最后执行。
ANTLR4工具广泛应用于解析SQL,通过构建G4文件描述语法,实现SQL拆解、封装和内容提取。在Java中,利用ANTLR4解析SQL,获取AST并提取表名。AST解析过程复杂,但通过简单字符串解析理解ANTLR4逻辑,有助于深入理解SQL解析。
在工业应用中,利用ANTLR4生成并解析AST,虽然提供了基础解析能力,但更深入处理通常需要进一步自定义操作。在Java生态中,Apache Sharding Sphere、Mycat等流行SQL解析工具实现了这一需求。
获取AST后,可以实现SQL的改写。改写SQL通常涉及添加占位符、正则匹配关键字,这些方法存在局限性和安全风险。基于AST的改写更安全,通过遍历树结构,调整目标节点,实现语法符合的改写。
利用Druid的SQL解析模块,通过SQLUtils类实现SQL改写,包括新增改写和查询改写。改写过程涉及识别SQL语法结构,如join、sub-query等。
在数据库数据隔离上,实现动态SQL改写,开发人员无需感知,通过在数据表上增加字段和环境标识,CRUD SQL自动增加标识字段(如flag='预发'、flag='生产'),操作数据仅限于当前应用环境。
MycatåMySQLçåºå«
MycatåMySQLçåºå«ï¼
å¯ä»¥æä¸å±çä½æ¯å¯¹ä¸å±çæ½è±¡ï¼ä¾å¦æä½ç³»ç»æ¯å¯¹å类计ç®æºç¡¬ä»¶çæ½è±¡ãé£ä¹æ们ä»ä¹æ¶åéè¦æ½è±¡ï¼åå¦åªæä¸ç§ç¡¬ä»¶çæ¶åï¼æ们éè¦å¼åä¸ä¸ªæä½ç³»ç»åï¼
åæ¯å¦ä¸ä¸ªé¡¹ç®åªéè¦ä¸ä¸ªäººå®æçæ¶åä¸éè¦leaderï¼ä½æ¯å½éè¦å å人å®ææ¶ï¼å°±åºè¯¥æä¸ä¸ªç®¡çè ï¼åæ¥æ²éåè°çä½ç¨ï¼èè¿ä¸ªç®¡çè 对äºä»çä¸å±æ¥è¯´å°±æ¯å¯¹é¡¹ç®ç»çæ½è±¡ã
åæ ·çï¼å½æ们çåºç¨åªéè¦ä¸å°æ°æ®åºæå¡å¨çæ¶åæ们并ä¸éè¦Mycatï¼èå¦æä½ éè¦ååºçè³å表ï¼è¿æ¶ååºç¨è¦é¢å¯¹å¾å¤ä¸ªæ°æ®åºçæ¶åï¼è¿ä¸ªæ¶åå°±éè¦å¯¹æ°æ®åºå±åä¸ä¸ªæ½è±¡ï¼æ¥ç®¡çè¿äºæ°æ®åºï¼èæä¸é¢çåºç¨åªéè¦é¢å¯¹ä¸ä¸ªæ°æ®åºå±çæ½è±¡æè 说æ°æ®åºä¸é´ä»¶å°±å¥½äºï¼è¿å°±æ¯Mycatçæ ¸å¿ä½ç¨ã
æ以å¯ä»¥è¿æ ·ç解ï¼æ°æ®åºæ¯å¯¹åºå±åå¨æ件çæ½è±¡ï¼èMycatæ¯å¯¹æ°æ®åºçæ½è±¡ã