欢迎来到皮皮网官网

【血站源码】【米兔源码网】【mxnet源码 读取params】hbase master 源码

时间:2024-12-26 01:39:07 来源:hello h5源码

1.TiKV 源码解析系列文章(十四)Coprocessor 概览

hbase master 源码

TiKV 源码解析系列文章(十四)Coprocessor 概览

       本文将简要介绍 TiKV Coprocessor 的基本原理。TiKV Coprocessor 是 TiDB 的一部分,用于在 TiKV 层处理读请求。通过引入 Coprocessor,血站源码TiKV 可以在获取数据后进行计算,从而提高性能。

       传统处理方式中,TiDB 向 TiKV 获取数据,然后在 TiDB 内部进行计算。而 Coprocessor 则允许 TiKV 进行计算,将计算结果直接返回给 TiDB,米兔源码网减少数据在系统内部的传输。

       Coprocessor 的概念借鉴自 HBase,其主要功能是对读请求进行分类,处理包括 TableScan、IndexScan、mxnet源码 读取paramsSelection、Limit、TopN、Aggregation 等不同类型请求。其中,低开低走源码DAG 类请求是最复杂且常用的类型,本文将重点介绍。

       DAG 请求是由一系列算子组成的有向无环图,这些算子在代码中称为 Executors。DAG 请求目前支持两种计算模型:火山模型和向量化模型。简书app 源码在当前的 TiKV master 上,这两种模型并存,但火山模型已被弃用,因此本文将重点介绍向量化计算模型。

       向量化计算模型中,所有算子实现了 BatchExecutor 接口,其核心功能是 get_batch。算子类型包括 TableScan、IndexScan、Selection、Limit、TopN 和 Aggregation 等,它们之间可以任意组合。

       以查询语句“select count(1) from t where age>”为例,展示了如何使用不同算子进行处理。本文仅提供 Coprocessor 的概要介绍,后续将深入分析该模块的源码细节,并欢迎读者提出改进意见。

copyright © 2016 powered by 皮皮网   sitemap