百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

TiFlash:TiDB和TiDB Cloud的列式存储组件,柱状格式存储数据

liebian365 2024-10-23 13:54 19 浏览 0 评论

#挑战30天在头条写日记#

TiFlash是TiDB和TiDB Cloud的列式存储组件,TiDB Cloud 是 TiDB 的完全托管服务。它主要扮演 TiDB 混合事务/分析处理(HTAP)架构中分析处理(AP)的角色。

TiFlash 以柱状格式存储数据,并通过 Raft 日志从TiKV实时同步数据更新,延迟为亚秒级。TiFlash 中的读取保证在事务上与快照隔离级别一致。TiFlash 利用大规模并行处理 (MPP) 计算架构来加速分析工作负载。

TiFlash 存储库基于ClickHouse。我们感谢 ClickHouse 团队的出色工作。

快速开始

从 TiDB 云开始

通过免费试用 TiDB Cloud快速探索 TiFlash 。

请参见TiDB 云快速入门指南。

从 TiDB 开始

请参阅HTAP 快速入门和使用 TiFlash。

构建 TiFlash

TiFlash 可以构建在以下硬件架构上:

  • x86-64 / amd64
  • 架构64

以及以下操作系统:

  • Linux
  • 苹果系统

1. 准备先决条件

需要以下包:

  • CMake 3.21.0+
  • 铿锵 14.0.0+
  • Python 3.0+
  • Ninja-Build 或 GNU Make
  • Ccache(不是必需的,但强烈建议减少重建时间)

下面列出了每个平台的详细步骤。

乌班图 / 德班

sudo apt update

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install LLVM, see https://apt.llvm.org for details
# Clang will be available as /usr/bin/clang++-15
wget https://apt.llvm.org/llvm.sh
chmod +x llvm.sh
sudo ./llvm.sh 15 all

# Install other dependencies
sudo apt install -y cmake ninja-build zlib1g-dev libcurl4-openssl-dev ccache

Ubuntu 18.04 和 Ubuntu 20.04 注意事项:

默认安装的 cmake 可能不够新。您可以从Kitware APT Repository安装更新的 cmake :

sudo apt install -y software-properties-common lsb-release
wget -O - https://apt.kitware.com/keys/kitware-archive-latest.asc 2>/dev/null | gpg --dearmor - | sudo tee /etc/apt/trusted.gpg.d/kitware.gpg >/dev/null
sudo apt-add-repository "deb https://apt.kitware.com/ubuntu/ $(lsb_release -cs) main"
sudo apt update
sudo apt install -y cmake

如果您遇到“ld.lld:错误:重复符号:ssl3_cbc_digest_record”:

这可能是因为您预装了 libssl3,而 TiFlash 更喜欢 libssl1。TiFlash 已经提供了 libssl1,因此您只需删除系统中的 libssl1 即可进行编译:

sudo apt remove libssl-dev

如果这不起作用,请提出问题。

ArchLinux

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install compilers and dependencies
sudo pacman -S clang lld libc++ libc++abi compiler-rt openmp lcov cmake ninja curl openssl zlib llvm ccache

操作系统7

请参考release-centos7-llvm/env/prepare-sysroot.sh

苹果系统

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install compilers
xcode-select --install

# Install other dependencies
brew install ninja cmake openssl@1.1 ccache

如果您的 MacOS 高于或等于 13.0,它应该可以开箱即用,因为默认情况下 Apple clang 是 14.0.0。但如果你的MacOS低于13.0,你应该手动安装llvm clang。

brew install llvm@15

# check llvm version
clang --version # should be 15.0.0 or higher

2. 查看源代码

git clone https://github.com/pingcap/tiflash.git --recursive -j 20
cd tiflash

3. 构建

构建 TiFlash 进行开发:

# In the TiFlash repository root:
mkdir cmake-build-debug  # The directory name can be customized
cd cmake-build-debug

cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG

ninja tiflash

注意:在Linux中,通常需要明确指定使用LLVM。

# In cmake-build-debug directory:
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG \
  -DCMAKE_C_COMPILER=/usr/bin/clang-14 \
  -DCMAKE_CXX_COMPILER=/usr/bin/clang++-14

在 MacOS 中,如果安装 llvm clang,则需要显式指定使用 llvm clang。

将以下行添加到您的 shell 环境中,例如~/.bash_profile.

export PATH="/opt/homebrew/opt/llvm/bin:$PATH"
export CC="/opt/homebrew/opt/llvm/bin/clang"
export CXX="/opt/homebrew/opt/llvm/bin/clang++"

或者使用CMAKE_C_COMPILER和CMAKE_CXX_COMPILER来指定编译器,如下所示:

cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DCMAKE_C_COMPILER=/opt/homebrew/opt/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/homebrew/opt/llvm/bin/clang++

dbms/src/Server/tiflash构建完成后,您可以在目录中获取 TiFlash 二进制文件cmake-build-debug。

构建选项

TiFlash 有多个 CMake 构建选项,可以根据开发目的进行调整。不应更改这些选项以供生产使用,因为它们可能会引入意外的构建错误和不可预测的运行时行为。

要调整选项,请-D...=...在调用 CMake 时传递一个或多个参数,例如:

cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DFOO=BAR
                                          ^^^^^^^^^
  • 构建类型
    • -DCMAKE_BUILD_TYPE=RELWITHDEBINFO:发布带有调试信息的版本(默认)
    • -DCMAKE_BUILD_TYPE=DEBUG: 调试构建
    • -DCMAKE_BUILD_TYPE=RELEASE:发布版本
  • 通常您可能希望为不同的构建类型使用不同的构建目录,例如cmake-build-release为发布构建命名的新构建目录,以便在不同构建类型之间切换时编译单元缓存不会失效。
  • 使用单元测试构建
    • -DENABLE_TESTS=ON:启用单元测试(在调试配置文件中默认启用)
    • -DENABLE_TESTS=OFF:禁用单元测试(发布配置文件中的默认值)
  • 使用 GNU Make 而不是 ninja-build 进行构建
  • 单击以展开说明
  • 使用系统库构建
  • 单击以展开说明
  • 为 AMD64 架构构建
  • 单击以展开说明

运行单元测试

单元测试在调试配置文件中自动启用。要构建这些单元测试:

cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG
ninja gtests_dbms       # Most TiFlash unit tests
ninja gtests_libdaemon  # Settings related tests
ninja gtests_libcommon

然后,运行这些单元测试:

cd cmake-build-debug
./dbms/gtests_dbms
./libs/libdaemon/src/tests/gtests_libdaemon
./libs/libcommon/src/tests/gtests_libcommon

更多用法可通过./dbms/gtests_dbms --help.

运行消毒剂测试

TiFlash 支持使用线程清理程序和地址清理程序进行测试。

要构建启用清理程序的单元测试可执行文件:

# In the TiFlash repository root:
mkdir cmake-build-sanitizer
cd cmake-build-sanitizer
cmake .. -GNinja -DENABLE_TESTS=ON -DCMAKE_BUILD_TYPE=ASan # or TSan
ninja gtests_dbms
ninja gtests_libdaemon
ninja gtests_libcommon

泄漏消毒剂(包含在地址消毒剂中)报告了已知的误报。要抑制这些错误,请在运行可执行文件之前设置以下环境变量:

LSAN_OPTIONS=suppressions=test/sanitize/asan.suppression

运行集成测试

  1. 使用调试配置文件构建您自己的 TiFlash 二进制文件:
  2. cd cmake-build-debug cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG ninja tiflash
  3. 使用 TiUP 使用您自己的 TiFlash 二进制文件启动本地 TiDB 集群:
  4. cd cmake-build-debug tiup playground nightly --tiflash.binpath ./dbms/src/Server/tiflash # Or using a more stable cluster version: # tiup playground v6.1.0 --tiflash.binpath ./dbms/src/Server/tiflash
  5. TiUP是 TiDB 组件管理器。如果您没有,可以通过以下方式安装:
  6. curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
  7. 如果您未使用默认端口运行集群(例如,运行多个集群),请确保端口和构建目录tests/_env.sh正确。
  8. 运行集成测试:
  9. # In the TiFlash repository root: cd tests ./run-test.sh # Or run specific integration test: # ./run-test.sh fullstack-test2/ddl

注意:一些集成测试(即 下的测试delta-merge-test)需要独立的 TiFlash 服务,而不需要 TiDB 集群,否则会失败。运行这些集成测试:待定

运行 MicroBenchmark 测试

要构建微基准测试,您需要启用发布配置文件和测试:

# In the TiFlash repository root:
mkdir cmake-build-release
cd cmake-build-release
cmake .. -GNinja -DCMAKE_BUILD_TYPE=RELEASE -DENABLE_TESTS=ON
ninja bench_dbms

然后,运行这些微观基准测试:

cd cmake-build-release
./dbms/bench_dbms

# Or run with filter:
# ./dbms/bench_dbms --benchmark_filter=xxx

项目地址:

https://github.com/pingcap/tiflash

相关推荐

精品博文嵌入式6410中蓝牙的使用

BluetoothUSB适配器拥有一个BluetoothCSR芯片组,并使用USB传输器来传输HCI数据分组。因此,LinuxUSB层、BlueZUSB传输器驱动程序以及B...

win10跟这台计算机连接的前一个usb设备工作不正常怎么办?

前几天小编闲来无事就跑到网站底下查看粉丝朋友给小编我留言询问的问题,还真的就给小编看到一个问题,那就是win10跟这台计算机连接的一个usb设备运行不正常怎么办,其实这个问题的解决方法时十分简单的,接...

制作成本上千元的键盘,厉害在哪?

这是稚晖君亲自写的开源资料!下方超长超详细教程预警!!全文导航:项目简介、项目原理说明、硬件说明、软件说明项目简介瀚文智能键盘是一把我为自己设计的——多功能、模块化机械键盘。键盘使用模块化设计。左侧的...

E-Marker芯片,USB数据线的“性能中枢”?

根据线缆行业的研究数据,在2019年搭载Type-C接口的设备出货量已达到20亿台,其中80%的笔记本电脑和台式电脑采用Type-C接口,50%的智能手机和平板电脑也使用Type-C接口。我们都知道,...

ZQWL-USBCANFD二次开发通讯协议V1.04

修订历史:1.功能介绍1.1型号说明本文档适用以下型号:  ZQWL-CAN(FD)系列产品,USB通讯采用CDC类实现,可以在PC机上虚拟出一个串口,串口参数N,8,1格式,波特率可以根据需要设置(...

win10系统无法识别usb设备怎么办(win10不能识别usb)

从驱动入手,那么win10系统无法识别usb设备怎么办呢?今天就为大家分享win10系统无法识别usb设备的解决方法。1、右键选择设备管理器,如图:  2、点击更新驱动程序,如图:  3、选择浏览...

微软七月Win8.1可选补丁有内涵,含大量修复

IT之家(www.ithome.com):微软七月Win8.1可选补丁有内涵,含大量修复昨日,微软如期为Win7、Win8.1发布7月份安全更新,累计为6枚安全补丁,分别修复总计29枚安全漏洞,其中2...

如何从零开始做一个 USB 键盘?(怎么制作usb)

分两种情况:1、做一个真正的USB键盘,这种设计基本上不涉及大量的软件编码。2、做一个模拟的USB键盘,实际上可以没有按键功能,这种的需要考虑大量的软件编码,实际上是一个单片机。第一种设计:买现成的U...

电脑识别U盘失败?5个实用小技巧,让你轻松搞定USB识别难题

电脑识别U盘失败?5个实用小技巧,让你轻松搞定USB识别难题注意:有些方法会清除USB设备里的数据,请谨慎操作,如果不想丢失数据,可以先连接到其他电脑,看能否将数据复制出来,或者用一些数据恢复软件去扫...

未知usb设备设备描述符请求失败怎么解决

出现未知daousb设备设备描述符请求失du败解决办zhi法如下:1、按下Windows+R打开【运行】;2、在版本运行的权限输入框中输入:services.msc按下回车键打开【服务】;2、在服务...

读《飘》47章20(飘每章概括)

AndAhwouldn'tleaveMissEllen'sgrandchildrenfornotrashystep-patobringup,never.Here,Ah...

英翻中 消失的过去 37(消失的英文怎么说?)

翻译(三十七):消失的过去/茱迪o皮考特VanishingActs/JodiPicoult”我能做什么?“直到听到了狄利亚轻柔的声音,我才意识到她已经在厨房里站了好一会儿了。当她说话的时候,...

RabbitMQ 延迟消息实战(rabbitmq如何保证消息不被重复消费)

现实生活中有一些场景需要延迟或在特定时间发送消息,例如智能热水器需要30分钟后打开,未支付的订单或发送短信、电子邮件和推送通知下午2:00开始的促销活动。RabbitMQ本身没有直接支持延迟...

Java对象拷贝原理剖析及最佳实践(java对象拷贝方法)

作者:宁海翔1前言对象拷贝,是我们在开发过程中,绕不开的过程,既存在于Po、Dto、Do、Vo各个表现层数据的转换,也存在于系统交互如序列化、反序列化。Java对象拷贝分为深拷贝和浅拷贝,目前常用的...

如何将 Qt 3D 渲染与 Qt Quick 2D 元素结合创建太阳系行星元素?

Qt组件推荐:QtitanRibbon:遵循MicrosoftRibbonUIParadigmforQt技术的RibbonUI组件,致力于为Windows、Linux和MacOSX提...

取消回复欢迎 发表评论: