百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

TiFlash:TiDB和TiDB Cloud的列式存储组件,柱状格式存储数据

liebian365 2024-10-23 13:54 15 浏览 0 评论

#挑战30天在头条写日记#

TiFlash是TiDB和TiDB Cloud的列式存储组件,TiDB Cloud 是 TiDB 的完全托管服务。它主要扮演 TiDB 混合事务/分析处理(HTAP)架构中分析处理(AP)的角色。

TiFlash 以柱状格式存储数据,并通过 Raft 日志从TiKV实时同步数据更新,延迟为亚秒级。TiFlash 中的读取保证在事务上与快照隔离级别一致。TiFlash 利用大规模并行处理 (MPP) 计算架构来加速分析工作负载。

TiFlash 存储库基于ClickHouse。我们感谢 ClickHouse 团队的出色工作。

快速开始

从 TiDB 云开始

通过免费试用 TiDB Cloud快速探索 TiFlash 。

请参见TiDB 云快速入门指南。

从 TiDB 开始

请参阅HTAP 快速入门和使用 TiFlash。

构建 TiFlash

TiFlash 可以构建在以下硬件架构上:

  • x86-64 / amd64
  • 架构64

以及以下操作系统:

  • Linux
  • 苹果系统

1. 准备先决条件

需要以下包:

  • CMake 3.21.0+
  • 铿锵 14.0.0+
  • Python 3.0+
  • Ninja-Build 或 GNU Make
  • Ccache(不是必需的,但强烈建议减少重建时间)

下面列出了每个平台的详细步骤。

乌班图 / 德班

sudo apt update

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install LLVM, see https://apt.llvm.org for details
# Clang will be available as /usr/bin/clang++-15
wget https://apt.llvm.org/llvm.sh
chmod +x llvm.sh
sudo ./llvm.sh 15 all

# Install other dependencies
sudo apt install -y cmake ninja-build zlib1g-dev libcurl4-openssl-dev ccache

Ubuntu 18.04 和 Ubuntu 20.04 注意事项:

默认安装的 cmake 可能不够新。您可以从Kitware APT Repository安装更新的 cmake :

sudo apt install -y software-properties-common lsb-release
wget -O - https://apt.kitware.com/keys/kitware-archive-latest.asc 2>/dev/null | gpg --dearmor - | sudo tee /etc/apt/trusted.gpg.d/kitware.gpg >/dev/null
sudo apt-add-repository "deb https://apt.kitware.com/ubuntu/ $(lsb_release -cs) main"
sudo apt update
sudo apt install -y cmake

如果您遇到“ld.lld:错误:重复符号:ssl3_cbc_digest_record”:

这可能是因为您预装了 libssl3,而 TiFlash 更喜欢 libssl1。TiFlash 已经提供了 libssl1,因此您只需删除系统中的 libssl1 即可进行编译:

sudo apt remove libssl-dev

如果这不起作用,请提出问题。

ArchLinux

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install compilers and dependencies
sudo pacman -S clang lld libc++ libc++abi compiler-rt openmp lcov cmake ninja curl openssl zlib llvm ccache

操作系统7

请参考release-centos7-llvm/env/prepare-sysroot.sh

苹果系统

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install compilers
xcode-select --install

# Install other dependencies
brew install ninja cmake openssl@1.1 ccache

如果您的 MacOS 高于或等于 13.0,它应该可以开箱即用,因为默认情况下 Apple clang 是 14.0.0。但如果你的MacOS低于13.0,你应该手动安装llvm clang。

brew install llvm@15

# check llvm version
clang --version # should be 15.0.0 or higher

2. 查看源代码

git clone https://github.com/pingcap/tiflash.git --recursive -j 20
cd tiflash

3. 构建

构建 TiFlash 进行开发:

# In the TiFlash repository root:
mkdir cmake-build-debug  # The directory name can be customized
cd cmake-build-debug

cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG

ninja tiflash

注意:在Linux中,通常需要明确指定使用LLVM。

# In cmake-build-debug directory:
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG \
  -DCMAKE_C_COMPILER=/usr/bin/clang-14 \
  -DCMAKE_CXX_COMPILER=/usr/bin/clang++-14

在 MacOS 中,如果安装 llvm clang,则需要显式指定使用 llvm clang。

将以下行添加到您的 shell 环境中,例如~/.bash_profile.

export PATH="/opt/homebrew/opt/llvm/bin:$PATH"
export CC="/opt/homebrew/opt/llvm/bin/clang"
export CXX="/opt/homebrew/opt/llvm/bin/clang++"

或者使用CMAKE_C_COMPILER和CMAKE_CXX_COMPILER来指定编译器,如下所示:

cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DCMAKE_C_COMPILER=/opt/homebrew/opt/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/homebrew/opt/llvm/bin/clang++

dbms/src/Server/tiflash构建完成后,您可以在目录中获取 TiFlash 二进制文件cmake-build-debug。

构建选项

TiFlash 有多个 CMake 构建选项,可以根据开发目的进行调整。不应更改这些选项以供生产使用,因为它们可能会引入意外的构建错误和不可预测的运行时行为。

要调整选项,请-D...=...在调用 CMake 时传递一个或多个参数,例如:

cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DFOO=BAR
                                          ^^^^^^^^^
  • 构建类型
    • -DCMAKE_BUILD_TYPE=RELWITHDEBINFO:发布带有调试信息的版本(默认)
    • -DCMAKE_BUILD_TYPE=DEBUG: 调试构建
    • -DCMAKE_BUILD_TYPE=RELEASE:发布版本
  • 通常您可能希望为不同的构建类型使用不同的构建目录,例如cmake-build-release为发布构建命名的新构建目录,以便在不同构建类型之间切换时编译单元缓存不会失效。
  • 使用单元测试构建
    • -DENABLE_TESTS=ON:启用单元测试(在调试配置文件中默认启用)
    • -DENABLE_TESTS=OFF:禁用单元测试(发布配置文件中的默认值)
  • 使用 GNU Make 而不是 ninja-build 进行构建
  • 单击以展开说明
  • 使用系统库构建
  • 单击以展开说明
  • 为 AMD64 架构构建
  • 单击以展开说明

运行单元测试

单元测试在调试配置文件中自动启用。要构建这些单元测试:

cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG
ninja gtests_dbms       # Most TiFlash unit tests
ninja gtests_libdaemon  # Settings related tests
ninja gtests_libcommon

然后,运行这些单元测试:

cd cmake-build-debug
./dbms/gtests_dbms
./libs/libdaemon/src/tests/gtests_libdaemon
./libs/libcommon/src/tests/gtests_libcommon

更多用法可通过./dbms/gtests_dbms --help.

运行消毒剂测试

TiFlash 支持使用线程清理程序和地址清理程序进行测试。

要构建启用清理程序的单元测试可执行文件:

# In the TiFlash repository root:
mkdir cmake-build-sanitizer
cd cmake-build-sanitizer
cmake .. -GNinja -DENABLE_TESTS=ON -DCMAKE_BUILD_TYPE=ASan # or TSan
ninja gtests_dbms
ninja gtests_libdaemon
ninja gtests_libcommon

泄漏消毒剂(包含在地址消毒剂中)报告了已知的误报。要抑制这些错误,请在运行可执行文件之前设置以下环境变量:

LSAN_OPTIONS=suppressions=test/sanitize/asan.suppression

运行集成测试

  1. 使用调试配置文件构建您自己的 TiFlash 二进制文件:
  2. cd cmake-build-debug cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG ninja tiflash
  3. 使用 TiUP 使用您自己的 TiFlash 二进制文件启动本地 TiDB 集群:
  4. cd cmake-build-debug tiup playground nightly --tiflash.binpath ./dbms/src/Server/tiflash # Or using a more stable cluster version: # tiup playground v6.1.0 --tiflash.binpath ./dbms/src/Server/tiflash
  5. TiUP是 TiDB 组件管理器。如果您没有,可以通过以下方式安装:
  6. curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
  7. 如果您未使用默认端口运行集群(例如,运行多个集群),请确保端口和构建目录tests/_env.sh正确。
  8. 运行集成测试:
  9. # In the TiFlash repository root: cd tests ./run-test.sh # Or run specific integration test: # ./run-test.sh fullstack-test2/ddl

注意:一些集成测试(即 下的测试delta-merge-test)需要独立的 TiFlash 服务,而不需要 TiDB 集群,否则会失败。运行这些集成测试:待定

运行 MicroBenchmark 测试

要构建微基准测试,您需要启用发布配置文件和测试:

# In the TiFlash repository root:
mkdir cmake-build-release
cd cmake-build-release
cmake .. -GNinja -DCMAKE_BUILD_TYPE=RELEASE -DENABLE_TESTS=ON
ninja bench_dbms

然后,运行这些微观基准测试:

cd cmake-build-release
./dbms/bench_dbms

# Or run with filter:
# ./dbms/bench_dbms --benchmark_filter=xxx

项目地址:

https://github.com/pingcap/tiflash

相关推荐

4万多吨豪华游轮遇险 竟是因为这个原因……

(观察者网讯)4.7万吨豪华游轮搁浅,竟是因为油量太低?据观察者网此前报道,挪威游轮“维京天空”号上周六(23日)在挪威近海发生引擎故障搁浅。船上载有1300多人,其中28人受伤住院。经过数天的调...

“菜鸟黑客”必用兵器之“渗透测试篇二”

"菜鸟黑客"必用兵器之"渗透测试篇二"上篇文章主要针对伙伴们对"渗透测试"应该如何学习?"渗透测试"的基本流程?本篇文章继续上次的分享,接着介绍一下黑客们常用的渗透测试工具有哪些?以及用实验环境让大家...

科幻春晚丨《震动羽翼说“Hello”》两万年星间飞行,探测器对地球的最终告白

作者|藤井太洋译者|祝力新【编者按】2021年科幻春晚的最后一篇小说,来自大家喜爱的日本科幻作家藤井太洋。小说将视角放在一颗太空探测器上,延续了他一贯的浪漫风格。...

麦子陪你做作业(二):KEGG通路数据库的正确打开姿势

作者:麦子KEGG是通路数据库中最庞大的,涵盖基因组网络信息,主要注释基因的功能和调控关系。当我们选到了合适的候选分子,单变量研究也已做完,接着研究机制的时便可使用到它。你需要了解你的分子目前已有哪些...

知存科技王绍迪:突破存储墙瓶颈,详解存算一体架构优势

智东西(公众号:zhidxcom)编辑|韦世玮智东西6月5日消息,近日,在落幕不久的GTIC2021嵌入式AI创新峰会上,知存科技CEO王绍迪博士以《存算一体AI芯片:AIoT设备的算力新选择》...

每日新闻播报(September 14)_每日新闻播报英文

AnOscarstatuestandscoveredwithplasticduringpreparationsleadinguptothe87thAcademyAward...

香港新巴城巴开放实时到站数据 供科技界研发使用

中新网3月22日电据香港《明报》报道,香港特区政府致力推动智慧城市,鼓励公私营机构开放数据,以便科技界研发使用。香港运输署21日与新巴及城巴(两巴)公司签署谅解备忘录,两巴将于2019年第3季度,开...

5款不容错过的APP: Red Bull Alert,Flipagram,WifiMapper

本周有不少非常出色的app推出,鸵鸟电台做了一个小合集。亮相本周榜单的有WifiMapper's安卓版的app,其中包含了RedBull的一款新型闹钟,还有一款可爱的怪物主题益智游戏。一起来看看我...

Qt动画效果展示_qt显示图片

今天在这篇博文中,主要实践Qt动画,做一个实例来讲解Qt动画使用,其界面如下图所示(由于没有录制为gif动画图片,所以请各位下载查看效果):该程序使用应用程序单窗口,主窗口继承于QMainWindow...

如何从0到1设计实现一门自己的脚本语言

作者:dong...

三年级语文上册 仿写句子 需要的直接下载打印吧

描写秋天的好句好段1.秋天来了,山野变成了美丽的图画。苹果露出红红的脸庞,梨树挂起金黄的灯笼,高粱举起了燃烧的火把。大雁在天空一会儿写“人”字,一会儿写“一”字。2.花园里,菊花争奇斗艳,红的似火,粉...

C++|那些一看就很简洁、优雅、经典的小代码段

目录0等概率随机洗牌:1大小写转换2字符串复制...

二年级上册语文必考句子仿写,家长打印,孩子照着练

二年级上册语文必考句子仿写,家长打印,孩子照着练。具体如下:...

一年级语文上 句子专项练习(可打印)

...

亲自上阵!C++ 大佬深度“剧透”:C++26 将如何在代码生成上对抗 Rust?

...

取消回复欢迎 发表评论: