TiFlash:TiDB和TiDB Cloud的列式存储组件,柱状格式存储数据
liebian365 2024-10-23 13:54 15 浏览 0 评论
TiFlash是TiDB和TiDB Cloud的列式存储组件,TiDB Cloud 是 TiDB 的完全托管服务。它主要扮演 TiDB 混合事务/分析处理(HTAP)架构中分析处理(AP)的角色。
TiFlash 以柱状格式存储数据,并通过 Raft 日志从TiKV实时同步数据更新,延迟为亚秒级。TiFlash 中的读取保证在事务上与快照隔离级别一致。TiFlash 利用大规模并行处理 (MPP) 计算架构来加速分析工作负载。
TiFlash 存储库基于ClickHouse。我们感谢 ClickHouse 团队的出色工作。
快速开始
从 TiDB 云开始
通过免费试用 TiDB Cloud快速探索 TiFlash 。
请参见TiDB 云快速入门指南。
从 TiDB 开始
请参阅HTAP 快速入门和使用 TiFlash。
构建 TiFlash
TiFlash 可以构建在以下硬件架构上:
- x86-64 / amd64
- 架构64
以及以下操作系统:
- Linux
- 苹果系统
1. 准备先决条件
需要以下包:
- CMake 3.21.0+
- 铿锵 14.0.0+
- 锈
- Python 3.0+
- Ninja-Build 或 GNU Make
- Ccache(不是必需的,但强烈建议减少重建时间)
下面列出了每个平台的详细步骤。
乌班图 / 德班
sudo apt update
# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env
# Install LLVM, see https://apt.llvm.org for details
# Clang will be available as /usr/bin/clang++-15
wget https://apt.llvm.org/llvm.sh
chmod +x llvm.sh
sudo ./llvm.sh 15 all
# Install other dependencies
sudo apt install -y cmake ninja-build zlib1g-dev libcurl4-openssl-dev ccache
Ubuntu 18.04 和 Ubuntu 20.04 注意事项:
默认安装的 cmake 可能不够新。您可以从Kitware APT Repository安装更新的 cmake :
sudo apt install -y software-properties-common lsb-release
wget -O - https://apt.kitware.com/keys/kitware-archive-latest.asc 2>/dev/null | gpg --dearmor - | sudo tee /etc/apt/trusted.gpg.d/kitware.gpg >/dev/null
sudo apt-add-repository "deb https://apt.kitware.com/ubuntu/ $(lsb_release -cs) main"
sudo apt update
sudo apt install -y cmake
如果您遇到“ld.lld:错误:重复符号:ssl3_cbc_digest_record”:
这可能是因为您预装了 libssl3,而 TiFlash 更喜欢 libssl1。TiFlash 已经提供了 libssl1,因此您只需删除系统中的 libssl1 即可进行编译:
sudo apt remove libssl-dev
如果这不起作用,请提出问题。
ArchLinux
# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env
# Install compilers and dependencies
sudo pacman -S clang lld libc++ libc++abi compiler-rt openmp lcov cmake ninja curl openssl zlib llvm ccache
操作系统7
请参考release-centos7-llvm/env/prepare-sysroot.sh
苹果系统
# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env
# Install compilers
xcode-select --install
# Install other dependencies
brew install ninja cmake openssl@1.1 ccache
如果您的 MacOS 高于或等于 13.0,它应该可以开箱即用,因为默认情况下 Apple clang 是 14.0.0。但如果你的MacOS低于13.0,你应该手动安装llvm clang。
brew install llvm@15
# check llvm version
clang --version # should be 15.0.0 or higher
2. 查看源代码
git clone https://github.com/pingcap/tiflash.git --recursive -j 20
cd tiflash
3. 构建
构建 TiFlash 进行开发:
# In the TiFlash repository root:
mkdir cmake-build-debug # The directory name can be customized
cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG
ninja tiflash
注意:在Linux中,通常需要明确指定使用LLVM。
# In cmake-build-debug directory:
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG \
-DCMAKE_C_COMPILER=/usr/bin/clang-14 \
-DCMAKE_CXX_COMPILER=/usr/bin/clang++-14
在 MacOS 中,如果安装 llvm clang,则需要显式指定使用 llvm clang。
将以下行添加到您的 shell 环境中,例如~/.bash_profile.
export PATH="/opt/homebrew/opt/llvm/bin:$PATH"
export CC="/opt/homebrew/opt/llvm/bin/clang"
export CXX="/opt/homebrew/opt/llvm/bin/clang++"
或者使用CMAKE_C_COMPILER和CMAKE_CXX_COMPILER来指定编译器,如下所示:
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DCMAKE_C_COMPILER=/opt/homebrew/opt/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/homebrew/opt/llvm/bin/clang++
dbms/src/Server/tiflash构建完成后,您可以在目录中获取 TiFlash 二进制文件cmake-build-debug。
构建选项
TiFlash 有多个 CMake 构建选项,可以根据开发目的进行调整。不应更改这些选项以供生产使用,因为它们可能会引入意外的构建错误和不可预测的运行时行为。
要调整选项,请-D...=...在调用 CMake 时传递一个或多个参数,例如:
cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DFOO=BAR
^^^^^^^^^
- 构建类型:
- -DCMAKE_BUILD_TYPE=RELWITHDEBINFO:发布带有调试信息的版本(默认)
- -DCMAKE_BUILD_TYPE=DEBUG: 调试构建
- -DCMAKE_BUILD_TYPE=RELEASE:发布版本
- 通常您可能希望为不同的构建类型使用不同的构建目录,例如cmake-build-release为发布构建命名的新构建目录,以便在不同构建类型之间切换时编译单元缓存不会失效。
- 使用单元测试构建:
- -DENABLE_TESTS=ON:启用单元测试(在调试配置文件中默认启用)
- -DENABLE_TESTS=OFF:禁用单元测试(发布配置文件中的默认值)
- 使用 GNU Make 而不是 ninja-build 进行构建:
- 单击以展开说明
- 使用系统库构建:
- 单击以展开说明
- 为 AMD64 架构构建:
- 单击以展开说明
运行单元测试
单元测试在调试配置文件中自动启用。要构建这些单元测试:
cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG
ninja gtests_dbms # Most TiFlash unit tests
ninja gtests_libdaemon # Settings related tests
ninja gtests_libcommon
然后,运行这些单元测试:
cd cmake-build-debug
./dbms/gtests_dbms
./libs/libdaemon/src/tests/gtests_libdaemon
./libs/libcommon/src/tests/gtests_libcommon
更多用法可通过./dbms/gtests_dbms --help.
运行消毒剂测试
TiFlash 支持使用线程清理程序和地址清理程序进行测试。
要构建启用清理程序的单元测试可执行文件:
# In the TiFlash repository root:
mkdir cmake-build-sanitizer
cd cmake-build-sanitizer
cmake .. -GNinja -DENABLE_TESTS=ON -DCMAKE_BUILD_TYPE=ASan # or TSan
ninja gtests_dbms
ninja gtests_libdaemon
ninja gtests_libcommon
泄漏消毒剂(包含在地址消毒剂中)报告了已知的误报。要抑制这些错误,请在运行可执行文件之前设置以下环境变量:
LSAN_OPTIONS=suppressions=test/sanitize/asan.suppression
运行集成测试
- 使用调试配置文件构建您自己的 TiFlash 二进制文件:
- cd cmake-build-debug cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG ninja tiflash
- 使用 TiUP 使用您自己的 TiFlash 二进制文件启动本地 TiDB 集群:
- cd cmake-build-debug tiup playground nightly --tiflash.binpath ./dbms/src/Server/tiflash # Or using a more stable cluster version: # tiup playground v6.1.0 --tiflash.binpath ./dbms/src/Server/tiflash
- TiUP是 TiDB 组件管理器。如果您没有,可以通过以下方式安装:
- curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
- 如果您未使用默认端口运行集群(例如,运行多个集群),请确保端口和构建目录tests/_env.sh正确。
- 运行集成测试:
- # In the TiFlash repository root: cd tests ./run-test.sh # Or run specific integration test: # ./run-test.sh fullstack-test2/ddl
注意:一些集成测试(即 下的测试delta-merge-test)需要独立的 TiFlash 服务,而不需要 TiDB 集群,否则会失败。运行这些集成测试:待定
运行 MicroBenchmark 测试
要构建微基准测试,您需要启用发布配置文件和测试:
# In the TiFlash repository root:
mkdir cmake-build-release
cd cmake-build-release
cmake .. -GNinja -DCMAKE_BUILD_TYPE=RELEASE -DENABLE_TESTS=ON
ninja bench_dbms
然后,运行这些微观基准测试:
cd cmake-build-release
./dbms/bench_dbms
# Or run with filter:
# ./dbms/bench_dbms --benchmark_filter=xxx
项目地址:
https://github.com/pingcap/tiflash
相关推荐
- 4万多吨豪华游轮遇险 竟是因为这个原因……
-
(观察者网讯)4.7万吨豪华游轮搁浅,竟是因为油量太低?据观察者网此前报道,挪威游轮“维京天空”号上周六(23日)在挪威近海发生引擎故障搁浅。船上载有1300多人,其中28人受伤住院。经过数天的调...
- “菜鸟黑客”必用兵器之“渗透测试篇二”
-
"菜鸟黑客"必用兵器之"渗透测试篇二"上篇文章主要针对伙伴们对"渗透测试"应该如何学习?"渗透测试"的基本流程?本篇文章继续上次的分享,接着介绍一下黑客们常用的渗透测试工具有哪些?以及用实验环境让大家...
- 科幻春晚丨《震动羽翼说“Hello”》两万年星间飞行,探测器对地球的最终告白
-
作者|藤井太洋译者|祝力新【编者按】2021年科幻春晚的最后一篇小说,来自大家喜爱的日本科幻作家藤井太洋。小说将视角放在一颗太空探测器上,延续了他一贯的浪漫风格。...
- 麦子陪你做作业(二):KEGG通路数据库的正确打开姿势
-
作者:麦子KEGG是通路数据库中最庞大的,涵盖基因组网络信息,主要注释基因的功能和调控关系。当我们选到了合适的候选分子,单变量研究也已做完,接着研究机制的时便可使用到它。你需要了解你的分子目前已有哪些...
- 知存科技王绍迪:突破存储墙瓶颈,详解存算一体架构优势
-
智东西(公众号:zhidxcom)编辑|韦世玮智东西6月5日消息,近日,在落幕不久的GTIC2021嵌入式AI创新峰会上,知存科技CEO王绍迪博士以《存算一体AI芯片:AIoT设备的算力新选择》...
- 每日新闻播报(September 14)_每日新闻播报英文
-
AnOscarstatuestandscoveredwithplasticduringpreparationsleadinguptothe87thAcademyAward...
- 香港新巴城巴开放实时到站数据 供科技界研发使用
-
中新网3月22日电据香港《明报》报道,香港特区政府致力推动智慧城市,鼓励公私营机构开放数据,以便科技界研发使用。香港运输署21日与新巴及城巴(两巴)公司签署谅解备忘录,两巴将于2019年第3季度,开...
- 5款不容错过的APP: Red Bull Alert,Flipagram,WifiMapper
-
本周有不少非常出色的app推出,鸵鸟电台做了一个小合集。亮相本周榜单的有WifiMapper's安卓版的app,其中包含了RedBull的一款新型闹钟,还有一款可爱的怪物主题益智游戏。一起来看看我...
- Qt动画效果展示_qt显示图片
-
今天在这篇博文中,主要实践Qt动画,做一个实例来讲解Qt动画使用,其界面如下图所示(由于没有录制为gif动画图片,所以请各位下载查看效果):该程序使用应用程序单窗口,主窗口继承于QMainWindow...
- 如何从0到1设计实现一门自己的脚本语言
-
作者:dong...
- 三年级语文上册 仿写句子 需要的直接下载打印吧
-
描写秋天的好句好段1.秋天来了,山野变成了美丽的图画。苹果露出红红的脸庞,梨树挂起金黄的灯笼,高粱举起了燃烧的火把。大雁在天空一会儿写“人”字,一会儿写“一”字。2.花园里,菊花争奇斗艳,红的似火,粉...
- C++|那些一看就很简洁、优雅、经典的小代码段
-
目录0等概率随机洗牌:1大小写转换2字符串复制...
- 二年级上册语文必考句子仿写,家长打印,孩子照着练
-
二年级上册语文必考句子仿写,家长打印,孩子照着练。具体如下:...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)