#挑战30天在头条写日记#

TiFlash是TiDB和TiDB Cloud的列式存储组件，TiDB Cloud 是 TiDB 的完全托管服务。它主要扮演 TiDB 混合事务/分析处理（HTAP）架构中分析处理（AP）的角色。

TiFlash 以柱状格式存储数据，并通过 Raft 日志从TiKV实时同步数据更新，延迟为亚秒级。TiFlash 中的读取保证在事务上与快照隔离级别一致。TiFlash 利用大规模并行处理 (MPP) 计算架构来加速分析工作负载。

TiFlash 存储库基于ClickHouse。我们感谢 ClickHouse 团队的出色工作。

快速开始

从 TiDB 云开始

通过免费试用 TiDB Cloud快速探索 TiFlash 。

请参见TiDB 云快速入门指南。

从 TiDB 开始

请参阅HTAP 快速入门和使用 TiFlash。

构建 TiFlash

TiFlash 可以构建在以下硬件架构上：

• x86-64 / amd64
• 架构64

以及以下操作系统：

• Linux
• 苹果系统

1. 准备先决条件

需要以下包：

• CMake 3.21.0+
• 铿锵 14.0.0+
• 锈
• Python 3.0+
• Ninja-Build 或 GNU Make
• Ccache（不是必需的，但强烈建议减少重建时间）

下面列出了每个平台的详细步骤。

乌班图 / 德班

sudo apt update

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install LLVM, see https://apt.llvm.org for details
# Clang will be available as /usr/bin/clang++-15
wget https://apt.llvm.org/llvm.sh
chmod +x llvm.sh
sudo ./llvm.sh 15 all

# Install other dependencies
sudo apt install -y cmake ninja-build zlib1g-dev libcurl4-openssl-dev ccache

Ubuntu 18.04 和 Ubuntu 20.04 注意事项：

默认安装的 cmake 可能不够新。您可以从Kitware APT Repository安装更新的 cmake ：

sudo apt install -y software-properties-common lsb-release
wget -O - https://apt.kitware.com/keys/kitware-archive-latest.asc 2>/dev/null | gpg --dearmor - | sudo tee /etc/apt/trusted.gpg.d/kitware.gpg >/dev/null
sudo apt-add-repository "deb https://apt.kitware.com/ubuntu/ $(lsb_release -cs) main"
sudo apt update
sudo apt install -y cmake

如果您遇到“ld.lld：错误：重复符号：ssl3_cbc_digest_record”：

这可能是因为您预装了 libssl3，而 TiFlash 更喜欢 libssl1。TiFlash 已经提供了 libssl1，因此您只需删除系统中的 libssl1 即可进行编译：

sudo apt remove libssl-dev

如果这不起作用，请提出问题。

ArchLinux

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install compilers and dependencies
sudo pacman -S clang lld libc++ libc++abi compiler-rt openmp lcov cmake ninja curl openssl zlib llvm ccache

操作系统7

请参考release-centos7-llvm/env/prepare-sysroot.sh

苹果系统

# Install Rust toolchain, see https://rustup.rs for details
curl https://sh.rustup.rs -sSf | sh -s -- --default-toolchain none
source $HOME/.cargo/env

# Install compilers
xcode-select --install

# Install other dependencies
brew install ninja cmake openssl@1.1 ccache

如果您的 MacOS 高于或等于 13.0，它应该可以开箱即用，因为默认情况下 Apple clang 是 14.0.0。但如果你的MacOS低于13.0，你应该手动安装llvm clang。

brew install llvm@15

# check llvm version
clang --version # should be 15.0.0 or higher

2. 查看源代码

git clone https://github.com/pingcap/tiflash.git --recursive -j 20
cd tiflash

3. 构建

构建 TiFlash 进行开发：

# In the TiFlash repository root:
mkdir cmake-build-debug  # The directory name can be customized
cd cmake-build-debug

cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG

ninja tiflash

注意：在Linux中，通常需要明确指定使用LLVM。

# In cmake-build-debug directory:
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG \
  -DCMAKE_C_COMPILER=/usr/bin/clang-14 \
  -DCMAKE_CXX_COMPILER=/usr/bin/clang++-14

在 MacOS 中，如果安装 llvm clang，则需要显式指定使用 llvm clang。

将以下行添加到您的 shell 环境中，例如~/.bash_profile.

export PATH="/opt/homebrew/opt/llvm/bin:$PATH"
export CC="/opt/homebrew/opt/llvm/bin/clang"
export CXX="/opt/homebrew/opt/llvm/bin/clang++"

或者使用CMAKE_C_COMPILER和CMAKE_CXX_COMPILER来指定编译器，如下所示：

cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DCMAKE_C_COMPILER=/opt/homebrew/opt/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/homebrew/opt/llvm/bin/clang++

dbms/src/Server/tiflash构建完成后，您可以在目录中获取 TiFlash 二进制文件cmake-build-debug。

构建选项

TiFlash 有多个 CMake 构建选项，可以根据开发目的进行调整。不应更改这些选项以供生产使用，因为它们可能会引入意外的构建错误和不可预测的运行时行为。

要调整选项，请-D...=...在调用 CMake 时传递一个或多个参数，例如：

cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG -DFOO=BAR
                                          ^^^^^^^^^

• 构建类型：
• -DCMAKE_BUILD_TYPE=RELWITHDEBINFO：发布带有调试信息的版本（默认）
• -DCMAKE_BUILD_TYPE=DEBUG: 调试构建
• -DCMAKE_BUILD_TYPE=RELEASE：发布版本
• 通常您可能希望为不同的构建类型使用不同的构建目录，例如cmake-build-release为发布构建命名的新构建目录，以便在不同构建类型之间切换时编译单元缓存不会失效。
• 使用单元测试构建：
• -DENABLE_TESTS=ON：启用单元测试（在调试配置文件中默认启用）
• -DENABLE_TESTS=OFF：禁用单元测试（发布配置文件中的默认值）
• 使用 GNU Make 而不是 ninja-build 进行构建：
• 单击以展开说明
• 使用系统库构建：
• 单击以展开说明
• 为 AMD64 架构构建：
• 单击以展开说明

运行单元测试

单元测试在调试配置文件中自动启用。要构建这些单元测试：

cd cmake-build-debug
cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG
ninja gtests_dbms       # Most TiFlash unit tests
ninja gtests_libdaemon  # Settings related tests
ninja gtests_libcommon

然后，运行这些单元测试：

cd cmake-build-debug
./dbms/gtests_dbms
./libs/libdaemon/src/tests/gtests_libdaemon
./libs/libcommon/src/tests/gtests_libcommon

更多用法可通过./dbms/gtests_dbms --help.

运行消毒剂测试

TiFlash 支持使用线程清理程序和地址清理程序进行测试。

要构建启用清理程序的单元测试可执行文件：

# In the TiFlash repository root:
mkdir cmake-build-sanitizer
cd cmake-build-sanitizer
cmake .. -GNinja -DENABLE_TESTS=ON -DCMAKE_BUILD_TYPE=ASan # or TSan
ninja gtests_dbms
ninja gtests_libdaemon
ninja gtests_libcommon

泄漏消毒剂（包含在地址消毒剂中）报告了已知的误报。要抑制这些错误，请在运行可执行文件之前设置以下环境变量：

LSAN_OPTIONS=suppressions=test/sanitize/asan.suppression

运行集成测试

1. 使用调试配置文件构建您自己的 TiFlash 二进制文件：
2. cd cmake-build-debug cmake .. -GNinja -DCMAKE_BUILD_TYPE=DEBUG ninja tiflash
3. 使用 TiUP 使用您自己的 TiFlash 二进制文件启动本地 TiDB 集群：
4. cd cmake-build-debug tiup playground nightly --tiflash.binpath ./dbms/src/Server/tiflash # Or using a more stable cluster version: # tiup playground v6.1.0 --tiflash.binpath ./dbms/src/Server/tiflash
5. TiUP是 TiDB 组件管理器。如果您没有，可以通过以下方式安装：
6. curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
7. 如果您未使用默认端口运行集群（例如，运行多个集群），请确保端口和构建目录tests/_env.sh正确。
8. 运行集成测试：
9. # In the TiFlash repository root: cd tests ./run-test.sh # Or run specific integration test: # ./run-test.sh fullstack-test2/ddl

注意：一些集成测试（即 下的测试delta-merge-test）需要独立的 TiFlash 服务，而不需要 TiDB 集群，否则会失败。运行这些集成测试：待定

运行 MicroBenchmark 测试

要构建微基准测试，您需要启用发布配置文件和测试：

# In the TiFlash repository root:
mkdir cmake-build-release
cd cmake-build-release
cmake .. -GNinja -DCMAKE_BUILD_TYPE=RELEASE -DENABLE_TESTS=ON
ninja bench_dbms

然后，运行这些微观基准测试：

cd cmake-build-release
./dbms/bench_dbms

# Or run with filter:
# ./dbms/bench_dbms --benchmark_filter=xxx

项目地址：

https://github.com/pingcap/tiflash