七万号·数据平台实战手记

Back

① 标题党#

主标题数据导入慢?Doris 的 Stream Load 是一道闪电 备选同样导数据,为什么 Doris 能流水线式跑?

② 开场钩子#

百万行数据要进 Doris,有人导到崩溃,有人秒入库。差的不是带宽,是你没用对导入通道。

③ 主角特性:Stream Load / Broker Load#

  • Stream Load:HTTP 直连 BE,流式写入,一条命令搞定小批量/实时(几十 MB 级秒导)。
  • Broker Load:走 Broker(读外部文件系统 S3/HDFS),适合大批量离线。
  • 管道化写入:数据边读边写,不落中间盘,减少滞留。

取舍:实时高频→Stream Load;超大离线 → Broker Load + 分区。

④ 最小可复现#

curl --location-trusted -u root: \
  -H "label:load_001" -H "column_separator:," \
  -T data.csv \
  http://<BE_HOST>:8040/api/db/table/_stream_load
bash

⑤ 结论#

Stream Load 是 Doris 的 HTTP 高速通道,边读边写、管道化。选对通道,导入从”卡死”变”闪电”。

⑥ 配图脚本#

HTTP 直连 BE / 管道流 / Broker 外部读 / 实时 vs 批量对比


Stream Load:大数据进 Doris 的'高速通道'
https://realcpf.tech/blog/doris-07
Author 刘佳成
Published at 2026年9月1日