① 标题党#
主标题:数据导入慢?Doris 的 Stream Load 是一道闪电
备选:同样导数据,为什么 Doris 能流水线式跑?
② 开场钩子#
百万行数据要进 Doris,有人导到崩溃,有人秒入库。差的不是带宽,是你没用对导入通道。
③ 主角特性:Stream Load / Broker Load#
- Stream Load:HTTP 直连 BE,流式写入,一条命令搞定小批量/实时(几十 MB 级秒导)。
- Broker Load:走 Broker(读外部文件系统 S3/HDFS),适合大批量离线。
- 管道化写入:数据边读边写,不落中间盘,减少滞留。
取舍:实时高频→Stream Load;超大离线 → Broker Load + 分区。
④ 最小可复现#
curl --location-trusted -u root: \
-H "label:load_001" -H "column_separator:," \
-T data.csv \
http://<BE_HOST>:8040/api/db/table/_stream_loadbash⑤ 结论#
Stream Load 是 Doris 的 HTTP 高速通道,边读边写、管道化。选对通道,导入从”卡死”变”闪电”。
⑥ 配图脚本#
HTTP 直连 BE / 管道流 / Broker 外部读 / 实时 vs 批量对比