LakeSail

LakeSail

面向 AWS 数据管道与受控 AI 智能体工作负载的 Rust 原生 Spark 替代平台。

paid
最后更新 2026/8/28

关于 LakeSail

LakeSail 以 Rust 原生引擎替代 Spark 的 JVM 执行层,同时保留 Spark Connect 接口。现有 PySpark、Spark SQL、Python UDF、Delta Lake 与 Iceberg 工作流通常只需更改远程端点,无须重写管道。平台支持 Python 与 SQL 作业调度、依赖管理、自动重试、按需配置算力和自动伸缩,也可连接 Airflow 与 Dagster。它部署在客户自己的 AWS 账户中,数据文件与查询结果保留在自有 S3;控制平面通过权限受限的 IAM 角色管理 LakeSail 资源。智能体层提供弹性执行、动态 Python 工具、受控操作和隔离湖仓分支。企业版采用定制报价。它适合已有兼容 Spark 工作负载的 AWS 团队,但部署需要 AWS 基础设施,基准测试中的性能提升也不代表所有生产工作负载。

适合人群

适合希望保留现有 PySpark 与 SQL 管道、同时将 Spark 工作负载迁移到 Rust 原生引擎的数据工程团队。
适合要求数据文件和查询结果继续存放在自有 AWS 环境与 S3 存储中的云平台团队。
适合需要受控 Python 与 SQL 执行、弹性算力及隔离湖仓分支的 AI 基础设施团队。

适合场景

团队更改 Spark Connect 远程端点后,继续在 LakeSail 上运行既有 DataFrame 操作、Spark SQL 查询和 Python UDF。

数据管道按依赖关系调度 Python 与 SQL 作业,失败时自动重试,并让算力按需创建、完成后缩容。

智能体在运行时创建 Python 工具,并在隔离的湖仓分支中验证工作,从而不直接改动生产数据。

对比选择

LakeSail 保留 Spark Connect API,并用 Rust 原生引擎替代 JVM 执行,可降低兼容工作负载的迁移改造量。

与把数据存放在厂商环境的平台不同,LakeSail 部署在客户 AWS 账户中,数据文件保留在自有 S3。

相较长期运行集群的方式,LakeSail 可按作业配置算力并在完成后缩容,但实际效果仍取决于具体工作负载。

功能特性

替换 Spark 算力

保留 Spark Connect 工作流,并将 PySpark、Spark SQL、Delta Lake 与 Iceberg 执行迁移到 Rust 原生引擎。

运行数据管道

统一调度 Python 与 SQL 作业,管理依赖和重试,并使用按需算力、自动伸缩及编排工具集成。

执行受控智能体任务

让智能体通过动态工具、弹性算力、审计控制和隔离湖仓分支运行 Python 与 SQL 任务。

优点

  • 兼容 Spark Connect,可保留既有 PySpark、SQL 和 Python UDF 接口,从而减少迁移中的代码改造。
  • 平台运行在客户自己的 AWS 账户中,数据文件和查询结果留在自有 S3,便于沿用现有数据驻留控制。
  • 按需配置算力、自动伸缩、调度、依赖管理与重试集中在同一工作流中,可减少管道运维环节。

缺点

  • 托管工作流依赖 AWS 基础设施,需要配置 EKS、S3、VPC、IAM 权限,并通过 CloudWatch 提供集群指标。
  • 企业版采用定制报价,大型团队必须先与销售沟通,才能形成完整预算。
  • 性能与算力成本对比基于基准测试,实际收益会随生产数据、查询类型和运行条件而变化。

价格方案

企业版

Custom定制
  • 提供 SLA 的专属支持
  • 企业单点登录(SAML、OIDC)与 RBAC
  • 定制许可模式
  • 支持本地部署

* 价格信息仅供参考,请以LakeSail官网最新公告为准。

常见问题

LakeSail 实现了 Spark Connect;更改远程端点后,可继续运行既有 PySpark DataFrame 操作、Spark SQL 查询和 Python UDF。
数据文件、查询结果和 Glue 目录保留在客户自有 AWS 存储中;控制平面通过权限受限的 IAM 角色管理 LakeSail 资源。
企业版面向大型部署采用定制报价,并提供专属支持、企业身份控制、定制许可和本地部署选项。

工具信息

开发商LakeSail
发布日期2026/4/5
定价模式paid