关于 LakeSail
LakeSail 以 Rust 原生引擎替代 Spark 的 JVM 执行层,同时保留 Spark Connect 接口。现有 PySpark、Spark SQL、Python UDF、Delta Lake 与 Iceberg 工作流通常只需更改远程端点,无须重写管道。平台支持 Python 与 SQL 作业调度、依赖管理、自动重试、按需配置算力和自动伸缩,也可连接 Airflow 与 Dagster。它部署在客户自己的 AWS 账户中,数据文件与查询结果保留在自有 S3;控制平面通过权限受限的 IAM 角色管理 LakeSail 资源。智能体层提供弹性执行、动态 Python 工具、受控操作和隔离湖仓分支。企业版采用定制报价。它适合已有兼容 Spark 工作负载的 AWS 团队,但部署需要 AWS 基础设施,基准测试中的性能提升也不代表所有生产工作负载。
适合人群
适合场景
团队更改 Spark Connect 远程端点后,继续在 LakeSail 上运行既有 DataFrame 操作、Spark SQL 查询和 Python UDF。
数据管道按依赖关系调度 Python 与 SQL 作业,失败时自动重试,并让算力按需创建、完成后缩容。
智能体在运行时创建 Python 工具,并在隔离的湖仓分支中验证工作,从而不直接改动生产数据。
对比选择
LakeSail 保留 Spark Connect API,并用 Rust 原生引擎替代 JVM 执行,可降低兼容工作负载的迁移改造量。
与把数据存放在厂商环境的平台不同,LakeSail 部署在客户 AWS 账户中,数据文件保留在自有 S3。
相较长期运行集群的方式,LakeSail 可按作业配置算力并在完成后缩容,但实际效果仍取决于具体工作负载。
功能特性
替换 Spark 算力
保留 Spark Connect 工作流,并将 PySpark、Spark SQL、Delta Lake 与 Iceberg 执行迁移到 Rust 原生引擎。
运行数据管道
统一调度 Python 与 SQL 作业,管理依赖和重试,并使用按需算力、自动伸缩及编排工具集成。
执行受控智能体任务
让智能体通过动态工具、弹性算力、审计控制和隔离湖仓分支运行 Python 与 SQL 任务。
优点
- 兼容 Spark Connect,可保留既有 PySpark、SQL 和 Python UDF 接口,从而减少迁移中的代码改造。
- 平台运行在客户自己的 AWS 账户中,数据文件和查询结果留在自有 S3,便于沿用现有数据驻留控制。
- 按需配置算力、自动伸缩、调度、依赖管理与重试集中在同一工作流中,可减少管道运维环节。
缺点
- 托管工作流依赖 AWS 基础设施,需要配置 EKS、S3、VPC、IAM 权限,并通过 CloudWatch 提供集群指标。
- 企业版采用定制报价,大型团队必须先与销售沟通,才能形成完整预算。
- 性能与算力成本对比基于基准测试,实际收益会随生产数据、查询类型和运行条件而变化。
价格方案
企业版
- 提供 SLA 的专属支持
- 企业单点登录(SAML、OIDC)与 RBAC
- 定制许可模式
- 支持本地部署
* 价格信息仅供参考,请以LakeSail官网最新公告为准。
