首页 公积金比例 spark大数据分析项目(大数据平台 spark)

spark大数据分析项目(大数据平台 spark)

公积金比例 2024-02-16 09:16:47 628 金融资讯网

Databricks最近发布了大数据分析平台Spark使用的AI模型SDK。当开发人员编写代码时,他们可以用英语给出指令,编译器会将英语指令转换为PySpark或SQL的代码。

从而提高开发人员效率。

spark大数据分析项目(大数据平台 spark)

图源Databricks网站

据悉,Spark是一款开源的大数据分析工具,每年下载量超过10亿次,在全球208个国家和地区使用。

图源Databricks网站

Databricks表示,微软的AI代码助手GitHubCopilot功能强大,但使用门槛也相当高。Databricks的SDK相对来说更通用、更易于使用。

Databricks声称,他们发现大型语言模型非常了解Spark,Spark社区在过去10年中为AI学习和开发贡献了大量开放和高质量的文本。

Databricks团队还使用Spark社区提供的一系列学习数据进行了培训,并与LLM一起开发了英语SDK。使用该SDK,开发人员可以直接放置英文指令并获得相应的结果,从而提高开发效率。

图源Databricks网站

IT之家发现,Databricks还声称英文SDK仍处于早期开发阶段,他们欢迎更多用户加入并使用它来升级SDK。

广告声明:文章包含外部跳转链接,以传达更多信息并节省选择时间。结果仅供参考,IT之家所有文章均包含此声明。

金融资讯网 Copyright @ 2005-2024 All Rights Reserved. 版权所有

免责声明: 1、本站部分内容系互联网收集或编辑转载,并不代表本网赞同其观点和对其真实性负责。 2、本页面内容里面包含的图片、视频、音频等文件均为外部引用,本站一律不提供存储。 3、如涉及作品内容、版权和其它问题,请在30日内与本网联系,我们将在第一时间删除或断开链接! 4、本站如遇以版权恶意诈骗,我们必奉陪到底,抵制恶意行为。 ※ 有关作品版权事宜请联系客服邮箱:478923*qq.com(*换成@)

备案号:滇ICP备2023006467号-58