在Mac上安装Apache Spark最新版本 在Mac（macOS）上安装最新版本的Apache Spark的只需要五个简单步骤 使用Homebrew在Mac OS上安装Apache Spark已经变得非常容易。你可以在短短5分钟内安装它并开始运行spark例子。有多种方法可以在Mac上安装Apache Spark。 下面我解释了使用Homebrew在Mac OS上逐步安装Apache Spark，验证安装，运行spark-shell，并创建一个Spark DataFrame。 在Mac OS上安装最新版本的Apache Spark的步骤 第1步 - 安装Homebrew 第2步 - 安装Java 第3步 - 安装Scala 第4步 - 安装Apache Spark最新版本 第5步 - Spart Spark shell和验证安装 1.在Mac上安装Apache Spark最新版本 Homebrew是一个macOS的软件包管理器，用于在Mac（macOS）上安装第三方软件包，如Java，和Apache Spark。为了使用Homebrew，首先，你需要通过使用以下命令来安装它。 # 安装 Homebrew /bin/bash -c ＂$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)＂ 这将提示你输入管理员密码。你将需要输入你的管理员密码来运行这个命令。在个人笔记本电脑上，这与你登录Mac时输入的密码相同。如果你没有root权限，请联系你的系统管理员。在成功安装homebrew后，你应该看到类似下面这样的东西。 安装后，你可能需要运行下面的命令，将brew设置为你的$PATH。 # 设置path环境 echo ＂eval ＂$(/opt/homebrew/bin/brew shellenv)＂＂ >> /Users/admin/.zprofile eval ＂$(/opt/homebrew/bin/brew shellenv)＂ 如果上述命令有问题，你可以从Homebrew找到最新的命令。 2. 安装 Java Spark使用Java的底层来驱动，因此你的Mac上需要有Java。由于Java是第三方的，你可以使用Homebrew命令brew来安装它。由于Oracle Java不再是开源的了，我使用的是OpenJDK 11版本。在终端运行下面的命令来安装它。 # 安装 OpenJDK 11 brew install openjdk@113. 安装 Scala 由于Apache Spark是用Scala语言编写的，很明显你需要Scala来运行Spark程序。 # 安装 Scala (可选的，如果使用Java来写可以不安装Scala) brew install scala4.在Mac上安装Apache Spark 你也可以使用Homebrew在Mac上下载和安装Apache Spark最新版本。 关于Spark的一些简单介绍，Apache Spark是一个开源的分析处理引擎，用于大规模强大的分布式数据处理和机器学习应用。Spark最初是由加州大学伯克利分校开发的，后来捐赠给了Apache软件基金会。 # 安装 Apache Spark brew install apache-spark 这将在你的Mac操作系统上安装最新版本的Apache Spark。 成功安装Apache Spark最新版本后，从命令行运行spark-shell来启动Spark shell。你应该看到像下面这样的东西（暂时忽略警告）。 spark-shell是Apache Spark发布时附带的一个CLI工具 注意，它在终端上显示你正在使用的Spark版本和Java版本。 5. 从Shell验证Spark的安装 让我们用一些样本数据创建一个Spark DataFrame来验证安装。在Spark Shell中按相同的顺序输入以下命令。 import spark.implicits._ val data = Seq((＂Java＂, ＂20000＂), (＂Python＂, ＂100000＂), (＂Scala＂, ＂3000＂)) val df = data.toDF() df.show() 产生以下输出。关于Apache Spark的更多例子，请参考Spark教程与实例。 另外，可以从浏览器打开http://localhost:4041/jobs/，以访问Spark Web UI来监控您的工作。 总结 本文讲解了如何使用Homebrew逐步安装Apache Spark最新版本的过程。步骤包括安装Homebrew、Java、Scala、Apache Spark，并通过运行spark-shell验证安装。 接下来的步骤就是愉快的编码！ 相关链接
Win11强制扣款248元，只因拒绝Office每年12月都是Windows不太平的日子，原因很简单工程师开始休假了。休假及休假前的一段时间，Windows总是不出意外地会出些意外。今年这次，不仅Win11又遇到些新Bug，Wi平均年龄56！他们沿着中国地图自驾，99天横跨祖国边境35000公里所有的故事源于一个勇敢的选择。选择无处不在，采菊东篱下是陶渊明的选择，用脚步丈量国土是徐霞客的选择，面朝大海春暖花开是海子的选择，沿着中国地图自驾是他们的选择。将时间往回倒，越过晨农业生态小镇项目大数据云平台建设方案版权声明本资料来源网络，知识分享，仅供个人学习，请勿商用。侵删致歉如有侵权请联系小编，将在收到信息后第一时间删除！完整资料领取见文末，部分资料内容篇幅有限，无法完全展示，如需获取完越南陈玉碧回乡记之越南老百姓普通一餐越南火锅越南陈玉碧回乡记之越南普通一顿火锅大家好，我是陈玉碧越南小妹。今天是我回越南的第七天。今天聊下在越南普通四人餐一顿火锅多少钱。今天特别选了一家都是越南人吃的餐馆（院里都是越南人，价除夕夜，不管多缺钱，6道吉祥菜记得端上桌，寓意大吉大利冬日生活打卡季新春佳节将近，年夜饭怎么吃，做什么才能让家人吃的开心？除了大鱼大肉，山珍海味这些硬菜来撑场面，最好还能做一些精致的，有吉祥寓意的菜品给年夜饭的餐桌上增加点福气，以下分腊月二十六，杀猪割年肉，分享5种做法，鲜香美味，招待亲朋必备明天腊月二十六，民俗活动杀猪割年肉，这一天要割年肉，置办各种年货，延续传统，年味才会越来越浓，筹办起来的猪肉，称为年肉，过去的日子比较清苦，想吃肉只能等到过年，男女老少都格外的期待广东佛山有片清朝古建筑群，由慈禧太后拨款修建，整整1。4万平我的生活也是头条上回给大家推荐广东佛山三水长岐古村的时候，有网友留言说大旗头村也很值得一去。周末，我去了！提前跟大家说一句，这座古村对于喜欢历史建筑的人来说，非常值得打卡。大旗头村看这里！这场婚礼竟然是这样举办的神圣又浪漫1月14日开始，古城区非遗文化周系列活动拉开序幕，吸引了众多市民和游客参与其中。1月15日上午，丽江古城喜鹤纳西人家的院落里热闹非凡，一对对身着纳西婚服的新人正在做着婚礼前的各项准机票攻略现在恢复国际航班都不算新闻，恢复到每日一班才是硬道理中东这几家都在复航上海预料中的，这几日，周到君开始忙碌起来，不是在写稿，就是在去参加航司新闻发布会的路上从1月8日开始，入境措施进行优化后，各家航空公司都开始发力，增加航班的新闻稿如雪片一般。不过，周到2017年夏秋西部自驾游32乌尔禾魔鬼城（世界魔鬼城）D48自禾木出发，还是需经布尔津再往乌尔禾，参观乌尔禾魔鬼城景区，行程376km。乌尔禾魔鬼城位于新疆准噶尔盆地西北边缘的佳木河下游乌尔禾矿区，由于还有其它地方的魔鬼城（前面介绍过二十四南方小年，老话3菜不上桌，福气难进门，老传统别丢小年，中国的传统节日，但小年在不同的地方有不同的风俗，甚至连时间都不一样，二十三，糖瓜粘，通常北方在腊月二十三过小年，南方要等到腊月二十四才过小年，总之小年之后就算正式进入过年的阶