博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
IDEA里如何多种方式打jar包,然后上传到集群
阅读量:6149 次
发布时间:2019-06-21

本文共 683 字,大约阅读时间需要 2 分钟。

 

 

关于IDEA里如何多种方式打jar包,然后上传到集群的问题?

  前期准备,就是在,IDEA里,maven来创建项目。这里不多赘述。

 

  1)用maven项目来打包,我推荐这个。 (强烈推荐,简单又快速)

  而且,还可以改名。比如我这篇博客里最后打好需要包括MyJavaWordCount.java和MyScalaWordCout.scala,默认名为test-spark-1.0-SNAPSHOT.jar,你自己可以更改,这个不是重点。

 

 

      2)如下,以下这种方式,看看就好,显得有点冗长。

 

 

 

 

 

 

 

 

 

 

 

 

  一般,我们,习惯将默认的D:\Code\IntelliJIDEACode\spark-helloworld\src\main\scala

 改为 D:\Code\IntelliJIDEACode\spark-helloworld\src

 

 

  如下,不是maven创建出来的项目,到了这一步,需要如下。(我这里是manven,所以不需)

 

 

 

 

 

 

 name:spark-helloworld:jar

 Output directory: D:\Code\IntelliJIDEACode\spark-helloworld\out\artifacts\spark-helloworld_jar

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   比如,我这里

[spark@sparksinglenode testspark]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/spark/testspark/words.txt hdfs://sparksinglenode:9000/

 

转载地址:http://rwwfa.baihongyu.com/

你可能感兴趣的文章
菜鸡互啄队—— 团队合作
查看>>
HttpWebRequest的GetResponse或GetRequestStream偶尔超时 + 总结各种超时死掉的可能和相应的解决办法...
查看>>
SparseArray
查看>>
第二章
查看>>
android背景选择器selector用法汇总
查看>>
[转]Paul Adams:为社交设计
查看>>
showdialog弹出窗口刷新问题
查看>>
java
查看>>
Vue.js连接后台数据jsp页面  ̄▽ ̄
查看>>
关于程序的单元测试
查看>>
mysql内存优化
查看>>
都市求生日记第一篇
查看>>
Java集合---HashMap源码剖析
查看>>
SQL优化技巧
查看>>
thead 固定,tbody 超出滚动(附带改变滚动条样式)
查看>>
Dijkstra算法
查看>>
css 动画 和 响应式布局和兼容性
查看>>
csrf 跨站请求伪造相关以及django的中间件
查看>>
MySQL数据类型--与MySQL零距离接触2-11MySQL自动编号
查看>>
生日小助手源码运行的步骤
查看>>