首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    2019-04-08 Swig java Jni开发指南

    简介: JNI:Java Native Interface,它允许Java代码和其他语言(尤其C/C++)写的代码进行交互,只要遵守调用约定即可。 JNA:Java Native Access是一个开源的Java框架,是Sun公司推出的一种调用本地方法的技术,是建立在经典的JNI基础之上的一个框架。之所以说它是JNI的替 代者,是因为JNA大大简化了调用本地方法的过程,使用很方便,基本上不需要脱离Java环境就可以完成。 Swig可以根据c或c++代码生成jni代码的工具,大大简化jni的开发 Jnaerator可以根据c或c++代码生成jna代码的工具,大大简化jna的开发 从难易度看,使用jnaerator开发jna最简单,代码基本都是自动生成,但是jna开发有个很大的缺点,就是如果c代码过于复杂,比如出现java调用c,然后c再回调java,java返回的结果c还需要继续处理的时候,经常出现不可控制的crash,而jna算是中间层,这个层出现的错误完全无法调试,被逼无奈,我们的项目先用jna开发,不得不转jni开发,在使用swig的过程中,也遇到不少问题,因此总结如下:

    01

    Spark 整体介绍

    Spark 是一个大数据运算框架,使用了DAG调度程序,比基于Hadoop MapReduce 运行速度提高了100倍以上     Spark 是一个通用框架,对于不同的运行场景都提供了对于的解决方案:         基于流式运算的 Spark Streaming框架         基于SQL 语法的 Spark SQL框架         基于图运算的 GraphX 框架         基于人工智能与机器学习的 MLlib 框架     Spark 可运行在 Yarn 框架上,还可以运行在独立的集群,Mesos,kubernetes 等集群上面,访问HDFS,HBase,Hive等上百种数据源     Spark 支持 Scala,Java,Python及R语言的快速编写     Spark 角色分为 HMaster,Worker俩种角色,Spark 启动命令为 Spark-Submit(简称Driver),      Spark 运算框架可以不基于Hadoop 框架进行数据运行,所以在配置conf文件时,不涉及 Hadoop 相关东西,在运算时,         如果数据存储或者需要写入到HDFS时,需要指定数据读取/写入命令         如果只是Local模式运行(调试模式),可以不基于HDFS     提示:[集群在运行过程中,涉及SSH访问,所以集群配置时一定需要免密登陆方可执行]     Spark 集群安装                 1. 配置文件修改             spart-env.xml    配置HMaster IP,端口             slave.sh 配置workers ip地址         2. 启动Spark集群             start-all.sh     Spark 高可用安装         可以采用,也可以不采用,根据自身条件而定         1. 安装Zookeeper 集群及配置Zookper集群,修改HMaster IP端口为Zookeeper 地址,并且启动             spart-env.xml         2. 启动Spark 集群             start-all.sh         3. 配置HMaster StandBy 进程 并且启动             hmaster-start.sh     提交Spark Sample任务         1.spart-submit classpath jarpath      Spark任务执行流程         Spark任务执行流程与Yarn任务执行流程类型         1. 首先客户端编写配置Configuration信息,打包Jar包,发起任务到HMaster         2. HMaster根据用户下发的任务信息,配置Worker个数及Worker对应的内存及CPU等,并且启动Worker;         3. Worker根据HMaster下发参数信息,并且与Client交互,获取对应的jar包等信息,然后启动Executor行数据处理(一个Worker下可以包含多个Executor)         4. 输出保存数据。     Yarn与Spark的对比         Yarn    ResourceManager   DataManager   YarnChild    (Job/Client)/ApplicationMastor                 Spark   HMaster           Worker        Executor    SparkSubmit     SparkShell 执行         SparkShell 可以理解为Spark的交互式编程窗口,在启动SparkShell那一瞬间,Spark任务已经启动,每个Work已经分配内存及CPU,等待执行任务,一般不采用SparkShell执行任务,不推荐。     Scala编写Spark                                     Spark对Scala的支持最好,Spark是用Scala语言开发的,所以Spark中包含了很多Scala特有的语法,这一点是其他语言所不能比拟的,所以编写Spark任务推荐使用Scala。         Spark 任务入口为SparkContext,首选需要创建SparkContent,然后就可以按照Spark任务执行流程进行编写,指定MapTask执行操作,ReduceTask执行操作,数据输入,数据输出等。

    01

    jdk和jre有什么区别_jdk与jre的关系

    JDK与JRE 在安装的过程中各位可能注意到了JRE这个名词,下面我们来聊聊JDK和JRE的关系和区别。  JDK:它是Java开发运行环境,在程序员的电脑上当然要安装JDK;  JRE:Java Runtime Environment它是Java运行环境,如果你不需要开发只需要运行Java程序,那么你可以安装JRE。例如程序员开发出的程序最终卖给了用户,用户不用开发,只需要运行程序,所以用户在电脑上安装JRE即可。  JDK包含了JRE。  JRE中包含虚拟机JVM JRE: Java Runtime Environment JDK:Java Development Kit JRE顾名思义是java运行时环境,包含了java虚拟机,java基础类库。是使用java语言编写的程序运行所需要的软件环境,是提供给想运行java程序的用户使用的。 JDK顾名思义是java开发工具包,是程序员使用java语言编写java程序所需的开发工具包,是提供给程序员使用的。JDK包含了JRE,同时还包含了编译java源码的编译器javac,还包含了很多java程序调试和分析的工具:jconsole,jvisualvm等工具软件,还包含了java程序编写所需的文档和demo例子程序。 如果你需要运行java程序,只需安装JRE就可以了。如果你需要编写java程序,需要安装JDK。 JRE根据不同操作系统(如:windows,linux等)和不同JRE提供商(IBM,ORACLE等)有很多版本,最常用的是Oracle公司收购SUN公司的JRE版本。 简单的说JDK是面向开发人员使用的SDK,它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包,可以包括函数库、编译程序等。 JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境,是面向Java程序的使用者,而不是开发者。 如果安装了JDK,会发同你的电脑有两套JRE,一套位于 \jre 另外一套位于 C:\Program Files\Java\j2re1.4.1_01 目录下,俺发现事jdk/bin目录里比jre7/bin多了一套Server端的Java虚拟机,不过直接将前面那套的Server端Java虚拟机复制过来就行了。而且在安装JDK可以选择是否安装这个位于 C:\Program Files\Jav a 目录下的JRE。如果你只安装JRE,而不是JDK,那么只会在 C:\Program Files\Java 目录下安装唯一的一套JRE。

    02
    领券