Hadoop trunk maven编译问题

 从Hadoop trunk git库中pull下来代码后,需要进行编译,但是编译过程中报以下错误:

[ERROR] Plugin org.apache.hadoop:hadoop-maven-plugins:3.0.0-SNAPSHOT or one of its dependencies could not be resolved: Could not find artifact org.apache.hadoop:hadoop-maven-plugins:jar:3.0.0-SNAPSHOT -> [Help 1]

       解决方法很简单:

       $ cd hadoop-maven-plugins

       $ mvn install

MAVEN org.eclipse.m2e:lifecycle-mapping问题

      最近在编译Presto时候遇到了一个MAVEN的问题,MAVEN报以下错误:

       [WARNING] The POM for org.eclipse.m2e:lifecycle-mapping:jar:1.0.0 is missing, no dependency information available

       [WARNING] Failed to retrieve plugin descriptor for org.eclipse.m2e:lifecycle-mapping:1.0.0: Plugin org.eclipse.m2e:lifecycle-mapping:1.0.0 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.eclipse.m2e:lifecycle-mapping:jar:1.0.0

      google以下,发现了以下的解决方法:

      1、checkout https://github.com/mfriedenhagen/dummy-lifecycle-mapping-plugin

      2、解压,mvn clean install

      3、再去编译自己的工程,okay,解决

Maven加入新的source问题

    最近将之前做的hadoop-raid移植到2.4.0上面,因为之前的RPC都是通过POJO,而现在2.x的RPC都是通过PB(参见我之前写过的Blog),所以需要将新加入的Protocol进行PB的改写。

    其中写好proto文件后,需要用hadoop写好的hadoop-maven-plugin插件将proto文件生成java文件。

 <plugin>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-maven-plugins</artifactId>
        <executions>
          <execution>
            <id>compile-protoc-raid</id>
            <phase>generate-sources</phase>
            <goals>
              <goal>protoc</goal>
            </goals>
            <configuration>
              <protocVersion>${protobuf.version}</protocVersion>
              <protocCommand>${protoc.path}</protocCommand>
              <imports>
                <param>${basedir}/../../hadoop-common-project/hadoop-common/src/main/proto</param>
                <param>${basedir}/src/main/proto</param>
              </imports>
              <source>
                <directory>${basedir}/src/main/proto</directory>
                <includes>
                  <include>RaidProtocol.proto</include>
                </includes>
              </source>
              <output>${project.build.directory}/generated-sources/java</output>
            </configuration>
          </execution>
        </executions>
      </plugin>

    同时需要将生成的java文件加入ClassPath中,采用的是org.codehaus.mojo.build-helper-maven-plugin插件。

      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>build-helper-maven-plugin</artifactId>
        <executions>
          <execution>
            <id>add-raid-generated-sources-directory</id>
            <phase>generate-sources</phase>
            <goals>
              <goal>add-source</goal>
            </goals>
            <configuration>
              <sources>
                <source>${project.build.directory}/generated-sources/java</source>
              </sources>
            </configuration>
          </execution>
        </executions>
      </plugin>

    但是使用后能够在terminal中顺利编译,而eclipse却显示没有加入这个classpath。

    最后想到还是用maven命令生成一遍,mvn clean generate-sources eclipse:eclipse

就解决问题了。

Maven out of memory 解决方法

    有时候使用maven的时候,如果采用默认的jvm参数会报oom错误,这个所有java程序员都知道为什么,那修改方法只要加入maven jvm参数就可以了。方法是在环境变量中,加入以下

    export MAVEN_OPTS=”-Xms1024m -Xmx2000m”

Maven使用总结

    近期在做hadoop 2.4集群的fast-copy功能,最后需要进行编译,测试等,发现在$HADOOP_HOME下,对所有module进行mvn compile没有任何问题。当进入hadoop hdfs module进行单独编译的时候,总是提示cannot find symbol,提示的是我新加入的方法无法找到。

    最后发现时maven仓库中的那个jar包是老的jar包,导致编译别的module引用这个jar包得时候就会报错。以前也遇到过这个问题,没有引起重视,这次记录下来。附:打包并拷贝至本地库命令

    mvn clean package install -DskipTests