简介：解决Hadoop或hive集群用户名不一样不能读写，配置了用户名不生效的问题。
解决spark跨集群写hive、hdfs用户名不一致，不能读写的问题。
一、配置用户名
这种情况我们就需要在程序配置用户，通过HADOOP_USER_NAME配置，有两种方法：
1、程序main方法第一行指定用户名：System.setProperty(“HADOOP_USER_NAME”, “bigdata”)
2、spark运行脚本指定：–conf “HADOOP_USER_NAME=bigdata”
注意：程序指定了HADOOP的用户名但不生效，还是出现以下异常。
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=search, access=WRITE, inode="/hive/warehouse/sss.db/s_user_tmp":bigdata:supergroup:drwxrwxr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3529)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3512)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3494)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6599)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4384)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4354)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4327)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:873)
......
二、不生效解决办法
原因：项目应该不是打的胖jar，spark在运行程序会先将项目的依赖jar上传到Hadoop，此时直接就使用了本机用户名，导致配置的用户名不生效。
解决办法：pom文件导入fatjar插件，打包，不要提交任何依赖，修改运行脚本，重新执行就OK啦。
<!--创建fatjar插件-->
<plugin>
<groupid>org.apache.maven.plugins</groupid>
<artifactid>maven-shade-plugin</artifactid>
<version>2.4.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
此时你又发现有异常信息，不用理会，程序是正常运行的。
出现这个异常的原因：hadoop去运行程序服务器验证用户，结果没有找到这个用户，就出现的异常。
WARN ShellBasedUnixGroupsMapping: unable to return groups for user bigdata
PartialGroupNameException The user name 'bigdata' is not found. id: bigdata: No such user
id: bigdata: No such user
at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.resolvePartialGroupNames(ShellBasedUnixGroupsMapping.j
ava:294)
at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getUnixGroups(ShellBasedUnixGroupsMapping.java:207)
at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getGroups(ShellBasedUnixGroupsMapping.java:97)
at org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback.getGroups(JniBasedUnixGroupsMappingWithFallb
ack.java:51)
at org.apache.hadoop.security.Groups$GroupCacheLoader.fetchGroupList(Groups.java:387)
at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:321)
at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:270)
.....
idea直接配置就可以
Original: https://blog.csdn.net/z1987865446/article/details/127901398
Author: 小中.
Title: Hadoop或hive用户名和本地主机用户名不一样，不能读写
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/816945/
转载文章受原作者版权保护。转载请注明原作者出处！