程序员的资源宝库

网站首页 > gitee 正文

PIG__Failed to create DataStorage解决方案

sanyeah 2024-03-30 12:58:56 gitee 29 ℃ 0 评论

Failed to create DataStorage解决方案

背景:

  在安装PIG执行pig,想要调用Hadoop集群进行pig的命令行时报错,

Failed to create DataStorage

相关原因:

  我的HADOOP版本是0.20.2

  查看pig 的bin/目录下的pig程序,查看pig脚本执行的过程,这个是备注的部分:

# Environment Variables
#
#     JAVA_HOME                The java implementation to use.    Overrides JAVA_HOME.
#
#     PIG_CLASSPATH Extra Java CLASSPATH entries.
#
#     HADOOP_HOME/HADOOP_PREFIX     Environment HADOOP_HOME/HADOOP_PREFIX(0.20.205)
#
#     HADOOP_CONF_DIR     Hadoop conf dir
#
#     PIG_HEAPSIZE    The maximum amount of heap to use, in MB.
#                                        Default is 1000.
#
#     PIG_OPTS            Extra Java runtime options.、

  在注释中有这么一句。

HADOOP_HOME/HADOOP_PREFIX Environment HADOOP_HOME/HADOOP_PREFIX(0.20.205)

  注:这个可能是0.20.2中的特别之处。

  修改了其他教程中的.bash_profile配置为,以下(其中JAVA在/etc/profile中export了)

PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
HADOOP_HOME=/usr/hadoop

export PATH
export HADOOP_HOME

  然后就可以执行了,问题解决。

备注:

  这个也是误打误撞解决了这个错误,才开始怀疑的是版本的问题,还对HADOOP进行了格式化,实际上可能不是,检查了PIG程序,看见备注中是要export这个变量,检 查PIG程序,也没有能找到特别能说明问题的,好在问题解决了。

  以上,如果不能解决你的问题的话,请短消息我。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表