程序员的资源宝库

网站首页 > gitee 正文

Pig 安装和使用 如何安装pip工具

sanyeah 2024-03-29 15:23:52 gitee 8 ℃ 0 评论

pig 0.10.0 的下载地址 http://labs.mop.com/apache-mirror/pig/pig-0.10.0/
下载针对Ubuntu 的安装文件pig-0.10.0.tar.gz ,0.10.0 可以运行在Hadoop 0.20.x 的版本之上,
下载安装pig 的版本要和自己在安装的hadoop版本匹配。
把 pig-0.10.0 文件 放到Linux 系统的当前用户下,
解压 pig-0.10.0 文件 tar -vxf pig-0.10.0.tar.gz
配置环境变量 /etc/profile 可以使用vi 也可以使用 sudo gedit
 命令: sudo gedit /etc/profile
  #set pig
  export PIG_HOME=/home/liucheng/pig-0.10.0
 同时,要配置到path路径下
 使配置文件生效 source /etc/profile
 进入pig 的bin 目录下 启动pig

 命令 :./pig 或是 ./pig -x mapreduce


 命令:./pig -x local 运行本地模式
 这个时间,就可以使用jps 查看已经启动的线程,有两个 grunt 线程
 在grunt> 下打出Help 就可以查看 pig 可以使用的命令
 在pig 命令下可以直接操作HDFS
 以后的pig 命令 就会转成 mapreduce 运行。

 grunt> stu  = LOAD '/user/liucheng/pig/student.txt' AS (name,age);


 注 : = 的两边有空格。

 把HDFS pig 目录下的student.txt 转存为关系stu,默认每行数据是以"\t" 分割。

当调用DUMP stu; 可以查看存储到stu 关系中的数据。


注:当使用quit 退出此次会话时,那么这个关系stu 也会丢失的。

pig 调用 脚本文件。

第一步:我们在当前用户的file 目录下创建一个script.pig 文件。内容为 

ls

cat   pig/student.txt


第二步:查看一下HDFS 上有哪些文件,且pig/student.txt 文件的内容


 第三步:调用我们创建的 ~/file/script.pig 角本。pig ~/file/script.pig


分析:系统调用mapreduce 分析处理角本内容,第一个列表所有HDFS 文件,且,把pig/student.txt 内容读出来。

接下来的学习参考:http://www.cnblogs.com/uttu/archive/2013/02/19/2917438.html

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表