程序员的资源宝库

网站首页 > gitee 正文

pig使用入门1 picog2使用教程

sanyeah 2024-03-29 15:23:47 gitee 7 ℃ 0 评论

1、在pig下载的安装包,解压完成了之后,有一个tutorial目录,我们使用里面的数据来开始pig学习。如果tutorial目录下没有存在pigtutorial.tar.gz文件的话,那么需要使用ant来编译出这个文件

  如果没有ant,见分类linux下的ant安装

2、进入tutorial目录,执行命令ant

  得到pigtutorial.tar.gz

3、使用tar -zxvf pigtutorial.tar.gz 解压

4、上传excite-small.log进入hdfs中

  $>hadoop dfs -put excite-smal.log /input

  因为使用pig处理的是hdfs中的文件

  我们下面将主要分析excite-small.log文件,该文件的数据结构如下:

  UserID   TimeStamp SearchQuery

5、执行pig进入pig的上下文grunt

6、首先将excite-small.log加载到一个变量(也称之为alias)中,我们将使用该变量来表示这个数据集:

  grunt> log = load 'excite-small.log' as (user, time, query);

  注意的是这时pig并没有运行该命令,仅仅是解析了该命令,只有到使用dump命令或者是store命令时pig才会真正执行该命令。dump命令将打印出这个变量的内容,store命  令将变量所代表的内容保存到一个文件中。

7、 grunt> describe log; 查看结构(语句都以; 结束)

8、如果我们想要查看该log文件的前4行的话:

  grunt> lmt = limit log 4;

  grunt> dump lmt;(打印)

 

注意:如果出现:Unable to open iterator for alias a,请检查hadoop是否仍处于safemode状态,如果是,退出这个状态。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表