php写hadoop,Hadoop --Streaming--PHP

「爱情、让人受尽委屈。」 2023-01-15 09:30 81阅读 0赞

Hadoop 支持各种语言的模型.之前的实例中都是用 JAVA 写的:http://blog.sina.com.cn/s/blog\_5f54f0be0101f6sj.html，然后打包成

JAR, 再用 hadoop jar 来执行。

我们还可以用其它语言写，然后通过 Streaming

加载进去。

Hadoop Streaming 使用 Unix 中的流与程序进行交互。

如:

\[root@localhost bin\]\# cd /home/hadoop/bin

\[root@localhost bin\]\# ./hadoop fs -lsr .

\-rw-r--r--  1 root supergroup

264075431 2013-08-19 12:21

/user/root/cite75\_99.txt

\[root@localhost bin\]\# ./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -input

./cite75\_99.txt -output ./streamtest -mapper 'cut -f 2 -d ,'

\-reducer 'uniq'

查看执行结果:

\[root@localhost bin\]\# ./hadoop fs -lsr ./streamtest

\-rw-r--r--  1 root supergroup

0 2013-08-22 10:33

/user/root/streamtest/\_SUCCESS

drwxr-xr-x  - root supergroup

0 2013-08-22 10:32

/user/root/streamtest/\_logs

drwxr-xr-x  - root supergroup

0 2013-08-22 10:32

/user/root/streamtest/\_logs/history

\-rw-r--r--  1 root supergroup

23325

2013-08-22 10:32

/user/root/streamtest/\_logs/history/job\_201308151016\_0007\_1377138746329\_root\_streamjob7278026616598606231.jar

\-rw-r--r--  1 root supergroup

49383

2013-08-22 10:32

/user/root/streamtest/\_logs/history/job\_201308151016\_0007\_conf.xml

\-rw-r--r--  1 root supergroup

29158010 2013-08-22 10:33

/user/root/streamtest/part-00000

查看文件内容:

\[root@localhost bin\]\# ./hadoop fs -cat

/user/root/streamtest/part-00000 | head -n 5

"CITED"

10000

100000

1000006

原文件 cite75\_99.txt 的内容:

\[root@localhost bin\]\# head -n 5

cite75\_99.txt

"CITING","CITED"

3858241,956203

3858241,1324234

3858241,3398406

3858241,3557384

回头看前面的命令:./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -input

./cite75\_99.txt -output ./streamtest -mapper 'cut -f 2 -d ,'

\-reducer 'uniq'

使用 streaming 方式来执行。

输入内容是 cite75\_99.txt.

结果输出到 streamtest 目录(前面已经在 lsr 结果中看到是这样)

mapper 的逻辑是: 'cut -f 2 -d ,'

该命令是指将输入 按分隔符(-d 的值，这里是：逗号 ,) 进行划分，并显示指定的列(-f 的值，这里是第二列),

所以可以看到，执行完后的结果 part-00000 是 cite75\_99.txt 第二列的内容.

reducer 的逻辑是 'uniq' 显然是取唯一的值。

但我们会发现最后计算的结果是排好序的，这是 hadoop 自动的。它是按字母排的，所以第一行是 "CITED"。

除了 shell 脚本，还可以通过 streming 执行 pthon, php 等脚本:

randomtest.php:

![a4c26d1e5885305701be709a3d33442f.png][]

注意:

该PHP文件没有关闭标签 ?>

理由是：加关闭括号是为了把动态的PHP代码和静态的HTML分隔开。在括号外的都是静态，这些内容是会被输出出来的。比如我们加了关闭括号，但不小心在括号外又输入了换行，空格之类的字符，执行的时候这些是会被输出的。到时候调试可能不一定发现得了。

如果我们不加关闭括号，则代码中所有的内容都会被认为是动态PHP代码。只会输入 echo, print

之类的内容。

\[root@localhost bin\]\# ./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -input

./cite75\_99.txt -output ./streamtest -mapper 'php randomtest.php

10' -file randomtest.php

\-mapper 的内容是: php randomtest.php 10, 实际上就相当于在 shell

中执行这句话，要想上该实例运行，肯定要保证在 linux 命令行中该命令能成功执行

可以先在命令行中执行一下看效果: cat cite75\_99.txt | php randomtest.php 10

> randtest.txt

randomtest.php 不需要上传到 HDFS 上。因为 -file 参数的意思就是从本地文件系统使用文件传到 jar

中。

执行完后的结果内容是：

\[root@localhost bin\]\# ./hadoop jar fs -cat

./streamtest/part-00000 | head -n 5

"CITING","CITED"

3858243,2949611

3858245,3553737

3858247,1600859

3858247,2807431

\[root@localhost bin\]\# ./hadoop jar fs -cat

./streamtest/part-00000 | wc -l

1486681

\[root@localhost bin\]\# cat cite75\_99.txt | wc -l

16522439

因为前面 PHP 代码的逻辑就是随机输出一些行。而结果中可以看到，总共输出了 1486681 行。源文件有 16522439

行。结果差不多是源的十分之一.

案例二(纯脚本实现基本解析):

=======================================

找出声明个数最多的专利.

"PATENT","GYEAR","GDATE","APPYEAR","COUNTRY","POSTATE","ASSIGNEE","ASSCODE","CLAIMS","NCLASS","CAT","SUBCAT","CMADE","CRECEIVE","RATIOCIT","GENERAL","ORIGINAL","FWDAPLAG","BCKGTLAG","SELFCTUB","SELFCTLB","SECDUPBD","SECDLWBD"

3070801,1963,1096,,"BE","",,1,,269,6,69,,1,,0,,,,,,,

3070802,1963,1096,,"US","TX",,1,,2,6,63,,0,,,,,,,,,

3070803,1963,1096,,"US","IL",,1,,2,6,63,,9,,0.3704,,,,,,,

3070804,1963,1096,,"US","OH",,1,,2,6,63,,3,,0.6667,,,,,,,

可以看到,第五列是国家,第九列是声明次数.现在需要做的是按第九列排序.并显示出最大的值.

PHP 脚本: maxcount.php

![a4c26d1e5885305701be709a3d33442f.png][]

该脚本是取第 n 列的最大值. n 是传入的参数.

先在本地测试:

\[root@localhost bin\]\# cat apat63\_99.txt | php maxcount.php 8

> maxtest.txt

执行时间较长,得到的结果是:

\[root@localhost bin\]\# cat maxtest.txt

868

将 apat63\_99.txt 放入 HDFS, 然后用 hadoop 来执行试试:

\[root@localhost bin\]\# ./hadoop fs -put apat63\_99.txt .

\[root@localhost bin\]\# ./hadoop fs -lsr .

\-rw-r--r--  1 root supergroup

236903179 2013-08-22 20:50

/user/root/apat63\_99.txt

\-rw-r--r--  1 root supergroup

264075431 2013-08-19 12:21

/user/root/cite75\_99.txt

\[root@localhost bin\]\# ./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -D

mapred.reduce.tasks=1 -input ./apat63\_99.txt -output ./test -mapper

'php maxcount.php 8' -file maxcount.php

结果:

\[root@localhost bin\]\# ./hadoop fs -cat ./test/part-00000

260

348

706

868

可以看到,这里加了一个 -D 参数,这是用来给执行时设定参数的.这里将 mapred.reduce.tasks 设置为 1

的意思是配置一个 reduce 任务.而我们在命令中并没有设置 -reduce 选项,意思就是说让 hadoop

使用默认的IdentityReduce 来记录结果.

结果中有四栏,这是根据待处理文件大小决定的.因为 HDFS 一个分区的大小是

64M, 而源文件有 226M, 被放在四个分区中.而 hadoop 在执行时对每个分区单独处理得出结果.

为了进行验证,我们如下,将源文件的一半复制出来放到另一个文件,然后对新文件进行尝试:

\[root@localhost bin\]\# cat apat63\_99.txt | wc -l

2923923

\[root@localhost bin\]\# head -n 1500000 apat63\_99.txt

> apart2.txt

\[root@localhost bin\]\# ./hadoop fs -put apart2.txt .

\[root@localhost bin\]\# ./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -D

mapred.reduce.tasks=1 -input ./apart2.txt -output ./test2 -mapper

'php maxcount.php 8' -file maxcount.php

\[root@localhost bin\]\# ./hadoop fs -cat

./test2/part-00000

176

706

可以看到,现在只有两个值了.上面的理解得到了证明.

但上面的结果是多个值,我们需要的是最大值,所以我们还要自己进行比较一下.这就是没有设置 reduce 的后果.

我们可以把刚才得到的结果作为输入,再按第一列进行排序.这样就是总共用两次命令.还可以在一个命令中,配置 reduce,

对第一次命令的结果进行处理:

\[root@localhost bin\]\# ./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -D

mapred.reduce.tasks=1 -input ./apat63\_99.txt -output ./test -mapper

'php maxcount.php 8' -reducer 'php maxcount.php 0' -file

maxcount.php

结果:

\[root@localhost bin\]\# ./hadoop fs -cat ./test/part-00000

868

案例三(脚本实现 键/值 对):

=======================================

计算每个国家专利的个数

前面的例子都是直接将文件中的内容通过 stream 传进去的.没有键/值对的形式.

hadoop 自动使用 tab 符号分离记录中的键和值.当没有 tab 时,整个记录被视为键,而值是空白文本.

键的作用就是在划分任务以及将结果传给哪个 reduce 时有影响.

1.Streaming 下的 mpaaer 通过标准输入(StDIN)读取一个分片(前面说过,64M

一块),并将每一行提取为一个记录.Mapper 可以选择将这行翻译为一个键值对还是一行文本.

2.对于 mapper 输出的每一行,Streaming 都将它翻译成一个用 tab

分隔的键值对(可以看到前面的例子中最后的结果 part-00000 都是一个值后面带一个 tab的.)所有键一致的键值对会进入相同的

reducer 处理

3.reducer 会以键为基准来给它里面所有的键值对排序.

countrymax.php:

![a4c26d1e5885305701be709a3d33442f.png][]

\[root@localhost bin\]\# ./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -D

mapred.reduce.tasks=0 -input ./apat63\_99.txt -output ./test -mapper

'php countrymax.php' -file countrymax.php

结果:

\[root@localhost bin\]\# ./hadoop fs -lsr ./test

\-rw-r--r--  1 root supergroup

0 2013-08-22 22:28

/user/root/test/\_SUCCESS

drwxr-xr-x  - root supergroup

0 2013-08-22 22:27

/user/root/test/\_logs

drwxr-xr-x  - root supergroup

0 2013-08-22 22:27

/user/root/test/\_logs/history

\-rw-r--r--  1 root supergroup

17810

2013-08-22 22:27

/user/root/test/\_logs/history/job\_201308151016\_0022\_1377181659913\_root\_streamjob7662184252282201690.jar

\-rw-r--r--  1 root supergroup

49018

2013-08-22 22:27

/user/root/test/\_logs/history/job\_201308151016\_0022\_conf.xml

\-rw-r--r--  1 root supergroup

980305 2013-08-22 22:27

/user/root/test/part-00000

\-rw-r--r--  1 root supergroup

4133610 2013-08-22 22:27

/user/root/test/part-00001

\-rw-r--r--  1 root supergroup

4220036 2013-08-22 22:28

/user/root/test/part-00002

\-rw-r--r--  1 root supergroup

1592593 2013-08-22 22:28

/user/root/test/part-00003

生成了四个 part-0000x 文件,原因上面已经说了.因为源文件占了四个分块

\[root@localhost bin\]\# ./hadoop fs -cat ./test/part-00000 |

tail -n 5

US 3

JP 6

JP 3

US 10

CA 7

为了让 reduce 能正确解析这些结果,键和值必须和 tab 隔开.如上

下面再写一个 reducer 逻辑,将 map 的结果进行整理

countrymaxreducer.php:

计算每个国家的声明总数

由于 mapper 的输出到 reducer

里的时候会按键排好序,而这里是用国家的标识作为键,所以.要计算一个国家的总数,只需要把那些连续的,同一标识的数据加起来.

![a4c26d1e5885305701be709a3d33442f.png][]

\[root@localhost bin\]\# ./hadoop jar

../contrib/streaming/hadoop-streaming-1.2.0.jar -D

mapred.reduce.tasks=1 -input ./apat63\_99.txt -output ./test -mapper

'php countrymax.php' -reducer 'php countrymaxreducer.php' -file

countrymax.php -file countrymaxreducer.php

结果:

\[root@localhost bin\]\# ./hadoop fs -cat ./test/part-00000 |

head -n 5

AD 70

AE 231

AG 106

AI 10

AM 18

[a4c26d1e5885305701be709a3d33442f.png]: /images/20221022/22124fbd17764f2bb63ef37a09c5bd03.png

php写hadoop,Hadoop --Streaming--PHP

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关用PHP写一个登录

相关帮我写PHP登录

相关 Php 高并发写日志,高并发下PHP写文件日志丢失

相关 php写hadoop,Hadoop --Streaming--PHP

相关 php 写一个函数,自己写的和收藏的一写php函数

相关 php写网页好弄吗,php写网页一般通过什么软件

相关中文写php,什么软件写php

相关 PHP类的继承、重写、重写...

相关 PHP写时复制技术

相关 php写二进制文件