spark调试遇到的问题--hibench的使用及问题

调试遇到了很多问题，从中总结出最重要的一条就是：一定要看log！！！！！！！！！！

配置hibench跟着github文档就好了，唯一可能出问题的就是版本问题，所以一定要先了解下各个组件的版本限制

运行streaming调试需要的文档：https://github.com/intel-hadoop/HiBench/blob/master/docs/run-streamingbench.md

在我测试的时候出现很多奇怪的问题，第一个：

某个excutor上面的task总是失败，查看日志文件后tmp/spark-76e6a062-e190-46ca-ae05-2ad7ad33810b/executor-340bde76-c792-426c-934c-ccd9e2897f12/spark-9...No space left on device

总之就是没空间了，那么

（1）首先确定是哪个节点的excutor

（2）往后看，因为master需要发送相关东西到worker的/spark/work文件夹中，那么可能这地方就是没空间的问题所在

总之，我删了点work文件中的东西就变好了