Apr
27

Cloudera Impala TarBall Compile and Installation

img-impala

Impala是由Cloudera开发的高性能实时计算工具,相比Hive性能提升了几十、甚至近百倍,基本思想是将计算分发到每个Datanode所在的节点,依靠内存实现数据的缓存进行快速计算,类似的系统还有Berkeley的Shark。从实际测试来看,Impala效率确实不错,由于Impala大量使用C++实现,不使用CDH的Image而自己编译安装要费不少功夫,这里记录一下安装配置过程和碰到的一些问题。我在测试时候使用的是CentOS6.2。
一些基本的安装步骤在这里,但我在安装的时候碰到一些问题,这里再详细说明一下过程。

Aug
02

MorganStanley IT Summer Analyst


来MS刚好一个月,半年前也没想过自己会在这这里,唯一投的一家实习简历,起初目的是给自己点动力把简历更新一下,结果误打误撞就进来了,以前总觉得金融是个比较虚幻高端的东西,水太深,不太敢有兴趣去接触,曾经在大摩和微软弄的一个比赛里打了个酱油,弄了一两周才大致弄明白各种期权定价是怎么回事,事实证明这个经历对我没有什么太大作用,唯一的贡献就是让我知道摩根士丹利这个公司大概干些什么,还有就是告诉了我他们在招暑期实习生,听名字感觉很吊的样子,当时印象里总分不清楚摩根士丹利和JP摩根,还以为他们是一家公司,当然后来知道他们曾经是。