Spark On Yarn系列文章
Spark On Yarn：提交Spark应用程序到Yarn 在Yarn上运行spark-shell和spark-sql命令行 SparkSQL On Yarn with Hive，操作和访问Hive表 持续更新中。。。 您可以关注 我的博客，或者 加入邮件列表 ，随时接收博客更新的通知邮件。 转载请注明：lxw的大数据田地 » Spark On Yarn系列文章
View ArticleClik here to view.
Spark1.5发布
Apache Spark社区刚刚发布了1.5版本，大家一定想知道这个版本的主要变化，这篇文章告诉你答案。 DataFrame执行后端优化（Tungsten第一阶段） DataFrame可以说是整个Spark项目最核心的部分，在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成。主要的变化是由Spark 自己来管理内存而不是使用JVM，这样可以避免JVM...
View ArticleClik here to view.
Clik here to view.
Spark动态资源分配-Dynamic Resource Allocation
关键字：spark、资源分配、dynamic resource allocation Spark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在Spark On...
View ArticleClik here to view.
Spark MLlib实现的广告点击预测–Gradient-Boosted Trees
关键字：spark、mllib、Gradient-Boosted Trees、广告点击预测 本文尝试使用Spark提供的机器学习算法 Gradient-Boosted Trees来预测一个用户是否会点击广告。 训练和测试数据使用Kaggle Avazu CTR 比赛的样例数据，下载地址：https://www.kaggle.com/c/avazu-ctr-prediction/data...
View ArticleClik here to view.
Spark的性能调优
下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。 基本概念和原则 首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起： 每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面...
View ArticleClik here to view.
Spark MLlib实现的中文文本分类–Naive Bayes
关键字：spark mllib、文本分类、朴素贝叶斯、naive bayes 文本分类是指将一篇文章归到事先定义好的某一类或者某几类，在数据平台的一个典型的应用场景是，通过爬取用户浏览过的页面内容，识别出用户的浏览偏好，从而丰富该用户的画像。 本文介绍使用Spark MLlib提供的朴素贝叶斯（Naive...
View ArticleSpark机器学习API之特征处理（一）
关键字：spark、机器学习、特征处理 Spark机器学习库中包含了两种实现方式，一种是spark.mllib，这种是基础的API，基于RDDs之上构建，另一种是spark.ml，这种是higher-level API，基于DataFrames之上构建，spark.ml使用起来比较方便和灵活。...
View ArticleClik here to view.
Scala基于Akka的Remote Actor实现的简单RPC
关键字：spark、scala、rpc、akka、remote actor Spark中的RPC是使用Akka实现的，Akka的设计目标就是为分布式，Actor之间的交互都是通过消息，并且所有动作都是异步的。 在Spark应用程序中会有需要实现RPC的功能，比如：从一个一直运行的Spark Streaming应用程序中实时获取一些数据，或者更新一些变量等等，这时候，可以使用Akka的Remote...
View ArticleClik here to view.
Spark机器学习API之特征处理（二）
关键字：spark、机器学习、特征处理、特征选择 Spark机器学习库中包含了两种实现方式，一种是spark.mllib，这种是基础的API，基于RDDs之上构建，另一种是spark.ml，这种是higher-level API，基于DataFrames之上构建，spark.ml使用起来比较方便和灵活。...
View Article