spark学习，官网阅读完之后，练习官方给出的例子之后，就是阅读源码了，
学习spark，了解spark应用后，就是阅读源码了，阅读源码并不难，编译器打开就能知道，而要知道源码设计思路，为什么这么设计，就是一个比较困难的地方了
阅读spark源码，其核心要素就是围绕着RDD进行深入探究和spark的作业调度的生命周期。
1.理解RDD，需要把握RDD的两个核心操作，transformation 和 action
2.理解RDD的jobschedule，一个job又分为多个stage，每个阶段都包含多个RDD，其关系根据生成DAGSchedule进行调度，DAGSchedule包含多个RDD的translate，然后stage又是如何被分配到cluster中的。
以上两点是我在阅读源码中有所感触的地方
相关推荐
Spark是一个高效的分布式计算系统，发源...Spark立足于内存计算，相比Hadoop MapReduce，Spark在性能上要高100倍，而且Spark提供了比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
spark学习总结-入门
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架
使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 （1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-...
对于官方文档及网上一些知名博客的阅读后自己总结的一片理解文档。
大数据期末课设~基于spark的气象数据处理与分析 完整版Word 可以拿来直接交作业
学习spark 过程中的一些心得体会，保护了spark stream 和spark sql
Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成Java字节码，所以它可以运行于...
他/她的博客内容涵盖了各种技术话题，包括Spark环境搭建、编程语言体验以及AI深度学习模型等。 红目香薰在大数据领域有着丰富的经验和深厚的技术功底。他/她曾经在多篇博客文章中分享了自己对Hadoop和Spark等大数据...
波士顿房屋价格与Pyspark 使用PySpark和MLlib建立波士顿房价预测的线性回归Apache Spark已成为机器学习和数据科学中最常用和受支持的开源工具之一。 该项目是使用Apache Spark的spark.ml线性回归预测波士顿房价的...
基础知识：涵盖大数据概念、应用场景、Hadoop、Spark、Flink等技术的原理和区别。 技术能力：涉及大数据处理、分析、存储、可视化等方面的实际应用和经验分享。 解决问题能力：剖析实际项目中遇到的技术难题及解决...