Welcome to Spark’s documentation!

Scala

• Scala 入门
  • 1.1 使用 Scala 解释器
  • 1.2 定义 Scala 变量
  • 1.3 定义 Scala 函数
  • 1.4 编写 Scala 脚本
  • 1.5 用 while 做循环，用 if 做判断
  • 1.6 用 foreach 和 for 遍历
  • 1.7 [Array] 用类型参数化数组
  • 1.8 [List] 使用列表
  • 1.9 [Tuple] 使用元组
  • 1.10 [Set, Map]使用集和映射
  • 1.11 识别函数式编程风格
  • 1.12 从文件读取文本行
• Scala Array
  • Scala 数组
• Scala OOP
  • 2. Scala面向对象编程
  • 2.9 特质
  • 3.包(package)和包引入(import)
  • 4.断言和测试
  • 5.样例类和匹配模式
• Scala 特点
  • Scala 语言语法特点
• Scala Set
  • 6.Scala集合对象
• Maven
  • test
  • test
• sbt
  • test
  • test

spark-book

• Spark Structured API
  • 1.Spark Structured API
  • 2.DataFrame
• Spark Data Sources
  • 1.Spark 数据源 API
  • 2.Spark 读取 CSV 文件
  • 3.Spark 读取 JSON 文件
  • 4.Spark 读取 Parquet 文件
  • 5.Spark 读取 ORC 文件
  • 6.Spark 读取 SQL Database
  • 7.Spark 读取 Text 文件
  • 8.高级 I/O
• Spark SQL
  • 1.Spark SQL 背景
  • 2.Spark SQL 运行
  • 3. Catalog
  • 4. 视图 (views)
  • 5. 数据库 (databases)
  • 6. 数据查询语句
  • 7. 复杂类型
  • 8. 函数
  • 9. 子查询
  • 10. 其他
• Spark DataSet
  • 1.Create DataSet
  • 2.Actions
  • 3.Transformations
  • 4.Joins
  • 5.Grouping and Aggregations
• Spark Low-Level API
  • 1.RDD
  • 2.Key-Value RDD
  • 3.Distributed Shared Variables(分布式共享变量)
• Spark 应用程序
  • 1 Spark Run on cluster
  • 2 开发 Spark 应用程序
  • 3 部署 Spark 应用程序
  • 4 Spark 应用程序监控和Debug(Monitoring and Debugging)
  • 5 Spark 应用程序性能调优
• Spark Structured Streaming
  • 1.Spark Streaming
  • 2.Spark Sturctured Streaming
• Spark MLlib
  • 1.Spark MLlib
  • 2.预处理和特征工程
  • 3.分类
  • 4.回归
  • 5.推荐系统
  • 6.无监督学习

spark-apache-org

• Spark
  • spark 核心概念
• Spark Shell
  • 1.spark shell
  • 2.运行python脚本
  • 添加一个对于spark-core工件的Maven依赖
  • 基本操作
  • 运行示例
• Spark SQL
  • 1.Spark SQL
• Spark RDD
  • Spark 应用依赖
  • Spark 初始化
  • RDDs (Resilent Distributed Datasets)
• Spark MLlib
  • test
  • test
• Spark Structured Streaming
  • test
  • test

spark-api

• pyspark API
  • Package 和 Subpackages
  • pyspark内容
• pyspark API
  • Package 和 Subpackages
  • pyspark.sql内容
• spark(scala) API
  • package
• Spark SQL
  • package
  • DataFrame 操作函数 API
  • Dataset API

spark-topic

• Spark 依赖
  • Spark 窄依赖
  • Spark 宽依赖
• Spark 分区
  • test1
  • test2
• Spark 分桶
  • test1
  • test2