企业官网建设流程全解析

本节实战围绕 Spark SQL 的默认数据源格式展开，核心是理解当未显式指定.format()时，Spark 如何默认使用 Parquet。首先介绍了spark.sql.sources.default配置项及其在spark-defaults.conf中的设置方法。随后通过一系列命令演示了完整的端到端流程：从查看和上传已有的users.parquet示例文件到 HDFS，到在 Spark Shell 中使用spark.read.load()（无.format()）成功读取该 Parquet 文件并展示其 Schema 和内容，再到使用df.write.save()（无.format()）将其以 Parquet 格式写出。课堂练习部分则引导用户将文本文件student.txt通过 Scala 代码手动处理成 DataFrame 并保存为student.parquet，再读取验证，最后还在 IntelliJ IDEA 中创建了一个完整的 Maven + Scala 项目，通过编程方式读取 Parquet 文件、执行 SQL 过滤并保存结果，全面展示了 Parquet 作为默认格式的读写实践。