Hive on Spark 和 Spark on Hive 是两个不同的大数据处理架构，它们各自有不同的实现方式和应用场景。以下是两者的对比：
Hive on Spark
概念: Hive on Spark 是指在 Hive 中使用 Spark 作为执行引擎，而不是传统的 MapReduce。这意味着 Hive 的查询语句会被转换为 Spark 作业来执行。
优点:
- 性能: Spark 比 MapReduce 更高效，尤其是在迭代计算和内存计算方面。
- 速度: Spark 提供了更快的数据处理速度，适合实时和批处理任务。
- 兼容性: 支持现有的 Hive 查询和数据模型，用户不需要重新学习新的编程模型。
缺点:
- 资源占用: Spark 运行在内存中，对资源的需求较高，可能需要更多的内存和计算资源。
- 稳定性: 虽然 Spark 发展迅速，但在某些特定场景下可能不如 MapReduce 稳定。
Spark on Hive
概念: Spark on Hive 通常是指在 Spark 应用程序中使用 Hive 作为元数据存储和查询引擎。这意味着 Spark 程序可以直接查询 Hive 表，利用 Hive 的元数据和存储机制。
优点:
- 灵活性: Spark 可以直接使用 Hive 的元数据和存储系统，结合 Spark 的强大计算能力，提供了很高的灵活性。
- 扩展性: 可以利用 Spark 的扩展功能和库（如 MLlib, GraphX），进行更复杂的数据处理和分析。
- 兼容性: 通过 HiveContext 或 Spark SQL，开发者可以在 Spark 应用中使用 HiveQL 查询。
缺点:
- 复杂性: 需要一定的 Spark 编程经验，用户需要学习 Spark 的编程模型和 API。
- 维护: 由于涉及到多个系统的集成，可能需要更多的运维和调试工作。
总结
- Hive on Spark 更适合那些已经有大量 Hive 代码并希望通过更高效的执行引擎（Spark）来提高性能的场景。
- Spark on Hive 则更适合需要结合 Spark 的强大计算能力，并希望利用 Hive 的元数据和存储优势的场景。
选择哪种架构取决于具体的应用需求、现有的技术栈以及团队的技术能力。
推荐阅读：
数据仓库之Hive-CSDN博客
大数据平台之Spark-CSDN博客
