Shuffle service и classpath
Каждая версия Spark может требовать свой shuffle jar и свой набор зависимостей. Ошибки в classpath приводят к нестабильным executor, странным падениям и сложной диагностике.
Единая эксплуатационная модель
Нужно заранее определить, какие версии поддерживаются, где лежат jar, как устроены history server, event logs, настройки compression, classloader и параметры spark-submit.
CI/CD и базовые проверки
После изменения Spark-стека полезны автоматические проверки: запуск простого job, проверка логов, eventLog, YARN application и корректной работы shuffle.
Когда схема работает стабильно
Несколько версий Spark становится рабочей схемой, если оформлен как продуктовая эксплуатационная модель: с поддерживаемыми версиями, базовыми проверками, понятным classpath и правилами вывода устаревших стеков.