Практические материалы для платформенных и DevOps-команд: Hadoop, Kafka, Kerberos, Apache Ranger, Spark, YARN, Hive и автоматизация. Пишем так, чтобы до первого разговора было понятно, как мы смотрим на проблему и результат
В Kerberos-среде Spark часто обвиняют в проблемах безопасности, хотя реальная причина может быть в YARN, classpath, delegation tokens, Ranger, Hive Metastore или сетевой доступности KDC. Важно быстро отделить Kerberos-ошибку от похожих симптомов.
Читать статью →Kerberos в Hadoop нельзя включать как одну галочку в конфиге. Это изменение затрагивает NameNode, ResourceManager, Hive, Spark, Kafka-интеграции, пользователей, service accounts и все клиентские сценарии.
Читать статью →Главная проблема Ranger обычно не в установке, а в том, что политики быстро превращаются в набор исключений, временных разрешений и спорных правил.
Читать статью →Несколько версий Spark в одном кластере нужны, когда разные команды не могут одновременно переехать на один стек. Но без строгой изоляции это быстро превращается в конфликт зависимостей.
Читать статью →Когда YARN-контейнеры потребляют больше памяти, чем должны, OOM на уровне узла убивает процессы слишком грубо. Для рабочего кластера лучше иметь контролируемое поведение на уровне контейнера.
Читать статью →Обновление Hadoop редко ломается в одном месте. Обычно проблема появляется на стыке версий, конфигурации, клиентских библиотек, безопасности и прикладных сценариев.
Читать статью →Kafka можно закрыть ACL, но для большой платформы этого часто недостаточно. Нужны понятные правила, аудит, жизненный цикл доступов и удобная схема сопровождения.
Читать статью →В больших платформах опасны не только сложные изменения, но и повторяемые ручные действия: правка конфигов, перезапуски, проверки и откаты.
Читать статью →Hive hooks позволяют встроить дополнительную логику в выполнение запросов: аудит, контроль, маршрутизацию, интеграции и внутренние правила платформы.
Читать статью →