Создание и использование Helm-чартов в Kubernetes

1. Непредсказуемые пики нагрузки. Количество заказов может резко увеличиваться в пиковые моменты — это приводит к перегрузке системы и снижению производительности.
2. Неэффективное использование ресурсов. Вручную управлять ресурсами и масштабировать систему сложно и затратно по времени, часто серверы и другие вычислительные мощности используются нерационально.
3. Длительное восстановление после сбоев. В случае сбоя одного из сервисов требуется значительное время для его восстановления и обеспечения стабильной работы всей системы.
4. Сложность развёртывания и обновления. Управление зависимостями между микросервисами и их развёртывание требует значительных усилий, из-за этого замедляется процесс выпуска новых версий и исправлений.
5. Различия в средах разработки и эксплуатации. Из-за различий в конфигурации сред разработки, тестирования и продакшна возникают проблемы при переходе между этими средами и приложения начинают вести себя непредсказуемо.

Оркестрация контейнеров

Основные задачи оркестрации контейнеров

1. Автоматическое развёртывание и управление. Оркестрационные системы автоматически развёртывают контейнеры на кластере серверов и управляют их состоянием. Это обеспечивает быструю и надёжную доставку приложений.
2. Масштабирование. В зависимости от нагрузки оркестратор может автоматически добавлять или удалять экземпляры контейнеров, чтобы эффективно использовать ресурсы и поддерживать производительность приложений.
3. Обнаружение сервисов и балансировка нагрузки. Оркестраторы автоматически обнаруживают сервисы и делят нагрузку между контейнерами. Это позволяет равномерно распределять запросы и обеспечивать высокую доступность приложений.
4. Управление конфигурацией и секретами. Оркестрационные системы позволяют централизованно управлять конфигурациями и секретами (например, паролями и ключами), что повышает безопасность и упрощает администрирование.
5. Мониторинг и восстановление. Оркестраторы постоянно отслеживают состояние контейнеров и автоматически перезапускают упавшие контейнеры — обеспечивают непрерывность работы приложений.

Примеры оркестрационных систем

• Kubernetes — самая популярная и мощная система оркестрации контейнеров, разработанная Google и переданная в open-source сообществу. Kubernetes предоставляет полный набор инструментов для автоматизации развёртывания, масштабирования контейнеризированных приложений и управления ими.
• Docker Swarm — встроенная в Docker система оркестрации, которая позволяет легко развёртывать контейнеры в кластере и управлять ими. Docker Swarm прост в настройке и использовании — хороший выбор для небольших проектов.
• Apache Mesos и Marathon. Mesos — это система распределённого управления ресурсами, которая может использоваться для оркестрации контейнеров, а Marathon — фреймворк для развёртывания контейнеризированных приложений на основе Mesos и управления ими.

История и развитие

1. Интеграция с облачными платформами Интеграция с облачными провайдерами (например, AWS, Azure и Google Cloud) для более эффективного использования облачных ресурсов.
2. Автоматизация и AI Использование машинного обучения и искусственного интеллекта для автоматизации управления контейнерами и оптимизации ресурсов.
3. Улучшение безопасности Разработка новых инструментов и методов для обеспечения безопасности контейнеризированных приложений.
4. Гибридные и мультиоблачные решения Поддержка развёртывания контейнеров и управления ими в гибридных и мультиоблачных средах.

Kubernetes

1. Кластер Состоит из одного или нескольких мастер-узлов и рабочих узлов (англ. nodes).
2. Мастер-узлы Управляют состоянием кластера, отвечают за планирование и координацию работы контейнеров.
3. Рабочие узлы Запускают контейнеры и управляют ими.
4. Под (Pod) Наименьшая единица в Kubernetes, представляющая собой один или несколько контейнеров, которые работают вместе.
5. Службы (Services) Обеспечивают постоянный доступ к наборам подов, абстрагируя сетевые детали.
6. Конфигурации (ConfigMaps) и секреты (Secrets) Хранят конфигурационные данные и чувствительную информацию соответственно.
7. Контроллеры (Controllers) Управляют состоянием приложений, обеспечивают автоматическое восстановление и масштабирование.

Зачем нужен Kubernetes

1. Автоматизация развёртывания Позволяет автоматически развёртывать и обновлять приложения.
2. Масштабируемость Автоматически масштабирует приложения в зависимости от нагрузки.
3. Высокая доступность Обеспечивает отказоустойчивость и самовосстановление приложений.
4. Управление ресурсами Оптимально распределяет ресурсы между контейнерами.
5. Сетевые взаимодействия Обеспечивает автоматическую настройку сетевых взаимодействий между контейнерами.

Helm

1. Сложность развёртывания При каждом обновлении микросервиса инженеры вручную создают и изменяют YAML-файлы для Kubernetes-ресурсов (Deployment, Service и другие). На это уходит много времени, появляются ошибки.
2. Управление версиями Поддержка разных версий приложений и откат изменений требуют сложных манипуляций с конфигурациями и создают риск ошибок.
3. Масштабируемость Изменение конфигураций для масштабирования приложений требует ручного редактирования и применения YAML-файлов, что увеличивает время и усилия, необходимые для управления инфраструктурой.

1. Сложность развёртывания
   • Инженеры создают Helm-чарт, который пакетирует все конфигурации Kubernetes-ресурсов в едином наборе шаблонов. Это позволяет легко управлять конфигурациями и повторно использовать их.
   • Используется команда helm install для развёртывания приложения с использованием Helm-чарта. Это автоматизирует процесс создания и применения всех необходимых ресурсов Kubernetes.
2. Управление версиями
   • Helm позволяет легко обновлять приложения и управлять версиями с помощью команды helm upgrade и при необходимости откатывать изменения с помощью helm rollback.
3. Масштабируемость
   • Helm помогает легко менять конфигурации для масштабирования приложения — нужно просто исправить значения в values.yaml и обновить релиз.

Основные компоненты Helm

1. Чарты (Charts)
   Чарты — это пакеты Helm, содержащие все необходимые описания Kubernetes-ресурсов для развёртывания приложения. Они включают шаблоны YAML-файлов, которые определяют конфигурацию и ресурсы Kubernetes — Pods, Services, Deployments и другие. Чарты также могут включать зависимости и скрипты для предварительной и последующей настройки.
   Чарты позволяют пакетировать все необходимые конфигурации и зависимости приложения в один пакет, что делает развёртывание приложений и управление ими более удобным и повторяемым.
   Пример:
   Скопировать код

   YAML

    # Chart.yaml
    apiVersion: v2
    name: quickdelivery
    description: A Helm chart for QuickDelivery microservice
    type: application
    version: 1.0.0
    appVersion: 1.0.0
   
    # values.yaml
    replicaCount: 3
    image:
      repository: quickdelivery/microservice
      tag: latest
      pullPolicy: IfNotPresent
    service:
      type: ClusterIP
      port: 8080
   
    # templates/deployment.yaml
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: {{ .Release.Name }}-deployment
    spec:
      replicas: {{ .Values.replicaCount }}
      selector:
        matchLabels:
          app: {{ .Release.Name }}
      template:
        metadata:
          labels:
            app: {{ .Release.Name }}
        spec:
          containers:
            - name: {{ .Chart.Name }}
              image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
              ports:
                - containerPort: 8080
     
2. Репозитории (Repositories)
   Репозитории — это хранилища, где размещаются чарты. Репозитории упрощают доступ к чартам и управление ими, помогают легко находить и использовать готовые решения для распространённых задач, позволяют делиться чартами с другими пользователями и командами.
   Репозитории могут быть публичными или частными. Публичные репозитории (например, Artifact Hub) предоставляют доступ к большому количеству готовых чартов для различных приложений и сервисов.
   Пример:
   Скопировать код

   BASH

    # Добавление репозитория
    helm repo add bitnami https://charts.bitnami.com/bitnami
   
    # Обновление списка чартов из репозиториев
    helm repo update
   
    # Поиск чарта в репозитории
    helm search repo bitnami
     
3. Релизы (Releases)
   Релизы — это развёрнутые инстансы чартов в кластере Kubernetes. Каждый раз, когда чарт устанавливается в кластер, создаётся новый релиз. Его можно обновлять, отменять и удалять, то есть эффективно управлять жизненным циклом приложений.
   Релизы позволяют управлять состоянием развёрнутых приложений, обеспечивают контроль версий и возможность отката. Это особенно полезно для управления обновлениями и восстановлением в случае проблем.
   Пример:
   Скопировать код

    # Установка чарта и создание релиза
    helm install quickdelivery ./quickdelivery-chart
   
    # Просмотр списка релизов
    helm list
   
    # Обновление релиза
    helm upgrade quickdelivery ./quickdelivery-chart
   
    # Откат к предыдущей версии релиза
    helm rollback quickdelivery 1
   
    # Удаление релиза
    helm uninstall quickdelivery
     

Зачем нужен Helm

1. Управление приложениями Позволяет легко развёртывать, обновлять и удалять приложения.
2. Управление зависимостями Обеспечивает управление зависимостями между компонентами приложения.
3. Версионирование и откаты Позволяет управлять версиями приложений и откатываться к предыдущим версиям при необходимости.
4. Консистентность и воспроизводимость Гарантирует, что развёртывания будут идентичными во всех средах.

Структура Helm-чарта

1. Chart.yaml — основной файл, содержащий метаданные чартов. Определяет информацию о чарте — имя, версия, описание и другие метаданные.
   Скопировать код

   YAML

    apiVersion: v2
    name: my-chart
    description: A Helm chart for Kubernetes
    type: application
    version: 1.0.0
    appVersion: 1.0.0
     
   • name: имя чарта.
   • version: версия чарта.
   • appVersion: версия приложения, которую развёртывает этот чарт.

2. values.yaml — файл конфигурации с параметрами по умолчанию. Содержит значения конфигурации, которые могут быть изменены при установке чарта для адаптации к различным средам.
   Скопировать код

   YAML

    replicaCount: 2
    image:
      repository: my-docker-repo/my-app
      tag: latest
      pullPolicy: IfNotPresent
    service:
      type: ClusterIP
      port: 80
     
   • replicaCount: количество реплик приложения.
   • image: настройки Docker-образа.
   • service: настройки сервиса Kubernetes.

3. templates/ — директория с шаблонами ресурсов Kubernetes. Тут находятся файлы, которые описывают ресурсы Kubernetes, — Deployment, Service, ConfigMap и другие.
   Скопировать код

   YAML

    # templates/deployment.yaml
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: {{ .Release.Name }}-deployment
    spec:
      replicas: {{ .Values.replicaCount }}
      selector:
        matchLabels:
          app: {{ .Release.Name }}
      template:
        metadata:
          labels:
            app: {{ .Release.Name }}
        spec:
          containers:
            - name: {{ .Chart.Name }}
              image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
              ports:
                - containerPort: 80
     
   • .Values.replicaCount : использует значение из файла values.yaml.
   • .Release.Name : имя релиза Helm.
4. charts/ — директория для зависимых чартов. Здесь могут находиться другие чарты, от которых зависит текущий. Это позволяет организовать сложные приложения с несколькими компонентами.
   Пример корректного определения зависимостей в Chart.yaml:
   Скопировать код

   YAML

    # Внутри Chart.yaml
    dependencies:
    - name: mysql
      version: "1.6.4"
      repository: "https://charts.bitnami.com/bitnami"
      condition: mysql.enabled
     
   • dependencies: список зависимых чартов, которые необходимы для развёртывания текущего чарта. Эти зависимости автоматически скачиваются в директорию charts/ при выполнении команды helm dependency update.

5. requirements.yaml — файл, в котором указываются зависимости чартов. Позволяет определить, какие другие чарты необходимы для развёртывания текущего.
   Скопировать код

   YAML

    dependencies:
    - name: redis
      version: "14.8.8"
      repository: "https://charts.bitnami.com/bitnami"
     
   • dependencies: список зависимых чартов с указанием их версий и репозиториев.

    quickdelivery/
      Chart.yaml
      values.yaml
      templates/
        deployment.yaml
        service.yaml
      charts/
      requirements.yaml
     

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: {{ .Release.Name }}-{{ .Chart.Name }}
    spec:
      replicas: {{ .Values.replicaCount }}
      selector:
        matchLabels:
          app: {{ .Release.Name }}-{{ .Chart.Name }}
      template:
        metadata:
          labels:
            app: {{ .Release.Name }}-{{ .Chart.Name }}
        spec:
          containers:
          - name: {{ .Chart.Name }}
            image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
            ports:
            - containerPort: {{ .Values.service.port }}
     

    apiVersion: v1
    kind: Service
    metadata:
      name: {{ .Release.Name }}-service
    spec:
      type: {{ .Values.service.type }}
      ports:
        - port: {{ .Values.service.port }}
          targetPort: 8080
      selector:
        app: {{ .Release.Name }
     

Подробнее про структуру Helm-чарта

• Документация про чарты в Helm.
• Документация про файл конфигурации.
• Раздел документации о директории templates.
• Раздел документации про директорию для зависимых чартов.
• Раздел документации о файле requirements.yaml.

Создание Helm-чарта для QuickDelivery

1. Создание нового чарта
   Задача: Создать базовую структуру Helm-чарта, которая будет содержать все необходимые файлы и директории для конфигурации приложения.
   Скопировать код

   BASH

   helm create quickdelivery 
   Эта команда создаст структуру каталогов и файлов, необходимых для чартов. Вы получите преднастроенные директории для шаблонов Kubernetes, конфигурационные файлы и метаданные чарта. Это помогает стандартизировать структуру и упростить работу с чартами в будущем.
2. Редактирование Chart.yaml
   Задача: Указать основные метаданные для вашего приложения, такие как имя, версия и описание.
   В файле Chart.yaml укажите метаданные вашего приложения — имя, версию и описание. Этот файл определяет ваш чарт и делает его уникальным. Эти данные полезны для документирования версий чарта и управления ими.
   Пример:
   Скопировать код

   YAML

   name: quickdelivery
   version: 0.1.0
   description: A Helm chart for QuickDelivery application 
3. Конфигурация values.yaml
   Задача: Задать параметры конфигурации по умолчанию для вашего приложения.
   В файле values.yaml укажите параметры конфигурации по умолчанию, такие как настройки базы данных, API-ключи и другие переменные. Этот файл позволяет централизованно управлять конфигурацией вашего приложения, облегчая кастомизацию при развёртывании.
   Пример:
   Скопировать код

   YAML

   image:
    repository: quickdelivery/app
    tag: latest
   
   service:
    type: ClusterIP
    port: 80 
4. Создание шаблонов
   Задача: Создать шаблоны ресурсов Kubernetes, которые будут использоваться для развёртывания вашего приложения.
   В директории templates создайте файлы шаблонов для ресурсов Kubernetes — Deployment, Service, ConfigMap. Используйте язык шаблонов Go для динамической подстановки значений из values.yaml. Это позволяет гибко управлять развёртыванием вашего приложения в зависимости от окружения.
   Пример шаблона Deployment:
   Скопировать код

   YAML

   apiVersion: apps/v1
   kind: Deployment
   metadata:
    name: {{ .Release.Name }}-deployment
    labels:
      app: {{ .Chart.Name }}
   spec:
    replicas: 2
    template:
      metadata:
        labels:
          app: {{ .Chart.Name }}
      spec:
        containers:
        - name: {{ .Chart.Name }}
          image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
          ports:
          - containerPort: {{ .Values.service.port }}
   
     

Развёртывание Helm-чарта для QuickDelivery

1. Инициализация Helm
   Задача: Подготовить Helm для работы с кластером Kubernetes.
   Скопировать код

   BASH

    helm init
     
   Эта команда инициализирует Helm в вашем кластере Kubernetes, устанавливая необходимый для работы Helm сервер — Tiller (для Helm v2). Это первый шаг для работы с чартами в вашем кластере. Если вы используете Helm v3, данный шаг не применим.
2. Установка чартов
   Задача: Развернуть приложение QuickDelivery в кластере Kubernetes с помощью Helm-чарта.
   Скопировать код

   BASH

    helm install quickdelivery --name quickdelivery
     
   Эта команда установит чарт в кластере, создавая все необходимые ресурсы Kubernetes, такие как Deployment, Service, ConfigMap и другие. Helm автоматически подставит значения из values.yaml и развернёт приложение. Это упрощает процесс развёртывания и обеспечивает консистентность.
3. Проверка развёртывания
   Задача: Убедиться, что приложение успешно развёрнуто и работает.
   Скопировать код

   BASH

    kubectl get all -l app=quickdelivery
     
   Эта команда покажет все ресурсы Kubernetes, связанные с вашим приложением, и их текущий статус. Это важно для подтверждения успешного развёртывания и для отладки в случае проблем.

Обновление Helm-чарта

1. Внесение изменений в чарт
   Задача: Обновить чарт для поддержки новых функций или исправления ошибок.
   Обновите файлы шаблонов или values.yaml в соответствии с новыми требованиями. Это позволяет легко вносить изменения в развёрнутые приложения без необходимости полного повторного развёртывания.
2. Обновление развёрнутого приложения
   Задача: Применить изменения в кластере без прерывания работы приложения.
   Скопировать код

   BASH

    helm upgrade quickdelivery quickdelivery
     
   Эта команда обновит развёрнутое приложение, применив новые конфигурации и шаблоны. Helm управляет процессом обновления, обеспечивая плавное и безопасное развёртывание новых версий.
3. Проверка обновления Задача: Убедиться, что обновление прошло успешно и приложение работает корректно.
   Скопировать код

   BASH

    kubectl get all -l app=quickdelivery
     
   Эта команда позволит вам убедиться, что изменения были успешно применены и что приложение работает стабильно после обновления.

CI/CD & Kubernetes

Шаг 1. Настройка CI/CD-конвейера с использованием Jenkins

1. Установите плагины для Jenkins
   • Git для работы с репозиторием.
   • Pipeline для создания конвейеров.
   • Docker Pipeline для работы с Docker-контейнерами.
2. Создание Jenkinsfile В корневом каталоге репозитория создайте файл Jenkinsfile, который будет описывать ваш конвейер.

pipeline {
    agent any

    environment {
        DOCKER_IMAGE = "quickdelivery:latest"
        HELM_RELEASE = "quickdelivery"
    }

    stages {
        stage('Checkout') {
            steps {
                git 'https://github.com/your-repo/quickdelivery.git'
            }
        }

        stage('Build Docker Image') {
            steps {
                script {
                    docker.build(DOCKER_IMAGE)
                }
            }
        }

        stage('Push Docker Image') {
            steps {
                script {
                    docker.withRegistry('https://registry.hub.docker.com', 'docker-hub-credentials') {
                        docker.image(DOCKER_IMAGE).push()
                    }
                }
            }
        }

        stage('Deploy to Kubernetes') {
            steps {
                script {
                    sh "helm upgrade --install ${HELM_RELEASE} ./helm/quickdelivery"
                }
            }
        }
    }
} 

3. Настройка Jenkins
   • Создайте новый Pipeline job в Jenkins.
   • Укажите путь к вашему репозиторию и Jenkinsfile.
4. Запустите конвейер и убедитесь, что все этапы проходят успешно.

Шаг 2. Автоматизация процессов с использованием скриптов

1. Создание скрипта для сборки Docker-образа
   Скопировать код

   BASH

    # build.sh
    docker build -t quickdelivery:latest .
     
2. Создание скрипта для развёртывания с помощью Helm
   Скопировать код

   BASH

    # deploy.sh
    helm upgrade --install quickdelivery ./helm/quickdelivery
     
3. Интеграция скриптов в CI/CD В Jenkinsfile добавьте этапы для вызова этих скриптов.
   Скопировать код

   GROOVY

    pipeline {
        agent any
   
        stages {
            stage('Checkout') {
                steps {
                    git 'https://github.com/your-repo/quickdelivery.git'
                }
            }
   
            stage('Build Docker Image') {
                steps {
                    sh './build.sh'
                }
            }
   
            stage('Deploy to Kubernetes') {
                steps {
                    sh './deploy.sh'
                }
            }
        }
    }
     

Шаг 3. Управление версиями приложений с помощью Helm

1. Версионирование чартов В файле Chart.yaml укажите версию вашего чарта, например:
   Скопировать код

   YAML

    version: 0.1.0
     
2. Управление версиями Docker-образов В файле values.yaml укажите тег Docker-образа:
   Скопировать код

   YAML

    image:
      tag: "1.0"
     
3. Обновление версии При внесении изменений обновите версии в Chart.yaml и values.yaml. Затем выполните:
   Скопировать код

   BASH

    helm upgrade quickdelivery ./helm/quickdelivery
     
4. Роллбэки В случае необходимости отката к предыдущей версии используйте команду:
   Скопировать код

   BASH

    helm rollback quickdelivery <revision>
     

Шаг 4. Оркестрация приложений с использованием Helm

1. Создание зависимостей В файле requirements.yaml укажите зависимости между компонентами вашего приложения, например:
   Скопировать код

   YAML

    dependencies:
      - name: redis
        version: "3.0.0"
        repository: "https://charts.bitnami.com/bitnami"
     
2. Управление зависимостями Выполните команду для установки или обновления зависимостей:
   Скопировать код

   BASH

    helm dependency update ./helm/quickdelivery
     
3. Развёртывание с зависимостями Разверните ваше приложение с установленными зависимостями:
   Скопировать код

   BASH

    helm install quickdelivery ./helm/quickdelivery
     
4. Мониторинг и управление Используйте Kubernetes Dashboard или другие инструменты мониторинга для отслеживания состояния вашего приложения и его зависимостей.

Итоги

• Для решения проблем с эффективностью и надёжностью систем используют контейнеризацию. Контейнеры позволяют упаковывать приложение и все его зависимости в один портативный, изолированный пакет. Это упрощает развёртывание и эксплуатацию приложения.
• Управляют контейнерами при помощи оркестрации — это процесс автоматизации развёртывания, управления, масштабирования и сетевого взаимодействия контейнеризированных приложений.
• Управлять сразу множеством контейнеров бывает сложно. Для этого используются специальные системы (например, Kubernetes). Kubernetes — это открытая система для автоматизации развёртывания, масштабирования контейнеризированных приложений и управления ими. Kubernetes обеспечивает высокую доступность, масштабируемость и управляемость приложений.
• Для работы с Kubernetes используют пакетный менеджер Helm. Он помогает решать проблемы с развёртыванием, обновлением и масштабируемостью приложений.
• Один из основных компонентов Helm — чарты. Чарты позволяют пакетировать все необходимые конфигурации и зависимости приложения в один пакет. Интеграция Helm-чартов в CI/CD-конвейер автоматизирует процесс сборки, тестирования и развёртывания приложений.