Лучшие практики работы с микросервисами, 12-факторные приложения и CNCF

Принципы 12-факторных приложений

1. Кодовая база (Codebase)

• Проблема: Кодовая база разбита на несколько репозиториев для различных компонентов системы, что усложняет развёртывание и управление версиями.
• Решение: Объединить кодовую базу в едином репозитории и обеспечить использование одной и той же кодовой базы для всех окружений (разработка, тестирование, продакшн).

• Хранится ли весь код в едином репозитории системы контроля версий?
• Используется ли одна кодовая база для всех развёртываний приложения?

• Все команды разработчиков работают с одной и той же кодовой базой.
• В различных окружениях (разработка, тестирование, продакшн) используется одна и та же кодовая база.

2. Зависимости (Dependencies)

• Проблема: Зависимости неявно указаны в конфигурационных файлах, что затрудняет установку и обновление.
• Решение: Явно указать все зависимости в манифестах, таких как requirements.txt или pom.xml, и автоматизировать их установку при развёртывании.

• Явно ли указаны все зависимости в файлах конфигурации?
• Можно ли установить все зависимости с помощью одной команды?

• Все зависимости указаны в манифестах, таких как requirements.txt или pom.xml.
• Зависимости устанавливаются автоматически при развёртывании приложения.

3. Конфигурация (Config)

• Проблема: Конфигурация хранится в коде и требует изменений в коде для настройки, что усложняет процесс развёртывания.
• Решение: Перенести конфигурационные параметры в переменные окружения, чтобы настройки можно было изменять без изменения кода.

• Хранятся ли конфигурационные параметры в переменных окружения?
• Можно ли изменять настройки приложения без изменения его кода?

• Все конфигурационные параметры хранятся вне кода приложения.
• Изменение настроек не требует изменения и повторного развёртывания кода.

4. Сторонние службы (Backing Services)

• Проблема: Приложение жёстко связано с конкретными реализациями бэкенд-сервисов (например, база данных, кэш), что затрудняет замену или обновление сервисов.
• Решение: Рассматривать все бэкенд-сервисы как прикреплённые ресурсы, которые можно легко заменить или обновить без изменения кода приложения.

• Рассматриваются ли все бэкенд-сервисы как прикреплённые ресурсы?
• Можно ли легко заменить один сервис другим аналогичным?

• Все бэкенд-сервисы (базы данных, кэши, очереди сообщений) могут быть легко заменены.
• Приложение не зависит жёстко от конкретных реализаций сервисов.

5. Сборка, выпуск, запуск (Build, Release, Run)

• Проблема: Процессы сборки, выпуска и запуска не разделены, что приводит к путанице и ошибкам при развёртывании.
• Решение: Ясно разделить процессы сборки, выпуска и запуска, гарантируя, что каждый выпуск неизменяем и содержит все необходимые зависимости и конфигурации.

• Разделены ли процессы сборки, выпуска и запуска?
• Является ли каждый выпуск неизменяемым?

• Процесс развёртывания приложения чётко разделён на стадии сборки, выпуска и запуска.
• Каждый выпуск приложения неизменяем и содержит все необходимые зависимости и конфигурации.

6. Процессы (Processes)

• Проблема: Процессы состояния приложения сохраняют данные внутри процесса, что затрудняет масштабирование и перезапуск.
• Решение: Сделать процессы stateless и хранить данные вне процессов в постоянных хранилищах.

• Являются ли процессы stateless?
• Хранятся ли данные вне процессов?

• Все процессы являются stateless и могут быть перезапущены без потери данных.
• Все данные хранятся в постоянных хранилищах, таких как базы данных.

7. Порт привязки (Port Binding)

• Проблема: Приложение требует внешнего веб-сервера для обработки запросов, что усложняет развёртывание и управление.
• Решение: Экспортировать HTTP-сервис через привязку к порту, чтобы приложение было самодостаточным.

• Экспортирует ли приложение HTTP-сервис через привязку к порту?
• Является ли приложение самодостаточным?

• Приложение экспортирует свои услуги через привязку к порту.
• Приложение может работать независимо от внешнего веб-сервера.

8. Конкурентные процессы (Concurrency)

• Проблема: Приложение не поддерживает масштабирование путём запуска нескольких процессов или потоков, что ограничивает его производительность.
• Решение: Поддерживать запуск множества процессов или потоков для масштабирования и эффективного использования ресурсов.

• Может ли приложение масштабироваться путём запуска нескольких процессов или потоков?
• Эффективно ли приложение использует ресурсы системы?

• Приложение поддерживает запуск множества процессов или потоков для масштабирования.
• Приложение эффективно использует ресурсы сервера.

9. Утилизируемость (Disposability)

• Проблема: Процессы не могут быть быстро перезапущены или остановлены, что затрудняет масштабирование и обновление.
• Решение: Обеспечить возможность быстрого запуска и остановки процессов, а также лёгкость масштабирования в зависимости от нагрузки.

• Могут ли процессы быть быстро перезапущены или остановлены?
• Готово ли приложение к масштабированию в зависимости от нагрузки?

• Процессы приложения могут быть быстро запущены и остановлены.
• Приложение легко масштабируется в зависимости от текущей нагрузки.

10. Среды разработки и эксплуатации (Dev/Prod Parity)

• Проблема: Среда разработки существенно отличается от среды эксплуатации, что приводит к неожиданным проблемам при развёртывании.
• Решение: Сделать среду разработки максимально приближенной к среде эксплуатации, используя одинаковые инструменты и процессы.

• Насколько среда разработки соответствует среде эксплуатации?
• Используются ли одинаковые инструменты и процессы в обеих средах?

• Среда разработки максимально приближена к среде эксплуатации.
• Одинаковые инструменты и процессы используются в обоих окружениях.

11. Логи (Logs)

• Проблема: Логи приложения хранятся в файлах, что затрудняет их сбор и анализ.
• Решение: Писать логи в стандартный вывод (stdout) и использовать инструменты для их сбора и анализа.

• Пишет ли приложение свои логи в stdout?
• Могут ли логи быть легко собраны и проанализированы?

• Приложение пишет свои логи в стандартный вывод.
• Логи легко собираются и анализируются с помощью специализированных инструментов.

12. Административные процессы (Admin Processes)

• Проблема: Административные задачи выполняются вручную и не являются одноразовыми процессами.
• Решение: Выполнять административные задачи как одноразовые процессы, запускаемые в той же среде, что и основное приложение.

• Выполняются ли административные задачи как одноразовые процессы?
• Запускаются ли эти процессы в той же среде, что и основное приложение?

• Административные задачи выполняются как одноразовые процессы.
• Все процессы запускаются в той же среде, что и основное приложение.

Что почитать о принципах 12-факторных приложений?

• The Twelve-Factor App — документация о методологии для создания SaaS-приложений

Cloud Native Computing Foundation (CNCF)

1. Поддержка открытых стандартов. CNCF способствует разработке и продвижению открытых стандартов, которые обеспечивают совместимость и интероперабельность между различными облачными платформами и инструментами.
2. Развитие экосистемы. CNCF поддерживает множество проектов с открытым исходным кодом, которые помогают разработчикам создавать современные облачные приложения. Эти проекты включают инструменты для оркестрации, мониторинга, управления сетями и безопасности.
3. Образование и обучение. CNCF организует конференции, семинары и тренинги для обмена знаниями и опытом между профессионалами в области облачных технологий. Это помогает разработчикам и инженерам быть в курсе последних тенденций и лучших практик.

Важнейшие проекты CNCF

• Kubernetes: Система оркестрации контейнеров, которая автоматизирует развёртывание, масштабирование и управление контейнеризированными приложениями.
• containerd: Высокопроизводительный runtime для управления жизненным циклом контейнеров.
• CRI-O: Лёгкий контейнерный runtime, специально разработанный для Kubernetes.

• Envoy: Прокси-сервер и service mesh для управления трафиком между микросервисами.
• Cilium: Программа для сетевой безопасности и подключения на основе eBPF.
• Flannel: Простая и быстрая overlay сеть для Kubernetes.

• Prometheus: Система мониторинга и алертинга, разработанная для сбора и анализа метрик с различных систем и сервисов.
• Thanos: Система для высокодоступного и масштабируемого мониторинга с Prometheus.
• Jaeger: Система для трассировки распределённых транзакций и анализа производительности.

• Fluentd: Инструмент для сбора, обработки и передачи логов.
• Elasticsearch: Система для полнотекстового поиска и анализа данных.
• Vitess: Масштабируемая система для управления базами данных MySQL.

• etcd: Система распределённого ключа-значения для координации и управления конфигурацией.
• CoreDNS: Плагинная DNS-система, интегрированная с Kubernetes.
• Linkerd: Легковесный service mesh для обеспечения безопасности, наблюдаемости и управления трафиком.

• SPIFFE: Спецификация для предоставления криптографически проверяемых удостоверений для узлов и сервисов в динамичной инфраструктуре.
• SPIRE: Инструмент для реализации SPIFFE в различных средах и платформах.
• Notary: Система для подписания и проверки целостности контейнерных образов.

• Helm: Пакетный менеджер для Kubernetes, упрощающий развёртывание приложений.
• Argo: Инструмент для CI/CD и оркестрации рабочих процессов в Kubernetes.
• Tekton: Система для создания CI/CD конвейеров на основе Kubernetes.

• Chaos Mesh: Платформа для тестирования устойчивости к отказам и симуляции различных сбоев в Kubernetes.
• LitmusChaos: Инструмент для тестирования надёжности и симуляции различных сбоев в облачных системах.

Landscape.cncf.io

Основные функции landscape.cncf.io

1. Обзор ландшафта

2. Поиск и фильтрация

3. Интерактивная карта

4. Сравнение проектов

5. Образовательные ресурсы

1. Поиск и фильтрация: В строке поиска на landscape.cncf.io вводим «monitoring» и «logging». Система отфильтрует проекты, относящиеся к этим категориям.
2. Исследование проектов: Наводим курсор на проекты, такие как Prometheus и Fluentd, чтобы получить краткую информацию. Щёлкаем на них для доступа к подробным описаниям и ссылкам на документацию.
3. Сравнение: Выбираем несколько проектов для сравнения, чтобы оценить их зрелость, количество контрибьюторов и другие параметры. Это помогает выбрать наиболее подходящие инструменты для WeatherNow.
4. Образовательные ресурсы: Переходим к образовательным ресурсам, чтобы найти руководства и статьи по настройке и использованию выбранных инструментов.

Интеграция CNCF-инструментов в проекты

Шаги интеграции Prometheus в проект WeatherNow

1. Зайдите на landscape.cncf.io.
2. В строке поиска введите monitoring или Prometheus.
3. Найдите и выберите проект Prometheus в разделе Monitoring & Observability.

1. Перейдите на официальную страницу Prometheus, кликнув на ссылку на landscape.cncf.io.
2. Ознакомьтесь с документацией, особенно с разделами Overview и Getting Started.
3. Посмотрите, какие задачи решает Prometheus, такие как сбор и анализ метрик, алертинг и визуализация данных.

1. Установка Prometheus:

   • Разверните Prometheus в вашем Kubernetes-кластере. Можно использовать Helm-чарт для упрощения установки:
   Скопировать код

        helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
        helm repo update
        helm install prometheus prometheus-community/prometheus
         
2. Конфигурация скрапинга метрик:

   • Настройте Prometheus на сбор метрик с микросервисов WeatherNow. Добавьте микросервисы в конфигурацию Prometheus:
   Скопировать код

   YAML

        scrape_configs:
          - job_name: 'weather-service'
            static_configs:
              - targets: ['weather-service:80']
         
3. Интеграция с микросервисами:

   • Включите экспортёры метрик в микросервисах. Например, для Python используйте библиотеку prometheus_client:
   Скопировать код

   PYTHON

        from prometheus_client import start_http_server, Summary
        
        # Создание метрики
        REQUEST_TIME = Summary('request_processing_seconds', 'Time spent processing request')
        
        @REQUEST_TIME.time()
        def process_request(request):
            # Обработка запроса
            pass
        
        if __name__ == '__main__':
            start_http_server(8000)
            # Симуляция обработки запроса
            while True:
                process_request(None)
         
4. Визуализация данных:

   • Используйте Grafana для визуализации метрик, собранных Prometheus. Установите Grafana и настройте его на использование Prometheus в качестве источника данных.

1. Подписка на рассылки и анонсы:
   • Подпишитесь на рассылки CNCF и Prometheus, чтобы получать новости и обновления.
   • Следите за анонсами на официальных форумах и в блогах проекта.
2. Регулярное обновление:

   • Периодически проверяйте наличие обновлений для Prometheus и его компонентов.
   • Обновляйте Prometheus в вашем кластере с помощью команд Helm:
   Скопировать код

        helm repo update
        helm upgrade prometheus prometheus-community/prometheus
         
3. Участие в сообществе:

   • Присоединяйтесь к сообществам и обсуждениям на GitHub, Slack или других платформах.
   • Участвуйте в конференциях и вебинарах CNCF, чтобы быть в курсе последних изменений и лучших практик.

Итоги

• Применение принципов 12-факторных приложений помогает создавать масштабируемые, надёжные и гибкие приложения, которые легко развёртывать и поддерживать. Эти принципы включают независимость от окружения, использование переменных среды для конфигурации, контейнеризацию, отсутствие состояния между запросами, масштабируемость, отказоустойчивость, репликацию данных, логирование событий и ошибок, мониторинг ключевых показателей производительности, управление конфигурацией.
• Внедрение принципов 12-факторной архитектуры требует тщательной подготовки и планирования. Необходимо проанализировать текущую инфраструктуру, разработать план внедрения изменений, внести необходимые изменения в код, провести тестирование, развернуть обновлённое приложение, следить за его работой и постоянно улучшать приложение. Этот процесс требует времени, усилий и ресурсов, но может сделать приложение более гибким, масштабируемым и надёжным.
• Cloud Native Computing Foundation (CNCF) — это некоммерческая организация, которая занимается продвижением облачных технологий и открытого исходного кода. CNCF поддерживает проекты с открытым исходным кодом, которые связаны с облачными вычислениями, контейнеризацией, микросервисной архитектурой и другими облачными технологиями.
• В настоящее время CNCF курирует проекты с открытым исходным кодом, включая Kubernetes, Prometheus, Fluentd и многие другие. Эти проекты используются многими компаниями для разработки и развёртывания облачных приложений.
• Сообщество Cloud Native Computing Foundation — это открытая группа разработчиков, инженеров, архитекторов, исследователей и других специалистов в области облачных технологий. К сообществу может присоединиться каждый для обмена знаниями, опытом и идеями о том, как лучше всего использовать облачные технологии.