Продолжая знакомиться с Kubernetes, разберемся с проверкой работоспособности приложений (Health check probe) и рассмотрим объект Ingress, который позволит сделать приложения кластера доступными из интернета.

…

Изучив основы и подготовив тестовый полигон, мы переходим к практической части. Сегодня разберем, как создать первое приложение на Python + Flask и развернуть его в кластере k8s.

Пишем приложение (Python + Flask)

Поскольку Python – единственный язык программирования, на котором я что-то умею писать, особого выбора у
меня нет. Приложения будет запускаться как веб-сервер, слушать
указанный порт и при обращении выдавать приветствие “Hello from Python”. Кроме Python потребуется фреймворк Flask.

Код приложения:

        from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
    return "Hello from Python"
if __name__ == "__main__":
    app.run(host='0.0.0.0')

    

В первых двух строчках мы подключаем Flask, а далее создаем обработку
корневого запроса. Приложение неидеально, но как минимальный вариант для развертывания в кластере k8s оно сгодится. Так как k8s – это среда запуска
контейнеров, для переноса приложение необходимо упаковать, например, в Docker.

Упаковываем приложение в контейнер Docker

Чтобы собрать контейнер, нужно поставить Docker на локальную машину (да,
да – Капитан очевидность). Инструкция по инсталляции есть на официальном сайте – процесс довольно несложен. Далее собирать образ можно
средствами Docker, я использую для этих целей утилиту buildah. Она ни разу меня не подводила, рекомендую.

Для начала создаем директорию, из которой
будем собирать контейнер. Первый файл в директории назовем, например, app.py (его код приведен выше). Для установки зависимостей нам потребуется файл requirements.txt. Поскольку приложение простенькое, достаточно добавить только модуль Flask:

        Flask==1.0.2
    

Третий
файл называется Dockerfile – без расширения. Его содержимое:

        FROM python:3.9-alpine
RUN mkdir /app
WORKDIR /app
ADD . /app/
RUN pip install -r requirements.txt
EXPOSE 5000
CMD ["python", "/app/app.py"]

    

Разберем его построчно:

• FROM python:3.9-alpine – добавляем в контейнер интерпретатор Python 3.9, сборка alpine.
• RUN mkdir /app – создаем директорию /app внутри контейнера.
• WORKDIR /app – позволяет один раз указать конкретный путь (каталог на диске), после чего большинство инструкций (например, RUN или COPY) будут выполняться в контексте этого каталога.
• ADD . /app/ – очень важная команда, если мы делаем контейнер для k8s. Дело в том что когда отрабатывает запуск контейнера, k8s думает, что нам необходима внешняя директория /app. Ее в кластере нет, и контейнер падает с ошибкой (не найден файл /app/app.py).
• RUN pip install -r requirements.txt – запускаем pip и скармливаем ему файл зависимостей. Flask скачивается и устанавливается в контейнер.
• EXPOSE 5000 – пробрасываем порт 5000 для общения с нашим приложением.
• CMD [“python”, “/app/app.py”] – запускаем интерпретатор Python и наше приложение app.py.

Находясь в директории
с файлами, выполняем команду для сборки контейнера на основе Dockerfile с
помощью утилиты buildah:

        buildah bud -f ./Dockerfile .
    

Запустится сборка, прогрузятся все зависимости из requirements.txt, и в
итоге сгенерируется хеш – строка Storing signatures, которая нам в дальнейшем
понадобится (копируем ее в буфер обмена)

Дальше необходимо запушить сборку в локальный репозиторий Docker.
Выполняем следующую команду, подставляя в параметры свой хеш:

        buildah push dedd9a5526d3c97231e9a0b73ca1e4a91ece0d70a7f7bff254f61f7d28d8e9fb docker-daemon:app:v0
    

• :app – это имя нашего контейнера (можно указать свой).
• :v0 – это tag. Обычно через него выставляется версионность для удобной навигации в репозитории.

Контейнер уже можно увидеть в списке локального репозитория Docker, выполнив следующую команду:

        docker image ls
    

        docker run --rm -d -v `pwd`:/app -p 5000:5000 app:v0
    

Приложение откликается, значит контейнер рабочий. Последний штрих – запушить
контейнер из локального репозитория в удаленный, например, в Docker Hub. Это нужно, чтобы мы могли скачать контейнер в кластер k8s и запуститься его уже там.

Чтобы это сделать, потребуется авторизоваться на
Docker Hub и создать пустой репозиторий. Детально описывать эту процедуру не
буду: процесс похож на создание Git-репозитория.

        docker login
<выполните авторизацию>. Делается один раз, пароль и логин запоминаются

    

        docker tag app:v0 <ваш логин docker hub>/<ваш репозиторий>/app:v0
buildah push <image ID> <ваш логин docker hub>/<ваш репозиторий>:app

    

Теперь можно на любом хосте с Docker запустить
контейнер и в качестве расположения указать уже не локальный репозиторий, а
Docker Hub.

        docker run --rm -d -v `pwd`:/app -p 5000:5000 test/learn_images:app:v0
    

Цель – развернуть приложение Python из контейнера, но уже в кластере k8s
в нескольких репликах.

Для этого необходимо создать два объекта (подробнее мы рассматривали их в предыдущей статье):

• Deployment – развернет приложение и будет поддерживать необходимое количество реплик.
• Service – обеспечит сетевое взаимодействие внутри кластера.

Создаем Deployment для приложения в кластере k8s

Заходим по SSH на мастер-узел (ноду), проверяем работоспособность kubectl.
Далее необходимо создать deployment.yaml.

        apiVersion: apps/v1
kind: Deployment
metadata:
  name: app
  labels:
    app: app
spec:
  replicas: 2
  selector:
    matchLabels:
      app: app
  template:
    metadata:
      labels:
        app: app
    spec:
      containers:
      - name: app
        image: <ваш логин docker hub>/<ваш репозиторий>:app
        ports:
        - containerPort: 5000
          protocol: TCP
          name: http
        resources:
          limits:
            cpu: 50m
            memory: 20Mi
          requests:
            cpu: 50m
            memory: 20Mi

    

Разбираем подробнее:

• kind: Deployment – определяем, какой у нас будет объект. В данном случае Deployment, но может быть и Service или, скажем, Pod.
• name: app – имя нашего Deployment (именно так он будет отображаться в кластере k8s).
• matchLabels: и app: app – метка приложения, ее уникальный идентификатор для дальнейшего мапинга с сервисом и другими объектами k8s.
• replicas: 2 – сколько экземпляров приложения необходимо создать
• containers: – этой секции описывается, откуда нам спулить контейнер (ясно дело, с Docker Hub). Порт для сетевого взаимодействия.
• resources: – интересная секция. Тут описаны минимально необходимые ресурсы для запуска (limits). Без этих ресурсов приложение не стартует и планировщик кластера будет искать подходящий узел, удовлетворяющую минимальным ресурсам. Запрашиваемые (requests) – это ресурсы, которые резервируются на ноде для вашего приложения. Сверх этих ограничений приложение не получит ресурсов CPU и RAM.

Сохраняем файл deployment.yaml и выполняем команду для развертывания приложения:

        kubectl create -f deployment.yaml
    

Если
ошибок в файле не было, успешный исход – активное приложение в 2 репликах.
Посмотреть состояние можно следующей командой:

        kubectl get pod -o wide
    

Приложение
развернуто в двух репликах – с помощью curl можно обратиться к каждой из них по IP пода, но это плохой вариант (поды рано или поздно
переедут на другие узлы и IP поменяются). Давайте напишем еще один объект
кластера, который закроет эту проблему – Service.

Создаем Service приложения в кластере k8s

Создаем еще один файл service.yaml.

        apiVersion: v1
kind: Service
metadata:
  labels:
    app: app
  name: app
spec:
  ports:
  - port: 8080
    protocol: TCP
    targetPort: 5000
  selector:
    app: app
  type: ClusterIP

    

Его главные отличительные особенности:

• ports: port – порт, по которому Service будет принимать трафик.
• targetPort – порт для связи с приложением.
• selector: – мапим наш Deployment и все реплики по этой метке.
• type: clusterIP – тип объекта Service. В нашем случае для сетевого взаимодействия внутри кластера k8s.

Запускаем процедуру создания следующей командой:

        kubectl create -f service.yaml
    

Далее
смотрим детали Service:

        kubectl get svc -o wide
    

Супер! У нас есть IP, по которому можно обращаться к сервису в
кластере с любого пода.

Подведем итог статьи. Мы добились следующих результатов:

• Написали приложение на Python + Flask.
• Упаковали приложение в контейнер Docker.
• Разместили контейнер в репозитории Docker hub.
• Сделали Deployment и Service в кластере k8s.

Поздравляю, вы развернули первое приложение в кластере k8s! Возможно оно простовато, но в следующих статьях мы будем доводить его до ума.

Продолжая цикл статей по Kubernetes, мы познакомимся с базовыми конструкциями кластера k8s.

В предыдущих статьях мы рассмотрели системы оркестрации и научи…

В небольшом цикле статей мы поближе познакомим читателей с оркестратором Kubernetes. Для начала настроим кластер k8s c нуля на VPS-хостинге с помощью Kubespray.

Kubernetes – открытое программное обеспечение для оркестровки контейнеризированных приложений, автоматизации их развертывания, масштабирования и координации в условиях кластера. Чем этот хорош этот инструмент и почему стоит тратить время на его изучение? Перечислим основные преимущества Kubernetes:

● Быстрый deploy приложений;

● Удобное масштабирование
развернутых приложений;

● Внутренние self-health;

● Нулевой простой при
обновлениях приложений.

В первой статьи цикла мы займемся практическими вопросами и поднимем кластер k8s, а более
подробно про оркестраторы расскажем в следующих частях цикла.

Варианты установки

Если вам интересно
погрузиться в тему поглубже и буквально собрать k8s в ручном режиме, эта
статья поможет. Поехали 🙂

Подготовка

В дальнейшем мы будем
использовать созданный кластер для публикации различных сервисов и поэтому установку будет производить на VPS. Для кластера потребуется несколько виртуальных машин:

● Master node (CentOS 7, 1vCPU, RAM 2 ГБ, HDD 10 ГБ);

● Worker node (CentOS 7, 1vCPU, RAM 2 ГБ, HDD 10 ГБ);

● Worker node (CentOS 7, 1vCPU, RAM 2 ГБ, HDD 10 ГБ);

● Ingress node (CentOS 7, 2vCPU, RAM 8 ГБ, HDD 10 ГБ).

На всех узлах нашего кластера k8s установлена хост-система CentOS 7. Если вы хотите использовать другую хост-систему, ищите информацию на официальном сайте Kubernetes. Рассмотрим вариант развертывания с помощью Kubespray – набора ролей Ansible для
установки и конфигурирования k8s.

Развертывание k8s

Для начала мы отключим файл/раздел подкачки и межсетевой экран на всех узлах кластера, а также сгенерируем и скопируем ключи SSH, чтобы Ansible мог ходить по хостам и творить свою магию:

Отключаем SWAP:

        swapoff -a
    

Отключаем firewall (на учебном стенде это допустимо, но на проде не стоит так делать не стоит):

        firewall-cmd --state
systemctl stop firewalld
systemctl disable firewalld

    

Наша следующая задача – сгенерировать ключ SSH и скопировать его на все узлы будущего кластера, включая
master (где ключ был изначально сгенерирован):

        ssh-keygen
ssh-copy-id [email protected]<master host IP>

    

Теперь копируем ключ на
оставшиеся хосты (команды выполняются на мастер-хосте):

        ssh-copy-id [email protected]_host
    

Далее на master устанавливаем pip
и git:

        curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py"
python get-pip.py
yum install git

    

Если у вас используется старая версия Python, pip можно поставить следующим способом:

        curl "https://bootstrap.pypa.io/pip/2.7/get-pip.py" -o "get-pip.py"
python get-pip.py

    

Подготовка платформы завершена. Мы по-прежнему находимся на мастер-хосте
и до конца развертывания кластера с него не уйдем. За нас будет ходить Ansible
🙂

Для дальнейших действий потребуется репозиторий Kubespray. Клонируем его:

        git clone https://github.com/kubernetes-sigs/kubespray.git
cd kubespray

    

Устанавливаем зависимости
для Kubespray, описанные в файле requirements.txt:

        pip install --ignore-installed requests==2.23.0
pip install -r requirements.txt

    

Подведем итог наших действий:

● На ноде master установлен Ansible;

● Сгенерирован и скопирован ssh ключ на все узлы кластера;

● Установлены необходимые зависимости из файла requirements.txt.

Конфигурация Kubespray

Чтобы Kubespray понимал, на какие узлы нужно устанавливать k8s, придется создать директорию с описанием конфигурации будущего кластера. Тему inventory в первой статье мы подробно разбирать не будем, поскольку она слишком обширная (рабочий inventory доступен по ссылке – скопируйте его).

Потребуется изменить IP-адреса. Ниже приведет пример inventory.ini c нашими адресами (у вас они будут другими):

        master-1.root.local.io ansible_host=192.168.0.3 ip=192.168.0.3
ingress-1.root.local.io ansible_host=192.168.0.6 ip=192.168.0.6
node-1.root.local.io ansible_host=192.168.0.4 ip=192.168.0.4
node-2.root.local.io ansible_host=192.168.0.5 ip=192.168.0.5

[kube-master]
master-1.root.local.io

[etcd]
master-1.root.local.io

[kube-node]
node-1.root.local.io
node-2.root.local.io
ingress-1.root.local.io

[kube-ingress-1]
ingress-1.root.local.io

[k8s-cluster:children]
kube-node
kube-master

    

Наш кластер состоит из 4 узлов:

• один master с компонентами Control Plane;
• один Ingress для маршрутизации трафика;
• два Workers, на которых будут запускаться сервисы.

Control Plane (API
server, etcd, Sheduler, Controle manager) собран на одной ноде. Это очень нехорошо: обычно в секции [kube-master] больше одного узла, а в секции [etcd] – более трех. Это связано с тем, что quorum собирается не меньше
чем на 3 узлах при нечетным общем количестве узлов в etcd. Поскольку речь идет об учебной площадке, наш вариант тоже имеет право на существование.

Отредактируем k8s-cluster/k8s-cluster.yml. Нужно поменять network plugin на
flannel и имя нашего кластера на root.local:

        kube_network_plugin: flannel
cluster_name: root.local

    

Теперь поправим
k8s-cluster/k8s-net-flannel.yml. Тут обычный regexp на сеть провайдера VPS (в нашем случае это 192.168.0.0/24, но у вас подсеть может отличаться).

Исправляем:

        flannel_interface_regexp: '192\.168\.0\.\d{1,9}'
    

Сборка кластера

Поскольку inventory у нас уже
подготовлен, остается только запустить playbook на исполнение и минут
15 – 20 подождать, пока соберется кластер. Если у вас отвалится соединение SSH, и сборка прервется, ее можно будет запустить повторно – это не вызовет ошибок:

        ansible-playbook -u root -i inventory/inventory.ini cluster.yml -b --diff
    

Кластер собран. Проверяем:

        [[email protected] kubespray] kubectl get nodes
NAME                      STATUS   ROLES    AGE    
ingress-1.root.local.io   Ready    <none>   2d1h   
master-1.root.local.io    Ready    master   2d1h   
node-1.root.local.io      Ready    <none>   2d1h   
node-2.root.local.io      Ready    <none>   2d1h

    

Последний штрих – добавляем
роль нашей ноде с ingress:

        [[email protected] kubespray] kubectl label node ingress-1.root.local.io node-role.kubernetes.io/ingress=
    

Если повторно посмотреть на ingress, роль должна появиться:

        [email protected] kubespray] kubectl get nodes
NAME                      STATUS   ROLES     AGE    
ingress-1.root.local.io   Ready    ingress   2d1h   
master-1.root.local.io    Ready    master    2d1h   
node-1.root.local.io      Ready    <none>    2d1h   
node-2.root.local.io      Ready    <none>    2d1h  

    

Поздравляем! Вы практически вручную развернули кластер k8s, и теперь можно запустить в нем простенькое приложение. Это только начало большого пути в современное системное администрирование (или даже в DevOps). Более сложные шаги мы сделаем с вами вместе в следующих статьях. Удачи в обучении!