Модульные диалоговые системы

NLU (Natural Language Understanding)

Сценарий работы NLU

• Токенизация: ["Пожалуйста", "забронируй", "столик", "в", "ресторане", "Итальяно", "на", "завтра", "на", "19:00", "для", "четырёх", "человек"]
• Нормализация: ["пожалуйста", "забронировать", "столик", "в", "ресторан", "итальяно", "на", "завтра", "на", "19:00", "для", "4", "человек"]

• название_ресторана: "Итальяно"
• дата: "завтра"
• время: "19:00"
• количество_персон: "4"

Dialog Management (DM)

Использование политик

• Retrieval-based — когда бот использует заранее созданный набор данных для извлечения наиболее подходящего ответа. При запросе система сопоставляет введённый текст с существующими ответами и выбирает наилучший вариант на основе схожести. Такой механизм используется в базах знаний, где нужен точный ответ из большого объёма данных.
• Generating — механизм с использованием нейронных сетей, которые позволяют генерировать уникальные ответы на данных, на которых была обучена модель. Такие диалоговые системы генерируют ответы даже для сильно нетипичных запросов, что делает это подходящим в сложных сценариях и требует объёма данных для обучения и мощных вычислительных ресурсов, а также могут выдавать слишком общие или непредсказуемые ответы, если не оптимизированы должным образом.

Работа с контекстом через слоты (Slot Filling)

Управление действиями

Сценарий работы DM

# Семантический фрейм от NLU
nlu_output = {
    'intent': 'бронирование_ресторана',
    'entities': {
        'название_ресторана': 'Итальяно',
        'дата': 'завтра',
        'время': '19:00',
        'количество_персон': '4'
    }
} 

# Компонент DM получает данные от NLU
current_intent = nlu_output['intent']
extracted_entities = nlu_output['entities'] 

slots = {
    'restaurant_name': extracted_entities.get('название_ресторана'),
    'date': extracted_entities.get('дата'),
    'time': extracted_entities.get('время'),
    'number_of_people': extracted_entities.get('количество_персон')
} 

# Список возможных намерений
intents = ['приветствие', 'бронирование_ресторана', 'заказ_еды', 'прощание']

# Кодирование намерения с помощью one-hot encoding
intent_vector = [1 if intent == current_intent else 0 for intent in intents]
# Вектор намерений: [0, 1, 0, 0] 

NLG (Natural Language Generation)

Сценарий работы DM

Rasa

• Intent Classification (классификация намерений) отвечает за понимание того, что пользователь хочет сделать. Например, в запросе «Какая погода в Москве?» система классифицирует намерение как «получить информацию о погоде».
• Entity Extraction (извлечение сущностей) — параллельно с классификацией намерений система извлекает ключевые сущности из текста, такие как «завтра» в данном запросе, что позволяет использовать эту информацию для дальнейших действий.

• Entity Input и API Call — после того как намерение и сущности распознаны, система определяет, какие функции ещё нужно выполнить. На этом этапе происходит запрос к API (например, для получения прогноза погоды), где система использует извлечённые сущности — дату и местоположение.
• Recurrent Neural Network (RNN) — это ключевая часть обработки диалога. Система использует нейронную сеть для анализа контекста диалога и предсказания следующего действия. Она учитывает предыдущие шаги, чтобы выдать наиболее релевантный результат.
• Action Mask помогает сузить возможные действия на основе текущего состояния диалога и классифицированного намерения. Он предотвращает выполнение неподходящих действий.
• Renormalization и sample action: на основе предыдущих шагов система нормализует и выбирает следующее действие для выполнения (например, вызов API или выдачу готового ответа).
• Entity Output: если в результате действий нужно передать пользователю сущности (например, прогноз погоды с температурой), они подготавливаются к отправке через этот блок.
• Action Type — выбирается тип действия.

Установка и настройка окружения

• Python (3.7-3.10): Rasa работает с версиями Python 3.7 и выше, но ниже 3.11.
• pip — менеджер пакетов Python, который будет использоваться для установки Rasa.
• Virtualenv (рекомендуется): использование виртуальной среды для изоляции окружения и зависимостей проекта.

1. Убедитесь, что pip установлен. Выполните команду:
   python -m ensurepip --upgrade
2. Установите virtualenv, если он ещё не установлен:
   pip install virtualenv
3. Создайте виртуальное окружение:
   python -m venv rasa_env
4. Активируйте виртуальное окружение:
   source rasa_env/bin/activate

Установка и настройка Rasa

1. Установите Rasa через pip: pip install rasa.
2. Установите библиотеку transformers для работы с предобученными LLM-моделями, такими как BERT, GPT: pip install transformers.
3. Проверьте, что Rasa и окружение установлено, выполните команду rasa --version
   Если установка прошла успешно, то вы увидите похожее:
   Rasa Version      :         3.6.20
   Minimum Compatible Version: 3.5.0
   Rasa SDK Version  :         3.6.2
   Python Version    :         3.10.15
4. После установки Rasa, инициализируйте новый проект Rasa, который создаст структуру проекта: rasa init.
5. Rasa создаст базовый проект с файлами, такими как:

• nlu.yml — этот файл содержит примеры сообщений пользователей и соответствующие им интенты. Он используется для обучения модели распознавания намерений (интентов) и сущностей в сообщениях.
• domain.yml описывает основные компоненты бота: интенты, сущности, ответы, слоты и действия. Этот файл задаёт структуру взаимодействия с ботом.
• config.yml задаёт конфигурацию пайплайна для обработки сообщений, включая токенизаторы, классификаторы и другие компоненты. Здесь также можно указать политики для управления диалогами.
• stories.yml содержит сценарии диалогов (истории), которые представляют последовательности интентов и действий. Эти сценарии используются для обучения модели предсказывать следующий шаг в диалоге.
• rules.ym используется для описания правил — определённых сценариев, которым бот должен строго следовать. Например, всегда отвечать определённым образом на конкретные интенты или всегда завершать диалог в определённых случаях.
• endpoints.yml — этот файл нужен для настройки внешних сервисов и интеграций, таких как подключение к базе данных, вебхуки или кастомные действия. Например, если ваш бот должен взаимодействовать с внешним API.
• credentials.yml нужен для настройки учётных данных и токенов для интеграции с внешними веб-сервисами.

Что почитать про Rasa?

Что посмотреть про модульные диалоговые системы?

Итоги

• Диалоговая система состоит из компонентов, которые позволяют взаимодействовать с пользователями на естественном языке: модули Natural Language Understanding, Dialog management и Natural Language Generation.
• Модуль NLU отвечает за анализ и интерпретацию входящего текста в диалоговых системах. Он принимает запрос, который послал пользователь, через API. На этом этапе главная задача — извлечь из текста намерения пользователя и основные элементы в процессе токенизации и нормализации.
• Ядром всей диалоговой системы является модуль управления диалогом, Dialog Management. DM отслеживает текущее состояние диалога и выбирает следующий шаг в зависимости от контекста, намерений пользователя, сущностей: ответ пользователю или вызов какого-либо действия.
• Для простых и предсказуемых сценариев (например, в чат-ботах) DM может следовать заранее определённым правилам, что обеспечивает точное выполнение предсказуемых действий. В ситуациях, не прописанных в правилах, используется политика машинного обучения: DM использует обученные модели машинного обучения на диалогах, чтобы предсказывать следующие шаги.
• Модуль NLG получает данные от DM и формирует понятный и релевантный ответ пользователю. Он учитывает результаты выполненных действий и текущие слоты, чтобы обеспечить персонализированное взаимодействие. Это завершает цикл обработки запроса пользователя, объединяя работу NLU, DM и NLG для естественного взаимодействия с пользователем.
• Одной из популярных диалоговых платформ с открытым исходным кодом является RASA. С её помощью можно создавать чат-боты для разных предметных задач.