Михаил Непряхин: Максим привет Как видно Слышно
Михаил Непряхин: я тут разбирался почему Она тормозит и включи большой вопрос
Михаил Непряхин: а Причем Раньше, нормально все Было
Михаил Непряхин: ну да вот мы начинали когда а рпц был нормальный
Михаил Непряхин: м вот Сейчас он показывает что Демонстрация экрана вообще тре рэпеза
Михаил Непряхин: понятно дело ваше? Тут разрешение конечно высокое но дядея уменьши корпресс не меняется и видимо потом он как то разгоняется
Михаил Непряхин: и Фиг его Знают то есть. С чем Это связано
Михаил Непряхин: то ли наши что-то там замедляют то ли в зуме что-то поменялось ну. Короче вот именно демонстрация экрана как я делаю она медленная а если Делать через видео то Там все все режется и Там невозможно короче похоже это все зуум умер, вот на это именно на обучение
Михаил Непряхин: и я Сейчас разбираюсь как поднять свой сервак по стримингу видео
Михаил Непряхин: и он наверное за выходные под нему единственное там минус там задержка будет секунд пять десять вот ну зато будет качество картинки хорошее
Михаил Непряхин: может и Сейчас что совсем мне не нравится что это все тормозит но вам хоть звук не помогает но в целом
Михаил Непряхин: непонятно короче История что случилось так У нас сегодня сегодня У нас Сказка
Михаил Непряхин: Так отпишите в чатике кто с сказкой работал
Михаил Непряхин: и никто Не работал на Близкие миночки
Михаил Непряхин: если работали с сказкой плюс если Не работали минус
Михаил Непряхин: вообще вообще никто что ли Ну, Ну, и ладно
Михаил Непряхин: значит самый. Простой способ изучать кафку
Михаил Непряхин: она знает для чего она нужна самый. Простой способ изучать кафку это изучать ее на низком уровне вот кака из тех технологий которая заставляет себя учить
Михаил Непряхин: и лучше всего ее понимать именно вот ну
Михаил Непряхин: смотря на ее устройство на низком уровне по Крайней мере как данные хранятся, значит ну кафка это
Михаил Непряхин: кафка это брокер сообщений
Михаил Непряхин: брокер сообщений ильи мессадж Кью
Михаил Непряхин: очередь сообщений Так же она реализует модель и попсап то есть мы с одной Стороны можем подписаться а папсап
Михаил Непряхин: вот а сопс Край с одной стороны можем подписаться
Михаил Непряхин: а с другой стороны Мы можем в этот Канал Что то отправлять и Ну то есть
Михаил Непряхин: Грубо говоря это очередь
Михаил Непряхин: обычно рисуют как трубу вот если вот это там какой-нибудь систем дизайн. Интервью, ее обычно рисуют как такую трубу
Михаил Непряхин: а Куда с одной стороны значит у нас происходит отправка сообщений месседж
Михаил Непряхин: а с Другой, стороны кто то эти сообщения читает
Михаил Непряхин: ну и вот тот кто читает это сапскайбер
Михаил Непряхин: а тот кто. Пишет это паблишер
Михаил Непряхин: или тот кто. Читает это Ридер
Михаил Непряхин: ну а тот кто. Пишет это райтер
Михаил Непряхин: или тот кто Читает это консюмер
Михаил Непряхин: а тут кто Пишет это продюсер
Михаил Непряхин: Вот Поэтому если чего-то Вот из этого вы какие-то Ключевые слова Видите То скорее всего вы имеете дело
Михаил Непряхин: с мессадж кью какие еще бывают мессадж ю значит ну сам популярный это Кафка аа у танцор, с ней
Михаил Непряхин: а до как какое-то Время популярность была У робитэм. Кью
Михаил Непряхин: я его Даже немножко. Застал а Кафка это Джава роббит Им кью это
Михаил Непряхин: Ирванг,
Михаил Непряхин: Пирванг, очень похож ну как сказать Идейно похож на гоу ирланд создавался как язык для работы с многопоточкой
Михаил Непряхин: Но Потом, пришел гол и его убил и Поэтому на раванге Не Успели Чего то многого написать ну вот самый. Популярный продукт на рванге Это роббитом кью
Михаил Непряхин: также Есть натс
Михаил Непряхин: Но он будет скорее популярный за рубежом у нас только варвары его активно использовали то в итоге отказались
Михаил Непряхин: и минус нации в том что там Нет стоит и Там есть проблемы с гарантией доставки У нас хорош тогда когда нам надо стремить очень большие объемы данных Но Эти данные ну, у них Не, очень большой сильной критерии
Михаил Непряхин: надежности доставки типа это мид реки Волги трек за что-нибудь такое
Михаил Непряхин: если Там, Еще Не, потеряться ничего страшного а вот Эти, Две системы они создавались, с учетом того что Мы Хотим? Надежную Доставку
Михаил Непряхин: Там Есть несколько семантик доставки Но попозже препогорим и вот э ирабитыкавка они сбрасывают данные на диск, она тоже умеет но Изначально он как бы был про ин мемори нац а нация написана на гол, гол,
Михаил Непряхин: понятно, дело что вот этих вот массочки у их очень, большое количество ну то есть там у всех есть своя мысль Шкю ну. Яндекс там вся. Собственно ввесь ну. Там в гугл. Облакие
Михаил Непряхин: в и
Михаил Непряхин: и Поэтому про другие даже говорить Не будем потому что это не так интересно как, именно, уметь работать с сказкой
Михаил Непряхин: ууу значит как, это работает есть у нас кафка
Михаил Непряхин: и сущность вот как бы очередь в кафке называется топик Мы создаем топик
Михаил Непряхин: ну Там много очень разных настроек пока просто создаем какую-то очередь и значит в нее
Михаил Непряхин: пишет Ну оригинальное название кавказские Это продюсер кто-то продюсер продюсер Сообщение с другой стороны значит Нам Вот в кафку
Михаил Непряхин: подключай отца консюмер
Михаил Непряхин: и смотрите Куда Направлена эта Стрелка
Михаил Непряхин: То Есть конюмер сам Ходит, в Кафку и говорит дай мне сообщение То Есть Это модель
Михаил Непряхин: ну с точки зрения Конюмера это модель и
Михаил Непряхин: ну Или вернее с точки зрения кафки это модель а пул,
Михаил Непряхин: то Есть консюмер кафка Никуда не отправляет сообщения понятно дело что Продюсер он в кавку заслал
Михаил Непряхин: Гавка сказал что волк Я запомнил Продюсер и понял. Что Все сообщения закинуто в очередь.
Михаил Непряхин: И Дальше кафка Она Не Пушит
Михаил Непряхин: то есть Мы Никуда, ничего Не засылаем в отличие От и а потом Рэбит сам Делает Пуш
Михаил Непряхин: и Таким Образом Вот Этого Консюмера
Михаил Непряхин: а Там этот У них усевший свои Названия Там консюмер называется он Там Канал ченнал
Михаил Непряхин: они Там все Гораздо и
Михаил Непряхин: вот короче о рэбит как очередь может взять и перегрузить вот этот вот своего, Клиента Куда эти Сообщения доносятся, если здесь Будет большой поток
Михаил Непряхин: то здесь и Мы можем создать Нагрузку. Которую приложение Не Сможет переварить
Михаил Непряхин: Поэтому Там активно Используется механизм Эко и Неков,
Михаил Непряхин: короче если Мы Там все Окей обработали Мы говорим экоем Что все Окей если не Получилось Мы говорим нек
Михаил Непряхин: и таким образом Там, позже сообщение Опять, для нас дойдет
Михаил Непряхин: а в кафке же видите у нас модель пул у нас сам консюмер ходит и забирает сообщения отсюда
Михаил Непряхин: Мы не можем как бы Нет вот этого Негативного эффекта когда Мы Берем и Перегружаем Сообщениями Наш Костюмер сам регулирует Скорость Обработки сообщений
Михаил Непряхин: а что как Бы круто значит
Михаил Непряхин: в кафке в топике топик устроен очень примитивно на Низком Уровне это просто файл и когда Мы и
Михаил Непряхин: делаем продюс ну то есть запихиваем сообщения в кафку то просто мы его записываем
Михаил Непряхин: аппенди то есть вот допустим у нас есть оффсет да у нас еще такое понятие есть как оффсет
Михаил Непряхин: И вот у нас Есть два сообщения здесь
Михаил Непряхин: пришел продюсер говорит запиши Еще одно, Он записывает Еще одно, а все сдвигаются а до сюда
Михаил Непряхин: а конюмер когда вычитывает Он делает пометку что вот на каком месте я Остановился я Остановился на этом месте
Михаил Непряхин: и значит Он конюмер обрабатывает сообщения снова спрашивают дай следующее все сдвигаются на следующее и Это запоминается то есть какой Консюмера текущий А все для обработки Он запоминается
Михаил Непряхин: и таким образом когда консервирован снова приходит он понимает где он остановился чтобы забрать следующее
Михаил Непряхин: вот значит это просто файл Куда, делается апенд
Михаил Непряхин: А работает Это все очень быстро, Ну во-первых смотрите Мы и и плюс Там Используется механизм
Михаил Непряхин: вот короче говоря вот когда месседж пришел вот значит клиент упаковал месседж
Михаил Непряхин: а Ну Не клин сервис сервис упаковал значит месседж и Отправляет, в кафку, да
Михаил Непряхин: так вот вот это вот бинарное представление этого мессаджа оно один в один в таком, же виде кладется
Михаил Непряхин: в этот самый лог и один в один в таком, же виде параллельно а отдается Костюмеру и таким образом
Михаил Непряхин: как бы ни происходит вот этого вот Перекладывания Декодирования там какого то еще чего то
Михаил Непряхин: и это Одна из Ключевых оптимизаций почему кафка быстрая
Михаил Непряхин: как бы мне не нравится что онаджаве написана и
Михаил Непряхин: Вот ну и вообще Вот вы когда начнете работать с Жавой Примете что ну есть У нее такие характерные Тормоза вот Но Именно вот сам механизм
Михаил Непряхин: и когда Мы кладем сообщения в кафку и когда с другой стороны консультант читает вот это вот работает Быстро
Михаил Непряхин: а начну вот эта Первая оптимизация да что Мы в неизменном виде сообщения как здесь Положили Так оно здесь Один в Один и придет как с той стороны трубы сообщение было Положено в таком же виде оно сюда придет и ровно в этом Же виде оно будет положено
Михаил Непряхин: волк файл ну записано в конец аа следующая оптимизация
Михаил Непряхин: для того чтобы ну видеть у нас сеть да то есть кафка это сетевой сервис то есть у нас она здесь сеть
Михаил Непряхин: у нас Десять.
Михаил Непряхин: Если вы хотите, что-то делать посети быстро
Михаил Непряхин: то нужно это делать бочами я уже много Раз вам говорил вот здесь это прямо, ключевая штука
Михаил Непряхин: значит надя все рабиет отсюда уравно Там не нужно
Михаил Непряхин: посмотрите Мы на сервисе когда Мы Хотим, отправить сообщения в кафку
Михаил Непряхин: Мы можем отправлять их по одному
Михаил Непряхин: но тогда если. У нас какой-то высоко нагруженный Сервис ну Там видите там даже Небольшие, нагрузки не знаю а рпц тысяча Вы уже заметите это хочу рпц тысячу и больше ээ как бы масхав работать Подчами
Михаил Непряхин: значит мы это можем гибко настраивать мы можем вот по Одному. Сообщению допустим Наш Сервис мы можем по одному Сообщению отправлять
Михаил Непряхин: а можем раз допустим сто или секунд собирать этот бач и отправлять бач а насколько это работает быстрее
Михаил Непряхин: типа о Раз в сто милли секунд сбрасывать или по одному
Михаил Непряхин: это работает ну упрямь в тысячу Раз быстрее прям Не утрирую То есть там если вы по Одному будете Скидывать это У вас там потолок
Михаил Непряхин: потолок наверное тысяч
Михаил Непряхин: тысяч пять где-то Ты еще пять где-то потомок и Все потому что там ну вот это вот механизм подтверждения и это синтетический тест если вы будете в реальном продакшене Ну, Это Будет где-нибудь тысяча
Михаил Непряхин: А то и меньше
Михаил Непряхин: и короче многие новички в Это упарываются таки Блин кавка Медленная А Немедленная она надо просто понимать что если вы работаете по дефолту там такая настройка если вы по одному сообщению будет складывать будет капет как медлен
Михаил Непряхин: значит а если вы добавляете задержку всего лишь сто милли секунд вы ее даже не заметите
Михаил Непряхин: просто сообщения будут накапливаться в бачею и сбрасываться то у вас рпц уже ну там ограничивается железом но как бы ну условно нака рпса получается вместо тысячи и больше сто двести ка триста как бы так
Михаил Непряхин: значит Кафка и
Михаил Непряхин: вы делаете много партий там есть несколько механизмов масштабирования во-первых Кафка Всегда поднимается в режиме хай а вы егобилите
Михаил Непряхин: и для того Чтобы ну хайла Вбилити это Высокая. Доступность Чтобы обеспечить. Высокую доступность Кафка обычно разворачиваться в кластере
Михаил Непряхин: По три брокера там этот единицы масштабирования это брокер
Михаил Непряхин: и вот у вас значит три блогера соответственно вы шлете По Этим бакерам
Михаил Непряхин: ну единственное там значит есть такой нюансик что. Вы работаете Всегда с лидером вы, работаете с лидером
Михаил Непряхин: аа два остальные у него фолеры, значит вы, пишете в лидер и он уже дальше
Михаил Непряхин: по этим двум фолловерам раскидывают и есть варианты значит три есть варианта надежности доставки
Михаил Непряхин: первый вариант мы можем сказать вот просто до лидера дошло значит отправляй сигнал что. Все Окей
Михаил Непряхин: Будет работать быстро, Но Не, Очень надежно второй вариант
Михаил Непряхин: значит чтобы лидер сохранил на диск Вот лидер сохранил на диск. К себе.
Михаил Непряхин: Тогда присылай ок это. Будет работать чуть медленнее Но надежность повышается и самый. Надежный вариант
Михаил Непряхин: это когда Мы говорим сохрани на лидере и отправь одному из фолловеров
Михаил Непряхин: это будет соответственно Еще медленнее ну сами поются как бы тут, уже сеть появляется но надежность максимальная
Михаил Непряхин: а вот соответственно вы тут тоже можете урегулировать в зависимости От того насколько в надежно вы Хотите, хранить данные вы можете подшаманить на стройке,
Михаил Непряхин: и мало того здесь Добавить задержку ну здесь это самое. Узкое место на самом деле ну и вот в этом месте в зависимости От Надежности и хранения тоже и
Михаил Непряхин: да дальше значит топик он Не един а он делится на протесты
Михаил Непряхин: ну типа Не знаю Там
Михаил Непряхин: а от нулевой до пятнадцатой партийцы всего Шестнадцать Протеций новые двадцать шестью допустим Делают. Восемь, Шестнадцать Партий
Михаил Непряхин: партиция это Единица работы с костюмером
Михаил Непряхин: а если у вас будет только одна партица ну так, Можно сделать просто вот он один вот этот вот вок файл, одна партица
Михаил Непряхин: то с ней может работать только один костюмер здесь работает
Михаил Непряхин: аа оптимизация чтобы не было никаких мютоксов что бы не надо было делать, синхронизацию
Михаил Непряхин: это очень важный момент об этом Давайте про это подробнее Поговорим значит Есть топик топик мотон Топ. Да ночь
Михаил Непряхин: топик состоит из птицей.
Михаил Непряхин: Допустим У нас три протеции когда Мы с другой стороны пишем сообщение об Этом Там, пишем сообщение какое-то
Михаил Непряхин: то. Есть разные стратегии а попадания в разные постановки вот в какую партию попадет наше сообщение, ну и
Михаил Непряхин: самый простой раунд Робин случайно да там По очереди сюда попал сюда попал сюда попал в следующее сообщение сюда попал с толпой толпу
Михаил Непряхин: ну! Это, Дефолтная стратегия и Там, еще питок стратегии Там, в Джаве Например, Там, к этому мумур используется и
Михаил Непряхин: сообщение вот когда Мы
Михаил Непряхин: Работа с Сообщением Уки у Него Есть Два Поля Верны три Поля двадцать три Поля значит это Ключ
Михаил Непряхин: это вэлью
Михаил Непряхин: ищу хедра можно Записать
Михаил Непряхин: ну когда зарядка используется ну короче назначение У них такое Же как Например расхохота и прямо, Работам ну вот само сообщение это боди да выль это считать что это боди Ключ это Ну вот
Михаил Непряхин: Ключ можно По-разному, Использовать как бы Ну, считайте что это такая мета, информация
Михаил Непряхин: а просто изначально было вот эти два поля изначально было только Вэлью потом добавили кей Уэлью
Михаил Непряхин: а потом поняли блин все-таки нам надо Еще какую-то информацию и добавили вот этот хендр так-то вот наверное кей бы исторический он бы вот если бы заранее знали бы как все обернется наверное кей был бы У тон хддер или где нибудь в поле
Михаил Непряхин: но Так Получилось Что вот ключ отдельно оказался и Роль Ключа
Михаил Непряхин: А в роутинге вот По этим вот партицам как Куда Он попадет значит Смотрятся на Ключ,
Михаил Непряхин: берется от Него хэш и и
Михаил Непряхин: короче как в мапах работает берем остаток отделения попадаем либо в эту, партию или бываю либо в эту, и
Михаил Непряхин: а интересный момент что кафка не дает гарантии на порядок сообщений в тупике
Михаил Непряхин: почему потому что топик неоднородный толпик состоит из партией
Михаил Непряхин: но есть гарантия на порядок сообщений в конкретной партией
Михаил Непряхин: и работает как в мапе когда вы один и тот же ключ, используете в сообщении ну допустим ключ, вася,
Михаил Непряхин: вы работаете с деньгами значит вася положил,
Михаил Непряхин: э сто долларов вася потратил, сто долларов
Михаил Непряхин: значит вы делаете ключ как вася первое сообщение вася попадает в
Михаил Непряхин: э в нулевой в нулевую партию и вот нулевое сообщение он положил сто
Михаил Непряхин: долларов. Значит второе сообщение он списал сто долларов.
Михаил Непряхин: И таким образом когда конюмер будет читать этот! Топик то этот! Порядок он гарантируется он сохранится и Сперва Мы прочитаем что Мы добавили Сто долларов. То есть на уровне партиции есть гарантия порядка
Михаил Непряхин: Поэтому вот и это обеспечивается этим ключом
Михаил Непряхин: что Мы берем хэш от ключа и вот попадаем в нужное место
Михаил Непряхин: и вот этих вот алгоритмов хаширования их несколько вот огромно приружаю там этот мурмур какой то
Михаил Непряхин: а в какие то ну вот принято там такой был алгоритм использовать в каких то сервисах еще там Какой нибудь алгоритм
Михаил Непряхин: и вы можете допустим если, вы до этого работали с джавой у вас был сервис джавой Или допустим писал сообщение, сервис наджаве то есть вот вот этот вот продюсер был джала
Михаил Непряхин: а костюмер у вас гоу то есть это же и
Михаил Непряхин: и если вы Хотите чтобы ваш сервис на Голову. Он в том же порядке читал сообщения с нужных партий
Михаил Непряхин: то и
Михаил Непряхин: ну Нет даже не так весь! Континент подключится к Какой тотице и все Он с ними Будет читать
Михаил Непряхин: здесь кареки Есть Так вот было Сервис наджави. И вы переписали его на Голову.
Михаил Непряхин: И если вы будете использовать другой Алгоритм Хаширования Ключа
Михаил Непряхин: То У, вас значит вот наджаве вы попадали в эту партию
Михаил Непряхин: а переделали на Голову. А Там Другой, Алгоритм и Вася, начал попадать вот в эту партию
Михаил Непряхин: и Вот у вас Есть возможность Вот этот Вот Алгоритм
Михаил Непряхин: а хаширование по ключу Куда вы будете попадать поменять
Михаил Непряхин: Мы Сейчас разглянем что там бывает
Михаил Непряхин: к этому, мы уже не вернемся это так просто для понимания балансировщик балансировщик дефолт э раунд робин
Михаил Непряхин: значит какие есть варианты ну вот он мурман вот это вот балансировщик он уже тут написан вы просто, его подрубаете и все
Михаил Непряхин: он ну вот живой вы знаете Так написанный вот живой а и есть
Михаил Непряхин: так вот какой-то э зарси Тридцать два
Михаил Непряхин: ну, это какой то гожный какой то божний референдум, хэш есть еще лист байц
Михаил Непряхин: есть просто хорош ведь, хэш это тоже какой-то гожный, То есть вот их просто разные хэшеры вот здесь какой-то там хешер аа здесь какой-то хэшер
Михаил Непряхин: ты можем свою реализацию написать Есть стратегия лист байс
Михаил Непряхин: балансировка происходит по количеству
Михаил Непряхин: Сообщений то Есть это короче алгоритм который вот видит что, здесь уже вот три сообщения а здесь ничего он вот сюда писать
Михаил Непряхин: потом сравняется оно ну он будет сюда писать сюда писать а потом Сравняется оно все Он опять там будет. Куда-нибудь сюда потом Ездить а здесь меньше будет. Сюда потом а здесь меньше будет. Сюда вот Но тут минус этого Балансировщика Что нужна информация о
Михаил Непряхин: в текущем количестве Запомнились партицы и Поэтому Это немножечко дороговато получаться его почти Никогда Не используют
Михаил Непряхин: используя трехлетную либо в случайном порядке просто раунд Робин либо если у вас Вот что-то такое чувствительное к порядку
Михаил Непряхин: тогда используют какой-то хэш какой-то один из алгоритма фаширования,
Михаил Непряхин: вам просто достаточно на текущем этапе, понимать что вот топик неоднородный он состоит из партией
Михаил Непряхин: и партиция это Единица с Которой работает конюмер значит когда Консюмер подключается к топику Кафки
Михаил Непряхин: а Вот на сервис Мы подняли он на Двух инстанциях
Михаил Непряхин: значит один инстанс ну пот да один пот он может Подключиться ровно
Михаил Непряхин: либо к Одному либо к Одному к одной Партией он может подключить Вернее Сейчас подозревать По-другому
Михаил Непряхин: а если если инстонс один один под обратиться и шестнадцать он подключится ко всем
Михаил Непряхин: он подключится ко всем шестнадцати сделает коннекшн и будет вычитывать а
Михаил Непряхин: По Порядку из этого читая из этого из этого он тойстал какой то порядок бод но так как он работает бочами
Михаил Непряхин: читает то есть он сам же подключается он быча мечта типа он отсюда. Прочитал Десять сообщений оттуда. Прочитал здесь сообщение труда. Прочитав здесь с общением Работал вот такая тема
Михаил Непряхин: и если Появляется второй пот а У нас обычно два полных Всегда да в купернице крутится то произойдет перебалансировка
Михаил Непряхин: значит Мы этот один коннекшн а уберет
Михаил Непряхин: и отдаст Этому вот Если их три
Михаил Непряхин: то есть У какого-то пода вот из двух партийц он мог читать а какой то, из одной
Михаил Непряхин: если, их шестнадцать вот как, у нас допустим было бы здесь еще
Михаил Непряхин: всего шестнадцать они пополам поделят прочь один из подов подключится к своей половине а
Михаил Непряхин: второе Было читать свою половину ровно пополам и если этот по умирает То
Михаил Непряхин: ну там какой механизм там механизм ахарт, битов как там хард Пишется Сердцебиение Короч хардбит А значит в Кафку
Михаил Непряхин: консюмер каждые десять, секунд каждый конюмер каждые десять секунд
Михаил Непряхин: отсылает сообщения ну так называемый хардбит Сердцебиение Что я жив я жив я жив
Михаил Непряхин: а Если перестали приходить Сердцебиение значит Кафка считает что мы мертвы
Михаил Непряхин: а этот пот выпадает из Балансировки и все партицы
Михаил Непряхин: перераспределяются вот по этому одному поду
Михаил Непряхин: стратегий Перебалансировки Балансировки несколько но нам доступна вот в этом драйве только одна и и
Михаил Непряхин: м с ней Есть проблемы бот может умереть
Михаил Непряхин: и он к сожалению не поднимется то Есть это Одна Из Проблем, Особенно, кто работает с яндекс строгу это Инфрой
Михаил Непряхин: там такая проблема Есть значит Ну следят значит Есть метрики.
Михаил Непряхин: И и просто вот вот этот вот лак типа значит сколько Сейчас Сообщений в партиции например, их тут
Михаил Непряхин: две тысячи значит две тысячи Сообщений в партиции и где а в
Михаил Непряхин: это немножечко не про это ну хорошо конюмеров там есть как я сказал метка да где мы сейчас находимся
Михаил Непряхин: ну это не туда на чем, рассказывать шанс подожить
Михаил Непряхин: короче в чем, минус если он Умирает
Михаил Непряхин: то вся нагрузка по вычетке топика она переходит на этот пот
Михаил Непряхин: и если У вас два повода вывозила Вычитку из топика
Михаил Непряхин: то Один, пот он уже не будет вывозить и и Вы это можете Увидеть
Михаил Непряхин: потому Что ну вот как я сказал иначе да есть вот сколько всего сообщений мы допустим в партию Две тысячи сообщений
Михаил Непряхин: а есть где Сейчас находится консюмер, костюмер, работает в конюмер, группе Консимера группа
Михаил Непряхин: ну то есть это два конюмира они в одной консервативной группе находится
Михаил Непряхин: у этой консервы группы на каждую партию есть офсет где Сейчас мы Читаем,
Михаил Непряхин: и допустим в конмер группе по Второму топику мы Сейчас находимся На
Михаил Непряхин: аа пятисотом в сайте то есть Там вы допустим здесь пятисотый офсет и Мы находимся вот здесь конюмер учитывать о сообщении всего две Тысячи
Михаил Непряхин: и Так называемый комиссий умер лак он полторы Тысячи то есть полторы Тысячи Сообщений у нас в очереди Находится они Не обрабатываются
Михаил Непряхин: и таким образом вы можете понять ну вот по метрикам обычно на метреке вяжут аллерты в графане и таким образом вы можете понять что, вот ваш, Консенсумер лак он вырос
Михаил Непряхин: и надо ну самое простое лечение вы просто перезагружаете подм
Михаил Непряхин: вот ну либо вы вешаете Контекст с дедлайном
Михаил Непряхин: и если вы Допустим там десять минут из Сказки никакое сообщение Не прочитали То. Пот сам убивается и Перезагружается
Михаил Непряхин: вот короче вы если будете работать с кафкой Вы обязательно с этим явлением столкнетесь
Михаил Непряхин: и либо У вас уже в команде будет какое-то решение как с ним бороться ну либо говорю как бы будете гуглить и искать варианты как это сделать чтобы он сам перезагружался
Михаил Непряхин: и и вот это единственная проблема вот такая вот сказка когда у нас Консюмер может умереть
Михаил Непряхин: и к сожалению вот Продолжит работать как ни в чем не бывало вы увидите это по увеличению этого консенсумерлага
Михаил Непряхин: а вот ну и на Собеседование соответственно спрашивают
Михаил Непряхин: вот этот вопрос задают а зачем
Михаил Непряхин: в топик и партицы ну вообще как бы смотрите у нас есть два варианта аа масштабирование это позиционирование
Михаил Непряхин: позиционирование информирования
Михаил Непряхин: и Разница между ними в том что это просто разделение чего то на части
Михаил Непряхин: то есть разделение целого на части
Михаил Непряхин: а но позиционирование это в рамках, одного сервера
Михаил Непряхин: то есть вот Мы в рамках, нового рокера у нас есть брокер кафки есть в нем топик
Михаил Непряхин: и Мы его просто нарезаем в данной части то есть как бы Что портит это часть топика
Михаил Непряхин: а шардирование это когда у нас Разные сервера,
Михаил Непряхин: и Мы как бы нашу инфраструктуру нарезаем на две. Недели на две. Части вот как бы это ключевое их отличие что ародирование это когда Мы шардируем По ключу допустим тоже через хэш это два разных Сервера
Михаил Непряхин: а позиционирование это на Одном севере
Михаил Непряхин: вот ну это так слово Просто
Михаил Непряхин: бывает что. Этот вопрос задают Поэтому здесь у нас вариант с Позиционированием и и
Михаил Непряхин: ну ладно пока пока здесь Не буду грузить
Михаил Непряхин: тут Еще Есть Моментики значит Сейчас мы про них Еще Поговорим Так
Михаил Непряхин: Сейчас пока Давайте если есть Вопросы, на текущий момент чтобы закрыть э белые пятна если они есть,
Михаил Непряхин: то задавайте текстым голосом вот на текущий момент это прямо база вроде бы, я ничего не забыл Там Еще и стратегии Но это уже не так важно Сейчас Мы про них Тоже, Дойдем
Михаил Непряхин: Да значит задавать Вопросы,
Михаил Непряхин: так люди почитаем.
alex: А все для консервов группы он вех хранится в самой кафке. Или Же надо на клиенте Это хранить Или
alex: понимать.
Михаил Непряхин: Нет на Самой карте, вы, есть вар есть стратегия когда вы, о вет можете хранить У себя
Михаил Непряхин: да вопрос хороший а значит смотрите Вот есть у нас
Михаил Непряхин: топик да в кафке ну это кафка топик и и консюмер
Михаил Непряхин: может прийти и сказать дай мне ну топик определенный да дай мне начиная со все То два
Михаил Непряхин: и кафка вот начнет читать а тут допустим заполнено там много вот она поймет овся Два и начнет читать с этого места
Михаил Непряхин: первый вариант да вы можете хранить У себя осет
Михаил Непряхин: второй вариант как вы можете сказать кравки
Михаил Непряхин: дай мне с текущего времени тайм Темп
Михаил Непряхин: и кафка Тоже найдет вот где было Это время в Этом топике, допустим оно здесь было и Тоже вот с этого овета начнет читать
Михаил Непряхин: аа ну понятно дело что. Мы Можем просто Еще сказать дай мне просто с самого Начала, топиком
Михаил Непряхин: и дай мне с Конца точнее как бы читай с Конца То есть он встанет конец
Михаил Непряхин: в конце ничего Нет но как Только появится ну Мы будем читать и вот как бы вот это и единственное что Мы можем попросить
Михаил Непряхин: как читать топик Раз, так То есть две небольшой оптимизации на топик значит у нас
Михаил Непряхин: ну или даже надо сказать партийцы Да у нас все равно единицы Это обратится значит партия имеет три файла
Михаил Непряхин: первый файл это локфайл туда просто опенятся, наши сообщения
Михаил Непряхин: мы Сейчас. Уже тут все посмотрим то есть мы Сейчас. Еще Раз Это вот посмотрим более наглядно в реальности
Михаил Непряхин: Второй файл.
Михаил Непряхин: Соседми
Михаил Непряхин: Там хранится он называется только университет называется индекс
Михаил Непряхин: вин и здесь хранятся. Офсеты Ну пары значит вот вот этот оффет
Михаил Непряхин: и какой сдвиг надо в бинарном бинарном блоге, сделать ну типа какой оффет уже а все как, бы по Мессаджем да храни короче вот в этом Фальке хранится
Михаил Непряхин: мессадж свет на байтовсет и вот девочек Находится обсед нужны и Мы в этом файле сдвигаем насколько надобай
Михаил Непряхин: и третий файл ту же. Индекс но по тайм темпу а хранится уже в нем ну получается тайм
Михаил Непряхин: и ну тайм все равно все время с Этим с Мессаджем идет,
Михаил Непряхин: я не помню какой это формат может быть как-то мессадж Оффсет тайм и Тоже. Где его тут искать
Михаил Непряхин: как-то так ну суть в том что Вот два индекса у нас всего первый индекс по времени. И мы можем по времени. Быстро найти влок файли нужно место
Михаил Непряхин: второй индекс с парсетом Мы Тоже в лок файли Мы можем найти нужное место
Михаил Непряхин: вот Поэтому да все это хранятся, Там внутри
Михаил Непряхин: и еще еще Так Условно еще один файл, это Оффсиеты конюмировские
Михаил Непряхин: а всей Этой конюмировски по партийцам какая партица в какой Сейчас находится ну? Это уже проконсумер речь, настак словом,
Михаил Непряхин: тек.
alex: Сейчас Давайте.
Михаил Непряхин: Ну окей Давайте еще Голосом, да.
alex: Да аа получается если моего каждого Конюмера Кафка хранит Осет, то при падении второй как Мы говорили, ноды на пода то
alex: получается он будет читать заново.
Михаил Непряхин: Не не не он У них общий короче ну как бы вы Можете вот У вас Есть Допустим пот
Михаил Непряхин: вы Можете просто запоминать как я сказал Офет Куда нибудь в базу, и просто там инкриминить и Говорить значит
Михаил Непряхин: хочу с Второй партией ну такого-то топика
Михаил Непряхин: какого-то топика Со второй партией хочу дай мне все соседи сорок два
Михаил Непряхин: это первая Стратегия но Так никто Не работает ну как бы есть такая возможность но Я Ни разу Такого Не видел,
Михаил Непряхин: а вторая, стратегия более продвинутая значит Мы Создаем консюмер группу
Михаил Непряхин: и когда Мы Поднимаем инстонс мы говорим ты относишься к Концумер Группе
Михаил Непряхин: Эпл Назовем Ее Ну по названию сервиса обычно называется ты относишься к Концумер Группе Эпл
Михаил Непряхин: Поднимаем еще один пот и говорим ты тоже, относишься к Конюмер Группе эпл и все и в Кафке
Михаил Непряхин: хранятся, Офсеты для конкретной группы по протициям значит вот для партийцы ноль
Михаил Непряхин: офсет один для партийцы два офсет ну Там ты протится один То все
Михаил Непряхин: три. Для протицы два овсет сорок два и соответственно когда
Михаил Непряхин: они работают, эээ не одно и то же читают, то есть это не фанаут фана вот это когда вот без группы вы читаете типа вы можете с любого места ну вот таким образом, прочитать любую партию чего угодно
Михаил Непряхин: а эта стратегия
Михаил Непряхин: такого роутинга Не знаю как она по-английски Проанализировать ну суть в том что вот вы одно сообщение Один, Раз, читаете просто вот допустим какое-то сообщение и в зависимости от того какой консюмер какой партией прокомментился, допустим вот этот эту читает а этот из этих двух читает
Михаил Непряхин: и вот и он комитет и он прочитал он закамить его прочитал закометил. А стей находится в кафке,
Михаил Непряхин: то есть он прочитал и так давайте кто еще чем голосом хочет.
Илиас Эззахид: А можете пожалуйста, сказать а
Илиас Эззахид: есть какое-то соотношение между консимер груф и продюсеров, когда мы проектируем наши сервисы то есть сколько нужны ну. То есть Там Один к одному Или Там Это вообще без разницы не имеет значения.
Михаил Непряхин: Сколько Партий Даст Назвать Мне цветов.
Илиас Эззахид: Ну вообще и сколько консультант групп продюсеров и да скупка партийцы сколько Топиков.
Михаил Непряхин: Ага ну смотрите
Михаил Непряхин: Так Есть у нас значит Кафка да
Михаил Непряхин: и Сколько какое соотношение типа Продюсеров к Конюмерам Продюсеров с кантюмером Продюсер может быть Один.
Михаил Непряхин: Продюсеров может быть Сколько угодно Ограничений Нет Сто пятьсот Сто пятьсот Продюсеров они
Михаил Непряхин: просто Пишут без Проблемы в кафку Высокие то Есть Здесь вообще никаких ограничений хоть один хоть Тысяча Консюмеров
Михаил Непряхин: сколько Конюмеров а Здесь Есть ограничения
Михаил Непряхин: вот сколько партийцы вы создали на топик
Михаил Непряхин: Строго консервов у вас и Будет Максимально если. Вы сделали шестнадцать партиций на топик
Михаил Непряхин: то максимум консервов может быть шестнадцать если. Вы сделали два
Михаил Непряхин: ну типа вы такие подумали ну сейчас нагрузки небольшие, но на сколько Там минимальное кубе два инстанции надо вот вы сделали топик из двух партий
Михаил Непряхин: и вы Максимум Можете поднять Два Йинсенса поднимайте третий инстинкт
Михаил Непряхин: а Сейчас покажу где там У меня партия нарисована
Михаил Непряхин: не покажу короче вот значит есть у вас две протеции
Михаил Непряхин: подняли инстонс один он приконелся. К двум
Михаил Непряхин: подняли инсенс второй они распределили вот так вот один к одному подняли Инстинкт третий
Михаил Непряхин: Куда, если он к этому. Приходится.
Михаил Непряхин: Тогда здесь придется ставить мюдекс потому. Что. Может быть гонка данных мы про это уже проходили Раз гонка данных
Михаил Непряхин: и Мютакс это медленно это настолько медленно что это максимально неэффективная схема
Михаил Непряхин: давайте здесь сделаем небольшое отступление чтобы этот момент лучше понять самозреди у нас как Помните значит планировщик гол
Михаил Непряхин: Помните планирующий, гол у нас когда вот эта вот модель значит машин к машине Прикрепляется процесс
Михаил Непряхин: а процесс на Процессе Выполняется гурутина
Михаил Непряхин: и очередь из этих гурченко Так нарисовать значит тут очередь из этих бурутин
Михаил Непряхин: это как Помните локальная очередь называется в планировке а есть, еще глобальная очередь ну если тут, в локальной Очереди кончатся грутины да то
Михаил Непряхин: а оно не так Там каждый какой То цикл Не помню каждый шестьдесят второй цикл удя Это число я забываю прикрыть семьдесят второй и короче какой То каждый цикл а процесс он ходит в глобальную очередь эта глобу очередь
Михаил Непряхин: и забирает отсюда, грутину себе на выполнение, и вот так вот каждый процесс он вот Периодически из глобального забирает
Михаил Непряхин: и смотреть Раз у нас может быть два процесса
Михаил Непряхин: и второй тоже. Может сюда сходить Там Поэтому такое магическое Число Чтоб Они Не Терлись между Собой
Михаил Непряхин: но Даже в этом случае процесс может Быть много стой может Быть
Михаил Непряхин: и Даже если они будут каждый с ними второй цикл. Ходить но я не помню Какой именно ну какая Там грубая цифра
Михаил Непряхин: То Все равно может возникнуть гонка данных может возникнуть конфликт
Михаил Непряхин: Поэтому в глобальной очереди есть Мютекс
Михаил Непряхин: потому что По-другому нельзя надо как-то синхронизировать может возникнуть онко данный
Михаил Непряхин: а в локальной очереди мюдекс не нужен
Михаил Непряхин: потому что локальная очередь бидится один к одному к машине и проблемы не возникают
Михаил Непряхин: так вот это один в один То же самое что в Кафке,
Михаил Непряхин: То есть вот Это просто партиция в Кафке, и Поэтому
Михаил Непряхин: а не может какой То другой пот взять и
Михаил Непряхин: к нашей локальной очереди как говорится прокомментица
Михаил Непряхин: а никакой глобальной в кафки нет потому что глобальная очередь она потребовала бы Мютакса а потребовала бы энергетику потому что была бы обязательно гонка данных.
Михаил Непряхин: Поэтому здесь такая супе оптимизация применена ну как блок фри
Михаил Непряхин: локовые структуры каждый читает из своей Порции
Михаил Непряхин: но возникает только вот вопрос роутинга как по протицам распределить ну дефолтнера он пробен да дефолтный раунд робин тот кто пишет вот он сюда пишет сюда пишет по очереди сглазил. От вас сюда сюда
Михаил Непряхин: и каждый Поэтому да если Вы хотите. Чтобы У вас три инстанция работала надо Добавить партию то есть
Михаил Непряхин: когда вы добавляете третью. Партию то ну оно действительно создастся или будет рано термин уже между ними
Михаил Непряхин: но это недопустимо если вы закладываетесь на ключ
Михаил Непряхин: потому, что если вы добавите еще одну партию в одну традицию у вас произойдет рафинг, и вы поменяете порядок
Михаил Непряхин: вы вот этот вот вася
Михаил Непряхин: он перестанет попадать, стабильно сюда он будет попадать, в какое нибудь Другое место, потому что вы взяли и добавили партию
Михаил Непряхин: Это То же самое как вы в Кошмаку добавили какую То часть Или У вас Там Были шарды и вышар добавили У вас нарушится порядок внутри топиков
Михаил Непряхин: Ну, опять, Же если, вы закладываетесь на вот эту Логику с ключом потому что ашироваться. Только ключ, ну! Многие пишут вообще пустой Ключ и просто это Всегда, раун робин и тогда Вы можете добавлять топики
Михаил Непряхин: но в целом Стратегия Такая ниже мойтесь ой не топики апартицы не жмувать э не стоит взботиться На количество партий сколько их добавлять добавляйте минимум восемь
Михаил Непряхин: Даже если вы не собираетесь потому чтомировать добавьте восемь пусть будут восемь
Михаил Непряхин: а вообще можете Шестнадцать добавлять и не пац то есть восемь Шестнадцать Это норма
Михаил Непряхин: Поэтому как бы маленькое количество Партий потом гарантированно вам аукнется при масштабировании ну вот вдруг Вы захотите, больше восьми годов запустить больше восьмиинстанцев все Вы попали вы Не сможете масштабировать
Михаил Непряхин: а кафку используют Не просто так кафку используют в тех местах где нужна эластичность нагрузки
Михаил Непряхин: где вы хотите, Сгладить нагрузку то есть кафка появляется в тех местах где нагрузка растет скачкообразно
Михаил Непряхин: а вот если у вас просто Ровненькая. Нагрузка да график ну. У вас сервисы вывезутся Окей
Михаил Непряхин: а если у вас рон кровь а потом бах скачок и опять упала
Михаил Непряхин: ну конечно Можно там как-то решить это с помощью эээ горизонтального Штабирования в Кубернатисе Но этот всплеск вы можете Не пережить
Михаил Непряхин: а кафка она это Все Впитает то Есть вот ну вот произошел всплеск на грудки у вас много сообщений вы то. Все в кафку пишете, пишете, пишете, пишите
Михаил Непряхин: а конечно Меры у вас читают с какой то скоростью Да ну и что что они в Моменте это все Не переварят ну пройдет минутка они все переварят а может быть у вас еще и ну говорю как бы вот допустим Нагрузка очень, сильно скачкообразно растет вы заранее поднимаете много винстонцев восемь штук например,
Михаил Непряхин: и при скачкой Нагрузки они У вас и за все переваривают то есть как бы вот Идея очереди да эта Же очередь месседж кью Она вот в этом Сгладить Скачки
Михаил Непряхин: отсрочить обработку Там где это возможно Там где не нужно мгновенно реагировать Там где клиент может Подождать
Михаил Непряхин: так давайте сделаем перерыв
Михаил Непряхин: давайте сообщение мы сообщение поточаем
Михаил Непряхин: да сам пытаюсь бороться с этим
Михаил Непряхин: как Понять что проекту требуется против сообщений ну это обычно как-то
Михаил Непряхин: сложно сказать Это скорее с опытом и просто кто-то все равно сверху Он Спустит Что ну Вот здесь надо Кафку Воткнуть ну короче вы от профиля нагрузки зависит если он скачкообразный и вы вот испытываете трудности с обработкой большого наплыва сообщений каких-то обращений
Михаил Непряхин: и там допускается синхронность когда вы можете когда клиент может немножко. Подождать Или он Вовсе не ждет вам просто надо обработать какие-то события. И Там даже клиенты не ждет ничего просто сам факт это работает события какого-то там появляется кафка
Михаил Непряхин: так что такое топик сколько тупиков может Быть и какими могут Быть Примеры топика в реальном проекте
Михаил Непряхин: аа топик ну это просто для ротинга то есть это как ручка у нас там ручки уходя, по серверы а здесь топики то есть это просто некий путь, По которому Лежит очередь
Михаил Непряхин: какие могут быть Сейчас Еще Посмотрим как определяется количество протестных топик я уже сказал по количеству. Консуеров
Михаил Непряхин: сущность брокер в кафке это топик его протесты
Михаил Непряхин: ну да ну брокер это есть кафка как брокер это кафка
Михаил Непряхин: эээ он уже Мыслит шью в Но уже очередь он же Брокер вот а Как Бургер Это сущность
Михаил Непряхин: Мастера, кафки павка обычно состоит Из брокеров У них обычно три
Михаил Непряхин: Или Пять по Нечетному Но чтобы к вам Был потому что используется Алгоритм рафт
Михаил Непряхин: вот а уже в брокере Там Топики и Топики состоит ситуация, Протеций
Михаил Непряхин: Так считали сообщения в консюмере и упали есть возможность сделать Так
Михаил Непряхин: Что вы Закомите сообщения только когда его Обработали Поэтому если вы Упали и Не Обработали в следующий Раз подниметесь и Продолжите. С этого же места
Михаил Непряхин: Так Вребите. Можно Не проставить что не прочитали и кто то. Прочитает заново сообщение
Михаил Непряхин: вы короче можно организовать Так что вы гарантированно один Раз, получите сообщение а там скорее проблема в том что, вы можете дважды получить, сообщения но это с этим борются с помощью Ключа и импотентности
Михаил Непряхин: так Что происходит с сообщением после того как консиму его обработал
Михаил Непряхин: консюнер отправляет, значит когда консилиум обработал сообщение
Михаил Непряхин: там где тут У нас Промерочек есть
Михаил Непряхин: Так ну У нас вот есть партия
Михаил Непряхин: и к ней ее слушает консюмер
Михаил Непряхин: и как я говорил консенсус также еще Общается с Кафкой и отправляют туда. Хардбиты
Михаил Непряхин: ну что типа я жив Не знаю Там каждые пять Секунд Или десять. Секунд он какая-то еще
Михаил Непряхин: тоже здесь же в кафке какая То еще Место,
Михаил Непряхин: там это свой собственный топик по Сути тоже протиться но будем считать что просто кавказ отправляет
Михаил Непряхин: и когда он вычитывает
Михаил Непряхин: сообщение. Ну вот он прочитал сообщение. Тут овсяца угла он его прочитал обработал и также в кафку отправляет,
Михаил Непряхин: что для такой-то конюмер ну это в конюмер группе да он работает
Михаил Непряхин: это только язык для Группы работает
Михаил Непряхин: значит он говорит что для такой-то Группы допустим группа эпо называется а портить ноль
Михаил Непряхин: я прочитал сообщение сорок Два я Сейчас. Нахожусь на этом сообщении это называется комит
Михаил Непряхин: что консюмер закомитил сорок второго Сообщения дальше он читает в сорок третьем
Михаил Непряхин: и падает Не успел, Обработать это сообщение и Упал Он просто Не пошлет комит
Михаил Непряхин: и Поэтому останется Закоченное сорок Второе Потом Он поднимается конюмер
Михаил Непряхин: и говорит ээ на каком Я там месте остановился ему конкретно сорок втором
Михаил Непряхин: беток Ей давай, сорок третьего и снова Читает сорок третье и уже комитет сорок третья и таким образом
Михаил Непряхин: получается, что мы можем вот этот вот момент контролировать но есть небольшой минус например, вот в рябите, эмкью
Михаил Непряхин: вот Мы отправили Одно, сообщение Второе сообщение третье сообщение и Мы Можем в Конюмеры
Михаил Непряхин: Обработать вот это и это Окей а вот это вот Ошибка
Михаил Непряхин: и Мы говорим роббиу вот Эти, Окей поймите Себе, а это Ошибка
Михаил Непряхин: в Кафке к сожалению У нас непрерывный лог и Если мы будем
Михаил Непряхин: не по порядку обрабатывать эти сообщения
Михаил Непряхин: а хаотично в гуру тинах например ну то есть у нас есть возможность в рутинах как угодно обработать в каком угодно порядке эти Сообщения
Михаил Непряхин: То вот Мы допустим получилин
Михаил Непряхин: а вот Мы в Грудинок запустили сорок третью обработку сорок четвертая кисорок пятая.
Михаил Непряхин: И у нас сорок четвертая с ошибкой
Михаил Непряхин: Повернулась и сорок третья с ошибкой вернулась а сорок пятое обработалось окей и конюмер комитет сорок пять
Михаил Непряхин: а То что эти на самом деле Не обработались Не закомитились
Михаил Непряхин: гонц умер, Ну все круче Нет такой возможности да то есть как бы
Михаил Непряхин: Мы и из-за особенностей на низком Уровне организации Мы имеем быструю, ну хорошую скорость чтения записи
Михаил Непряхин: но у нас нет надежности вот ну в Беспорядочном Порядке Если Мы Начнем Там в рутинах обрабатывать Эти, Сообщения А Не По Порядку.
Михаил Непряхин: То М ну Теряется смысл Комиссии к Митингам вот этого потому, что, ну какой Последним языкомтели. Он перезаотретет Себе, До Этого ну Не то что, перезаотрет, но Там одно, число ну как бы когда кончумер комитет какое там просто одно, число, вот какую на чем, Он Остановился
Михаил Непряхин: Он говорит я Остановился на сорок пятом ну все в следующий Раз ему Сорок шестое Дадут
Михаил Непряхин: а То. Что вот эти Ошибкой закончились ну Влог мы конечно запишем в блок но
Михаил Непряхин: Аа Мы уже Закомитились здесь значит есть решение Этой проблемы называется он дэд леттор кью дэл кью
Михаил Непряхин: Что это такое значит заводится еще один топик ну Не назовем топик с ошибками
Михаил Непряхин: топик с ошибками Вот Вот по названию этого топика из Которого Мы работаем только Там добавим ира
Михаил Непряхин: и когда консюмер ошибочно что-то ну ошибка возникает Допустим Мы Не, хотим, ну если Мы по порядку вычитываем безгорутин да просто по порядку синхрона проблемы нет что вот Окей Там ошибка ну как бы еще Раз, повторим ой а если Мы о синхронно хотим? Это сделать
Михаил Непряхин: то тогда Мы Можем их просто отправить в другую очередь
Михаил Непряхин: и либо ее тоже автоматизировано как-то запускать либо. Просто глазами потом отсматривать что там случилось не так
Михаил Непряхин: ну и даже когда мы без грутин последовательно обрабатываем вот эти вот сообщения
Михаил Непряхин: может быть мы их потом куда-то отправляем по хтп да Например,
Михаил Непряхин: а Там ошибка Не знаю четыреста четыре
Михаил Непряхин: и Хоть Зарярайся ее ну как Бы ну Там проблему коронули чем четырехсотка какая-то ничуть Не Инвалидная Ну, Мы Тоже, в этом случае вот Делетаркью просто. Отправляем и все Либо просто. Пишем влог и Потом Логи Смотрим осматриваем глазами,
Михаил Непряхин: и чаще всего Так и Делают, просто ошибочные сообщения Которые Не удается Обрабатывать Допустим Там три -е было
Михаил Непряхин: ну никак, Не получается ну пишем вмок Что ошибка произошла но на креннях если, вы Не Хотите. Ничего терять заводится Диокью дедлятор Кью для сообщений Которое вот у Нас ошибочное
Михаил Непряхин: так
Михаил Непряхин: вот эти вот логи если имеется в виду сколько хранятся, сообщения в топике это Настраиваемая политика либо
Михаил Непряхин: там обычно Делают, семь дней так чтобы если чего разбор полетов Можно было сделать
Михаил Непряхин: ну потому что волки, сама Эти. Вот довольно долго дорого хранить Буква в этот
Михаил Непряхин: а мне Можно больше поставить Можно и тридцать дней поставить Можно Один день поставить Можно вообще бесконечно хранить Тоже, вариант Можно хранить бесконечно
Михаил Непряхин: По времени либо
Михаил Непряхин: По Размеру короче вы можете указать Допустим вот Там Дефолтная по-моему один гигабайт для партий Новый можете Настроить
Михаил Непряхин: Допустим вы говорите Там один гигабайт и если превышает кто обратится удалят Но там Есть
Михаил Непряхин: Так рассказать мне рассказать Давайте Сейчас расскажу
Михаил Непряхин: Раз, уж тот Вопрос зашел. За это тут тоже Есть Приколы
Михаил Непряхин: как Видите Кафку прочего рассказать вот как она устроена чем вот там
Михаил Непряхин: смотреть на Стройке Сперва потому что видеть Ну Очень сложно очень. Сложно все Устроено ну Люди офигевают Люди офигевают и просто. Нормальная Сказка Никогда не. Разбирается нужно очень. Сложно а Так никто толком не. Учит
Михаил Непряхин: реальный материал хороших. Нет даже Посоветовать ничего не могу.
Михаил Непряхин: Ну в русскоязычном Пространстве в англоязычного, но только в Текстом виде хорошего материала
Михаил Непряхин: так Давайте здесь поговорим про это раз уж зашли мы по политике и удаления ну как я сказала допустим по Времени
Михаил Непряхин: семь дней либо по размеру Обратиться и допустим один гигбайд
Михаил Непряхин: значит так Давайте еще Раз, пересматриваем топик тупик состоит из партийцы
Михаил Непряхин: но на самом деле партияция это Не один файл,
Михаил Непряхин: м-м мало вам было да топиков птицы и там то всего смотрите партиция на самом деле состоит, из сегментов
Михаил Непряхин: еще одна абстракция сегмент то есть
Михаил Непряхин: портится она хоть, и это один бесконечный файл но он состоит из сегментов это разные файлы
Михаил Непряхин: значит когда заполняется один сегмент допустим по количеству сообщений Или по размеру допустим Там
Михаил Непряхин: ну он отдельно настраивается допустим сегмент То мегабайт для простоты вот он превысил с томигабайт это отдельный файл.
Михаил Непряхин: Создается следующий файл.
Михаил Непряхин: Ну, Просто Там типа По номеру спасли это Там бо типа это первый Там это Второй заполнился. Опять, томигабайт
Михаил Непряхин: следующий третий файл, создался опять, там на сто мегабайт ну и вот
Михаил Непряхин: если вы сделаете там по размеру допустим вы там сделали максимально двести мегабайт может быть
Михаил Непряхин: топик а он состоит из одной птицы для простоты и
Михаил Непряхин: ну вот вы сделали чисто по размеру а значит
Михаил Непряхин: если, вы сейчас находитесь вот в Этой вотпартице
Михаил Непряхин: ину ли вот в Этой процедуре
Михаил Непряхин: то, она удалиться не может то, есть текущая Продиция удалиться не может
Михаил Непряхин: и ну тут ровно как бы я нарисовал да как бы но если, бы не ровно было и уже пришло время вот удалять да по размеру Мы бы вышли она бы все равно вот эта Проница не удалилась бы текущая
Михаил Непряхин: а когда бы Мы создали следующие, следующую Партию, вот это бы, удалилось, но короче чего нас запомнить
Михаил Непряхин: что если, Мы вот в одной партией а допустим время пришло допустим семь, дней
Михаил Непряхин: а это по старому самому последнему сообщению вот если самым Последним сообщением больше семи дней птица Удаляется все эти
Михаил Непряхин: Нарисуй заново что отпортиться и один, сегмент она состоит из одного сегмента.
Михаил Непряхин: Там свои, правила на Создание сегментов тоже либо по времени.
Михаил Непряхин: А то есть есть настройки вот эти вот по времени. Или по объему на весь топик
Михаил Непряхин: есть настройки по времени. По объему на сегмент партией
Михаил Непряхин: короче если вы находитесь в текущем сегменте сегмент один
Михаил Непряхин: и время уже вышло или ну время вряд ли вышло оно по последнему сообщению да допустим вот размер пришел
Михаил Непряхин: то пока следующий сегмент не создастся вот этот сегмент удалиться не может
Михаил Непряхин: Поэтому нельзя закладываться на то что. Вот у вас Там вот уже удалилась
Михаил Непряхин: пока новый сегмент не создастся второй сегмент вот этот сегмент не удалится просто такая особенность
Михаил Непряхин: что портиться на самом деле это ну, абстракция
Михаил Непряхин: а эта абстракция портится и состоит из сегментов а вот сегменты Это Уже Конкретная файл
Михаил Непряхин: короче можете прямо здесь Сейчас и забыть про Это устройство оно не так важно важно то Что
Михаил Непряхин: не Всегда, предсказуемо Оно удаляется вроде думаете, Оно уже должно должно было бы удалиться а Оно не удаляется потому Что сегмент Еще старый как только появится. Новый сегмент Так Предыдущий сегмент удалится.
Михаил Непряхин: Да вот Еще такие приколы
Михаил Непряхин: Так этот же рок файла вы Хранит сообщение и потом спустя время сами появляются макавка их удалить по настройке да только. Надо не забывать про сегменты
Михаил Непряхин: так для каких кейсов кафка Не, подходит точно это сложный вопрос
Михаил Непряхин: там где можно обойтись синхронным общением и Нет никакого никакого всплеска нагрузок
Михаил Непряхин: если Все ровно ээ а если нужен нужен ответ. Здесь и Сейчас клиенту то есть вот у Него прям он вам какой-то запрос по славу, и он ждет дайте ответ. Ну сделайте вы эту ручку на джерси ну нарастите
Михаил Непряхин: пусть она там подождет немножечко допустим долго чего-то обрабатывается ну десять. Секунд пусть повесите. Но все равно проще это сделать синхронно
Михаил Непряхин: Какие еще могут быть проблемы при переводе с сказкой кроме дева кью и консервов лак
Михаил Непряхин: ну она просто отваливается и
Михаил Непряхин: когда У нас какая-нибудь менеджера кафка то вот такое бывает я вообще Не Люблю менеджмент ну как бы кафку как сервис
Михаил Непряхин: Да и губернатор как сердце не Люблю и поздно как сервис не Люблю надежнее когда вы на своих Серебрах все поднимаете а там таких, Проблем не бывает а когда вот с менеджером сталкиваетесь
Михаил Непряхин: То Там обязательно Периодически коннекшины рвутся и но оно просто само поднимается и все на самом деле даже дел кью я говорю как бы это просто Паттерн
Михаил Непряхин: а единственная проблема нерешенная Сейчас это только с конюмерлагом
Михаил Непряхин: когда когда у нас есть Два инстанция один почему то выпадает из кончалов группы остается один и он перестает справляться
Михаил Непряхин: это решено ну, смотрите я же вам Сейчас говорю про конкретный Драйвер я груд про Драйвер какагоу добрин
Михаил Непряхин: Но он сам популярный то есть сам популярный Драйвер у нас Сказка Голову.
Михаил Непряхин: Восемь три звездочек ну Он и самый красивый и самый хорошо написанный идиоматический
Михаил Непряхин: вот а кроме Него еще есть Два драйвера значит второй это Сарама но он
Михаил Непряхин: как бы как вам сказать он более старый написан похуже
Михаил Непряхин: но Возможности у Него побольше они Там не более низко уровневые Но о этот Драйвер он заставляет Знать кафку потому что там прямо он требует чтобы вы там в тонкостях шарили
Михаил Непряхин: Поэтому мир хотя Он даже кстати популярный да Он тут двенадцать тысяч звездочек так-то даже По популярнее как в кино но тем не менее Кафка голос самый, популярный
Михаил Непряхин: есть Еще ну вот гоуко Это Недавно появился,
Михаил Непряхин: То Еще молодой где Исполнены Тысяча звездочек
Михаил Непряхин: и в нем есть разные стратегии
Михаил Непряхин: ну может быть не очень молодой но короче и мало кто пользуется
Михаил Непряхин: потому что он дурацкий он прям какой-то стремный там очень странный и там люди вообще какие-то Наркоманы писали я Реально честно. Пробовал с Ним поработать его затащить невозможно
Михаил Непряхин: просто редкостное говнище ну Вот Вот бывают иногда Вот Люди вот ну вот очень Плохо пишут
Михаил Непряхин: либо. Кот либо. Библиотеки вот здесь тут, очень Плохо написана библиотека
Михаил Непряхин: вот Поэтому его горячо не рекомендую сорама еще ок и есть конфликт
Михаил Непряхин: Разработчик кафки ноннера драйвера компания конфронтации и вот это Идиоматичный драйвер
Михаил Непряхин: по популярности не очень популярные под пять тысяч
Михаил Непряхин: получается самое популярное это шпиват шупифая срама но и
Михаил Непряхин: а он блин сигол потому что он как бы и
Михаил Непряхин: что за компания конфлиент она занимается разработкой клиента для кафки ион на си
Михаил Непряхин: и Поэтому у нас здесь и Гоу
Михаил Непряхин: а никто не любит Егоу Но там по многим причинам ну просто не любит его
Михаил Непряхин: ну и все и как, Бы вроде Бы этот драйв он и и здесь эта проблема решена
Михаил Непряхин: проблема с Конюмерлагом с первойбалансировкой группы она решена
Михаил Непряхин: потому что кафка не стоит на месте да постоянно разрабатывается все новое там выходит обновление все фиксится то есть Сейчас кафка на очень таком хорошем высоком уровне Находится
Михаил Непряхин: но ни скоро, не уйпий
Михаил Непряхин: если вы Там уже задизанили один Раз, библиотеку ну как кафка гоу Завод который Мы Сейчас. Рассматриваем и которые самые Популярны
Михаил Непряхин: То Там ну не Так То просто взять и использовать какие То, новые функции и Поэтому
Михаил Непряхин: вот в Кафке, допустим Появились транзакции ну они Там своеобразные конечно очень да Но вот транзакции как Бы типа есть а У нас в нашем Районе, Их Нет
Михаил Непряхин: и ну они Не очень-то нужны и
Михаил Непряхин: Можно там Без них легко обойтись, но вот одна штука вот Про которую он сказал проблема. С конюмерлагом с первойбалансировкой групп с которой постоянно встречаются гошники
Михаил Непряхин: она вот в этом нравилась решена значит давай Сейчас поищем
Михаил Непряхин: так ну там Кооперативная называется Стратегия Сейчас Попробуем Кооп найти, мне что-то как-то Не Ищется
Михаил Непряхин: так Сейчас загублю к и рейд консенмер
Михаил Непряхин: Я и короче Стратегия называется консультант групп с Каперрейд
Михаил Непряхин: Не знаю почему он здесь Не гулится Что Не хвалятся. Они об этом да
Михаил Непряхин: а может и не в оригинальном Драйве это хвалят Сша по смогу а ты не ж тут Их репозитории
Михаил Непряхин: Ммм конфронта кавказа У них гоу драйвера еще самый популярный так и
Михаил Непряхин: ан где сишнета
Михаил Непряхин: Лир дикавка это что паче кафка сидит ну да видимо вот это здесь Будет Скрыться Копирайт,
Михаил Непряхин: Нет все равно нечто а Так а значит ну вот здесь гулки точно Хвалились этим Что я посмотрю
Михаил Непряхин: да Не, Знаю чего Ты убрали они Все короче Есть Э несколько стратегий
Михаил Непряхин: Сейчас загрузили Все стратегии Балансировки сюмер Группа Кафка
Михаил Непряхин: аа так вот смотрите да
Михаил Непряхин: аа рнча сильнер короче От у нас используется раунд робин вот в нашей, библиотеке рогошной вот она использует раунд робин
Михаил Непряхин: и из-за этого вот возникают Эти Проблемы Ммм
Михаил Непряхин: для Решения Этой Проблемы значит возникли сперва Стики.
Михаил Непряхин: Балансировка и вот она как Раз, решает холодный старт,
Михаил Непряхин: м холодный старт, это в чем проблема да давайте Сейчас про это нарисуем
Михаил Непряхин: здесь как бы самый гемор видите как вот отправить че то в кафку ну там нет никаких. Нюансиков а вот когда вы читаете. Из кафки его тут появляются нюантики
Михаил Непряхин: значит ну вот нас нулевая партия первая Партияция.
Михаил Непряхин: А мы у нас вот два инстинкта они читают
Михаил Непряхин: представим себе что мы делаем арей диплой ну вот сделали Новую версию здесь у нас была версия, Один, Мы сделали версию Два
Михаил Непряхин: Мы гасим Один, Инстанция, Поднимаем Второй
Михаил Непряхин: в Этот Момент происходит перебалансировка Это Стоп ворот Стоп ворлд все связи рвутся поднимается Новый коннекшн
Михаил Непряхин: и то есть вот эти Провалились и следующий это Тоже установил Мы Заработали тут же
Михаил Непряхин: этот повод Гасится поднимается Второй а опять Стоп За ворот опять и этот поднимает коннекшн и этот поднимает
Михаил Непряхин: короче Пере балансировка очень Дорогая операция потому что происходит столкну вору потому что. Это все соединение и это все по алгоритму рафт рафт это алгоритм консенсуса
Михаил Непряхин: то есть там ну вот много разных Проблем а теперь Представьте
Михаил Непряхин: Что У вас и Инстанций много У вас партийцы шестнадцать штук У вас шестнадцать Инстанций
Михаил Непряхин: Вы делаете рей диплой остер зимой,
Михаил Непряхин: и Вы вот так вот по очереди один погасили? Подняли Стоп заворот перебансировка один погасили? Подняли стол, в заворот перебалансировка
Михаил Непряхин: почему по одному потому что эта Стратегия ну в губернаторы Вспомните я вам говорю в Губернасе Стратегия обновления стандартная дефолтная это роулинг Кап дейт
Михаил Непряхин: и Поэтому У вас вот так вот По очереди у него гаси Поднимается кости Поднимается А стоял на стол в донор вот постоянно вы лечи в момент Ради, Плоя
Михаил Непряхин: у вас кончумерлак
Михаил Непряхин: вот так. Вот растет растет растет растет вроде только поднимется и все равно растет потом когда уже наконец то они все Поднялись
Михаил Непряхин: все разгребается очередь и вот происходит Опять, Падение. И все как. Бы обратно в штатном. Режиме
Михаил Непряхин: Что бы Это пофиксить значит придумали первый вариант с дикий сессии То, Есть вот этот вот ангаризм который рон назвал раунд робинтом значит придумали тихим
Михаил Непряхин: что когда мы вот ну вот убили Мы вот этот вот пот
Михаил Непряхин: ну вот этот коннекшн порвался а этот продолжает работать стоп, заворот, как бы только для него а это продолжает работать
Михаил Непряхин: они не так не так встиках стоп за вырваться, на всех
Михаил Непряхин: но потом не надо делать вот эти первые выборы кто какому коннектице, Там же Везде вот много протеций да им надо договориться между Собой Кстати шестнадцать Партий и шестнадцать сервисов
Михаил Непряхин: им надо сказать Коро же вот этот такой говорит я вот к этому и всем сообщаю я к этому а кто-то уже тоже к этому приконерлся Он говорит нет я к этому а кто был первый из нас он Куда я был первый ладно это такое идет тогда я к этому
Михаил Непряхин: а и так вот Стики они как Раз, Таки препятствуют вот этому беспорядочному выборам и они просто Говорят
Михаил Непряхин: ты и и происходит но быстрее происходит вариант перевыборов и
Михаил Непряхин: вот и как Бы устики этот вопрос решал Но Тем Не Менее Стоп ворлд был для всех вот этот плак все равно рос
Михаил Непряхин: значит следующий фиг с Этой темы и как бы на текущий момент самый актуальный это кооперативные стики
Михаил Непряхин: и вот они именно здесь и вот в этом вот драйвере который конфлент сию который хищный
Михаил Непряхин: вот это вот а они в нем реализованы ну костики этой улицы Нет
Михаил Непряхин: Нет с рони гури ну что-то видимо для них Это было да Раньше, было вы мрали
Михаил Непряхин: типа когда новинка была тогда это было она Давно уже появилась
Михаил Непряхин: вот и аа значит следующие это кооперативные стики
Михаил Непряхин: а кооперативные стики Не Делают стоп-дварт, для всех чтоб Заборов для всех Нет а те кто работает продолжают работать а стоп-д вор только для тех кто умер. Ну это и Не столь заворот они и так умерли Поэтому как бы поучаться так Что кто работал продолжает работать,
Михаил Непряхин: а вот только для новых вот для них происходят перевыборы вот эта стратегия называются кооперативные Стики
Михаил Непряхин: и ее У нас Нет в нашей, любимой, популярной Библиотеке которую все используют Поэтому Мы страдаем
Михаил Непряхин: пока не пришло комьюнити консенсусу то ли использовать ну как бы вот стики есть в библиотеки
Михаил Непряхин: а вот в Этой вот в гулке есть они стики я вот из-за этого хотел на нее перейти
Михаил Непряхин: При Этом
Михаил Непряхин: как там стихи-то пишется мне кажется, что вчера Раньше, писали Сейчас нету вот но мне Она Не понравилась Не зашла в сараме
Михаил Непряхин: вот сами, не помню, есть или Нет по моему, тоже есть а
Михаил Непряхин: вот вот видите вот по крайней мере файл. Есть стики не знаю Есть ли тут Кооперативная да но стики точно Есть
Михаил Непряхин: вот в сараме и ну, срама это вот ближайший претендент на то Куда, бы я пошел если бы не кавказ гоу ну просто на всех проектах все Кафкагу используют Поэтому без вариантов вот но если Прям, нужны стики
Михаил Непряхин: скорее всего они там не кооперативные я подозреваю Ну это само будет лучше
Михаил Непряхин: ой значит на текущий момент эта проблема. Решается тем что просто аа ну просто вырубается пот делается ревод
Михаил Непряхин: и если это прямо критично Отключается роулин кобейт чтобы вот это вот лага не было ну и просто, как бы вы там смотрите вот если, проредипо есть вот эта большая большая очередь вага тогда вы роулинг обед, отключаете и делаете другую стратегию
Михаил Непряхин: чтобы Не по одному они Там переделывались, а как бы Там массово всей пачкой ну Если, нет такой проблемы ну и как бы и ладно
Михаил Непряхин: вот короче это прямо вот Единственная Нерешенная проблема, вот на текущий момент драйверной кафки
Михаил Непряхин: так Давайте дальше ну чего Там еще какие-то Вопросы, есть антипыч это теория
Михаил Непряхин: Окей Окей давайте посмотрим на то как это выглядит
Михаил Непряхин: так большая террористическая часть но без нее видите как бы тут вообще нереальна вообще бы ничего было непонятно,
Михаил Непряхин: так ну во-первых надо поднять Кафка кластер
Михаил Непряхин: тут кстати и начал поднимать готовился к Занятию и Ну просто проверить работу оно или нет
Михаил Непряхин: и до этого я Использовал битмании ветмания вьетнам, да вьетнаме эти образы
Михаил Непряхин: и Они короче говоря умерли короче это вообще очень большая компания
Михаил Непряхин: бит ээ вьетнаме и у них вот эти образы были очень популярны
Михаил Непряхин: а они просто взяли Их и убили
Михаил Непряхин: Сейчас вот если посмотрите натегию ведь, электриков нет короче они взяли и изнесли все образы в доктор хаби
Михаил Непряхин: и я начал гуглить попал очень много Людей ну как видите тут прямо, скачиваний были сотни Миллионов
Михаил Непряхин: вот и прям ну
Михаил Непряхин: учимся и недовольны но они просто переключились на платную модель сказали что. Те образы которые были в публичном доступе они небезопасны а если, Хотите, на безопасные персонажи
Михаил Непряхин: вот Поэтому э пришлось переделывать этот доктор Компост
Михаил Непряхин: ну вот собственно на этот самый конфликт конференции который как там конфлюен
Михаил Непряхин: тинси каривентинс не знаю как это читать консультант инк короче говоря
Михаил Непряхин: в вьетнаме Было все сильно Проще
Михаил Непряхин: Ну это ладно короче Мы Поднимаем кластер Чтобы он был близко к тому Что У вас будет на работе,
Михаил Непряхин: в реальной жизни в реальной разработке мы обычно берем только один Богер Ну типа зачем нам. Хаев а его выберите Компоновка но здесь вам для того чтобы показать это Все я Запускаю кластер из трех блогеров то есть вот первый урок второй богерт там третий Вроде
Михаил Непряхин: Раньше. Еще для того Чтобы работать с кавказа кластером нужен был зу Кипер
Михаил Непряхин: Это такой компонент который следил за Тем Чтобы
Михаил Непряхин: Ну чтобы онгарет Марафт работал чтобы был куром чтобы Если кто То умер. Его из балансировки умирать
Михаил Непряхин: Сейчас Же поменяли Сейчас Же каждый
Михаил Непряхин: инстонс может Быть самостоятельно и брокером и контролером контролер это лидер
Михаил Непряхин: то Есть Мы Всегда, работаем только с лидером ну, вот с контролером
Михаил Непряхин: и Поэтому какой-то один из этих Инстинктов
Михаил Непряхин: назначаются лидером! Или контролером! И Мы туда шлем все сообщения и коннекнемся тоже к нему
Михаил Непряхин: другие два они просто ждут они фолловеры они просто подтягивают данные с лидером и если вдруг лидер упадет
Михаил Непряхин: то они выберут лидера между Собой с помощью англии марафт это алгоритм коума он
Михаил Непряхин: ну короче Там У кого, будут свежее
Михаил Непряхин: Извините У кого, будут свежие данные тот и выберется лидером
Михаил Непряхин: Потом когда лидер поднимется он скажет что
Михаил Непряхин: а он уже не будет Лидером он просто. Станет Брокером одними из фоуэров в конштайн
Михаил Непряхин: Эти данные как Раз, для этого кворума ну просто кто участвует в корруме вот это все три кавкаброкера
Михаил Непряхин: у них есть адишники свои
Михаил Непряхин: и есть разные порты для разных целей значит им, тернул это когда мы внутри ну вот здесь в этом случае внутри докера хотим, обращаться
Михаил Непряхин: а экстерном это когда мы извне докера обращаемся ну им прокидываем эти проты то есть вот мы брокеру будем обращаться по этому порту
Михаил Непряхин: здесь девяносто, третий из нее второй и контролер
Михаил Непряхин: это тоже, для внутреннего Использования, это просто Они Там между Собой у них своя собственная сеть вот Они по Этому порту между Собой Там будут общаться
Михаил Непряхин: здесь идет, адвертает это когда Мы подключаемся к лидеру он просто говорит
Михаил Непряхин: к какому, порту можно подключиться что Мы Можем подключиться к около, хосту ну вот вернее никому хохосту ну да только к хохосту вот извне девяносто девяносто два
Михаил Непряхин: вот А для внутреннего Использования, вот такой атмос когда мы внутри этого доброго компоста находимся здесь мы можем
Михаил Непряхин: указать Хотим, ли мы использовать Там сертификаты ну мы ничего не Хотим, мы просто все без всякой защиты и
Михаил Непряхин: Ну, и так это просто тут еще технически для того чтобы это все Работало
Михаил Непряхин: а так мы понимаем в трех инстинктах
Михаил Непряхин: и еще у нас есть юай для того чтобы посмотреть на наш кластер Там Мы можем и на топике посмотреть создать месседжи в этих топиках. И в разные настройки и другие посмотреть. Какие у нас Они есть просто это мастрев очень удобный юар для работы с сказкой
Михаил Непряхин: понятно что Ей вида Ева здесь есть да там тоже тут Можно ковку подрубить Но это фигня полная то есть вот Этот ее я сильно удобнее
Михаил Непряхин: вот ну и все
Михаил Непряхин: так Давайте и от майк Файли У Меня здесь единственная команда вот Чтобы поднять этот класс
Михаил Непряхин: так ну этажава поднимает все медленно но поднимается поднимается Там какой-то консенсус находит
Михаил Непряхин: поднимался вот дальше идем
Михаил Непряхин: по нашему вот этому юаню он нас на Восемьдесят сторон в топорту Мы тут можем любой задать так-то он Там натравить Восемьдесят Восемьдесят но я задал, Восемьдесят Второй
Михаил Непряхин: так, вот значит ты видим юай ну значит можно посмотреть
Михаил Непряхин: из Чего состоит наш кластер вот у нас три блогера
Михаил Непряхин: он тут что-то видит одному одному форуму что-то Плохо лидер сью а и
Михаил Непряхин: У Меня здесь что-то мусор какой-то так Давайте Сейчас Почистим Сейчас Почистим То Я Там Запускал То это дело.
Михаил Непряхин: Видите Так как тут волю Мы подрублены То оно сохраняется ну Мы Сейчас Почистим такдокер
Михаил Непряхин: волен но Сперва чтобы Воли почистить над Имиджем найти,
Михаил Непряхин: так надо удалить все эти инстанции теперь можем волю не почистить
Михаил Непряхин: все вот теперь у нас чистый Бот
Михаил Непряхин: здесь еще Всегда, веселуха с Этими Конфигурациями и
Михаил Непряхин: самое сложное просто Кафку хотя бы поднять и От латвии Использую
Михаил Непряхин: по-хорошему надо Фиксировать Так чтобы она точно Работала Но ведь, У с биманией Например? Не Получилось потому Что они взяли и снеслись образы и Фиксация не Помогла
Михаил Непряхин: так Ну короче чего мы под? Него Сейчас Смотрим
Михаил Непряхин: все тут все Окей матч три три брокера вот этот Выбран лидером контролером по Их Мнению лидер
Михаил Непряхин: поэтому Мы будем и писать и читать к с Лидерам Шаться Когда Мы понимаем
Михаил Непряхин: коннекшн То Мы Там вообще указываем все и
Михаил Непряхин: ну как бы вот у нас Тут три порта вот мы все три их и указываем то есть все три адреса где у нас находятся брокеры
Михаил Непряхин: но все равно работать в итоге, Мы Будем с лидером вот с Этим товарищем в Этом случае
Михаил Непряхин: так Что тут через интересного есть ну. Активные контролера три Не значит Значит
Михаил Непряхин: так инстинкт репликас ну это чуть позже поговорим так ночь можем зайти
Михаил Непряхин: он перевыборы он уже второй стал лидером
Михаил Непряхин: все это только что третье было ли
Михаил Непряхин: Так значит есть Конфеты Конфигов Прямо очень очень много и Их можно смотреть вот здесь
Михаил Непряхин: тут, он тринадцать страниц просто конфет
Михаил Непряхин: соответственно так. Как У нас вот это все взаимодействие, сложное Большое да То вот эти все тайм-ауты Там сям Там Время стратегии все настраивается то есть Мы с Вами будем, говорить только вот о базе об основных а еще там настроек это как бы кафка это такой френборг Даже можно сказать То Есть это Прям
Михаил Непряхин: все и Так ладно и также у нас здесь Есть начнут возможность посмотреть на топики вот Сейчас Тропиков. Нет
Михаил Непряхин: и на Конюмеры какие У нас активные Конюмеры Тоже. К каким Партийцам Там они ни к каким топикам Не Прибиндины
Михаил Непряхин: вам Давайте создадим топик эммм значит вот примерчик У Меня, как и скода создать топик на и а Нажать
Михаил Непряхин: короче здесь кнопка этот топик нажимает Кнопку как назовем да значит ну называем как то
Михаил Непряхин: и Видим Чего вообще как бы, можем настроить для топиков ну Количество Партий как я вам сказал
Михаил Непряхин: нижний восток минимум восемь клина полисе какие варианты белит То есть просто Удаляется Например чер семьи а и компакт
Михаил Непряхин: Это Когда вы работаете по патруной в Ансорсинг, когда У вас не весь стоит а когда У вас Есть возможность сделать компакт хорошо про компакт
Михаил Непряхин: редко. Кто. К Нам с компактом работает если вдруг будет работать отдельно. То посмотрите это прямо нецелевое использует ну как бы использует Так кафку ну я вот ни разу Не Видел обычно просто как очередь обычно используют а Компакт Это конечно позволяет,
Михаил Непряхин: и и о почему Там По Ключам Ну да, подключен получается медион компакт и
Михаил Непряхин: Мы можем Схлопнуть значит Вы знаете как как Мы с гитом Работаем
Михаил Непряхин: Вот гид Это Тоже такой может Быть Дивансорсинг,
Михаил Непряхин: что мы можем схлопнуть все камиты и в итоге. Бот текущий стоит вот это также и тут мы можем схлопнуть себе. Массажи и в итоге просто будет Текущий стоит
Михаил Непряхин: вот научная седа делит рытая от клиннополисе Инсинг, репликас
Михаил Непряхин: очень важная штука Минэнсинг, репликас что это такое
Михаил Непряхин: Ажит вот у нас кафкастер из трех брокеров когда мы создаем наш, топик
Михаил Непряхин: то копия Нашего, топика будет на всех трех блогерах и мы то есть Три копии и и Инсинг, реплика
Михаил Непряхин: и это короче говоря когда У нас продюсер
Михаил Непряхин: пишет кластер он пишет в лидера как мы Помним да вот например, этот лидер
Михаил Непряхин: это фолеры ну То есть это реплики реплики да так вот сколько реплик
Михаил Непряхин: нам надо для того чтобы продюсеру сказать что все ок мужик мы сохранили сообщение твое Не переживай оно Сохранено
Михаил Непряхин: значит если Минэнсинг, реплика один
Михаил Непряхин: то Это Только лидер значит мы сказали Настройку сделали для только один значит Мы в лидер сохранили сказали окей
Михаил Непряхин: продюсер окей все иди дальше следующее пропадать а Надежность
Михаил Непряхин: ну. Неплохая Она Есть, Есть, еще вариант Ноль указать вот Если, Вы укажете Ноль
Михаил Непряхин: то даже ничего Мы Не сохранили на диск лидер Сразу, говорит Окей
Михаил Непряхин: но Как бы если, нота быстрее в этом быстрее ну вот
Михаил Непряхин: надежность меньше ну короче вот про это говорили да вот это это реализовано с помощью от минэнсинг реплик
Михаил Непряхин: значит ну. Принято делать два принято ставить минсинг реплик два это же значит что значит лидер это первая инстинка реплика и одна из реплик ну допустим вот это сохранила и сказала лидеру Окей я сохранила и лидер сказал
Михаил Непряхин: Окей где продюсер выходит
Михаил Непряхин: а может Это первое сохранит а этот Еще не успел, войти в Залог То Тоже, продюсер такой да Окей все вот Поэтому принято чтобы в кластере было
Михаил Непряхин: три брокера если три брокера значит Минсинг, реплик надо Ставить Две
Михаил Непряхин: Инсинг, реплик а мы можем поставить и три можем поставить и три
Михаил Непряхин: тогда Мы будем ждать когда он в себя. Сохранит
Михаил Непряхин: Еще в Одну Сохранит и Еще Одну Сохранит они сказали Ок. Ок. Тогда он сказал ок надежность Высокая
Михаил Непряхин: ну смысл мало потому Что Мы делаем
Михаил Непряхин: Хай овелобилити Сборку кричей хайера уильямс то Есть высокую доступность то Есть три брокера особенно, если Еще они там на равно нежно разных серебрярах Эти трибуны то есть
Михаил Непряхин: а один будет падать
Михаил Непряхин: вот практически подать один точно но нас же ведь пойти Мы же не спроста их три дела если, бы у нас ничего не Падало нам бы одного хватило
Михаил Непряхин: позавчерами что-то падает вот Один. Упал
Михаил Непряхин: если, у вас Минэнсинг, реплика два вы продолжаете работать и все Окей он потом поднимется
Михаил Непряхин: и ну. Синхронизируется все нормально будет
Михаил Непряхин: Поэтому правило такое что минсинг, реплик ставится минус один по количеству Брокеров брокера два значит минсинг, приблик
Михаил Непряхин: ой ну. Букера три значит минкин крепкий Два брокеров пять значит менее синхроплик Год четыре количество паркеров Делается нечетным
Михаил Непряхин: чтобы был Ворон чтобы ну короче вот так принято все и
Михаил Непряхин: вот Поэтому значит сколько стоит Минсинг, реплик мы ставим два
Михаил Непряхин: потому что бракеров у нас три Реплики еще фактор
Михаил Непряхин: что такое это в скольких инстанциях будет Храниться Наш топик У нас брокера три
Михаил Непряхин: а Ну значит ли репрессии фактором надо требовать Чтобы по всем. Трем прокерам У нас была копия
Михаил Непряхин: если не будет три копии то у нас тут и с Этим проблемы возникнут сразу
Михаил Непряхин: вот Поэтому привлекли еще фактор по Количеству брокеров минсинг-репликас по Количеству плакеров минус один
Михаил Непряхин: Так ну это дальше У нас тут политика удаления
Михаил Непряхин: ну Можем вообще ее не делать тогда оно не будут удаляться
Михаил Непряхин: вот можем сказать что семь дней через семь дней будут взяться можем сказать по размеру максимум одинки врубай
Михаил Непряхин: можем сказать максимум сто тысяч Сообщений максимум тысяч Сообщений в топике? Дальше удаляется говорите Покажи три варианта
Михаил Непряхин: можете всего выбрать и семь? Дней максимум один гигабайт и максимум сто сообщений
Михаил Непряхин: о политику это про полить кудрин
Михаил Непряхин: и естественно есть еще пятнадцать тысяч разных параметров и
Михаил Непряхин: ну вот у меня все сломалось не дает создать,
Михаил Непряхин: в первую очередь создали мы топик
Михаил Непряхин: можем то же самое откуда сделать но создали мы его издевая
Михаил Непряхин: Так ну здесь мы видим да вот Во-первых заходим в топик увидим Наш, топик
Михаил Непряхин: ну топики называются обычно по названию. Сервиса название сервиса точка
Михаил Непряхин: и дальше Уже суть чего ту хранится в топике если яблоки хранятся, то вот о тепу м-м партией восемь
Михаил Непряхин: посмотреть матч аут оф Синг, репликас если брокер один упадет
Михаил Непряхин: то У нас здесь появятся реплики Которые Сейчас не Синхронизированы разборки Все живы
Михаил Непряхин: то вот У нас видно что на этом Брокер восемь реплик
Михаил Непряхин: ну и они все онлайн фактор репликации три то есть на каждом брокере хранится копия нашего топика
Михаил Непряхин: в тупике Нет сообщений их ноль и они ноль места занимают.
Михаил Непряхин: Дальше Переходим Сюда внутри топика а
Михаил Непряхин: я понимаю что у вас мозг он уже взрывается, Но значит последний последний факт
Михаил Непряхин: Еще насчет об особенности реализации топика ну и
Михаил Непряхин: значит александр андреевич у нас протится у нас восемь партий а их три. Копии
Михаил Непряхин: здесь Мы Видим на каких брокерах эти три копии на первом брокере на втором и на третьем У нас три брокера
Михаил Непряхин: и
Михаил Непряхин: на первом Ну на всех. Короче на всех. Брокерах Есть копия Этой птицы если одна если один Брокер упадет Но Ничего Страшного Продолжит. Все равно он просто красненьким, будет если упадет
Михаил Непряхин: и упартийцы
Михаил Непряхин: Есть лидер
Михаил Непряхин: вот как я говорил Мы пишем в Лидера только я там как бы говорил Что мы в мокера лидера пишем но тут чуть, сложнее мы пишем в лидера у партией
Михаил Непряхин: значит вот нулевой партией лидер первый брокер
Михаил Непряхин: а вот как, бы вот в этот брокер она будет писать
Михаил Непряхин: этот лидер Это лидер между брокерами Это для рафт Алгоритма и им, надо самим знать кто У них лидер
Михаил Непряхин: вот Но
Михаил Непряхин: внутри как бы внутритопика У каждой партией Тоже, свой лидер Но Это надо для балансировки нагрузки короче чтобы когда вы Писали в нулевую партию вы загружали первый брокер если вы будете писать первую партию вы будете Загружать второй брокер но и увидите утра, антроген назад плюс минус
Михаил Непряхин: Если вдруг Он Умрет То они Там между Собой переголосуют и Какой нибудь из этих будут Лидеров
Михаил Непряхин: например Давайте Убьем какого нибудь Брокера значит сделан
Михаил Непряхин: Докер пресс Вот У нас видно Что три ну четыре Пода включенное Но Вот Каков. Ее и три Брокера
Михаил Непряхин: Так Сейчас помнить как Там убивается пот докер
Михаил Непряхин: Стоп наверное Там Какой нибудь Стоп с Красиво Так
Михаил Непряхин: доктор Стоп а здесь надо ну допустим убьем мы первый объем первый брокер
Михаил Непряхин: убился так и посмотрим что теперь случилось
Михаил Непряхин: да мы видим по прокерам. Начнут у нас осталось два бокера ну Видим да что тут
Михаил Непряхин: андер перекредит протишен восемь партийцы. Не синхронизированные
Михаил Непряхин: инстинкт Реплики шестнадцать из двадцати четырех только работают а восемь не работают
Михаил Непряхин: и внутри топика Мы видим Что вот здесь был лидер первый он умер
Михаил Непряхин: Поэтому произошли Первые выборы Теперь здесь лидер второй брокер Поэтому будут писать этот этапция, будет Писаться во второй, брокер
Михаил Непряхин: а этот у него. Будет ээ фолловером и оно Продолжит работать
Михаил Непряхин: то есть мы тут создали что у нас минимальное Количество Инстинктов где
Михаил Непряхин: настройка хоть, тут есть сетингс вот Минсинг, реплика вот два
Михаил Непряхин: и оно Продолжит работать. И мы Можем Продолжать писать в этот топик сообщения
Михаил Непряхин: а ну вот у меня, тут есть даже как, Раз, значит в коде чего я делал я в нулевую Партию
Михаил Непряхин: давайте Только это Назовем я там Эпл я создал да Ведь этот топик да эпо я назвал
Михаил Непряхин: Так Сейчас запишем
Михаил Непряхин: Не потому, Что Я к Первому полкеру коннектился он умер, вот как ко второму прекратимся мы записали
Михаил Непряхин: то есть мы продолжаем работать даже когда у нас один брокер Упал потому Что у нас хаева уберите у нас только дветинг реплики и мы в нулевую протецию
Михаил Непряхин: записали Наши сообщение если повезет и мы увидим да вот
Михаил Непряхин: что-то обновилось да вот значит следующий и и мы их можем прочитать
Михаил Непряхин: ну тут, проблемы потому что вот у нас один брокер упал и вот Мы наши Сообщения видим Мы Их записали Там ванту файфу файф вот они в каком Порядке были записаны в том они Не записались вот у них Вовсе Нет Мы видим они все на любую партию записались
Михаил Непряхин: И вот на уровне сообщения мы тут, видим что у него есть ключ мы Сейчас ничего не писали в ключ вот есть уэлью мы в элью записали данные есть заголовки мы заголовки тоже ничего не писали
Михаил Непряхин: а вот и также мы можем просто на уровне протиться и записать что угодно ну вот отсюда извая в любую партию какую хотим, вот в первую партию допустим их с ним записать
Михаил Непряхин: тест с ключом тоскей а вэлью
Михаил Непряхин: ну видимо когда брокер отваливается он тут, что-то ключ начинает также абсурдность записала что Нет мне ничего не записалось
Михаил Непряхин: мэханул вот долго чего-то отправлял
Михаил Непряхин: а вот Мы видим что вот Мы в первую партию записывали вот здесь появилось сообщение
Михаил Непряхин: а все следующие первые ну Там с нуля потому что тут как бы наливайсят когда у нас одно сообщение то и Овсят первой
Михаил Непряхин: вот и также можем прочитать досмотрим на топик
Михаил Непряхин: надо вернуть уже богерту он тормозит
Михаил Непряхин: и вот видим да что ну вот в первую партию этого топика мы записали вот ключ у нас тест, ключ и вэлью
Михаил Непряхин: валю вот Ажит и это все что я хотел на текущий момент на сегодня рассказать задавайте Вопросы,
Михаил Непряхин: не взорвался ли у вас, мозг
Михаил Непряхин: не поняли ли вы, поняли вы, чего-нибудь матери.
Илиас Эззахид: Голосом.
Михаил Непряхин: Да Давайте.
Илиас Эззахид: При создании топика Вы указали параметры удаления И Там несколько а Что если несколько параметров Делать И размер И дату например, Одновременно.
Михаил Непряхин: А вот они обе сработают типа может дата придет если дата первой пройдет подать, и сработает если по размеру то Размер сработает
Михаил Непряхин: обычно чего-то одно, Указывать Либо датуным Размер
Михаил Непряхин: обычно Да то обычно семь дней, и все как бы семь дней, Не Больше Пусть ходят
Михаил Непряхин: почему разная партия не записалась из гол, а именно в протецию ноль
Михаил Непряхин: а да да но у меня указано было ведь, хочу записать в нулевую партию
Михаил Непряхин: а тут есть два уровня липя
Михаил Непряхин: не скромневый вот это низко уровневый прям я и записать могу в конкретную позицию и прочитать могу из конкретной позиции
Михаил Непряхин: а есть Высокоуровневые пиаи он тут называется вот рейдер и у райдер
Михаил Непряхин: и вот тут уже Мы работаем
Михаил Непряхин: скоппой Мы можем работать группой можем расплатиться Так и читать Но имеет. Смысл этой группы Мы Работаем
Михаил Непряхин: а вот уже когда Мы с группой Работаем вот тогда Мы и пишем раунд Робин Ну, как Я вам говорил и читаем
Михаил Непряхин: в группе то есть Мы не читаем
Михаил Непряхин: короче одно, сообщение, один раз читается так называемый семантика
Михаил Непряхин: окна элистванс листванс минимум один раз
Михаил Непряхин: да давайте Еще решить какие-то вопросы, Не все ли понятно ну и вообще на текущий момент вы
Михаил Непряхин: поняли ли вы что-то или это слишком слишком быстро слишком жестко слишком много информации
Михаил Непряхин: но мы в следующий раз на самом деле как бы, чего то будем повторять
Михаил Непряхин: про граньте доставки да я позже расскажу
Михаил Непряхин: а этот мастер из доктора, композа можно отказывать устойчиво коннектиться не в конкретные брокер а роботов да да да это
Михаил Непряхин: тут просто я говорю как бы это низкий уровень воепия и он показал вот я в конкретный богер могу закономерлиться Но когда мы работаем в группе мы коннекнемся видите ко, всем ко, всем трем рокерам
Михаил Непряхин: Ну если один из них умер, ничего страшного то
Михаил Непряхин: то есть как бы от этого вот так вот работает
Михаил Непряхин: и он кстати Еще хотел показать вам как на низком уровне выглядит точно как выглядит как выглядит файлы
Михаил Непряхин: это Тоже Можно Глянуть значит вот у Меня создался
Михаил Непряхин: с май тупик оказывается Переименуем Что У меня тут изначально была идея писать майтопик
Михаил Непряхин: А Ну хотя У меня Там Мыпал пойти на звезд Для пол
Михаил Непряхин: короче вот так выглядит тупик это устройство топика а на файлах у тебя есть лок файл, это файл, сегмента
Михаил Непряхин: то есть я вам говорю что артисты она состоит из сегментов это
Михаил Непряхин: партизация но на самом деле файл сегментов
Михаил Непряхин: и файл индекс вниз хранятся Оффсеты плюс сдвиг динарный в какое место, прыгнуть этого лога потому что этот в Окопе он Только записывается
Михаил Непряхин: и индекс тайм индекс то Есть по времени. А какое Время с какого тоже Обседа?
Михаил Непряхин: И и вот Можно прямо посмотреть вот на лок файлик на Него Можно посмотреть это
Михаил Непряхин: Там прямо Даже близко Там понятно, что будут Храниться данные Не совсем. Как Мы привыкли
Михаил Непряхин: чего Там ничего Нету что ли записывай все что а это У Меня,
Михаил Непряхин: это У меня брокер первый который мы отключали
Михаил Непряхин: вот надо давайте второй Посмотрим вот
Михаил Непряхин: я в мертвой плаке, посмотрел вот прямо, вот видите файл сообщение, уан туз реформ то есть как Бы тут видно Что вот они там подряд да записываются в конец
Михаил Непряхин: вот индексы и тайм индексы пока пустые потому что там ничего Нет а и
Михаил Непряхин: протишин метода-то Выдвинул Эти Лидеры Эпох Чекпоинт глянем
Михаил Непряхин: ну оно наверное там ничего Нет а Нет Церкви какая-то Метода ты видите прям совсем мало циверок
Михаил Непряхин: а ну это для группы Поэтому тут, пока еще ничего нет а вот в этом метода-то что Там за методатом протишенный тогда Там
Михаил Непряхин: а ну здесь версия топик ай ди
Михаил Непряхин: вот как же тут, очень все на низком уровне устроено все максимально минималистично и просто ну как видите вот это вот это и весь, вот тупик и есть ну единственное что тут будут в эти файлики, добавляться когда сегмент закончится
Михаил Непряхин: Он Там настраивается, отдельный сегмент заканчивается, добавляется новый сегмент и и
Михаил Непряхин: вот здесь вот в конце будет офсет тот который был
Михаил Непряхин: Последним когда вы записывали в лок например, У вас здесь Там не знаю сорок Два всего все-таки на один сегмент вы так настроены
Михаил Непряхин: тогда следующий файл когда создастся у него вот здесь вот будет сорок три
Михаил Непряхин: типа тону или сорок Два вот какой следующий обед который вы будете писать вот и на низком Уровне Реально как бы топик Так и устроен Но в Кристине, ничего сложного Нет вот Но Тут скорее вот хитрость как Мы с этим всем. Работаем как бы нюансиков ну прямо очень много
Михаил Непряхин: Так
Михаил Непряхин: да про грань Для Доставки поговорим позже потому что Там настройки надо показать в этот квастер Или с докерком поза Можно отказы устойчиво коннелиться не в конкретный блокнот да а показал что да, в любой можно мы коннекнемся во все сразу
Михаил Непряхин: также закурюка в костре, Или стриму Опять одно и то Же кафка стрим это
Михаил Непряхин: Стон это короче говоря Еще одна Абстракция над кафкой ни разу не Видел, чтобы при юзали
Михаил Непряхин: Но Кафка стрим это ну такие Есть стрим что. Как бы более похоже на нас что. То
Михаил Непряхин: Только с гарантиями доставки короче про Него Особо ничего Не может сказать Никогда Не Работал он просто Видел, да что есть вот какой то некий кафка стрим
Михаил Непряхин: скачок нагрузки Мы смотрю консерв Пока разбирается Общение да
Михаил Непряхин: но согласитесь что вы поняли как бы если. Вы начнете. Смотреть Ролики на Ютубе там
Михаил Непряхин: совсем все Плохо роликов Тоже, хороших нет ну буквально Один, есть. Но там вот его еще посмотрите вот тот ролик я его уже как и помню скидывал
Михаил Непряхин: и у вас более менее устаканится, вот Топ вопрос на собеседник.
Михаил Непряхин: Это пропорции Зачем их надо и Сколько их надо
Михаил Непряхин: и типа что будет Если кончюмеров. Мы поднимем Больше Чем протицей.
Михаил Непряхин: Но ответ не хватит какие Это конюмеры будут простаивать потому Что Им обратиться не хватит нам все
Михаил Непряхин: Так То есть чтобы разные сервисы читали одни и Те же партийцы
Михаил Непряхин: они Не могут они Эти же протесты их разные сервисы Не могут читать одни и Те же протесты а одну. Партию может читать один сервис если уже кто то. Читает эту протицию
Михаил Непряхин: то. Все к Этой процедуре уже не может подключиться на другой сервис
Михаил Непряхин: они должны быть в разных континент группах а ну да да правильно То есть если вы Хотите! Чтобы разные сервисы читали одни и те же портреты просто делаете разные консервы группы все правильно все правильно поняли
Михаил Непряхин: Так хоть и сложно Но я хотя бы лучше, Теперь понимаю Что она только творится а То Говорят, про Свои ковки Постоянно согласен Козлины те еще особенно, те кто разобрался Но не Считают что разобрался
Михаил Непряхин: они прям это начинают Там чего-нибудь инсинг, реплика вот это все сегмент партишин ну, все вот если вы как бы вот про это Никогда Не разбирались Но нереально разобраться
Михаил Непряхин: Так не встретишь партию и в Принципе нормально понятно Аналогия с мюнхгом зашла нормально вот я специально с разных Сторон это вам Рассказывал что идет
Михаил Непряхин: вот это прямо, Точно должно было зафиксироваться и остаться что это такое как оно работает
Михаил Непряхин: потому что тут есть Очень много всяких Опций ну банального Там всяких автокрелей Топик и наиболее
Михаил Непряхин: что типа кутупики Автоматически создается У них Там миллион этих Опций Но я вам прям говорю про кор функционал
Михаил Непряхин: так давайте еще голосом есть вопросы?
David R: Голосом есть вопросик.
Михаил Непряхин: Нови.
David R: Если можно и
David R: а заглянуть обратно в локах посмотреть что там творилось или там все-таки вытесняющий из конца чистится логи.
Михаил Непряхин: С конца чиститься, ну как я говорил Помните О же говорил вам Что Удаляется Удаляются Сегменты да
Михаил Непряхин: значит эээ вот допустим ситуация, Давайте вот эту ситуацию посмотрим
Михаил Непряхин: noise а вот ситуация, Мы видим Что У нас Один, сегмент
Михаил Непряхин: У нас вот одна партиза Один, сегмент и
Михаил Непряхин: видите как бы я пол ноль это первая птица мы Смотрим то Есть вот
Михаил Непряхин: вот старая птица видите как Будто сделано то Есть тут пищу по папкам короче то Есть
Михаил Непряхин: вот Мы Видим одна партия Первая вот это вот сегмент этот сегмент обратиться со среди сегментов
Михаил Непряхин: вот ээ какие бы Сейчас. Ни были, настройки оретеншн полюсе
Михаил Непряхин: Там, на удаление по количеству, Или по времени оно не сработает ничего не удалится
Михаил Непряхин: пока это пока этот сегмент активен пока в него идет, запись
Михаил Непряхин: какие бы ни были настройки ничего не удалиться
Михаил Непряхин: потом когда наступает время для создания следующего сегмента и он создался
Михаил Непряхин: и тут вот такая ситуация, что вот это вот как обернется вот это будет два икс еще раз появится ниже
Михаил Непряхин: название файлов будет по названию, по количеству офсетов вот какой я Все там был вот лес боту сорок два был последний всего девятьсот сорок два сорок два сорок два рядышком файлики появятся
Михаил Непряхин: вот тогда
Михаил Непряхин: и политика удаления она там периодически проверяется там Раз в минуту что Ли Она проверяется Или Раз пять минут для всех. Топиков. Типа такой клан джоб проверяться надо удалить что-то Не надо
Михаил Непряхин: вот когда сегмент Номер появится, и Там через, пять минут сработает Политика удаления тогда
Михаил Непряхин: последнее То есть вот эти вот Нулевые Которые были ну Первые Они удаляться
Михаил Непряхин: а Те Текущие активные в Которые идет, запись
Михаил Непряхин: а они будут просто останутся Да
Михаил Непряхин: и Поэтому такая ситуация, что Удаляется Сначала Но по файлова
Михаил Непряхин: как бы Мы Не можем удалить файл, в который Сейчас пишем как бы Физически Не можем
Михаил Непряхин: Поэтому тут есть особенности с этим Что.
Михаил Непряхин: Новый сегмент появляется по своим правилам отдельно вы можете все настроить
Михаил Непряхин: по размеру по количеству там по времени. То же самое все настраивается на создание нового сегмента
Михаил Непряхин: и на Удаление, и у тебя говорю создай топик ну клина Полисе делит окей ну тут
Михаил Непряхин: по Байтам вот превысит Количество бай будут удаляться сообщения ритэншн
Михаил Непряхин: по Времени если время превысить будут удаляться
Михаил Непряхин: и по Байтам если байтов превысить то будут удаляться то есть вот все три Можно указать Можно Хоть один из них сказать
Михаил Непряхин: и отдельно настройки на сегмент смотрите когда открывается, новый сегмент
Михаил Непряхин: Вот после этого Количество мили секунд
Михаил Непряхин: ну типа это сколько-то ну Сколько За секунд дадут,
Михаил Непряхин: Вот Или после превышения количества бай
Михаил Непряхин: и получается Что на Создание Нового Сегмента. Свои, настройки Он Там Растет Новый файл появляется по своим Правилам
Михаил Непряхин: и сообщения Старое Удаляются по своим Правилам
Михаил Непряхин: но правила удаления сообщений могут Сработать Только в тот момент когда У нас Реально есть неактивные сегменты,
Михаил Непряхин: потому что. Активный текущий сегмент удалиться. Не может найди и Сейчас точно уже объясню
Михаил Непряхин: если Еще какие-то там, тупые вопросы? Потом будут в смысле не тупые ну что-то непонятно я уже объяснял все равно задавать Еще Раз, объясню вообще Нестремно Потому Что очень. Все сложное очень. Сложное и Как Бы важное для Понимания Поэтому Мне Не страшно объяснить Едва и Три раза
Михаил Непряхин: так а Кот Консюмера, покажете да все все Покажем Давайте в следующий Раз, слишком большой Объем вот в следующий Раз, Мы на два занятия. Тема а в следующий Раз, мы уже
Михаил Непряхин: даже ну, да посмотрим вот эти примеры
Михаил Непряхин: вот и уже Реальный код приложения тоже посмотрим
Михаил Непряхин: да в следующий Раз, так. Что, Давайте вопрос еще если есть голосом тоже можете Задавать
Михаил Непряхин: пожика в корзину мадерофонд могут быть все на одном ввп ну да
Михаил Непряхин: ну в случае, Тестирования разрешили ну Как бы У меня так и Есть все равно упасть вот ладно
Михаил Непряхин: план Давайте значит до Следующего раза я Там Скинул ролик про кафку
Михаил Непряхин: Он Там Сорока минутный и Там не Так подробно конечно Все как вот я вам Сейчас рассказывал Там Более Верхнего! Уровнево но это единственный вот хороший ролик который стоит посмотреть
Михаил Непряхин: и То что я рассказывал оно еще вот наложится на это
Михаил Непряхин: вот а в следующий Раз, уже будем смотреть ээ конкретно прикладные задачи как она настраивается
Михаил Непряхин: и оно еще что-то зафиксируется поэтому в целом как бы
Михаил Непряхин: то что осталось У вас прокавку Сейчас уже хорошо и отлично как бы Вы все равно уже на Голову. Будете выше Чем ваши коллеги которые
Михаил Непряхин: и в таком. Формате Не изучали потому что ну. Это уникальный как бы материал никто ни фига это ничего Не объясняет Нигде все Собрано по Крохам по очень. Много Времени, и набитой шишки на своем опыте Поэтому вот этот Мастера, Правящей абсолютно, Уникальный
Михаил Непряхин: вот ладно все тогда давайте до, следующего раза всем, пока.