WEBVTT

1
00:04:58.460 --> 00:05:03.639
Михаил Непряхин: Максим привет Как видно Слышно

2
00:05:07.810 --> 00:05:16.600
Михаил Непряхин: я тут разбирался почему Она тормозит и включи большой вопрос

3
00:05:17.460 --> 00:05:19.520
Михаил Непряхин: а Причем Раньше, нормально все Было

4
00:05:19.870 --> 00:05:24.269
Михаил Непряхин: ну да вот мы начинали когда а рпц был нормальный

5
00:05:24.970 --> 00:05:29.120
Михаил Непряхин: м вот Сейчас он показывает что Демонстрация экрана вообще тре рэпеза

6
00:05:29.270 --> 00:05:37.480
Михаил Непряхин: понятно дело ваше? Тут разрешение конечно высокое но дядея уменьши корпресс не меняется и видимо потом он как то разгоняется

7
00:05:37.880 --> 00:05:43.509
Михаил Непряхин: и Фиг его Знают то есть. С чем Это связано

8
00:05:44.080 --> 00:06:02.300
Михаил Непряхин: то ли наши что-то там замедляют то ли в зуме что-то поменялось ну. Короче вот именно демонстрация экрана как я делаю она медленная а если Делать через видео то Там все все режется и Там невозможно короче похоже это все зуум умер, вот на это именно на обучение

9
00:06:02.480 --> 00:06:08.710
Михаил Непряхин: и я Сейчас разбираюсь как поднять свой сервак по стримингу видео

10
00:06:09.550 --> 00:06:19.289
Михаил Непряхин: и он наверное за выходные под нему единственное там минус там задержка будет секунд пять десять вот ну зато будет качество картинки хорошее

11
00:06:19.400 --> 00:06:24.590
Михаил Непряхин: может и Сейчас что совсем мне не нравится что это все тормозит но вам хоть звук не помогает но в целом

12
00:06:25.700 --> 00:06:35.160
Михаил Непряхин: непонятно короче История что случилось так У нас сегодня сегодня У нас Сказка

13
00:06:41.600 --> 00:06:46.670
Михаил Непряхин: Так отпишите в чатике кто с сказкой работал

14
00:06:47.520 --> 00:06:49.709
Михаил Непряхин: и никто Не работал на Близкие миночки

15
00:06:49.810 --> 00:06:53.919
Михаил Непряхин: если работали с сказкой плюс если Не работали минус

16
00:07:00.810 --> 00:07:05.429
Михаил Непряхин: вообще вообще никто что ли Ну, Ну, и ладно

17
00:07:07.930 --> 00:07:12.579
Михаил Непряхин: значит самый. Простой способ изучать кафку

18
00:07:14.660 --> 00:07:25.750
Михаил Непряхин: она знает для чего она нужна самый. Простой способ изучать кафку это изучать ее на низком уровне вот кака из тех технологий которая заставляет себя учить

19
00:07:26.300 --> 00:07:32.910
Михаил Непряхин: и лучше всего ее понимать именно вот ну

20
00:07:33.540 --> 00:07:41.350
Михаил Непряхин: смотря на ее устройство на низком уровне по Крайней мере как данные хранятся, значит ну кафка это

21
00:07:46.190 --> 00:07:47.860
Михаил Непряхин: кафка это брокер сообщений

22
00:07:52.370 --> 00:07:59.510
Михаил Непряхин: брокер сообщений ильи мессадж Кью

23
00:08:05.870 --> 00:08:28.410
Михаил Непряхин: очередь сообщений Так же она реализует модель и попсап то есть мы с одной Стороны можем подписаться а папсап

24
00:08:29.410 --> 00:08:33.769
Михаил Непряхин: вот а сопс Край с одной стороны можем подписаться

25
00:08:34.120 --> 00:08:40.560
Михаил Непряхин: а с другой стороны Мы можем в этот Канал Что то отправлять и Ну то есть

26
00:08:40.750 --> 00:08:43.110
Михаил Непряхин: Грубо говоря это очередь

27
00:08:43.350 --> 00:08:51.399
Михаил Непряхин: обычно рисуют как трубу вот если вот это там какой-нибудь систем дизайн. Интервью, ее обычно рисуют как такую трубу

28
00:08:51.550 --> 00:09:00.990
Михаил Непряхин: а Куда с одной стороны значит у нас происходит отправка сообщений месседж

29
00:09:01.520 --> 00:09:04.820
Михаил Непряхин: а с Другой, стороны кто то эти сообщения читает

30
00:09:05.760 --> 00:09:10.910
Михаил Непряхин: ну и вот тот кто читает это сапскайбер

31
00:09:14.520 --> 00:09:18.140
Михаил Непряхин: а тот кто. Пишет это паблишер

32
00:09:25.360 --> 00:09:29.450
Михаил Непряхин: или тот кто. Читает это Ридер

33
00:09:31.690 --> 00:09:34.269
Михаил Непряхин: ну а тот кто. Пишет это райтер

34
00:09:39.270 --> 00:09:43.440
Михаил Непряхин: или тот кто Читает это консюмер

35
00:09:47.830 --> 00:09:50.100
Михаил Непряхин: а тут кто Пишет это продюсер

36
00:09:54.350 --> 00:10:00.710
Михаил Непряхин: Вот Поэтому если чего-то Вот из этого вы какие-то Ключевые слова Видите То скорее всего вы имеете дело

37
00:10:01.020 --> 00:10:11.240
Михаил Непряхин: с мессадж кью какие еще бывают мессадж ю значит ну сам популярный это Кафка аа у танцор, с ней

38
00:10:11.390 --> 00:10:16.520
Михаил Непряхин: а до как какое-то Время популярность была У робитэм. Кью

39
00:10:19.610 --> 00:10:28.849
Михаил Непряхин: я его Даже немножко. Застал а Кафка это Джава роббит Им кью это

40
00:10:34.130 --> 00:10:35.170
Михаил Непряхин: Ирванг,

41
00:10:39.730 --> 00:10:50.590
Михаил Непряхин: Пирванг, очень похож ну как сказать Идейно похож на гоу ирланд создавался как язык для работы с многопоточкой

42
00:10:50.840 --> 00:10:59.620
Михаил Непряхин: Но Потом, пришел гол и его убил и Поэтому на раванге Не Успели Чего то многого написать ну вот самый. Популярный продукт на рванге Это роббитом кью

43
00:11:01.720 --> 00:11:04.430
Михаил Непряхин: также Есть натс

44
00:11:04.830 --> 00:11:14.020
Михаил Непряхин: Но он будет скорее популярный за рубежом у нас только варвары его активно использовали то в итоге отказались

45
00:11:15.820 --> 00:11:33.139
Михаил Непряхин: и минус нации в том что там Нет стоит и Там есть проблемы с гарантией доставки У нас хорош тогда когда нам надо стремить очень большие объемы данных Но Эти данные ну, у них Не, очень большой сильной критерии

46
00:11:33.300 --> 00:11:37.569
Михаил Непряхин: надежности доставки типа это мид реки Волги трек за что-нибудь такое

47
00:11:37.770 --> 00:11:46.439
Михаил Непряхин: если Там, Еще Не, потеряться ничего страшного а вот Эти, Две системы они создавались, с учетом того что Мы Хотим? Надежную Доставку

48
00:11:47.500 --> 00:12:02.309
Михаил Непряхин: Там Есть несколько семантик доставки Но попозже препогорим и вот э ирабитыкавка они сбрасывают данные на диск, она тоже умеет но Изначально он как бы был про ин мемори нац а нация написана на гол, гол,

49
00:12:02.610 --> 00:12:15.449
Михаил Непряхин: понятно, дело что вот этих вот массочки у их очень, большое количество ну то есть там у всех есть своя мысль Шкю ну. Яндекс там вся. Собственно ввесь ну. Там в гугл. Облакие

50
00:12:15.450 --> 00:12:31.140
Михаил Непряхин: в и

51
00:12:32.590 --> 00:12:39.529
Михаил Непряхин: и Поэтому про другие даже говорить Не будем потому что это не так интересно как, именно, уметь работать с сказкой

52
00:12:41.160 --> 00:12:49.259
Михаил Непряхин: ууу значит как, это работает есть у нас кафка

53
00:12:52.440 --> 00:13:02.900
Михаил Непряхин: и сущность вот как бы очередь в кафке называется топик Мы создаем топик

54
00:13:03.120 --> 00:13:10.670
Михаил Непряхин: ну Там много очень разных настроек пока просто создаем какую-то очередь и значит в нее

55
00:13:11.050 --> 00:13:30.650
Михаил Непряхин: пишет Ну оригинальное название кавказские Это продюсер кто-то продюсер продюсер Сообщение с другой стороны значит Нам Вот в кафку

56
00:13:32.690 --> 00:13:35.950
Михаил Непряхин: подключай отца консюмер

57
00:13:39.280 --> 00:13:41.530
Михаил Непряхин: и смотрите Куда Направлена эта Стрелка

58
00:13:42.440 --> 00:13:51.490
Михаил Непряхин: То Есть конюмер сам Ходит, в Кафку и говорит дай мне сообщение То Есть Это модель

59
00:13:51.750 --> 00:13:54.949
Михаил Непряхин: ну с точки зрения Конюмера это модель и

60
00:13:55.600 --> 00:13:59.090
Михаил Непряхин: ну Или вернее с точки зрения кафки это модель а пул,

61
00:14:00.300 --> 00:14:07.959
Михаил Непряхин: то Есть консюмер кафка Никуда не отправляет сообщения понятно дело что Продюсер он в кавку заслал

62
00:14:08.270 --> 00:14:15.919
Михаил Непряхин: Гавка сказал что волк Я запомнил Продюсер и понял. Что Все сообщения закинуто в очередь.

63
00:14:16.220 --> 00:14:18.900
Михаил Непряхин: И Дальше кафка Она Не Пушит

64
00:14:20.610 --> 00:14:44.160
Михаил Непряхин: то есть Мы Никуда, ничего Не засылаем в отличие От и а потом Рэбит сам Делает Пуш

65
00:14:46.280 --> 00:14:49.960
Михаил Непряхин: и Таким Образом Вот Этого Консюмера

66
00:14:51.520 --> 00:15:00.870
Михаил Непряхин: а Там этот У них усевший свои Названия Там консюмер называется он Там Канал ченнал

67
00:15:03.560 --> 00:15:15.559
Михаил Непряхин: они Там все Гораздо и

68
00:15:16.100 --> 00:15:27.890
Михаил Непряхин: вот короче о рэбит как очередь может взять и перегрузить вот этот вот своего, Клиента Куда эти Сообщения доносятся, если здесь Будет большой поток

69
00:15:28.470 --> 00:15:36.439
Михаил Непряхин: то здесь и Мы можем создать Нагрузку. Которую приложение Не Сможет переварить

70
00:15:36.730 --> 00:15:42.200
Михаил Непряхин: Поэтому Там активно Используется механизм Эко и Неков,

71
00:15:42.530 --> 00:15:51.359
Михаил Непряхин: короче если Мы Там все Окей обработали Мы говорим экоем Что все Окей если не Получилось Мы говорим нек

72
00:15:51.600 --> 00:15:56.610
Михаил Непряхин: и таким образом Там, позже сообщение Опять, для нас дойдет

73
00:15:58.280 --> 00:16:09.750
Михаил Непряхин: а в кафке же видите у нас модель пул у нас сам консюмер ходит и забирает сообщения отсюда

74
00:16:09.930 --> 00:16:23.759
Михаил Непряхин: Мы не можем как бы Нет вот этого Негативного эффекта когда Мы Берем и Перегружаем Сообщениями Наш Костюмер сам регулирует Скорость Обработки сообщений

75
00:16:25.480 --> 00:16:29.310
Михаил Непряхин: а что как Бы круто значит

76
00:16:29.800 --> 00:16:39.459
Михаил Непряхин: в кафке в топике топик устроен очень примитивно на Низком Уровне это просто файл и когда Мы и

77
00:16:40.180 --> 00:16:47.179
Михаил Непряхин: делаем продюс ну то есть запихиваем сообщения в кафку то просто мы его записываем

78
00:16:47.290 --> 00:16:53.620
Михаил Непряхин: аппенди то есть вот допустим у нас есть оффсет да у нас еще такое понятие есть как оффсет

79
00:16:55.550 --> 00:16:58.829
Михаил Непряхин: И вот у нас Есть два сообщения здесь

80
00:16:59.040 --> 00:17:06.860
Михаил Непряхин: пришел продюсер говорит запиши Еще одно, Он записывает Еще одно, а все сдвигаются а до сюда

81
00:17:07.170 --> 00:17:16.010
Михаил Непряхин: а конюмер когда вычитывает Он делает пометку что вот на каком месте я Остановился я Остановился на этом месте

82
00:17:16.079 --> 00:17:31.649
Михаил Непряхин: и значит Он конюмер обрабатывает сообщения снова спрашивают дай следующее все сдвигаются на следующее и Это запоминается то есть какой Консюмера текущий А все для обработки Он запоминается

83
00:17:31.850 --> 00:17:38.400
Михаил Непряхин: и таким образом когда консервирован снова приходит он понимает где он остановился чтобы забрать следующее

84
00:17:38.580 --> 00:17:42.739
Михаил Непряхин: вот значит это просто файл Куда, делается апенд

85
00:17:43.780 --> 00:18:04.250
Михаил Непряхин: А работает Это все очень быстро, Ну во-первых смотрите Мы и и плюс Там Используется механизм

86
00:18:05.070 --> 00:18:10.790
Михаил Непряхин: вот короче говоря вот когда месседж пришел вот значит клиент упаковал месседж

87
00:18:11.900 --> 00:18:17.130
Михаил Непряхин: а Ну Не клин сервис сервис упаковал значит месседж и Отправляет, в кафку, да

88
00:18:17.280 --> 00:18:25.179
Михаил Непряхин: так вот вот это вот бинарное представление этого мессаджа оно один в один в таком, же виде кладется

89
00:18:25.370 --> 00:18:36.120
Михаил Непряхин: в этот самый лог и один в один в таком, же виде параллельно а отдается Костюмеру и таким образом

90
00:18:36.330 --> 00:18:44.440
Михаил Непряхин: как бы ни происходит вот этого вот Перекладывания Декодирования там какого то еще чего то

91
00:18:44.700 --> 00:18:49.140
Михаил Непряхин: и это Одна из Ключевых оптимизаций почему кафка быстрая

92
00:18:49.260 --> 00:19:08.739
Михаил Непряхин: как бы мне не нравится что онаджаве написана и

93
00:19:08.810 --> 00:19:18.049
Михаил Непряхин: Вот ну и вообще Вот вы когда начнете работать с Жавой Примете что ну есть У нее такие характерные Тормоза вот Но Именно вот сам механизм

94
00:19:18.150 --> 00:19:25.830
Михаил Непряхин: и когда Мы кладем сообщения в кафку и когда с другой стороны консультант читает вот это вот работает Быстро

95
00:19:27.260 --> 00:19:41.050
Михаил Непряхин: а начну вот эта Первая оптимизация да что Мы в неизменном виде сообщения как здесь Положили Так оно здесь Один в Один и придет как с той стороны трубы сообщение было Положено в таком же виде оно сюда придет и ровно в этом Же виде оно будет положено

96
00:19:41.260 --> 00:19:46.949
Михаил Непряхин: волк файл ну записано в конец аа следующая оптимизация

97
00:19:48.250 --> 00:19:54.620
Михаил Непряхин: для того чтобы ну видеть у нас сеть да то есть кафка это сетевой сервис то есть у нас она здесь сеть

98
00:19:55.030 --> 00:19:56.629
Михаил Непряхин: у нас Десять.

99
00:19:57.510 --> 00:20:02.540
Михаил Непряхин: Если вы хотите, что-то делать посети быстро

100
00:20:03.030 --> 00:20:11.180
Михаил Непряхин: то нужно это делать бочами я уже много Раз вам говорил вот здесь это прямо, ключевая штука

101
00:20:11.430 --> 00:20:14.570
Михаил Непряхин: значит надя все рабиет отсюда уравно Там не нужно

102
00:20:18.950 --> 00:20:25.699
Михаил Непряхин: посмотрите Мы на сервисе когда Мы Хотим, отправить сообщения в кафку

103
00:20:26.270 --> 00:20:29.050
Михаил Непряхин: Мы можем отправлять их по одному

104
00:20:29.470 --> 00:20:42.829
Михаил Непряхин: но тогда если. У нас какой-то высоко нагруженный Сервис ну Там видите там даже Небольшие, нагрузки не знаю а рпц тысяча Вы уже заметите это хочу рпц тысячу и больше ээ как бы масхав работать Подчами

105
00:20:43.230 --> 00:20:51.829
Михаил Непряхин: значит мы это можем гибко настраивать мы можем вот по Одному. Сообщению допустим Наш Сервис мы можем по одному Сообщению отправлять

106
00:20:54.610 --> 00:21:08.310
Михаил Непряхин: а можем раз допустим сто или секунд собирать этот бач и отправлять бач а насколько это работает быстрее

107
00:21:08.440 --> 00:21:11.639
Михаил Непряхин: типа о Раз в сто милли секунд сбрасывать или по одному

108
00:21:12.230 --> 00:21:22.109
Михаил Непряхин: это работает ну упрямь в тысячу Раз быстрее прям Не утрирую То есть там если вы по Одному будете Скидывать это У вас там потолок

109
00:21:22.500 --> 00:21:25.009
Михаил Непряхин: потолок наверное тысяч

110
00:21:26.250 --> 00:21:45.120
Михаил Непряхин: тысяч пять где-то Ты еще пять где-то потомок и Все потому что там ну вот это вот механизм подтверждения и это синтетический тест если вы будете в реальном продакшене Ну, Это Будет где-нибудь тысяча

111
00:21:45.230 --> 00:21:46.420
Михаил Непряхин: А то и меньше

112
00:21:46.990 --> 00:22:01.229
Михаил Непряхин: и короче многие новички в Это упарываются таки Блин кавка Медленная А Немедленная она надо просто понимать что если вы работаете по дефолту там такая настройка если вы по одному сообщению будет складывать будет капет как медлен

113
00:22:01.370 --> 00:22:07.620
Михаил Непряхин: значит а если вы добавляете задержку всего лишь сто милли секунд вы ее даже не заметите

114
00:22:07.770 --> 00:22:25.430
Михаил Непряхин: просто сообщения будут накапливаться в бачею и сбрасываться то у вас рпц уже ну там ограничивается железом но как бы ну условно нака рпса получается вместо тысячи и больше сто двести ка триста как бы так

115
00:22:26.550 --> 00:22:38.470
Михаил Непряхин: значит Кафка и

116
00:22:38.690 --> 00:22:49.959
Михаил Непряхин: вы делаете много партий там есть несколько механизмов масштабирования во-первых Кафка Всегда поднимается в режиме хай а вы егобилите

117
00:22:50.570 --> 00:23:00.599
Михаил Непряхин: и для того Чтобы ну хайла Вбилити это Высокая. Доступность Чтобы обеспечить. Высокую доступность Кафка обычно разворачиваться в кластере

118
00:23:00.760 --> 00:23:05.910
Михаил Непряхин: По три брокера там этот единицы масштабирования это брокер

119
00:23:07.460 --> 00:23:13.409
Михаил Непряхин: и вот у вас значит три блогера соответственно вы шлете По Этим бакерам

120
00:23:13.970 --> 00:23:24.900
Михаил Непряхин: ну единственное там значит есть такой нюансик что. Вы работаете Всегда с лидером вы, работаете с лидером

121
00:23:25.280 --> 00:23:32.879
Михаил Непряхин: аа два остальные у него фолеры, значит вы, пишете в лидер и он уже дальше

122
00:23:35.970 --> 00:23:47.320
Михаил Непряхин: по этим двум фолловерам раскидывают и есть варианты значит три есть варианта надежности доставки

123
00:23:47.670 --> 00:23:56.639
Михаил Непряхин: первый вариант мы можем сказать вот просто до лидера дошло значит отправляй сигнал что. Все Окей

124
00:23:57.220 --> 00:24:01.750
Михаил Непряхин: Будет работать быстро, Но Не, Очень надежно второй вариант

125
00:24:01.870 --> 00:24:07.730
Михаил Непряхин: значит чтобы лидер сохранил на диск Вот лидер сохранил на диск. К себе.

126
00:24:07.920 --> 00:24:16.210
Михаил Непряхин: Тогда присылай ок это. Будет работать чуть медленнее Но надежность повышается и самый. Надежный вариант

127
00:24:16.530 --> 00:24:22.520
Михаил Непряхин: это когда Мы говорим сохрани на лидере и отправь одному из фолловеров

128
00:24:23.250 --> 00:24:30.719
Михаил Непряхин: это будет соответственно Еще медленнее ну сами поются как бы тут, уже сеть появляется но надежность максимальная

129
00:24:33.110 --> 00:24:42.810
Михаил Непряхин: а вот соответственно вы тут тоже можете урегулировать в зависимости От того насколько в надежно вы Хотите, хранить данные вы можете подшаманить на стройке,

130
00:24:42.870 --> 00:24:59.740
Михаил Непряхин: и мало того здесь Добавить задержку ну здесь это самое. Узкое место на самом деле ну и вот в этом месте в зависимости От Надежности и хранения тоже и

131
00:25:01.910 --> 00:25:11.029
Михаил Непряхин: да дальше значит топик он Не един а он делится на протесты

132
00:25:18.050 --> 00:25:19.599
Михаил Непряхин: ну типа Не знаю Там

133
00:25:20.910 --> 00:25:31.519
Михаил Непряхин: а от нулевой до пятнадцатой партийцы всего Шестнадцать Протеций новые двадцать шестью допустим Делают. Восемь, Шестнадцать Партий

134
00:25:33.900 --> 00:25:39.589
Михаил Непряхин: партиция это Единица работы с костюмером

135
00:25:40.950 --> 00:25:49.329
Михаил Непряхин: а если у вас будет только одна партица ну так, Можно сделать просто вот он один вот этот вот вок файл, одна партица

136
00:25:49.990 --> 00:25:57.030
Михаил Непряхин: то с ней может работать только один костюмер здесь работает

137
00:25:57.250 --> 00:26:03.270
Михаил Непряхин: аа оптимизация чтобы не было никаких мютоксов что бы не надо было делать, синхронизацию

138
00:26:06.200 --> 00:26:16.659
Михаил Непряхин: это очень важный момент об этом Давайте про это подробнее Поговорим значит Есть топик топик мотон Топ. Да ночь

139
00:26:17.440 --> 00:26:19.210
Михаил Непряхин: топик состоит из птицей.

140
00:26:25.660 --> 00:26:37.009
Михаил Непряхин: Допустим У нас три протеции когда Мы с другой стороны пишем сообщение об Этом Там, пишем сообщение какое-то

141
00:26:37.670 --> 00:26:48.460
Михаил Непряхин: то. Есть разные стратегии а попадания в разные постановки вот в какую партию попадет наше сообщение, ну и

142
00:26:49.660 --> 00:26:57.429
Михаил Непряхин: самый простой раунд Робин случайно да там По очереди сюда попал сюда попал сюда попал в следующее сообщение сюда попал с толпой толпу

143
00:26:57.640 --> 00:27:09.650
Михаил Непряхин: ну! Это, Дефолтная стратегия и Там, еще питок стратегии Там, в Джаве Например, Там, к этому мумур используется и

144
00:27:10.300 --> 00:27:12.440
Михаил Непряхин: сообщение вот когда Мы

145
00:27:13.370 --> 00:27:20.719
Михаил Непряхин: Работа с Сообщением Уки у Него Есть Два Поля Верны три Поля двадцать три Поля значит это Ключ

146
00:27:21.550 --> 00:27:23.650
Михаил Непряхин: это вэлью

147
00:27:27.050 --> 00:27:28.910
Михаил Непряхин: ищу хедра можно Записать

148
00:27:31.960 --> 00:27:45.700
Михаил Непряхин: ну когда зарядка используется ну короче назначение У них такое Же как Например расхохота и прямо, Работам ну вот само сообщение это боди да выль это считать что это боди Ключ это Ну вот

149
00:27:46.500 --> 00:27:51.830
Михаил Непряхин: Ключ можно По-разному, Использовать как бы Ну, считайте что это такая мета, информация

150
00:27:52.060 --> 00:27:58.420
Михаил Непряхин: а просто изначально было вот эти два поля изначально было только Вэлью потом добавили кей Уэлью

151
00:27:58.570 --> 00:28:11.569
Михаил Непряхин: а потом поняли блин все-таки нам надо Еще какую-то информацию и добавили вот этот хендр так-то вот наверное кей бы исторический он бы вот если бы заранее знали бы как все обернется наверное кей был бы У тон хддер или где нибудь в поле

152
00:28:12.040 --> 00:28:17.589
Михаил Непряхин: но Так Получилось Что вот ключ отдельно оказался и Роль Ключа

153
00:28:18.370 --> 00:28:26.880
Михаил Непряхин: А в роутинге вот По этим вот партицам как Куда Он попадет значит Смотрятся на Ключ,

154
00:28:27.110 --> 00:28:31.190
Михаил Непряхин: берется от Него хэш и и

155
00:28:31.460 --> 00:28:39.790
Михаил Непряхин: короче как в мапах работает берем остаток отделения попадаем либо в эту, партию или бываю либо в эту, и

156
00:28:40.050 --> 00:28:50.030
Михаил Непряхин: а интересный момент что кафка не дает гарантии на порядок сообщений в тупике

157
00:28:51.190 --> 00:28:56.120
Михаил Непряхин: почему потому что топик неоднородный толпик состоит из партией

158
00:28:56.430 --> 00:29:03.080
Михаил Непряхин: но есть гарантия на порядок сообщений в конкретной партией

159
00:29:04.770 --> 00:29:14.410
Михаил Непряхин: и работает как в мапе когда вы один и тот же ключ, используете в сообщении ну допустим ключ, вася,

160
00:29:17.400 --> 00:29:21.569
Михаил Непряхин: вы работаете с деньгами значит вася положил,

161
00:29:22.230 --> 00:29:26.380
Михаил Непряхин: э сто долларов вася потратил, сто долларов

162
00:29:26.580 --> 00:29:34.109
Михаил Непряхин: значит вы делаете ключ как вася первое сообщение вася попадает в

163
00:29:34.240 --> 00:29:40.199
Михаил Непряхин: э в нулевой в нулевую партию и вот нулевое сообщение он положил сто

164
00:29:40.920 --> 00:29:45.909
Михаил Непряхин: долларов. Значит второе сообщение он списал сто долларов.

165
00:29:47.070 --> 00:30:05.559
Михаил Непряхин: И таким образом когда конюмер будет читать этот! Топик то этот! Порядок он гарантируется он сохранится и Сперва Мы прочитаем что Мы добавили Сто долларов. То есть на уровне партиции есть гарантия порядка

166
00:30:07.470 --> 00:30:10.769
Михаил Непряхин: Поэтому вот и это обеспечивается этим ключом

167
00:30:11.530 --> 00:30:15.240
Михаил Непряхин: что Мы берем хэш от ключа и вот попадаем в нужное место

168
00:30:15.900 --> 00:30:23.679
Михаил Непряхин: и вот этих вот алгоритмов хаширования их несколько вот огромно приружаю там этот мурмур какой то

169
00:30:24.220 --> 00:30:30.919
Михаил Непряхин: а в какие то ну вот принято там такой был алгоритм использовать в каких то сервисах еще там Какой нибудь алгоритм

170
00:30:31.090 --> 00:30:47.589
Михаил Непряхин: и вы можете допустим если, вы до этого работали с джавой у вас был сервис джавой Или допустим писал сообщение, сервис наджаве то есть вот вот этот вот продюсер был джала

171
00:30:49.830 --> 00:31:00.549
Михаил Непряхин: а костюмер у вас гоу то есть это же и

172
00:31:01.000 --> 00:31:10.700
Михаил Непряхин: и если вы Хотите чтобы ваш сервис на Голову. Он в том же порядке читал сообщения с нужных партий

173
00:31:12.750 --> 00:31:14.220
Михаил Непряхин: то и

174
00:31:16.650 --> 00:31:21.090
Михаил Непряхин: ну Нет даже не так весь! Континент подключится к Какой тотице и все Он с ними Будет читать

175
00:31:21.200 --> 00:31:26.260
Михаил Непряхин: здесь кареки Есть Так вот было Сервис наджави. И вы переписали его на Голову.

176
00:31:27.550 --> 00:31:33.640
Михаил Непряхин: И если вы будете использовать другой Алгоритм Хаширования Ключа

177
00:31:34.310 --> 00:31:39.230
Михаил Непряхин: То У, вас значит вот наджаве вы попадали в эту партию

178
00:31:39.780 --> 00:31:45.219
Михаил Непряхин: а переделали на Голову. А Там Другой, Алгоритм и Вася, начал попадать вот в эту партию

179
00:31:45.930 --> 00:31:50.430
Михаил Непряхин: и Вот у вас Есть возможность Вот этот Вот Алгоритм

180
00:31:50.600 --> 00:31:54.990
Михаил Непряхин: а хаширование по ключу Куда вы будете попадать поменять

181
00:31:55.570 --> 00:31:57.919
Михаил Непряхин: Мы Сейчас разглянем что там бывает

182
00:31:59.580 --> 00:32:09.200
Михаил Непряхин: к этому, мы уже не вернемся это так просто для понимания балансировщик балансировщик дефолт э раунд робин

183
00:32:11.620 --> 00:32:18.530
Михаил Непряхин: значит какие есть варианты ну вот он мурман вот это вот балансировщик он уже тут написан вы просто, его подрубаете и все

184
00:32:18.740 --> 00:32:25.170
Михаил Непряхин: он ну вот живой вы знаете Так написанный вот живой а и есть

185
00:32:28.420 --> 00:32:32.829
Михаил Непряхин: так вот какой-то э зарси Тридцать два

186
00:32:34.980 --> 00:32:44.439
Михаил Непряхин: ну, это какой то гожный какой то божний референдум, хэш есть еще лист байц

187
00:32:44.870 --> 00:32:54.789
Михаил Непряхин: есть просто хорош ведь, хэш это тоже какой-то гожный, То есть вот их просто разные хэшеры вот здесь какой-то там хешер аа здесь какой-то хэшер

188
00:32:55.150 --> 00:33:00.679
Михаил Непряхин: ты можем свою реализацию написать Есть стратегия лист байс

189
00:33:05.630 --> 00:33:08.970
Михаил Непряхин: балансировка происходит по количеству

190
00:33:09.530 --> 00:33:17.780
Михаил Непряхин: Сообщений то Есть это короче алгоритм который вот видит что, здесь уже вот три сообщения а здесь ничего он вот сюда писать

191
00:33:18.180 --> 00:33:32.849
Михаил Непряхин: потом сравняется оно ну он будет сюда писать сюда писать а потом Сравняется оно все Он опять там будет. Куда-нибудь сюда потом Ездить а здесь меньше будет. Сюда потом а здесь меньше будет. Сюда вот Но тут минус этого Балансировщика Что нужна информация о

192
00:33:32.850 --> 00:33:39.519
Михаил Непряхин: в текущем количестве Запомнились партицы и Поэтому Это немножечко дороговато получаться его почти Никогда Не используют

193
00:33:39.740 --> 00:33:48.009
Михаил Непряхин: используя трехлетную либо в случайном порядке просто раунд Робин либо если у вас Вот что-то такое чувствительное к порядку

194
00:33:48.200 --> 00:33:52.359
Михаил Непряхин: тогда используют какой-то хэш какой-то один из алгоритма фаширования,

195
00:33:53.030 --> 00:33:59.389
Михаил Непряхин: вам просто достаточно на текущем этапе, понимать что вот топик неоднородный он состоит из партией

196
00:33:59.710 --> 00:34:12.420
Михаил Непряхин: и партиция это Единица с Которой работает конюмер значит когда Консюмер подключается к топику Кафки

197
00:34:13.400 --> 00:34:16.440
Михаил Непряхин: а Вот на сервис Мы подняли он на Двух инстанциях

198
00:34:17.830 --> 00:34:25.489
Михаил Непряхин: значит один инстанс ну пот да один пот он может Подключиться ровно

199
00:34:26.090 --> 00:34:32.079
Михаил Непряхин: либо к Одному либо к Одному к одной Партией он может подключить Вернее Сейчас подозревать По-другому

200
00:34:32.860 --> 00:34:43.649
Михаил Непряхин: а если если инстонс один один под обратиться и шестнадцать он подключится ко всем

201
00:34:45.230 --> 00:34:52.020
Михаил Непряхин: он подключится ко всем шестнадцати сделает коннекшн и будет вычитывать а

202
00:34:52.590 --> 00:34:58.710
Михаил Непряхин: По Порядку из этого читая из этого из этого он тойстал какой то порядок бод но так как он работает бочами

203
00:34:59.010 --> 00:35:08.179
Михаил Непряхин: читает то есть он сам же подключается он быча мечта типа он отсюда. Прочитал Десять сообщений оттуда. Прочитал здесь сообщение труда. Прочитав здесь с общением Работал вот такая тема

204
00:35:09.150 --> 00:35:20.180
Михаил Непряхин: и если Появляется второй пот а У нас обычно два полных Всегда да в купернице крутится то произойдет перебалансировка

205
00:35:20.400 --> 00:35:24.670
Михаил Непряхин: значит Мы этот один коннекшн а уберет

206
00:35:24.880 --> 00:35:27.609
Михаил Непряхин: и отдаст Этому вот Если их три

207
00:35:28.140 --> 00:35:34.269
Михаил Непряхин: то есть У какого-то пода вот из двух партийц он мог читать а какой то, из одной

208
00:35:34.850 --> 00:35:39.900
Михаил Непряхин: если, их шестнадцать вот как, у нас допустим было бы здесь еще

209
00:35:40.400 --> 00:35:46.910
Михаил Непряхин: всего шестнадцать они пополам поделят прочь один из подов подключится к своей половине а

210
00:35:47.380 --> 00:35:59.260
Михаил Непряхин: второе Было читать свою половину ровно пополам и если этот по умирает То

211
00:35:59.500 --> 00:36:16.089
Михаил Непряхин: ну там какой механизм там механизм ахарт, битов как там хард Пишется Сердцебиение Короч хардбит А значит в Кафку

212
00:36:19.010 --> 00:36:25.580
Михаил Непряхин: консюмер каждые десять, секунд каждый конюмер каждые десять секунд

213
00:36:26.540 --> 00:36:33.579
Михаил Непряхин: отсылает сообщения ну так называемый хардбит Сердцебиение Что я жив я жив я жив

214
00:36:33.870 --> 00:36:39.589
Михаил Непряхин: а Если перестали приходить Сердцебиение значит Кафка считает что мы мертвы

215
00:36:40.410 --> 00:36:46.760
Михаил Непряхин: а этот пот выпадает из Балансировки и все партицы

216
00:36:47.010 --> 00:36:50.109
Михаил Непряхин: перераспределяются вот по этому одному поду

217
00:36:54.020 --> 00:37:07.420
Михаил Непряхин: стратегий Перебалансировки Балансировки несколько но нам доступна вот в этом драйве только одна и и

218
00:37:07.650 --> 00:37:12.190
Михаил Непряхин: м с ней Есть проблемы бот может умереть

219
00:37:13.070 --> 00:37:23.650
Михаил Непряхин: и он к сожалению не поднимется то Есть это Одна Из Проблем, Особенно, кто работает с яндекс строгу это Инфрой

220
00:37:23.880 --> 00:37:30.859
Михаил Непряхин: там такая проблема Есть значит Ну следят значит Есть метрики.

221
00:37:31.240 --> 00:37:40.400
Михаил Непряхин: И и просто вот вот этот вот лак типа значит сколько Сейчас Сообщений в партиции например, их тут

222
00:37:40.600 --> 00:37:48.960
Михаил Непряхин: две тысячи значит две тысячи Сообщений в партиции и где а в

223
00:37:55.880 --> 00:38:01.620
Михаил Непряхин: это немножечко не про это ну хорошо конюмеров там есть как я сказал метка да где мы сейчас находимся

224
00:38:01.840 --> 00:38:05.159
Михаил Непряхин: ну это не туда на чем, рассказывать шанс подожить

225
00:38:06.330 --> 00:38:08.560
Михаил Непряхин: короче в чем, минус если он Умирает

226
00:38:09.390 --> 00:38:15.509
Михаил Непряхин: то вся нагрузка по вычетке топика она переходит на этот пот

227
00:38:17.190 --> 00:38:21.900
Михаил Непряхин: и если У вас два повода вывозила Вычитку из топика

228
00:38:22.400 --> 00:38:30.059
Михаил Непряхин: то Один, пот он уже не будет вывозить и и Вы это можете Увидеть

229
00:38:30.430 --> 00:38:37.169
Михаил Непряхин: потому Что ну вот как я сказал иначе да есть вот сколько всего сообщений мы допустим в партию Две тысячи сообщений

230
00:38:37.580 --> 00:38:48.310
Михаил Непряхин: а есть где Сейчас находится консюмер, костюмер, работает в конюмер, группе Консимера группа

231
00:38:49.670 --> 00:38:52.750
Михаил Непряхин: ну то есть это два конюмира они в одной консервативной группе находится

232
00:38:52.860 --> 00:38:59.660
Михаил Непряхин: у этой консервы группы на каждую партию есть офсет где Сейчас мы Читаем,

233
00:39:00.170 --> 00:39:05.489
Михаил Непряхин: и допустим в конмер группе по Второму топику мы Сейчас находимся На

234
00:39:06.130 --> 00:39:15.630
Михаил Непряхин: аа пятисотом в сайте то есть Там вы допустим здесь пятисотый офсет и Мы находимся вот здесь конюмер учитывать о сообщении всего две Тысячи

235
00:39:15.850 --> 00:39:23.780
Михаил Непряхин: и Так называемый комиссий умер лак он полторы Тысячи то есть полторы Тысячи Сообщений у нас в очереди Находится они Не обрабатываются

236
00:39:24.500 --> 00:39:36.399
Михаил Непряхин: и таким образом вы можете понять ну вот по метрикам обычно на метреке вяжут аллерты в графане и таким образом вы можете понять что, вот ваш, Консенсумер лак он вырос

237
00:39:36.540 --> 00:39:41.869
Михаил Непряхин: и надо ну самое простое лечение вы просто перезагружаете подм

238
00:39:42.550 --> 00:39:48.520
Михаил Непряхин: вот ну либо вы вешаете Контекст с дедлайном

239
00:39:48.900 --> 00:39:56.319
Михаил Непряхин: и если вы Допустим там десять минут из Сказки никакое сообщение Не прочитали То. Пот сам убивается и Перезагружается

240
00:39:56.430 --> 00:40:01.980
Михаил Непряхин: вот короче вы если будете работать с кафкой Вы обязательно с этим явлением столкнетесь

241
00:40:02.250 --> 00:40:14.739
Михаил Непряхин: и либо У вас уже в команде будет какое-то решение как с ним бороться ну либо говорю как бы будете гуглить и искать варианты как это сделать чтобы он сам перезагружался

242
00:40:16.370 --> 00:40:25.220
Михаил Непряхин: и и вот это единственная проблема вот такая вот сказка когда у нас Консюмер может умереть

243
00:40:25.400 --> 00:40:33.930
Михаил Непряхин: и к сожалению вот Продолжит работать как ни в чем не бывало вы увидите это по увеличению этого консенсумерлага

244
00:40:36.650 --> 00:40:41.220
Михаил Непряхин: а вот ну и на Собеседование соответственно спрашивают

245
00:40:41.320 --> 00:40:43.650
Михаил Непряхин: вот этот вопрос задают а зачем

246
00:40:43.990 --> 00:40:57.370
Михаил Непряхин: в топик и партицы ну вообще как бы смотрите у нас есть два варианта аа масштабирование это позиционирование

247
00:41:01.480 --> 00:41:03.680
Михаил Непряхин: позиционирование информирования

248
00:41:07.920 --> 00:41:15.099
Михаил Непряхин: и Разница между ними в том что это просто разделение чего то на части

249
00:41:15.880 --> 00:41:17.989
Михаил Непряхин: то есть разделение целого на части

250
00:41:19.800 --> 00:41:23.800
Михаил Непряхин: а но позиционирование это в рамках, одного сервера

251
00:41:24.140 --> 00:41:30.629
Михаил Непряхин: то есть вот Мы в рамках, нового рокера у нас есть брокер кафки есть в нем топик

252
00:41:30.910 --> 00:41:38.270
Михаил Непряхин: и Мы его просто нарезаем в данной части то есть как бы Что портит это часть топика

253
00:41:39.340 --> 00:41:44.000
Михаил Непряхин: а шардирование это когда у нас Разные сервера,

254
00:41:44.540 --> 00:41:59.199
Михаил Непряхин: и Мы как бы нашу инфраструктуру нарезаем на две. Недели на две. Части вот как бы это ключевое их отличие что ародирование это когда Мы шардируем По ключу допустим тоже через хэш это два разных Сервера

255
00:41:59.480 --> 00:42:02.219
Михаил Непряхин: а позиционирование это на Одном севере

256
00:42:03.490 --> 00:42:06.070
Михаил Непряхин: вот ну это так слово Просто

257
00:42:06.360 --> 00:42:15.880
Михаил Непряхин: бывает что. Этот вопрос задают Поэтому здесь у нас вариант с Позиционированием и и

258
00:42:17.340 --> 00:42:19.819
Михаил Непряхин: ну ладно пока пока здесь Не буду грузить

259
00:42:20.090 --> 00:42:27.520
Михаил Непряхин: тут Еще Есть Моментики значит Сейчас мы про них Еще Поговорим Так

260
00:42:28.290 --> 00:42:37.169
Михаил Непряхин: Сейчас пока Давайте если есть Вопросы, на текущий момент чтобы закрыть э белые пятна если они есть,

261
00:42:37.290 --> 00:42:48.779
Михаил Непряхин: то задавайте текстым голосом вот на текущий момент это прямо база вроде бы, я ничего не забыл Там Еще и стратегии Но это уже не так важно Сейчас Мы про них Тоже, Дойдем

262
00:42:48.970 --> 00:42:50.820
Михаил Непряхин: Да значит задавать Вопросы,

263
00:42:55.450 --> 00:42:56.719
Михаил Непряхин: так люди почитаем.

264
00:42:56.720 --> 00:43:04.789
alex: А все для консервов группы он вех хранится в самой кафке. Или Же надо на клиенте Это хранить Или

265
00:43:05.390 --> 00:43:06.460
alex: понимать.

266
00:43:06.460 --> 00:43:14.549
Михаил Непряхин: Нет на Самой карте, вы, есть вар есть стратегия когда вы, о вет можете хранить У себя

267
00:43:15.830 --> 00:43:20.580
Михаил Непряхин: да вопрос хороший а значит смотрите Вот есть у нас

268
00:43:21.140 --> 00:43:29.460
Михаил Непряхин: топик да в кафке ну это кафка топик и и консюмер

269
00:43:29.620 --> 00:43:37.509
Михаил Непряхин: может прийти и сказать дай мне ну топик определенный да дай мне начиная со все То два

270
00:43:38.500 --> 00:43:46.279
Михаил Непряхин: и кафка вот начнет читать а тут допустим заполнено там много вот она поймет овся Два и начнет читать с этого места

271
00:43:47.730 --> 00:43:51.970
Михаил Непряхин: первый вариант да вы можете хранить У себя осет

272
00:43:52.920 --> 00:43:56.359
Михаил Непряхин: второй вариант как вы можете сказать кравки

273
00:43:57.660 --> 00:44:01.289
Михаил Непряхин: дай мне с текущего времени тайм Темп

274
00:44:05.080 --> 00:44:15.289
Михаил Непряхин: и кафка Тоже найдет вот где было Это время в Этом топике, допустим оно здесь было и Тоже вот с этого овета начнет читать

275
00:44:16.690 --> 00:44:24.440
Михаил Непряхин: аа ну понятно дело что. Мы Можем просто Еще сказать дай мне просто с самого Начала, топиком

276
00:44:26.540 --> 00:44:37.400
Михаил Непряхин: и дай мне с Конца точнее как бы читай с Конца То есть он встанет конец

277
00:44:38.000 --> 00:44:47.440
Михаил Непряхин: в конце ничего Нет но как Только появится ну Мы будем читать и вот как бы вот это и единственное что Мы можем попросить

278
00:44:47.630 --> 00:44:59.230
Михаил Непряхин: как читать топик Раз, так То есть две небольшой оптимизации на топик значит у нас

279
00:45:00.680 --> 00:45:12.470
Михаил Непряхин: ну или даже надо сказать партийцы Да у нас все равно единицы Это обратится значит партия имеет три файла

280
00:45:13.200 --> 00:45:19.129
Михаил Непряхин: первый файл это локфайл туда просто опенятся, наши сообщения

281
00:45:19.350 --> 00:45:26.530
Михаил Непряхин: мы Сейчас. Уже тут все посмотрим то есть мы Сейчас. Еще Раз Это вот посмотрим более наглядно в реальности

282
00:45:27.040 --> 00:45:28.320
Михаил Непряхин: Второй файл.

283
00:45:29.020 --> 00:45:30.210
Михаил Непряхин: Соседми

284
00:45:33.380 --> 00:45:39.089
Михаил Непряхин: Там хранится он называется только университет называется индекс

285
00:45:43.490 --> 00:45:48.560
Михаил Непряхин: вин и здесь хранятся. Офсеты Ну пары значит вот вот этот оффет

286
00:45:48.730 --> 00:46:00.789
Михаил Непряхин: и какой сдвиг надо в бинарном бинарном блоге, сделать ну типа какой оффет уже а все как, бы по Мессаджем да храни короче вот в этом Фальке хранится

287
00:46:01.780 --> 00:46:13.110
Михаил Непряхин: мессадж свет на байтовсет и вот девочек Находится обсед нужны и Мы в этом файле сдвигаем насколько надобай

288
00:46:13.650 --> 00:46:24.840
Михаил Непряхин: и третий файл ту же. Индекс но по тайм темпу а хранится уже в нем ну получается тайм

289
00:46:26.120 --> 00:46:31.780
Михаил Непряхин: и ну тайм все равно все время с Этим с Мессаджем идет,

290
00:46:31.950 --> 00:46:39.809
Михаил Непряхин: я не помню какой это формат может быть как-то мессадж Оффсет тайм и Тоже. Где его тут искать

291
00:46:40.060 --> 00:46:47.719
Михаил Непряхин: как-то так ну суть в том что Вот два индекса у нас всего первый индекс по времени. И мы можем по времени. Быстро найти влок файли нужно место

292
00:46:47.830 --> 00:46:51.920
Михаил Непряхин: второй индекс с парсетом Мы Тоже в лок файли Мы можем найти нужное место

293
00:46:52.810 --> 00:46:56.339
Михаил Непряхин: вот Поэтому да все это хранятся, Там внутри

294
00:46:56.720 --> 00:47:04.420
Михаил Непряхин: и еще еще Так Условно еще один файл, это Оффсиеты конюмировские

295
00:47:07.990 --> 00:47:18.250
Михаил Непряхин: а всей Этой конюмировски по партийцам какая партица в какой Сейчас находится ну? Это уже проконсумер речь, настак словом,

296
00:47:20.280 --> 00:47:21.780
Михаил Непряхин: тек.

297
00:47:21.900 --> 00:47:23.020
alex: Сейчас Давайте.

298
00:47:23.020 --> 00:47:25.430
Михаил Непряхин: Ну окей Давайте еще Голосом, да.

299
00:47:25.430 --> 00:47:36.209
alex: Да аа получается если моего каждого Конюмера Кафка хранит Осет, то при падении второй как Мы говорили, ноды на пода то

300
00:47:36.470 --> 00:47:38.889
alex: получается он будет читать заново.

301
00:47:39.110 --> 00:47:47.980
Михаил Непряхин: Не не не он У них общий короче ну как бы вы Можете вот У вас Есть Допустим пот

302
00:47:50.330 --> 00:47:59.070
Михаил Непряхин: вы Можете просто запоминать как я сказал Офет Куда нибудь в базу, и просто там инкриминить и Говорить значит

303
00:47:59.370 --> 00:48:06.569
Михаил Непряхин: хочу с Второй партией ну такого-то топика

304
00:48:06.870 --> 00:48:12.439
Михаил Непряхин: какого-то топика Со второй партией хочу дай мне все соседи сорок два

305
00:48:13.300 --> 00:48:18.820
Михаил Непряхин: это первая Стратегия но Так никто Не работает ну как бы есть такая возможность но Я Ни разу Такого Не видел,

306
00:48:19.710 --> 00:48:25.830
Михаил Непряхин: а вторая, стратегия более продвинутая значит Мы Создаем консюмер группу

307
00:48:37.470 --> 00:48:45.320
Михаил Непряхин: и когда Мы Поднимаем инстонс мы говорим ты относишься к Концумер Группе

308
00:48:45.540 --> 00:48:51.329
Михаил Непряхин: Эпл Назовем Ее Ну по названию сервиса обычно называется ты относишься к Концумер Группе Эпл

309
00:48:51.630 --> 00:49:00.469
Михаил Непряхин: Поднимаем еще один пот и говорим ты тоже, относишься к Конюмер Группе эпл и все и в Кафке

310
00:49:00.840 --> 00:49:08.229
Михаил Непряхин: хранятся, Офсеты для конкретной группы по протициям значит вот для партийцы ноль

311
00:49:08.390 --> 00:49:13.909
Михаил Непряхин: офсет один для партийцы два офсет ну Там ты протится один То все

312
00:49:14.490 --> 00:49:22.110
Михаил Непряхин: три. Для протицы два овсет сорок два и соответственно когда

313
00:49:22.430 --> 00:49:34.919
Михаил Непряхин: они работают, эээ не одно и то же читают, то есть это не фанаут фана вот это когда вот без группы вы читаете типа вы можете с любого места ну вот таким образом, прочитать любую партию чего угодно

314
00:49:35.210 --> 00:49:37.400
Михаил Непряхин: а эта стратегия

315
00:49:37.450 --> 00:49:55.700
Михаил Непряхин: такого роутинга Не знаю как она по-английски Проанализировать ну суть в том что вот вы одно сообщение Один, Раз, читаете просто вот допустим какое-то сообщение и в зависимости от того какой консюмер какой партией прокомментился, допустим вот этот эту читает а этот из этих двух читает

316
00:49:55.990 --> 00:50:03.600
Михаил Непряхин: и вот и он комитет и он прочитал он закамить его прочитал закометил. А стей находится в кафке,

317
00:50:04.430 --> 00:50:23.390
Михаил Непряхин: то есть он прочитал и так давайте кто еще чем голосом хочет.

318
00:50:23.390 --> 00:50:26.670
Илиас Эззахид: А можете пожалуйста, сказать а

319
00:50:27.070 --> 00:50:39.999
Илиас Эззахид: есть какое-то соотношение между консимер груф и продюсеров, когда мы проектируем наши сервисы то есть сколько нужны ну. То есть Там Один к одному Или Там Это вообще без разницы не имеет значения.

320
00:50:40.200 --> 00:50:42.539
Михаил Непряхин: Сколько Партий Даст Назвать Мне цветов.

321
00:50:43.120 --> 00:50:50.340
Илиас Эззахид: Ну вообще и сколько консультант групп продюсеров и да скупка партийцы сколько Топиков.

322
00:50:50.430 --> 00:50:53.630
Михаил Непряхин: Ага ну смотрите

323
00:51:00.820 --> 00:51:03.820
Михаил Непряхин: Так Есть у нас значит Кафка да

324
00:51:04.220 --> 00:51:15.880
Михаил Непряхин: и Сколько какое соотношение типа Продюсеров к Конюмерам Продюсеров с кантюмером Продюсер может быть Один.

325
00:51:16.460 --> 00:51:25.770
Михаил Непряхин: Продюсеров может быть Сколько угодно Ограничений Нет Сто пятьсот Сто пятьсот Продюсеров они

326
00:51:26.500 --> 00:51:35.010
Михаил Непряхин: просто Пишут без Проблемы в кафку Высокие то Есть Здесь вообще никаких ограничений хоть один хоть Тысяча Консюмеров

327
00:51:35.150 --> 00:51:38.079
Михаил Непряхин: сколько Конюмеров а Здесь Есть ограничения

328
00:51:38.220 --> 00:51:40.809
Михаил Непряхин: вот сколько партийцы вы создали на топик

329
00:51:42.140 --> 00:51:48.489
Михаил Непряхин: Строго консервов у вас и Будет Максимально если. Вы сделали шестнадцать партиций на топик

330
00:51:48.750 --> 00:51:55.550
Михаил Непряхин: то максимум консервов может быть шестнадцать если. Вы сделали два

331
00:51:56.010 --> 00:52:06.119
Михаил Непряхин: ну типа вы такие подумали ну сейчас нагрузки небольшие, но на сколько Там минимальное кубе два инстанции надо вот вы сделали топик из двух партий

332
00:52:06.690 --> 00:52:10.850
Михаил Непряхин: и вы Максимум Можете поднять Два Йинсенса поднимайте третий инстинкт

333
00:52:12.970 --> 00:52:16.200
Михаил Непряхин: а Сейчас покажу где там У меня партия нарисована

334
00:52:20.880 --> 00:52:24.959
Михаил Непряхин: не покажу короче вот значит есть у вас две протеции

335
00:52:25.360 --> 00:52:29.299
Михаил Непряхин: подняли инстонс один он приконелся. К двум

336
00:52:30.040 --> 00:52:35.740
Михаил Непряхин: подняли инсенс второй они распределили вот так вот один к одному подняли Инстинкт третий

337
00:52:36.080 --> 00:52:38.960
Михаил Непряхин: Куда, если он к этому. Приходится.

338
00:52:39.610 --> 00:52:48.210
Михаил Непряхин: Тогда здесь придется ставить мюдекс потому. Что. Может быть гонка данных мы про это уже проходили Раз гонка данных

339
00:52:48.890 --> 00:52:54.680
Михаил Непряхин: и Мютакс это медленно это настолько медленно что это максимально неэффективная схема

340
00:52:56.540 --> 00:53:09.229
Михаил Непряхин: давайте здесь сделаем небольшое отступление чтобы этот момент лучше понять самозреди у нас как Помните значит планировщик гол

341
00:53:09.540 --> 00:53:21.450
Михаил Непряхин: Помните планирующий, гол у нас когда вот эта вот модель значит машин к машине Прикрепляется процесс

342
00:53:21.970 --> 00:53:26.540
Михаил Непряхин: а процесс на Процессе Выполняется гурутина

343
00:53:28.570 --> 00:53:34.179
Михаил Непряхин: и очередь из этих гурченко Так нарисовать значит тут очередь из этих бурутин

344
00:53:38.320 --> 00:53:49.340
Михаил Непряхин: это как Помните локальная очередь называется в планировке а есть, еще глобальная очередь ну если тут, в локальной Очереди кончатся грутины да то

345
00:53:49.470 --> 00:54:03.899
Михаил Непряхин: а оно не так Там каждый какой То цикл Не помню каждый шестьдесят второй цикл удя Это число я забываю прикрыть семьдесят второй и короче какой То каждый цикл а процесс он ходит в глобальную очередь эта глобу очередь

346
00:54:07.500 --> 00:54:15.129
Михаил Непряхин: и забирает отсюда, грутину себе на выполнение, и вот так вот каждый процесс он вот Периодически из глобального забирает

347
00:54:15.660 --> 00:54:22.170
Михаил Непряхин: и смотреть Раз у нас может быть два процесса

348
00:54:22.960 --> 00:54:28.740
Михаил Непряхин: и второй тоже. Может сюда сходить Там Поэтому такое магическое Число Чтоб Они Не Терлись между Собой

349
00:54:30.290 --> 00:54:34.790
Михаил Непряхин: но Даже в этом случае процесс может Быть много стой может Быть

350
00:54:35.180 --> 00:54:40.529
Михаил Непряхин: и Даже если они будут каждый с ними второй цикл. Ходить но я не помню Какой именно ну какая Там грубая цифра

351
00:54:40.770 --> 00:54:44.900
Михаил Непряхин: То Все равно может возникнуть гонка данных может возникнуть конфликт

352
00:54:45.110 --> 00:54:48.829
Михаил Непряхин: Поэтому в глобальной очереди есть Мютекс

353
00:54:49.680 --> 00:54:54.520
Михаил Непряхин: потому что По-другому нельзя надо как-то синхронизировать может возникнуть онко данный

354
00:54:54.950 --> 00:54:58.809
Михаил Непряхин: а в локальной очереди мюдекс не нужен

355
00:54:59.090 --> 00:55:05.599
Михаил Непряхин: потому что локальная очередь бидится один к одному к машине и проблемы не возникают

356
00:55:06.420 --> 00:55:09.649
Михаил Непряхин: так вот это один в один То же самое что в Кафке,

357
00:55:09.770 --> 00:55:15.530
Михаил Непряхин: То есть вот Это просто партиция в Кафке, и Поэтому

358
00:55:15.740 --> 00:55:21.220
Михаил Непряхин: а не может какой То другой пот взять и

359
00:55:21.480 --> 00:55:24.769
Михаил Непряхин: к нашей локальной очереди как говорится прокомментица

360
00:55:24.940 --> 00:55:33.229
Михаил Непряхин: а никакой глобальной в кафки нет потому что глобальная очередь она потребовала бы Мютакса а потребовала бы энергетику потому что была бы обязательно гонка данных.

361
00:55:33.440 --> 00:55:37.960
Михаил Непряхин: Поэтому здесь такая супе оптимизация применена ну как блок фри

362
00:55:38.180 --> 00:55:42.840
Михаил Непряхин: локовые структуры каждый читает из своей Порции

363
00:55:43.110 --> 00:55:57.619
Михаил Непряхин: но возникает только вот вопрос роутинга как по протицам распределить ну дефолтнера он пробен да дефолтный раунд робин тот кто пишет вот он сюда пишет сюда пишет по очереди сглазил. От вас сюда сюда

364
00:55:57.980 --> 00:56:07.419
Михаил Непряхин: и каждый Поэтому да если Вы хотите. Чтобы У вас три инстанция работала надо Добавить партию то есть

365
00:56:08.260 --> 00:56:16.389
Михаил Непряхин: когда вы добавляете третью. Партию то ну оно действительно создастся или будет рано термин уже между ними

366
00:56:17.250 --> 00:56:23.650
Михаил Непряхин: но это недопустимо если вы закладываетесь на ключ

367
00:56:24.670 --> 00:56:35.619
Михаил Непряхин: потому, что если вы добавите еще одну партию в одну традицию у вас произойдет рафинг, и вы поменяете порядок

368
00:56:35.790 --> 00:56:38.580
Михаил Непряхин: вы вот этот вот вася

369
00:56:38.690 --> 00:56:45.700
Михаил Непряхин: он перестанет попадать, стабильно сюда он будет попадать, в какое нибудь Другое место, потому что вы взяли и добавили партию

370
00:56:46.110 --> 00:56:57.970
Михаил Непряхин: Это То же самое как вы в Кошмаку добавили какую То часть Или У вас Там Были шарды и вышар добавили У вас нарушится порядок внутри топиков

371
00:56:58.210 --> 00:57:11.740
Михаил Непряхин: Ну, опять, Же если, вы закладываетесь на вот эту Логику с ключом потому что ашироваться. Только ключ, ну! Многие пишут вообще пустой Ключ и просто это Всегда, раун робин и тогда Вы можете добавлять топики

372
00:57:11.830 --> 00:57:25.229
Михаил Непряхин: но в целом Стратегия Такая ниже мойтесь ой не топики апартицы не жмувать э не стоит взботиться На количество партий сколько их добавлять добавляйте минимум восемь

373
00:57:25.360 --> 00:57:29.469
Михаил Непряхин: Даже если вы не собираетесь потому чтомировать добавьте восемь пусть будут восемь

374
00:57:29.770 --> 00:57:34.939
Михаил Непряхин: а вообще можете Шестнадцать добавлять и не пац то есть восемь Шестнадцать Это норма

375
00:57:35.520 --> 00:57:49.210
Михаил Непряхин: Поэтому как бы маленькое количество Партий потом гарантированно вам аукнется при масштабировании ну вот вдруг Вы захотите, больше восьми годов запустить больше восьмиинстанцев все Вы попали вы Не сможете масштабировать

376
00:57:49.240 --> 00:57:57.320
Михаил Непряхин: а кафку используют Не просто так кафку используют в тех местах где нужна эластичность нагрузки

377
00:57:57.490 --> 00:58:08.079
Михаил Непряхин: где вы хотите, Сгладить нагрузку то есть кафка появляется в тех местах где нагрузка растет скачкообразно

378
00:58:08.330 --> 00:58:14.020
Михаил Непряхин: а вот если у вас просто Ровненькая. Нагрузка да график ну. У вас сервисы вывезутся Окей

379
00:58:14.220 --> 00:58:19.040
Михаил Непряхин: а если у вас рон кровь а потом бах скачок и опять упала

380
00:58:19.470 --> 00:58:28.660
Михаил Непряхин: ну конечно Можно там как-то решить это с помощью эээ горизонтального Штабирования в Кубернатисе Но этот всплеск вы можете Не пережить

381
00:58:29.350 --> 00:58:39.249
Михаил Непряхин: а кафка она это Все Впитает то Есть вот ну вот произошел всплеск на грудки у вас много сообщений вы то. Все в кафку пишете, пишете, пишете, пишите

382
00:58:39.570 --> 00:58:56.919
Михаил Непряхин: а конечно Меры у вас читают с какой то скоростью Да ну и что что они в Моменте это все Не переварят ну пройдет минутка они все переварят а может быть у вас еще и ну говорю как бы вот допустим Нагрузка очень, сильно скачкообразно растет вы заранее поднимаете много винстонцев восемь штук например,

383
00:58:57.240 --> 00:59:10.170
Михаил Непряхин: и при скачкой Нагрузки они У вас и за все переваривают то есть как бы вот Идея очереди да эта Же очередь месседж кью Она вот в этом Сгладить Скачки

384
00:59:10.170 --> 00:59:18.970
Михаил Непряхин: отсрочить обработку Там где это возможно Там где не нужно мгновенно реагировать Там где клиент может Подождать

385
00:59:20.440 --> 00:59:22.030
Михаил Непряхин: так давайте сделаем перерыв

386
01:05:44.020 --> 01:05:47.820
Михаил Непряхин: давайте сообщение мы сообщение поточаем

387
01:05:54.990 --> 01:05:58.380
Михаил Непряхин: да сам пытаюсь бороться с этим

388
01:06:00.000 --> 01:06:06.520
Михаил Непряхин: как Понять что проекту требуется против сообщений ну это обычно как-то

389
01:06:08.520 --> 01:06:26.110
Михаил Непряхин: сложно сказать Это скорее с опытом и просто кто-то все равно сверху Он Спустит Что ну Вот здесь надо Кафку Воткнуть ну короче вы от профиля нагрузки зависит если он скачкообразный и вы вот испытываете трудности с обработкой большого наплыва сообщений каких-то обращений

390
01:06:26.380 --> 01:06:40.619
Михаил Непряхин: и там допускается синхронность когда вы можете когда клиент может немножко. Подождать Или он Вовсе не ждет вам просто надо обработать какие-то события. И Там даже клиенты не ждет ничего просто сам факт это работает события какого-то там появляется кафка

391
01:06:41.340 --> 01:06:46.789
Михаил Непряхин: так что такое топик сколько тупиков может Быть и какими могут Быть Примеры топика в реальном проекте

392
01:06:47.130 --> 01:06:56.579
Михаил Непряхин: аа топик ну это просто для ротинга то есть это как ручка у нас там ручки уходя, по серверы а здесь топики то есть это просто некий путь, По которому Лежит очередь

393
01:06:58.510 --> 01:07:06.460
Михаил Непряхин: какие могут быть Сейчас Еще Посмотрим как определяется количество протестных топик я уже сказал по количеству. Консуеров

394
01:07:06.640 --> 01:07:09.599
Михаил Непряхин: сущность брокер в кафке это топик его протесты

395
01:07:10.410 --> 01:07:16.420
Михаил Непряхин: ну да ну брокер это есть кафка как брокер это кафка

396
01:07:16.800 --> 01:07:25.300
Михаил Непряхин: эээ он уже Мыслит шью в Но уже очередь он же Брокер вот а Как Бургер Это сущность

397
01:07:26.840 --> 01:07:31.240
Михаил Непряхин: Мастера, кафки павка обычно состоит Из брокеров У них обычно три

398
01:07:31.610 --> 01:07:36.360
Михаил Непряхин: Или Пять по Нечетному Но чтобы к вам Был потому что используется Алгоритм рафт

399
01:07:37.180 --> 01:07:44.510
Михаил Непряхин: вот а уже в брокере Там Топики и Топики состоит ситуация, Протеций

400
01:07:45.160 --> 01:07:55.200
Михаил Непряхин: Так считали сообщения в консюмере и упали есть возможность сделать Так

401
01:07:55.530 --> 01:08:04.810
Михаил Непряхин: Что вы Закомите сообщения только когда его Обработали Поэтому если вы Упали и Не Обработали в следующий Раз подниметесь и Продолжите. С этого же места

402
01:08:06.440 --> 01:08:13.180
Михаил Непряхин: Так Вребите. Можно Не проставить что не прочитали и кто то. Прочитает заново сообщение

403
01:08:14.640 --> 01:08:30.700
Михаил Непряхин: вы короче можно организовать Так что вы гарантированно один Раз, получите сообщение а там скорее проблема в том что, вы можете дважды получить, сообщения но это с этим борются с помощью Ключа и импотентности

404
01:08:31.590 --> 01:08:35.659
Михаил Непряхин: так Что происходит с сообщением после того как консиму его обработал

405
01:08:37.350 --> 01:08:42.859
Михаил Непряхин: консюнер отправляет, значит когда консилиум обработал сообщение

406
01:08:45.490 --> 01:08:47.810
Михаил Непряхин: там где тут У нас Промерочек есть

407
01:08:57.500 --> 01:09:00.599
Михаил Непряхин: Так ну У нас вот есть партия

408
01:09:01.189 --> 01:09:06.569
Михаил Непряхин: и к ней ее слушает консюмер

409
01:09:10.490 --> 01:09:20.659
Михаил Непряхин: и как я говорил консенсус также еще Общается с Кафкой и отправляют туда. Хардбиты

410
01:09:25.600 --> 01:09:32.669
Михаил Непряхин: ну что типа я жив Не знаю Там каждые пять Секунд Или десять. Секунд он какая-то еще

411
01:09:33.210 --> 01:09:36.689
Михаил Непряхин: тоже здесь же в кафке какая То еще Место,

412
01:09:37.390 --> 01:09:42.470
Михаил Непряхин: там это свой собственный топик по Сути тоже протиться но будем считать что просто кавказ отправляет

413
01:09:42.840 --> 01:09:45.810
Михаил Непряхин: и когда он вычитывает

414
01:09:46.520 --> 01:09:57.449
Михаил Непряхин: сообщение. Ну вот он прочитал сообщение. Тут овсяца угла он его прочитал обработал и также в кафку отправляет,

415
01:09:57.990 --> 01:10:02.539
Михаил Непряхин: что для такой-то конюмер ну это в конюмер группе да он работает

416
01:10:03.220 --> 01:10:05.070
Михаил Непряхин: это только язык для Группы работает

417
01:10:05.200 --> 01:10:13.670
Михаил Непряхин: значит он говорит что для такой-то Группы допустим группа эпо называется а портить ноль

418
01:10:14.480 --> 01:10:21.699
Михаил Непряхин: я прочитал сообщение сорок Два я Сейчас. Нахожусь на этом сообщении это называется комит

419
01:10:24.540 --> 01:10:31.780
Михаил Непряхин: что консюмер закомитил сорок второго Сообщения дальше он читает в сорок третьем

420
01:10:35.550 --> 01:10:43.919
Михаил Непряхин: и падает Не успел, Обработать это сообщение и Упал Он просто Не пошлет комит

421
01:10:44.620 --> 01:10:50.740
Михаил Непряхин: и Поэтому останется Закоченное сорок Второе Потом Он поднимается конюмер

422
01:10:51.610 --> 01:10:57.390
Михаил Непряхин: и говорит ээ на каком Я там месте остановился ему конкретно сорок втором

423
01:10:57.750 --> 01:11:04.789
Михаил Непряхин: беток Ей давай, сорок третьего и снова Читает сорок третье и уже комитет сорок третья и таким образом

424
01:11:05.040 --> 01:11:20.499
Михаил Непряхин: получается, что мы можем вот этот вот момент контролировать но есть небольшой минус например, вот в рябите, эмкью

425
01:11:22.820 --> 01:11:32.100
Михаил Непряхин: вот Мы отправили Одно, сообщение Второе сообщение третье сообщение и Мы Можем в Конюмеры

426
01:11:34.260 --> 01:11:41.809
Михаил Непряхин: Обработать вот это и это Окей а вот это вот Ошибка

427
01:11:42.620 --> 01:11:47.219
Михаил Непряхин: и Мы говорим роббиу вот Эти, Окей поймите Себе, а это Ошибка

428
01:11:49.010 --> 01:11:55.529
Михаил Непряхин: в Кафке к сожалению У нас непрерывный лог и Если мы будем

429
01:11:55.920 --> 01:11:58.770
Михаил Непряхин: не по порядку обрабатывать эти сообщения

430
01:11:59.390 --> 01:12:06.749
Михаил Непряхин: а хаотично в гуру тинах например ну то есть у нас есть возможность в рутинах как угодно обработать в каком угодно порядке эти Сообщения

431
01:12:07.570 --> 01:12:11.120
Михаил Непряхин: То вот Мы допустим получилин

432
01:12:14.620 --> 01:12:21.049
Михаил Непряхин: а вот Мы в Грудинок запустили сорок третью обработку сорок четвертая кисорок пятая.

433
01:12:22.050 --> 01:12:25.689
Михаил Непряхин: И у нас сорок четвертая с ошибкой

434
01:12:26.040 --> 01:12:39.000
Михаил Непряхин: Повернулась и сорок третья с ошибкой вернулась а сорок пятое обработалось окей и конюмер комитет сорок пять

435
01:12:40.900 --> 01:12:44.809
Михаил Непряхин: а То что эти на самом деле Не обработались Не закомитились

436
01:12:44.960 --> 01:12:49.589
Михаил Непряхин: гонц умер, Ну все круче Нет такой возможности да то есть как бы

437
01:12:49.800 --> 01:12:58.949
Михаил Непряхин: Мы и из-за особенностей на низком Уровне организации Мы имеем быструю, ну хорошую скорость чтения записи

438
01:12:59.210 --> 01:13:08.839
Михаил Непряхин: но у нас нет надежности вот ну в Беспорядочном Порядке Если Мы Начнем Там в рутинах обрабатывать Эти, Сообщения А Не По Порядку.

439
01:13:09.200 --> 01:13:25.030
Михаил Непряхин: То М ну Теряется смысл Комиссии к Митингам вот этого потому, что, ну какой Последним языкомтели. Он перезаотретет Себе, До Этого ну Не то что, перезаотрет, но Там одно, число ну как бы когда кончумер комитет какое там просто одно, число, вот какую на чем, Он Остановился

440
01:13:25.030 --> 01:13:29.470
Михаил Непряхин: Он говорит я Остановился на сорок пятом ну все в следующий Раз ему Сорок шестое Дадут

441
01:13:29.620 --> 01:13:34.660
Михаил Непряхин: а То. Что вот эти Ошибкой закончились ну Влог мы конечно запишем в блок но

442
01:13:34.760 --> 01:13:48.029
Михаил Непряхин: Аа Мы уже Закомитились здесь значит есть решение Этой проблемы называется он дэд леттор кью дэл кью

443
01:13:48.320 --> 01:13:57.060
Михаил Непряхин: Что это такое значит заводится еще один топик ну Не назовем топик с ошибками

444
01:13:57.820 --> 01:14:03.709
Михаил Непряхин: топик с ошибками Вот Вот по названию этого топика из Которого Мы работаем только Там добавим ира

445
01:14:04.070 --> 01:14:23.510
Михаил Непряхин: и когда консюмер ошибочно что-то ну ошибка возникает Допустим Мы Не, хотим, ну если Мы по порядку вычитываем безгорутин да просто по порядку синхрона проблемы нет что вот Окей Там ошибка ну как бы еще Раз, повторим ой а если Мы о синхронно хотим? Это сделать

446
01:14:23.860 --> 01:14:28.679
Михаил Непряхин: то тогда Мы Можем их просто отправить в другую очередь

447
01:14:29.810 --> 01:14:36.240
Михаил Непряхин: и либо ее тоже автоматизировано как-то запускать либо. Просто глазами потом отсматривать что там случилось не так

448
01:14:37.160 --> 01:14:43.409
Михаил Непряхин: ну и даже когда мы без грутин последовательно обрабатываем вот эти вот сообщения

449
01:14:43.700 --> 01:14:48.200
Михаил Непряхин: может быть мы их потом куда-то отправляем по хтп да Например,

450
01:14:48.310 --> 01:14:51.839
Михаил Непряхин: а Там ошибка Не знаю четыреста четыре

451
01:14:52.560 --> 01:15:09.970
Михаил Непряхин: и Хоть Зарярайся ее ну как Бы ну Там проблему коронули чем четырехсотка какая-то ничуть Не Инвалидная Ну, Мы Тоже, в этом случае вот Делетаркью просто. Отправляем и все Либо просто. Пишем влог и Потом Логи Смотрим осматриваем глазами,

452
01:15:10.230 --> 01:15:16.780
Михаил Непряхин: и чаще всего Так и Делают, просто ошибочные сообщения Которые Не удается Обрабатывать Допустим Там три -е было

453
01:15:17.460 --> 01:15:30.409
Михаил Непряхин: ну никак, Не получается ну пишем вмок Что ошибка произошла но на креннях если, вы Не Хотите. Ничего терять заводится Диокью дедлятор Кью для сообщений Которое вот у Нас ошибочное

454
01:15:32.940 --> 01:15:34.180
Михаил Непряхин: так

455
01:15:42.840 --> 01:15:54.990
Михаил Непряхин: вот эти вот логи если имеется в виду сколько хранятся, сообщения в топике это Настраиваемая политика либо

456
01:15:55.150 --> 01:16:01.499
Михаил Непряхин: там обычно Делают, семь дней так чтобы если чего разбор полетов Можно было сделать

457
01:16:01.680 --> 01:16:05.889
Михаил Непряхин: ну потому что волки, сама Эти. Вот довольно долго дорого хранить Буква в этот

458
01:16:06.640 --> 01:16:15.259
Михаил Непряхин: а мне Можно больше поставить Можно и тридцать дней поставить Можно Один день поставить Можно вообще бесконечно хранить Тоже, вариант Можно хранить бесконечно

459
01:16:16.860 --> 01:16:19.389
Михаил Непряхин: По времени либо

460
01:16:23.230 --> 01:16:32.040
Михаил Непряхин: По Размеру короче вы можете указать Допустим вот Там Дефолтная по-моему один гигабайт для партий Новый можете Настроить

461
01:16:32.150 --> 01:16:43.899
Михаил Непряхин: Допустим вы говорите Там один гигабайт и если превышает кто обратится удалят Но там Есть

462
01:16:45.630 --> 01:16:48.479
Михаил Непряхин: Так рассказать мне рассказать Давайте Сейчас расскажу

463
01:16:48.990 --> 01:16:54.450
Михаил Непряхин: Раз, уж тот Вопрос зашел. За это тут тоже Есть Приколы

464
01:16:56.200 --> 01:17:01.109
Михаил Непряхин: как Видите Кафку прочего рассказать вот как она устроена чем вот там

465
01:17:01.450 --> 01:17:13.219
Михаил Непряхин: смотреть на Стройке Сперва потому что видеть Ну Очень сложно очень. Сложно все Устроено ну Люди офигевают Люди офигевают и просто. Нормальная Сказка Никогда не. Разбирается нужно очень. Сложно а Так никто толком не. Учит

466
01:17:13.830 --> 01:17:16.620
Михаил Непряхин: реальный материал хороших. Нет даже Посоветовать ничего не могу.

467
01:17:17.900 --> 01:17:23.030
Михаил Непряхин: Ну в русскоязычном Пространстве в англоязычного, но только в Текстом виде хорошего материала

468
01:17:24.040 --> 01:17:31.239
Михаил Непряхин: так Давайте здесь поговорим про это раз уж зашли мы по политике и удаления ну как я сказала допустим по Времени

469
01:17:31.710 --> 01:17:36.640
Михаил Непряхин: семь дней либо по размеру Обратиться и допустим один гигбайд

470
01:17:39.450 --> 01:17:45.469
Михаил Непряхин: значит так Давайте еще Раз, пересматриваем топик тупик состоит из партийцы

471
01:17:48.780 --> 01:17:53.550
Михаил Непряхин: но на самом деле партияция это Не один файл,

472
01:17:55.570 --> 01:18:04.779
Михаил Непряхин: м-м мало вам было да топиков птицы и там то всего смотрите партиция на самом деле состоит, из сегментов

473
01:18:05.380 --> 01:18:10.440
Михаил Непряхин: еще одна абстракция сегмент то есть

474
01:18:11.770 --> 01:18:19.540
Михаил Непряхин: портится она хоть, и это один бесконечный файл но он состоит из сегментов это разные файлы

475
01:18:20.440 --> 01:18:29.369
Михаил Непряхин: значит когда заполняется один сегмент допустим по количеству сообщений Или по размеру допустим Там

476
01:18:29.860 --> 01:18:40.520
Михаил Непряхин: ну он отдельно настраивается допустим сегмент То мегабайт для простоты вот он превысил с томигабайт это отдельный файл.

477
01:18:40.760 --> 01:18:42.869
Михаил Непряхин: Создается следующий файл.

478
01:18:43.910 --> 01:18:55.009
Михаил Непряхин: Ну, Просто Там типа По номеру спасли это Там бо типа это первый Там это Второй заполнился. Опять, томигабайт

479
01:18:55.540 --> 01:19:02.089
Михаил Непряхин: следующий третий файл, создался опять, там на сто мегабайт ну и вот

480
01:19:02.240 --> 01:19:12.500
Михаил Непряхин: если вы сделаете там по размеру допустим вы там сделали максимально двести мегабайт может быть

481
01:19:13.290 --> 01:19:18.590
Михаил Непряхин: топик а он состоит из одной птицы для простоты и

482
01:19:18.840 --> 01:19:23.000
Михаил Непряхин: ну вот вы сделали чисто по размеру а значит

483
01:19:23.190 --> 01:19:27.279
Михаил Непряхин: если, вы сейчас находитесь вот в Этой вотпартице

484
01:19:29.060 --> 01:19:30.960
Михаил Непряхин: ину ли вот в Этой процедуре

485
01:19:31.110 --> 01:19:35.489
Михаил Непряхин: то, она удалиться не может то, есть текущая Продиция удалиться не может

486
01:19:36.060 --> 01:19:49.569
Михаил Непряхин: и ну тут ровно как бы я нарисовал да как бы но если, бы не ровно было и уже пришло время вот удалять да по размеру Мы бы вышли она бы все равно вот эта Проница не удалилась бы текущая

487
01:19:50.150 --> 01:19:58.000
Михаил Непряхин: а когда бы Мы создали следующие, следующую Партию, вот это бы, удалилось, но короче чего нас запомнить

488
01:19:58.220 --> 01:20:05.920
Михаил Непряхин: что если, Мы вот в одной партией а допустим время пришло допустим семь, дней

489
01:20:06.320 --> 01:20:14.810
Михаил Непряхин: а это по старому самому последнему сообщению вот если самым Последним сообщением больше семи дней птица Удаляется все эти

490
01:20:14.930 --> 01:20:23.509
Михаил Непряхин: Нарисуй заново что отпортиться и один, сегмент она состоит из одного сегмента.

491
01:20:25.190 --> 01:20:29.590
Михаил Непряхин: Там свои, правила на Создание сегментов тоже либо по времени.

492
01:20:29.700 --> 01:20:37.379
Михаил Непряхин: А то есть есть настройки вот эти вот по времени. Или по объему на весь топик

493
01:20:38.440 --> 01:20:44.490
Михаил Непряхин: есть настройки по времени. По объему на сегмент партией

494
01:20:45.200 --> 01:20:50.809
Михаил Непряхин: короче если вы находитесь в текущем сегменте сегмент один

495
01:20:51.140 --> 01:20:58.230
Михаил Непряхин: и время уже вышло или ну время вряд ли вышло оно по последнему сообщению да допустим вот размер пришел

496
01:20:58.880 --> 01:21:04.560
Михаил Непряхин: то пока следующий сегмент не создастся вот этот сегмент удалиться не может

497
01:21:05.120 --> 01:21:11.320
Михаил Непряхин: Поэтому нельзя закладываться на то что. Вот у вас Там вот уже удалилась

498
01:21:11.690 --> 01:21:18.449
Михаил Непряхин: пока новый сегмент не создастся второй сегмент вот этот сегмент не удалится просто такая особенность

499
01:21:18.570 --> 01:21:22.269
Михаил Непряхин: что портиться на самом деле это ну, абстракция

500
01:21:23.040 --> 01:21:28.670
Михаил Непряхин: а эта абстракция портится и состоит из сегментов а вот сегменты Это Уже Конкретная файл

501
01:21:29.670 --> 01:21:36.199
Михаил Непряхин: короче можете прямо здесь Сейчас и забыть про Это устройство оно не так важно важно то Что

502
01:21:36.720 --> 01:21:47.929
Михаил Непряхин: не Всегда, предсказуемо Оно удаляется вроде думаете, Оно уже должно должно было бы удалиться а Оно не удаляется потому Что сегмент Еще старый как только появится. Новый сегмент Так Предыдущий сегмент удалится.

503
01:21:49.000 --> 01:21:50.830
Михаил Непряхин: Да вот Еще такие приколы

504
01:21:55.040 --> 01:22:02.540
Михаил Непряхин: Так этот же рок файла вы Хранит сообщение и потом спустя время сами появляются макавка их удалить по настройке да только. Надо не забывать про сегменты

505
01:22:02.870 --> 01:22:10.890
Михаил Непряхин: так для каких кейсов кафка Не, подходит точно это сложный вопрос

506
01:22:11.000 --> 01:22:18.040
Михаил Непряхин: там где можно обойтись синхронным общением и Нет никакого никакого всплеска нагрузок

507
01:22:18.390 --> 01:22:34.120
Михаил Непряхин: если Все ровно ээ а если нужен нужен ответ. Здесь и Сейчас клиенту то есть вот у Него прям он вам какой-то запрос по славу, и он ждет дайте ответ. Ну сделайте вы эту ручку на джерси ну нарастите

508
01:22:34.340 --> 01:22:41.150
Михаил Непряхин: пусть она там подождет немножечко допустим долго чего-то обрабатывается ну десять. Секунд пусть повесите. Но все равно проще это сделать синхронно

509
01:22:41.730 --> 01:22:46.859
Михаил Непряхин: Какие еще могут быть проблемы при переводе с сказкой кроме дева кью и консервов лак

510
01:22:49.660 --> 01:23:00.240
Михаил Непряхин: ну она просто отваливается и

511
01:23:00.840 --> 01:23:08.160
Михаил Непряхин: когда У нас какая-нибудь менеджера кафка то вот такое бывает я вообще Не Люблю менеджмент ну как бы кафку как сервис

512
01:23:08.420 --> 01:23:17.619
Михаил Непряхин: Да и губернатор как сердце не Люблю и поздно как сервис не Люблю надежнее когда вы на своих Серебрах все поднимаете а там таких, Проблем не бывает а когда вот с менеджером сталкиваетесь

513
01:23:17.700 --> 01:23:28.430
Михаил Непряхин: То Там обязательно Периодически коннекшины рвутся и но оно просто само поднимается и все на самом деле даже дел кью я говорю как бы это просто Паттерн

514
01:23:28.680 --> 01:23:34.180
Михаил Непряхин: а единственная проблема нерешенная Сейчас это только с конюмерлагом

515
01:23:34.990 --> 01:23:46.669
Михаил Непряхин: когда когда у нас есть Два инстанция один почему то выпадает из кончалов группы остается один и он перестает справляться

516
01:23:47.040 --> 01:23:59.770
Михаил Непряхин: это решено ну, смотрите я же вам Сейчас говорю про конкретный Драйвер я груд про Драйвер какагоу добрин

517
01:24:02.310 --> 01:24:06.110
Михаил Непряхин: Но он сам популярный то есть сам популярный Драйвер у нас Сказка Голову.

518
01:24:06.590 --> 01:24:12.299
Михаил Непряхин: Восемь три звездочек ну Он и самый красивый и самый хорошо написанный идиоматический

519
01:24:12.470 --> 01:24:24.180
Михаил Непряхин: вот а кроме Него еще есть Два драйвера значит второй это Сарама но он

520
01:24:24.840 --> 01:24:29.149
Михаил Непряхин: как бы как вам сказать он более старый написан похуже

521
01:24:29.720 --> 01:24:39.690
Михаил Непряхин: но Возможности у Него побольше они Там не более низко уровневые Но о этот Драйвер он заставляет Знать кафку потому что там прямо он требует чтобы вы там в тонкостях шарили

522
01:24:39.790 --> 01:24:50.069
Михаил Непряхин: Поэтому мир хотя Он даже кстати популярный да Он тут двенадцать тысяч звездочек так-то даже По популярнее как в кино но тем не менее Кафка голос самый, популярный

523
01:24:50.260 --> 01:24:53.270
Михаил Непряхин: есть Еще ну вот гоуко Это Недавно появился,

524
01:24:53.440 --> 01:24:57.140
Михаил Непряхин: То Еще молодой где Исполнены Тысяча звездочек

525
01:24:57.270 --> 01:25:01.699
Михаил Непряхин: и в нем есть разные стратегии

526
01:25:01.880 --> 01:25:05.010
Михаил Непряхин: ну может быть не очень молодой но короче и мало кто пользуется

527
01:25:05.090 --> 01:25:20.549
Михаил Непряхин: потому что он дурацкий он прям какой-то стремный там очень странный и там люди вообще какие-то Наркоманы писали я Реально честно. Пробовал с Ним поработать его затащить невозможно

528
01:25:20.550 --> 01:25:27.020
Михаил Непряхин: просто редкостное говнище ну Вот Вот бывают иногда Вот Люди вот ну вот очень Плохо пишут

529
01:25:27.180 --> 01:25:31.400
Михаил Непряхин: либо. Кот либо. Библиотеки вот здесь тут, очень Плохо написана библиотека

530
01:25:31.520 --> 01:25:39.099
Михаил Непряхин: вот Поэтому его горячо не рекомендую сорама еще ок и есть конфликт

531
01:25:40.170 --> 01:25:52.240
Михаил Непряхин: Разработчик кафки ноннера драйвера компания конфронтации и вот это Идиоматичный драйвер

532
01:25:52.830 --> 01:25:55.560
Михаил Непряхин: по популярности не очень популярные под пять тысяч

533
01:25:55.750 --> 01:26:03.590
Михаил Непряхин: получается самое популярное это шпиват шупифая срама но и

534
01:26:03.730 --> 01:26:10.369
Михаил Непряхин: а он блин сигол потому что он как бы и

535
01:26:10.580 --> 01:26:17.239
Михаил Непряхин: что за компания конфлиент она занимается разработкой клиента для кафки ион на си

536
01:26:18.260 --> 01:26:20.010
Михаил Непряхин: и Поэтому у нас здесь и Гоу

537
01:26:20.920 --> 01:26:26.279
Михаил Непряхин: а никто не любит Егоу Но там по многим причинам ну просто не любит его

538
01:26:26.710 --> 01:26:39.490
Михаил Непряхин: ну и все и как, Бы вроде Бы этот драйв он и и здесь эта проблема решена

539
01:26:39.770 --> 01:26:43.579
Михаил Непряхин: проблема с Конюмерлагом с первойбалансировкой группы она решена

540
01:26:44.080 --> 01:26:54.660
Михаил Непряхин: потому что кафка не стоит на месте да постоянно разрабатывается все новое там выходит обновление все фиксится то есть Сейчас кафка на очень таком хорошем высоком уровне Находится

541
01:26:54.760 --> 01:26:57.939
Михаил Непряхин: но ни скоро, не уйпий

542
01:26:58.220 --> 01:27:05.410
Михаил Непряхин: если вы Там уже задизанили один Раз, библиотеку ну как кафка гоу Завод который Мы Сейчас. Рассматриваем и которые самые Популярны

543
01:27:05.650 --> 01:27:13.420
Михаил Непряхин: То Там ну не Так То просто взять и использовать какие То, новые функции и Поэтому

544
01:27:13.700 --> 01:27:22.809
Михаил Непряхин: вот в Кафке, допустим Появились транзакции ну они Там своеобразные конечно очень да Но вот транзакции как Бы типа есть а У нас в нашем Районе, Их Нет

545
01:27:23.750 --> 01:27:28.369
Михаил Непряхин: и ну они Не очень-то нужны и

546
01:27:28.620 --> 01:27:40.269
Михаил Непряхин: Можно там Без них легко обойтись, но вот одна штука вот Про которую он сказал проблема. С конюмерлагом с первойбалансировкой групп с которой постоянно встречаются гошники

547
01:27:40.500 --> 01:27:46.000
Михаил Непряхин: она вот в этом нравилась решена значит давай Сейчас поищем

548
01:27:48.600 --> 01:27:54.450
Михаил Непряхин: так ну там Кооперативная называется Стратегия Сейчас Попробуем Кооп найти, мне что-то как-то Не Ищется

549
01:28:04.060 --> 01:28:14.830
Михаил Непряхин: так Сейчас загублю к и рейд консенмер

550
01:28:22.490 --> 01:28:31.390
Михаил Непряхин: Я и короче Стратегия называется консультант групп с Каперрейд

551
01:28:33.350 --> 01:28:38.489
Михаил Непряхин: Не знаю почему он здесь Не гулится Что Не хвалятся. Они об этом да

552
01:28:38.750 --> 01:28:45.440
Михаил Непряхин: а может и не в оригинальном Драйве это хвалят Сша по смогу а ты не ж тут Их репозитории

553
01:28:53.920 --> 01:29:00.930
Михаил Непряхин: Ммм конфронта кавказа У них гоу драйвера еще самый популярный так и

554
01:29:04.230 --> 01:29:05.960
Михаил Непряхин: ан где сишнета

555
01:29:16.320 --> 01:29:27.329
Михаил Непряхин: Лир дикавка это что паче кафка сидит ну да видимо вот это здесь Будет Скрыться Копирайт,

556
01:29:27.500 --> 01:29:35.610
Михаил Непряхин: Нет все равно нечто а Так а значит ну вот здесь гулки точно Хвалились этим Что я посмотрю

557
01:29:43.190 --> 01:29:50.160
Михаил Непряхин: да Не, Знаю чего Ты убрали они Все короче Есть Э несколько стратегий

558
01:29:53.160 --> 01:30:03.510
Михаил Непряхин: Сейчас загрузили Все стратегии Балансировки сюмер Группа Кафка

559
01:30:07.350 --> 01:30:10.840
Михаил Непряхин: аа так вот смотрите да

560
01:30:12.390 --> 01:30:21.449
Михаил Непряхин: аа рнча сильнер короче От у нас используется раунд робин вот в нашей, библиотеке рогошной вот она использует раунд робин

561
01:30:22.090 --> 01:30:27.410
Михаил Непряхин: и из-за этого вот возникают Эти Проблемы Ммм

562
01:30:27.740 --> 01:30:33.360
Михаил Непряхин: для Решения Этой Проблемы значит возникли сперва Стики.

563
01:30:33.570 --> 01:30:40.059
Михаил Непряхин: Балансировка и вот она как Раз, решает холодный старт,

564
01:30:40.510 --> 01:30:48.300
Михаил Непряхин: м холодный старт, это в чем проблема да давайте Сейчас про это нарисуем

565
01:30:57.960 --> 01:31:06.729
Михаил Непряхин: здесь как бы самый гемор видите как вот отправить че то в кафку ну там нет никаких. Нюансиков а вот когда вы читаете. Из кафки его тут появляются нюантики

566
01:31:07.060 --> 01:31:11.100
Михаил Непряхин: значит ну вот нас нулевая партия первая Партияция.

567
01:31:12.490 --> 01:31:18.500
Михаил Непряхин: А мы у нас вот два инстинкта они читают

568
01:31:19.490 --> 01:31:28.120
Михаил Непряхин: представим себе что мы делаем арей диплой ну вот сделали Новую версию здесь у нас была версия, Один, Мы сделали версию Два

569
01:31:28.750 --> 01:31:31.579
Михаил Непряхин: Мы гасим Один, Инстанция, Поднимаем Второй

570
01:31:31.950 --> 01:31:45.000
Михаил Непряхин: в Этот Момент происходит перебалансировка Это Стоп ворот Стоп ворлд все связи рвутся поднимается Новый коннекшн

571
01:31:45.280 --> 01:31:52.640
Михаил Непряхин: и то есть вот эти Провалились и следующий это Тоже установил Мы Заработали тут же

572
01:31:53.180 --> 01:32:01.609
Михаил Непряхин: этот повод Гасится поднимается Второй а опять Стоп За ворот опять и этот поднимает коннекшн и этот поднимает

573
01:32:02.360 --> 01:32:17.090
Михаил Непряхин: короче Пере балансировка очень Дорогая операция потому что происходит столкну вору потому что. Это все соединение и это все по алгоритму рафт рафт это алгоритм консенсуса

574
01:32:17.410 --> 01:32:22.759
Михаил Непряхин: то есть там ну вот много разных Проблем а теперь Представьте

575
01:32:23.100 --> 01:32:31.049
Михаил Непряхин: Что У вас и Инстанций много У вас партийцы шестнадцать штук У вас шестнадцать Инстанций

576
01:32:31.550 --> 01:32:35.030
Михаил Непряхин: Вы делаете рей диплой остер зимой,

577
01:32:35.270 --> 01:32:44.940
Михаил Непряхин: и Вы вот так вот по очереди один погасили? Подняли Стоп заворот перебансировка один погасили? Подняли стол, в заворот перебалансировка

578
01:32:46.120 --> 01:32:55.690
Михаил Непряхин: почему по одному потому что эта Стратегия ну в губернаторы Вспомните я вам говорю в Губернасе Стратегия обновления стандартная дефолтная это роулинг Кап дейт

579
01:32:59.680 --> 01:33:08.000
Михаил Непряхин: и Поэтому У вас вот так вот По очереди у него гаси Поднимается кости Поднимается А стоял на стол в донор вот постоянно вы лечи в момент Ради, Плоя

580
01:33:08.110 --> 01:33:09.880
Михаил Непряхин: у вас кончумерлак

581
01:33:10.080 --> 01:33:17.249
Михаил Непряхин: вот так. Вот растет растет растет растет вроде только поднимется и все равно растет потом когда уже наконец то они все Поднялись

582
01:33:17.580 --> 01:33:23.639
Михаил Непряхин: все разгребается очередь и вот происходит Опять, Падение. И все как. Бы обратно в штатном. Режиме

583
01:33:24.770 --> 01:33:33.790
Михаил Непряхин: Что бы Это пофиксить значит придумали первый вариант с дикий сессии То, Есть вот этот вот ангаризм который рон назвал раунд робинтом значит придумали тихим

584
01:33:37.090 --> 01:33:43.110
Михаил Непряхин: что когда мы вот ну вот убили Мы вот этот вот пот

585
01:33:43.270 --> 01:33:50.389
Михаил Непряхин: ну вот этот коннекшн порвался а этот продолжает работать стоп, заворот, как бы только для него а это продолжает работать

586
01:33:51.910 --> 01:33:55.829
Михаил Непряхин: они не так не так встиках стоп за вырваться, на всех

587
01:33:56.340 --> 01:34:05.699
Михаил Непряхин: но потом не надо делать вот эти первые выборы кто какому коннектице, Там же Везде вот много протеций да им надо договориться между Собой Кстати шестнадцать Партий и шестнадцать сервисов

588
01:34:05.700 --> 01:34:20.739
Михаил Непряхин: им надо сказать Коро же вот этот такой говорит я вот к этому и всем сообщаю я к этому а кто-то уже тоже к этому приконерлся Он говорит нет я к этому а кто был первый из нас он Куда я был первый ладно это такое идет тогда я к этому

589
01:34:21.130 --> 01:34:49.949
Михаил Непряхин: а и так вот Стики они как Раз, Таки препятствуют вот этому беспорядочному выборам и они просто Говорят

590
01:34:49.950 --> 01:35:15.199
Михаил Непряхин: ты и и происходит но быстрее происходит вариант перевыборов и

591
01:35:15.540 --> 01:35:22.550
Михаил Непряхин: вот и как Бы устики этот вопрос решал Но Тем Не Менее Стоп ворлд был для всех вот этот плак все равно рос

592
01:35:23.230 --> 01:35:30.229
Михаил Непряхин: значит следующий фиг с Этой темы и как бы на текущий момент самый актуальный это кооперативные стики

593
01:35:30.580 --> 01:35:39.470
Михаил Непряхин: и вот они именно здесь и вот в этом вот драйвере который конфлент сию который хищный

594
01:35:40.800 --> 01:35:45.659
Михаил Непряхин: вот это вот а они в нем реализованы ну костики этой улицы Нет

595
01:35:49.200 --> 01:35:54.600
Михаил Непряхин: Нет с рони гури ну что-то видимо для них Это было да Раньше, было вы мрали

596
01:35:54.920 --> 01:35:58.989
Михаил Непряхин: типа когда новинка была тогда это было она Давно уже появилась

597
01:35:59.570 --> 01:36:04.860
Михаил Непряхин: вот и аа значит следующие это кооперативные стики

598
01:36:05.610 --> 01:36:21.640
Михаил Непряхин: а кооперативные стики Не Делают стоп-дварт, для всех чтоб Заборов для всех Нет а те кто работает продолжают работать а стоп-д вор только для тех кто умер. Ну это и Не столь заворот они и так умерли Поэтому как бы поучаться так Что кто работал продолжает работать,

599
01:36:21.670 --> 01:36:27.119
Михаил Непряхин: а вот только для новых вот для них происходят перевыборы вот эта стратегия называются кооперативные Стики

600
01:36:27.680 --> 01:36:36.230
Михаил Непряхин: и ее У нас Нет в нашей, любимой, популярной Библиотеке которую все используют Поэтому Мы страдаем

601
01:36:37.130 --> 01:36:46.660
Михаил Непряхин: пока не пришло комьюнити консенсусу то ли использовать ну как бы вот стики есть в библиотеки

602
01:36:47.320 --> 01:36:51.800
Михаил Непряхин: а вот в Этой вот в гулке есть они стики я вот из-за этого хотел на нее перейти

603
01:36:52.100 --> 01:36:53.100
Михаил Непряхин: При Этом

604
01:36:55.600 --> 01:37:03.060
Михаил Непряхин: как там стихи-то пишется мне кажется, что вчера Раньше, писали Сейчас нету вот но мне Она Не понравилась Не зашла в сараме

605
01:37:03.210 --> 01:37:12.490
Михаил Непряхин: вот сами, не помню, есть или Нет по моему, тоже есть а

606
01:37:14.380 --> 01:37:23.070
Михаил Непряхин: вот вот видите вот по крайней мере файл. Есть стики не знаю Есть ли тут Кооперативная да но стики точно Есть

607
01:37:23.640 --> 01:37:36.829
Михаил Непряхин: вот в сараме и ну, срама это вот ближайший претендент на то Куда, бы я пошел если бы не кавказ гоу ну просто на всех проектах все Кафкагу используют Поэтому без вариантов вот но если Прям, нужны стики

608
01:37:37.060 --> 01:37:41.300
Михаил Непряхин: скорее всего они там не кооперативные я подозреваю Ну это само будет лучше

609
01:37:41.470 --> 01:37:49.389
Михаил Непряхин: ой значит на текущий момент эта проблема. Решается тем что просто аа ну просто вырубается пот делается ревод

610
01:37:49.980 --> 01:38:06.079
Михаил Непряхин: и если это прямо критично Отключается роулин кобейт чтобы вот это вот лага не было ну и просто, как бы вы там смотрите вот если, проредипо есть вот эта большая большая очередь вага тогда вы роулинг обед, отключаете и делаете другую стратегию

611
01:38:06.100 --> 01:38:13.459
Михаил Непряхин: чтобы Не по одному они Там переделывались, а как бы Там массово всей пачкой ну Если, нет такой проблемы ну и как бы и ладно

612
01:38:13.810 --> 01:38:18.629
Михаил Непряхин: вот короче это прямо вот Единственная Нерешенная проблема, вот на текущий момент драйверной кафки

613
01:38:21.670 --> 01:38:29.810
Михаил Непряхин: так Давайте дальше ну чего Там еще какие-то Вопросы, есть антипыч это теория

614
01:38:35.910 --> 01:38:44.970
Михаил Непряхин: Окей Окей давайте посмотрим на то как это выглядит

615
01:38:47.370 --> 01:38:54.480
Михаил Непряхин: так большая террористическая часть но без нее видите как бы тут вообще нереальна вообще бы ничего было непонятно,

616
01:38:55.700 --> 01:39:01.619
Михаил Непряхин: так ну во-первых надо поднять Кафка кластер

617
01:39:03.090 --> 01:39:09.629
Михаил Непряхин: тут кстати и начал поднимать готовился к Занятию и Ну просто проверить работу оно или нет

618
01:39:09.760 --> 01:39:18.790
Михаил Непряхин: и до этого я Использовал битмании ветмания вьетнам, да вьетнаме эти образы

619
01:39:19.530 --> 01:39:25.930
Михаил Непряхин: и Они короче говоря умерли короче это вообще очень большая компания

620
01:39:26.080 --> 01:39:32.389
Михаил Непряхин: бит ээ вьетнаме и у них вот эти образы были очень популярны

621
01:39:33.560 --> 01:39:35.799
Михаил Непряхин: а они просто взяли Их и убили

622
01:39:36.010 --> 01:39:44.490
Михаил Непряхин: Сейчас вот если посмотрите натегию ведь, электриков нет короче они взяли и изнесли все образы в доктор хаби

623
01:39:45.720 --> 01:39:51.950
Михаил Непряхин: и я начал гуглить попал очень много Людей ну как видите тут прямо, скачиваний были сотни Миллионов

624
01:39:52.320 --> 01:39:54.610
Михаил Непряхин: вот и прям ну

625
01:39:54.840 --> 01:40:04.900
Михаил Непряхин: учимся и недовольны но они просто переключились на платную модель сказали что. Те образы которые были в публичном доступе они небезопасны а если, Хотите, на безопасные персонажи

626
01:40:05.210 --> 01:40:13.700
Михаил Непряхин: вот Поэтому э пришлось переделывать этот доктор Компост

627
01:40:14.000 --> 01:40:19.939
Михаил Непряхин: ну вот собственно на этот самый конфликт конференции который как там конфлюен

628
01:40:20.490 --> 01:40:31.430
Михаил Непряхин: тинси каривентинс не знаю как это читать консультант инк короче говоря

629
01:40:33.580 --> 01:40:37.799
Михаил Непряхин: в вьетнаме Было все сильно Проще

630
01:40:39.540 --> 01:40:47.300
Михаил Непряхин: Ну это ладно короче Мы Поднимаем кластер Чтобы он был близко к тому Что У вас будет на работе,

631
01:40:47.830 --> 01:41:06.530
Михаил Непряхин: в реальной жизни в реальной разработке мы обычно берем только один Богер Ну типа зачем нам. Хаев а его выберите Компоновка но здесь вам для того чтобы показать это Все я Запускаю кластер из трех блогеров то есть вот первый урок второй богерт там третий Вроде

632
01:41:07.510 --> 01:41:13.620
Михаил Непряхин: Раньше. Еще для того Чтобы работать с кавказа кластером нужен был зу Кипер

633
01:41:13.730 --> 01:41:17.590
Михаил Непряхин: Это такой компонент который следил за Тем Чтобы

634
01:41:17.870 --> 01:41:25.490
Михаил Непряхин: Ну чтобы онгарет Марафт работал чтобы был куром чтобы Если кто То умер. Его из балансировки умирать

635
01:41:25.750 --> 01:41:28.849
Михаил Непряхин: Сейчас Же поменяли Сейчас Же каждый

636
01:41:29.900 --> 01:41:38.570
Михаил Непряхин: инстонс может Быть самостоятельно и брокером и контролером контролер это лидер

637
01:41:38.960 --> 01:41:43.499
Михаил Непряхин: то Есть Мы Всегда, работаем только с лидером ну, вот с контролером

638
01:41:44.050 --> 01:41:49.619
Михаил Непряхин: и Поэтому какой-то один из этих Инстинктов

639
01:41:50.150 --> 01:41:58.179
Михаил Непряхин: назначаются лидером! Или контролером! И Мы туда шлем все сообщения и коннекнемся тоже к нему

640
01:41:58.360 --> 01:42:08.029
Михаил Непряхин: другие два они просто ждут они фолловеры они просто подтягивают данные с лидером и если вдруг лидер упадет

641
01:42:08.440 --> 01:42:19.520
Михаил Непряхин: то они выберут лидера между Собой с помощью англии марафт это алгоритм коума он

642
01:42:20.530 --> 01:42:24.309
Михаил Непряхин: ну короче Там У кого, будут свежее

643
01:42:26.780 --> 01:42:30.149
Михаил Непряхин: Извините У кого, будут свежие данные тот и выберется лидером

644
01:42:31.150 --> 01:42:34.119
Михаил Непряхин: Потом когда лидер поднимется он скажет что

645
01:42:34.360 --> 01:42:40.420
Михаил Непряхин: а он уже не будет Лидером он просто. Станет Брокером одними из фоуэров в конштайн

646
01:42:42.140 --> 01:42:49.600
Михаил Непряхин: Эти данные как Раз, для этого кворума ну просто кто участвует в корруме вот это все три кавкаброкера

647
01:42:50.370 --> 01:42:52.019
Михаил Непряхин: у них есть адишники свои

648
01:42:52.870 --> 01:43:04.030
Михаил Непряхин: и есть разные порты для разных целей значит им, тернул это когда мы внутри ну вот здесь в этом случае внутри докера хотим, обращаться

649
01:43:04.490 --> 01:43:11.739
Михаил Непряхин: а экстерном это когда мы извне докера обращаемся ну им прокидываем эти проты то есть вот мы брокеру будем обращаться по этому порту

650
01:43:11.850 --> 01:43:16.740
Михаил Непряхин: здесь девяносто, третий из нее второй и контролер

651
01:43:16.860 --> 01:43:23.800
Михаил Непряхин: это тоже, для внутреннего Использования, это просто Они Там между Собой у них своя собственная сеть вот Они по Этому порту между Собой Там будут общаться

652
01:43:24.870 --> 01:43:35.009
Михаил Непряхин: здесь идет, адвертает это когда Мы подключаемся к лидеру он просто говорит

653
01:43:35.170 --> 01:43:45.860
Михаил Непряхин: к какому, порту можно подключиться что Мы Можем подключиться к около, хосту ну вот вернее никому хохосту ну да только к хохосту вот извне девяносто девяносто два

654
01:43:46.430 --> 01:43:54.589
Михаил Непряхин: вот А для внутреннего Использования, вот такой атмос когда мы внутри этого доброго компоста находимся здесь мы можем

655
01:43:54.640 --> 01:44:13.420
Михаил Непряхин: указать Хотим, ли мы использовать Там сертификаты ну мы ничего не Хотим, мы просто все без всякой защиты и

656
01:44:14.480 --> 01:44:18.249
Михаил Непряхин: Ну, и так это просто тут еще технически для того чтобы это все Работало

657
01:44:19.300 --> 01:44:22.449
Михаил Непряхин: а так мы понимаем в трех инстинктах

658
01:44:23.220 --> 01:44:39.810
Михаил Непряхин: и еще у нас есть юай для того чтобы посмотреть на наш кластер Там Мы можем и на топике посмотреть создать месседжи в этих топиках. И в разные настройки и другие посмотреть. Какие у нас Они есть просто это мастрев очень удобный юар для работы с сказкой

659
01:44:39.820 --> 01:44:45.770
Михаил Непряхин: понятно что Ей вида Ева здесь есть да там тоже тут Можно ковку подрубить Но это фигня полная то есть вот Этот ее я сильно удобнее

660
01:44:45.870 --> 01:44:48.009
Михаил Непряхин: вот ну и все

661
01:44:49.170 --> 01:44:54.550
Михаил Непряхин: так Давайте и от майк Файли У Меня здесь единственная команда вот Чтобы поднять этот класс

662
01:45:09.610 --> 01:45:15.129
Михаил Непряхин: так ну этажава поднимает все медленно но поднимается поднимается Там какой-то консенсус находит

663
01:45:20.190 --> 01:45:24.130
Михаил Непряхин: поднимался вот дальше идем

664
01:45:25.790 --> 01:45:34.490
Михаил Непряхин: по нашему вот этому юаню он нас на Восемьдесят сторон в топорту Мы тут можем любой задать так-то он Там натравить Восемьдесят Восемьдесят но я задал, Восемьдесят Второй

665
01:45:35.500 --> 01:45:45.070
Михаил Непряхин: так, вот значит ты видим юай ну значит можно посмотреть

666
01:45:45.260 --> 01:45:48.880
Михаил Непряхин: из Чего состоит наш кластер вот у нас три блогера

667
01:45:50.320 --> 01:46:02.360
Михаил Непряхин: он тут что-то видит одному одному форуму что-то Плохо лидер сью а и

668
01:46:03.590 --> 01:46:12.330
Михаил Непряхин: У Меня здесь что-то мусор какой-то так Давайте Сейчас Почистим Сейчас Почистим То Я Там Запускал То это дело.

669
01:46:15.880 --> 01:46:24.360
Михаил Непряхин: Видите Так как тут волю Мы подрублены То оно сохраняется ну Мы Сейчас Почистим такдокер

670
01:46:24.490 --> 01:46:29.250
Михаил Непряхин: волен но Сперва чтобы Воли почистить над Имиджем найти,

671
01:46:29.500 --> 01:46:34.579
Михаил Непряхин: так надо удалить все эти инстанции теперь можем волю не почистить

672
01:46:41.250 --> 01:46:43.549
Михаил Непряхин: все вот теперь у нас чистый Бот

673
01:46:51.460 --> 01:47:09.199
Михаил Непряхин: здесь еще Всегда, веселуха с Этими Конфигурациями и

674
01:47:10.870 --> 01:47:15.990
Михаил Непряхин: самое сложное просто Кафку хотя бы поднять и От латвии Использую

675
01:47:17.600 --> 01:47:25.180
Михаил Непряхин: по-хорошему надо Фиксировать Так чтобы она точно Работала Но ведь, У с биманией Например? Не Получилось потому Что они взяли и снеслись образы и Фиксация не Помогла

676
01:47:25.990 --> 01:47:29.960
Михаил Непряхин: так Ну короче чего мы под? Него Сейчас Смотрим

677
01:47:30.590 --> 01:47:39.940
Михаил Непряхин: все тут все Окей матч три три брокера вот этот Выбран лидером контролером по Их Мнению лидер

678
01:47:40.740 --> 01:47:49.930
Михаил Непряхин: поэтому Мы будем и писать и читать к с Лидерам Шаться Когда Мы понимаем

679
01:47:50.320 --> 01:47:55.210
Михаил Непряхин: коннекшн То Мы Там вообще указываем все и

680
01:47:55.820 --> 01:48:04.180
Михаил Непряхин: ну как бы вот у нас Тут три порта вот мы все три их и указываем то есть все три адреса где у нас находятся брокеры

681
01:48:04.580 --> 01:48:08.810
Михаил Непряхин: но все равно работать в итоге, Мы Будем с лидером вот с Этим товарищем в Этом случае

682
01:48:09.200 --> 01:48:17.640
Михаил Непряхин: так Что тут через интересного есть ну. Активные контролера три Не значит Значит

683
01:48:17.810 --> 01:48:24.680
Михаил Непряхин: так инстинкт репликас ну это чуть позже поговорим так ночь можем зайти

684
01:48:25.690 --> 01:48:28.590
Михаил Непряхин: он перевыборы он уже второй стал лидером

685
01:48:28.910 --> 01:48:30.840
Михаил Непряхин: все это только что третье было ли

686
01:48:31.760 --> 01:48:39.480
Михаил Непряхин: Так значит есть Конфеты Конфигов Прямо очень очень много и Их можно смотреть вот здесь

687
01:48:39.830 --> 01:48:42.689
Михаил Непряхин: тут, он тринадцать страниц просто конфет

688
01:48:42.980 --> 01:49:01.820
Михаил Непряхин: соответственно так. Как У нас вот это все взаимодействие, сложное Большое да То вот эти все тайм-ауты Там сям Там Время стратегии все настраивается то есть Мы с Вами будем, говорить только вот о базе об основных а еще там настроек это как бы кафка это такой френборг Даже можно сказать То Есть это Прям

689
01:49:02.190 --> 01:49:27.280
Михаил Непряхин: все и Так ладно и также у нас здесь Есть начнут возможность посмотреть на топики вот Сейчас Тропиков. Нет

690
01:49:28.740 --> 01:49:35.489
Михаил Непряхин: и на Конюмеры какие У нас активные Конюмеры Тоже. К каким Партийцам Там они ни к каким топикам Не Прибиндины

691
01:49:36.000 --> 01:49:53.270
Михаил Непряхин: вам Давайте создадим топик эммм значит вот примерчик У Меня, как и скода создать топик на и а Нажать

692
01:49:54.050 --> 01:50:01.039
Михаил Непряхин: короче здесь кнопка этот топик нажимает Кнопку как назовем да значит ну называем как то

693
01:50:03.530 --> 01:50:08.969
Михаил Непряхин: и Видим Чего вообще как бы, можем настроить для топиков ну Количество Партий как я вам сказал

694
01:50:09.450 --> 01:50:26.450
Михаил Непряхин: нижний восток минимум восемь клина полисе какие варианты белит То есть просто Удаляется Например чер семьи а и компакт

695
01:50:26.760 --> 01:50:37.839
Михаил Непряхин: Это Когда вы работаете по патруной в Ансорсинг, когда У вас не весь стоит а когда У вас Есть возможность сделать компакт хорошо про компакт

696
01:50:37.920 --> 01:50:50.699
Михаил Непряхин: редко. Кто. К Нам с компактом работает если вдруг будет работать отдельно. То посмотрите это прямо нецелевое использует ну как бы использует Так кафку ну я вот ни разу Не Видел обычно просто как очередь обычно используют а Компакт Это конечно позволяет,

697
01:50:51.430 --> 01:51:01.680
Михаил Непряхин: и и о почему Там По Ключам Ну да, подключен получается медион компакт и

698
01:51:02.000 --> 01:51:06.509
Михаил Непряхин: Мы можем Схлопнуть значит Вы знаете как как Мы с гитом Работаем

699
01:51:06.660 --> 01:51:09.939
Михаил Непряхин: Вот гид Это Тоже такой может Быть Дивансорсинг,

700
01:51:10.180 --> 01:51:19.069
Михаил Непряхин: что мы можем схлопнуть все камиты и в итоге. Бот текущий стоит вот это также и тут мы можем схлопнуть себе. Массажи и в итоге просто будет Текущий стоит

701
01:51:19.700 --> 01:51:26.030
Михаил Непряхин: вот научная седа делит рытая от клиннополисе Инсинг, репликас

702
01:51:27.540 --> 01:51:31.819
Михаил Непряхин: очень важная штука Минэнсинг, репликас что это такое

703
01:51:44.690 --> 01:51:56.589
Михаил Непряхин: Ажит вот у нас кафкастер из трех брокеров когда мы создаем наш, топик

704
01:51:56.750 --> 01:52:12.840
Михаил Непряхин: то копия Нашего, топика будет на всех трех блогерах и мы то есть Три копии и и Инсинг, реплика

705
01:52:20.070 --> 01:52:22.790
Михаил Непряхин: и это короче говоря когда У нас продюсер

706
01:52:25.480 --> 01:52:31.269
Михаил Непряхин: пишет кластер он пишет в лидера как мы Помним да вот например, этот лидер

707
01:52:33.780 --> 01:52:40.500
Михаил Непряхин: это фолеры ну То есть это реплики реплики да так вот сколько реплик

708
01:52:40.730 --> 01:52:50.819
Михаил Непряхин: нам надо для того чтобы продюсеру сказать что все ок мужик мы сохранили сообщение твое Не переживай оно Сохранено

709
01:52:51.820 --> 01:52:54.829
Михаил Непряхин: значит если Минэнсинг, реплика один

710
01:52:55.310 --> 01:53:06.160
Михаил Непряхин: то Это Только лидер значит мы сказали Настройку сделали для только один значит Мы в лидер сохранили сказали окей

711
01:53:06.290 --> 01:53:14.640
Михаил Непряхин: продюсер окей все иди дальше следующее пропадать а Надежность

712
01:53:14.900 --> 01:53:19.990
Михаил Непряхин: ну. Неплохая Она Есть, Есть, еще вариант Ноль указать вот Если, Вы укажете Ноль

713
01:53:20.280 --> 01:53:25.449
Михаил Непряхин: то даже ничего Мы Не сохранили на диск лидер Сразу, говорит Окей

714
01:53:26.130 --> 01:53:30.539
Михаил Непряхин: но Как бы если, нота быстрее в этом быстрее ну вот

715
01:53:30.800 --> 01:53:36.820
Михаил Непряхин: надежность меньше ну короче вот про это говорили да вот это это реализовано с помощью от минэнсинг реплик

716
01:53:37.470 --> 01:53:53.950
Михаил Непряхин: значит ну. Принято делать два принято ставить минсинг реплик два это же значит что значит лидер это первая инстинка реплика и одна из реплик ну допустим вот это сохранила и сказала лидеру Окей я сохранила и лидер сказал

717
01:53:54.370 --> 01:53:56.919
Михаил Непряхин: Окей где продюсер выходит

718
01:53:57.280 --> 01:54:08.990
Михаил Непряхин: а может Это первое сохранит а этот Еще не успел, войти в Залог То Тоже, продюсер такой да Окей все вот Поэтому принято чтобы в кластере было

719
01:54:09.310 --> 01:54:18.579
Михаил Непряхин: три брокера если три брокера значит Минсинг, реплик надо Ставить Две

720
01:54:21.990 --> 01:54:31.820
Михаил Непряхин: Инсинг, реплик а мы можем поставить и три можем поставить и три

721
01:54:31.940 --> 01:54:36.440
Михаил Непряхин: тогда Мы будем ждать когда он в себя. Сохранит

722
01:54:36.810 --> 01:54:45.750
Михаил Непряхин: Еще в Одну Сохранит и Еще Одну Сохранит они сказали Ок. Ок. Тогда он сказал ок надежность Высокая

723
01:54:46.530 --> 01:54:50.229
Михаил Непряхин: ну смысл мало потому Что Мы делаем

724
01:54:50.480 --> 01:55:02.549
Михаил Непряхин: Хай овелобилити Сборку кричей хайера уильямс то Есть высокую доступность то Есть три брокера особенно, если Еще они там на равно нежно разных серебрярах Эти трибуны то есть

725
01:55:02.770 --> 01:55:05.220
Михаил Непряхин: а один будет падать

726
01:55:05.960 --> 01:55:13.540
Михаил Непряхин: вот практически подать один точно но нас же ведь пойти Мы же не спроста их три дела если, бы у нас ничего не Падало нам бы одного хватило

727
01:55:13.690 --> 01:55:16.560
Михаил Непряхин: позавчерами что-то падает вот Один. Упал

728
01:55:17.030 --> 01:55:24.389
Михаил Непряхин: если, у вас Минэнсинг, реплика два вы продолжаете работать и все Окей он потом поднимется

729
01:55:24.760 --> 01:55:28.389
Михаил Непряхин: и ну. Синхронизируется все нормально будет

730
01:55:29.440 --> 01:55:40.970
Михаил Непряхин: Поэтому правило такое что минсинг, реплик ставится минус один по количеству Брокеров брокера два значит минсинг, приблик

731
01:55:41.150 --> 01:55:50.710
Михаил Непряхин: ой ну. Букера три значит минкин крепкий Два брокеров пять значит менее синхроплик Год четыре количество паркеров Делается нечетным

732
01:55:50.960 --> 01:55:57.470
Михаил Непряхин: чтобы был Ворон чтобы ну короче вот так принято все и

733
01:55:57.670 --> 01:56:01.300
Михаил Непряхин: вот Поэтому значит сколько стоит Минсинг, реплик мы ставим два

734
01:56:01.590 --> 01:56:05.750
Михаил Непряхин: потому что бракеров у нас три Реплики еще фактор

735
01:56:05.850 --> 01:56:14.890
Михаил Непряхин: что такое это в скольких инстанциях будет Храниться Наш топик У нас брокера три

736
01:56:16.840 --> 01:56:23.699
Михаил Непряхин: а Ну значит ли репрессии фактором надо требовать Чтобы по всем. Трем прокерам У нас была копия

737
01:56:23.930 --> 01:56:28.760
Михаил Непряхин: если не будет три копии то у нас тут и с Этим проблемы возникнут сразу

738
01:56:29.190 --> 01:56:36.140
Михаил Непряхин: вот Поэтому привлекли еще фактор по Количеству брокеров минсинг-репликас по Количеству плакеров минус один

739
01:56:38.240 --> 01:56:44.260
Михаил Непряхин: Так ну это дальше У нас тут политика удаления

740
01:56:44.790 --> 01:56:50.350
Михаил Непряхин: ну Можем вообще ее не делать тогда оно не будут удаляться

741
01:56:50.880 --> 01:57:00.970
Михаил Непряхин: вот можем сказать что семь дней через семь дней будут взяться можем сказать по размеру максимум одинки врубай

742
01:57:02.320 --> 01:57:11.790
Михаил Непряхин: можем сказать максимум сто тысяч Сообщений максимум тысяч Сообщений в топике? Дальше удаляется говорите Покажи три варианта

743
01:57:11.930 --> 01:57:19.980
Михаил Непряхин: можете всего выбрать и семь? Дней максимум один гигабайт и максимум сто сообщений

744
01:57:20.200 --> 01:57:23.280
Михаил Непряхин: о политику это про полить кудрин

745
01:57:24.610 --> 01:57:36.799
Михаил Непряхин: и естественно есть еще пятнадцать тысяч разных параметров и

746
01:57:37.940 --> 01:57:41.879
Михаил Непряхин: ну вот у меня все сломалось не дает создать,

747
01:57:50.850 --> 01:57:53.160
Михаил Непряхин: в первую очередь создали мы топик

748
01:57:53.710 --> 01:57:57.829
Михаил Непряхин: можем то же самое откуда сделать но создали мы его издевая

749
01:57:58.890 --> 01:58:04.210
Михаил Непряхин: Так ну здесь мы видим да вот Во-первых заходим в топик увидим Наш, топик

750
01:58:04.800 --> 01:58:10.229
Михаил Непряхин: ну топики называются обычно по названию. Сервиса название сервиса точка

751
01:58:10.600 --> 01:58:20.329
Михаил Непряхин: и дальше Уже суть чего ту хранится в топике если яблоки хранятся, то вот о тепу м-м партией восемь

752
01:58:21.500 --> 01:58:28.289
Михаил Непряхин: посмотреть матч аут оф Синг, репликас если брокер один упадет

753
01:58:28.900 --> 01:58:35.150
Михаил Непряхин: то У нас здесь появятся реплики Которые Сейчас не Синхронизированы разборки Все живы

754
01:58:35.830 --> 01:58:39.840
Михаил Непряхин: то вот У нас видно что на этом Брокер восемь реплик

755
01:58:44.480 --> 01:58:54.649
Михаил Непряхин: ну и они все онлайн фактор репликации три то есть на каждом брокере хранится копия нашего топика

756
01:58:56.980 --> 01:59:00.630
Михаил Непряхин: в тупике Нет сообщений их ноль и они ноль места занимают.

757
01:59:01.250 --> 01:59:08.520
Михаил Непряхин: Дальше Переходим Сюда внутри топика а

758
01:59:11.090 --> 01:59:16.240
Михаил Непряхин: я понимаю что у вас мозг он уже взрывается, Но значит последний последний факт

759
01:59:16.450 --> 01:59:22.029
Михаил Непряхин: Еще насчет об особенности реализации топика ну и

760
01:59:23.000 --> 01:59:30.680
Михаил Непряхин: значит александр андреевич у нас протится у нас восемь партий а их три. Копии

761
01:59:31.250 --> 01:59:38.049
Михаил Непряхин: здесь Мы Видим на каких брокерах эти три копии на первом брокере на втором и на третьем У нас три брокера

762
01:59:38.690 --> 01:59:39.960
Михаил Непряхин: и

763
01:59:41.760 --> 01:59:52.580
Михаил Непряхин: на первом Ну на всех. Короче на всех. Брокерах Есть копия Этой птицы если одна если один Брокер упадет Но Ничего Страшного Продолжит. Все равно он просто красненьким, будет если упадет

764
01:59:53.920 --> 01:59:58.310
Михаил Непряхин: и упартийцы

765
02:00:01.520 --> 02:00:02.689
Михаил Непряхин: Есть лидер

766
02:00:04.350 --> 02:00:14.990
Михаил Непряхин: вот как я говорил Мы пишем в Лидера только я там как бы говорил Что мы в мокера лидера пишем но тут чуть, сложнее мы пишем в лидера у партией

767
02:00:15.480 --> 02:00:19.970
Михаил Непряхин: значит вот нулевой партией лидер первый брокер

768
02:00:21.270 --> 02:00:24.330
Михаил Непряхин: а вот как, бы вот в этот брокер она будет писать

769
02:00:24.790 --> 02:00:32.420
Михаил Непряхин: этот лидер Это лидер между брокерами Это для рафт Алгоритма и им, надо самим знать кто У них лидер

770
02:00:32.730 --> 02:00:34.320
Михаил Непряхин: вот Но

771
02:00:34.910 --> 02:00:52.699
Михаил Непряхин: внутри как бы внутритопика У каждой партией Тоже, свой лидер Но Это надо для балансировки нагрузки короче чтобы когда вы Писали в нулевую партию вы загружали первый брокер если вы будете писать первую партию вы будете Загружать второй брокер но и увидите утра, антроген назад плюс минус

772
02:00:53.910 --> 02:01:00.389
Михаил Непряхин: Если вдруг Он Умрет То они Там между Собой переголосуют и Какой нибудь из этих будут Лидеров

773
02:01:00.990 --> 02:01:07.449
Михаил Непряхин: например Давайте Убьем какого нибудь Брокера значит сделан

774
02:01:07.590 --> 02:01:17.439
Михаил Непряхин: Докер пресс Вот У нас видно Что три ну четыре Пода включенное Но Вот Каков. Ее и три Брокера

775
02:01:17.620 --> 02:01:21.420
Михаил Непряхин: Так Сейчас помнить как Там убивается пот докер

776
02:01:24.120 --> 02:01:28.719
Михаил Непряхин: Стоп наверное Там Какой нибудь Стоп с Красиво Так

777
02:01:31.610 --> 02:01:41.140
Михаил Непряхин: доктор Стоп а здесь надо ну допустим убьем мы первый объем первый брокер

778
02:01:48.860 --> 02:01:53.870
Михаил Непряхин: убился так и посмотрим что теперь случилось

779
02:01:54.690 --> 02:02:03.109
Михаил Непряхин: да мы видим по прокерам. Начнут у нас осталось два бокера ну Видим да что тут

780
02:02:04.570 --> 02:02:10.079
Михаил Непряхин: андер перекредит протишен восемь партийцы. Не синхронизированные

781
02:02:10.550 --> 02:02:17.809
Михаил Непряхин: инстинкт Реплики шестнадцать из двадцати четырех только работают а восемь не работают

782
02:02:18.850 --> 02:02:24.200
Михаил Непряхин: и внутри топика Мы видим Что вот здесь был лидер первый он умер

783
02:02:24.610 --> 02:02:35.400
Михаил Непряхин: Поэтому произошли Первые выборы Теперь здесь лидер второй брокер Поэтому будут писать этот этапция, будет Писаться во второй, брокер

784
02:02:36.060 --> 02:02:42.710
Михаил Непряхин: а этот у него. Будет ээ фолловером и оно Продолжит работать

785
02:02:42.950 --> 02:02:48.630
Михаил Непряхин: то есть мы тут создали что у нас минимальное Количество Инстинктов где

786
02:02:51.780 --> 02:02:56.989
Михаил Непряхин: настройка хоть, тут есть сетингс вот Минсинг, реплика вот два

787
02:02:57.780 --> 02:03:03.069
Михаил Непряхин: и оно Продолжит работать. И мы Можем Продолжать писать в этот топик сообщения

788
02:03:04.070 --> 02:03:10.440
Михаил Непряхин: а ну вот у меня, тут есть даже как, Раз, значит в коде чего я делал я в нулевую Партию

789
02:03:11.100 --> 02:03:21.030
Михаил Непряхин: давайте Только это Назовем я там Эпл я создал да Ведь этот топик да эпо я назвал

790
02:03:21.370 --> 02:03:23.090
Михаил Непряхин: Так Сейчас запишем

791
02:03:31.500 --> 02:03:40.890
Михаил Непряхин: Не потому, Что Я к Первому полкеру коннектился он умер, вот как ко второму прекратимся мы записали

792
02:03:41.620 --> 02:03:50.510
Михаил Непряхин: то есть мы продолжаем работать даже когда у нас один брокер Упал потому Что у нас хаева уберите у нас только дветинг реплики и мы в нулевую протецию

793
02:03:51.000 --> 02:03:58.440
Михаил Непряхин: записали Наши сообщение если повезет и мы увидим да вот

794
02:03:58.950 --> 02:04:07.490
Михаил Непряхин: что-то обновилось да вот значит следующий и и мы их можем прочитать

795
02:04:07.920 --> 02:04:24.349
Михаил Непряхин: ну тут, проблемы потому что вот у нас один брокер упал и вот Мы наши Сообщения видим Мы Их записали Там ванту файфу файф вот они в каком Порядке были записаны в том они Не записались вот у них Вовсе Нет Мы видим они все на любую партию записались

796
02:04:25.230 --> 02:04:35.539
Михаил Непряхин: И вот на уровне сообщения мы тут, видим что у него есть ключ мы Сейчас ничего не писали в ключ вот есть уэлью мы в элью записали данные есть заголовки мы заголовки тоже ничего не писали

797
02:04:37.160 --> 02:04:48.420
Михаил Непряхин: а вот и также мы можем просто на уровне протиться и записать что угодно ну вот отсюда извая в любую партию какую хотим, вот в первую партию допустим их с ним записать

798
02:04:49.190 --> 02:04:58.639
Михаил Непряхин: тест с ключом тоскей а вэлью

799
02:05:07.100 --> 02:05:14.080
Михаил Непряхин: ну видимо когда брокер отваливается он тут, что-то ключ начинает также абсурдность записала что Нет мне ничего не записалось

800
02:05:14.700 --> 02:05:17.329
Михаил Непряхин: мэханул вот долго чего-то отправлял

801
02:05:18.460 --> 02:05:23.360
Михаил Непряхин: а вот Мы видим что вот Мы в первую партию записывали вот здесь появилось сообщение

802
02:05:23.620 --> 02:05:30.009
Михаил Непряхин: а все следующие первые ну Там с нуля потому что тут как бы наливайсят когда у нас одно сообщение то и Овсят первой

803
02:05:30.600 --> 02:05:34.670
Михаил Непряхин: вот и также можем прочитать досмотрим на топик

804
02:05:37.760 --> 02:05:40.109
Михаил Непряхин: надо вернуть уже богерту он тормозит

805
02:05:40.230 --> 02:05:49.279
Михаил Непряхин: и вот видим да что ну вот в первую партию этого топика мы записали вот ключ у нас тест, ключ и вэлью

806
02:05:49.990 --> 02:06:05.680
Михаил Непряхин: валю вот Ажит и это все что я хотел на текущий момент на сегодня рассказать задавайте Вопросы,

807
02:06:06.310 --> 02:06:09.290
Михаил Непряхин: не взорвался ли у вас, мозг

808
02:06:15.090 --> 02:06:19.469
Михаил Непряхин: не поняли ли вы, поняли вы, чего-нибудь матери.

809
02:06:19.470 --> 02:06:20.170
Илиас Эззахид: Голосом.

810
02:06:20.170 --> 02:06:21.230
Михаил Непряхин: Да Давайте.

811
02:06:21.660 --> 02:06:33.189
Илиас Эззахид: При создании топика Вы указали параметры удаления И Там несколько а Что если несколько параметров Делать И размер И дату например, Одновременно.

812
02:06:33.430 --> 02:06:41.169
Михаил Непряхин: А вот они обе сработают типа может дата придет если дата первой пройдет подать, и сработает если по размеру то Размер сработает

813
02:06:42.510 --> 02:06:44.850
Михаил Непряхин: обычно чего-то одно, Указывать Либо датуным Размер

814
02:06:45.810 --> 02:06:50.679
Михаил Непряхин: обычно Да то обычно семь дней, и все как бы семь дней, Не Больше Пусть ходят

815
02:06:51.020 --> 02:06:55.860
Михаил Непряхин: почему разная партия не записалась из гол, а именно в протецию ноль

816
02:06:55.960 --> 02:07:00.310
Михаил Непряхин: а да да но у меня указано было ведь, хочу записать в нулевую партию

817
02:07:00.820 --> 02:07:04.150
Михаил Непряхин: а тут есть два уровня липя

818
02:07:04.380 --> 02:07:12.900
Михаил Непряхин: не скромневый вот это низко уровневый прям я и записать могу в конкретную позицию и прочитать могу из конкретной позиции

819
02:07:13.490 --> 02:07:18.729
Михаил Непряхин: а есть Высокоуровневые пиаи он тут называется вот рейдер и у райдер

820
02:07:19.000 --> 02:07:21.760
Михаил Непряхин: и вот тут уже Мы работаем

821
02:07:22.560 --> 02:07:28.590
Михаил Непряхин: скоппой Мы можем работать группой можем расплатиться Так и читать Но имеет. Смысл этой группы Мы Работаем

822
02:07:29.470 --> 02:07:34.970
Михаил Непряхин: а вот уже когда Мы с группой Работаем вот тогда Мы и пишем раунд Робин Ну, как Я вам говорил и читаем

823
02:07:35.400 --> 02:07:39.190
Михаил Непряхин: в группе то есть Мы не читаем

824
02:07:39.820 --> 02:07:46.150
Михаил Непряхин: короче одно, сообщение, один раз читается так называемый семантика

825
02:07:49.160 --> 02:07:53.540
Михаил Непряхин: окна элистванс листванс минимум один раз

826
02:07:56.070 --> 02:08:04.189
Михаил Непряхин: да давайте Еще решить какие-то вопросы, Не все ли понятно ну и вообще на текущий момент вы

827
02:08:04.360 --> 02:08:11.230
Михаил Непряхин: поняли ли вы что-то или это слишком слишком быстро слишком жестко слишком много информации

828
02:08:12.210 --> 02:08:15.719
Михаил Непряхин: но мы в следующий раз на самом деле как бы, чего то будем повторять

829
02:08:18.310 --> 02:08:20.949
Михаил Непряхин: про граньте доставки да я позже расскажу

830
02:08:21.780 --> 02:08:28.330
Михаил Непряхин: а этот мастер из доктора, композа можно отказывать устойчиво коннектиться не в конкретные брокер а роботов да да да это

831
02:08:28.500 --> 02:08:39.690
Михаил Непряхин: тут просто я говорю как бы это низкий уровень воепия и он показал вот я в конкретный богер могу закономерлиться Но когда мы работаем в группе мы коннекнемся видите ко, всем ко, всем трем рокерам

832
02:08:39.950 --> 02:08:42.449
Михаил Непряхин: Ну если один из них умер, ничего страшного то

833
02:08:42.580 --> 02:08:45.190
Михаил Непряхин: то есть как бы от этого вот так вот работает

834
02:08:45.630 --> 02:08:52.600
Михаил Непряхин: и он кстати Еще хотел показать вам как на низком уровне выглядит точно как выглядит как выглядит файлы

835
02:08:53.540 --> 02:08:57.949
Михаил Непряхин: это Тоже Можно Глянуть значит вот у Меня создался

836
02:08:58.370 --> 02:09:06.980
Михаил Непряхин: с май тупик оказывается Переименуем Что У меня тут изначально была идея писать майтопик

837
02:09:09.950 --> 02:09:13.130
Михаил Непряхин: А Ну хотя У меня Там Мыпал пойти на звезд Для пол

838
02:09:36.220 --> 02:09:50.000
Михаил Непряхин: короче вот так выглядит тупик это устройство топика а на файлах у тебя есть лок файл, это файл, сегмента

839
02:09:50.350 --> 02:09:55.290
Михаил Непряхин: то есть я вам говорю что артисты она состоит из сегментов это

840
02:09:56.570 --> 02:09:59.539
Михаил Непряхин: партизация но на самом деле файл сегментов

841
02:10:00.050 --> 02:10:10.289
Михаил Непряхин: и файл индекс вниз хранятся Оффсеты плюс сдвиг динарный в какое место, прыгнуть этого лога потому что этот в Окопе он Только записывается

842
02:10:10.550 --> 02:10:17.530
Михаил Непряхин: и индекс тайм индекс то Есть по времени. А какое Время с какого тоже Обседа?

843
02:10:18.290 --> 02:10:37.880
Михаил Непряхин: И и вот Можно прямо посмотреть вот на лок файлик на Него Можно посмотреть это

844
02:10:38.650 --> 02:10:44.170
Михаил Непряхин: Там прямо Даже близко Там понятно, что будут Храниться данные Не совсем. Как Мы привыкли

845
02:10:53.100 --> 02:11:01.170
Михаил Непряхин: чего Там ничего Нету что ли записывай все что а это У Меня,

846
02:11:01.720 --> 02:11:04.160
Михаил Непряхин: это У меня брокер первый который мы отключали

847
02:11:04.730 --> 02:11:08.099
Михаил Непряхин: вот надо давайте второй Посмотрим вот

848
02:11:08.590 --> 02:11:17.650
Михаил Непряхин: я в мертвой плаке, посмотрел вот прямо, вот видите файл сообщение, уан туз реформ то есть как Бы тут видно Что вот они там подряд да записываются в конец

849
02:11:18.380 --> 02:11:23.880
Михаил Непряхин: вот индексы и тайм индексы пока пустые потому что там ничего Нет а и

850
02:11:24.340 --> 02:11:30.600
Михаил Непряхин: протишин метода-то Выдвинул Эти Лидеры Эпох Чекпоинт глянем

851
02:11:30.940 --> 02:11:36.520
Михаил Непряхин: ну оно наверное там ничего Нет а Нет Церкви какая-то Метода ты видите прям совсем мало циверок

852
02:11:38.090 --> 02:11:45.900
Михаил Непряхин: а ну это для группы Поэтому тут, пока еще ничего нет а вот в этом метода-то что Там за методатом протишенный тогда Там

853
02:11:46.400 --> 02:11:50.169
Михаил Непряхин: а ну здесь версия топик ай ди

854
02:11:50.500 --> 02:12:04.790
Михаил Непряхин: вот как же тут, очень все на низком уровне устроено все максимально минималистично и просто ну как видите вот это вот это и весь, вот тупик и есть ну единственное что тут будут в эти файлики, добавляться когда сегмент закончится

855
02:12:04.980 --> 02:12:10.990
Михаил Непряхин: Он Там настраивается, отдельный сегмент заканчивается, добавляется новый сегмент и и

856
02:12:11.100 --> 02:12:15.379
Михаил Непряхин: вот здесь вот в конце будет офсет тот который был

857
02:12:17.030 --> 02:12:26.740
Михаил Непряхин: Последним когда вы записывали в лок например, У вас здесь Там не знаю сорок Два всего все-таки на один сегмент вы так настроены

858
02:12:27.050 --> 02:12:32.289
Михаил Непряхин: тогда следующий файл когда создастся у него вот здесь вот будет сорок три

859
02:12:32.620 --> 02:12:48.570
Михаил Непряхин: типа тону или сорок Два вот какой следующий обед который вы будете писать вот и на низком Уровне Реально как бы топик Так и устроен Но в Кристине, ничего сложного Нет вот Но Тут скорее вот хитрость как Мы с этим всем. Работаем как бы нюансиков ну прямо очень много

860
02:12:52.530 --> 02:12:53.540
Михаил Непряхин: Так

861
02:12:56.460 --> 02:13:10.139
Михаил Непряхин: да про грань Для Доставки поговорим позже потому что Там настройки надо показать в этот квастер Или с докерком поза Можно отказы устойчиво коннелиться не в конкретный блокнот да а показал что да, в любой можно мы коннекнемся во все сразу

862
02:13:10.640 --> 02:13:16.060
Михаил Непряхин: также закурюка в костре, Или стриму Опять одно и то Же кафка стрим это

863
02:13:20.740 --> 02:13:27.049
Михаил Непряхин: Стон это короче говоря Еще одна Абстракция над кафкой ни разу не Видел, чтобы при юзали

864
02:13:27.210 --> 02:13:37.330
Михаил Непряхин: Но Кафка стрим это ну такие Есть стрим что. Как бы более похоже на нас что. То

865
02:13:37.430 --> 02:13:45.199
Михаил Непряхин: Только с гарантиями доставки короче про Него Особо ничего Не может сказать Никогда Не Работал он просто Видел, да что есть вот какой то некий кафка стрим

866
02:13:45.570 --> 02:13:49.409
Михаил Непряхин: скачок нагрузки Мы смотрю консерв Пока разбирается Общение да

867
02:13:49.930 --> 02:13:55.030
Михаил Непряхин: но согласитесь что вы поняли как бы если. Вы начнете. Смотреть Ролики на Ютубе там

868
02:13:55.840 --> 02:14:04.129
Михаил Непряхин: совсем все Плохо роликов Тоже, хороших нет ну буквально Один, есть. Но там вот его еще посмотрите вот тот ролик я его уже как и помню скидывал

869
02:14:04.390 --> 02:14:09.739
Михаил Непряхин: и у вас более менее устаканится, вот Топ вопрос на собеседник.

870
02:14:10.040 --> 02:14:14.959
Михаил Непряхин: Это пропорции Зачем их надо и Сколько их надо

871
02:14:15.390 --> 02:14:21.779
Михаил Непряхин: и типа что будет Если кончюмеров. Мы поднимем Больше Чем протицей.

872
02:14:22.240 --> 02:14:27.260
Михаил Непряхин: Но ответ не хватит какие Это конюмеры будут простаивать потому Что Им обратиться не хватит нам все

873
02:14:29.960 --> 02:14:35.000
Михаил Непряхин: Так То есть чтобы разные сервисы читали одни и Те же партийцы

874
02:14:36.390 --> 02:14:48.460
Михаил Непряхин: они Не могут они Эти же протесты их разные сервисы Не могут читать одни и Те же протесты а одну. Партию может читать один сервис если уже кто то. Читает эту протицию

875
02:14:48.600 --> 02:14:53.590
Михаил Непряхин: то. Все к Этой процедуре уже не может подключиться на другой сервис

876
02:14:54.020 --> 02:15:06.329
Михаил Непряхин: они должны быть в разных континент группах а ну да да правильно То есть если вы Хотите! Чтобы разные сервисы читали одни и те же портреты просто делаете разные консервы группы все правильно все правильно поняли

877
02:15:06.770 --> 02:15:20.689
Михаил Непряхин: Так хоть и сложно Но я хотя бы лучше, Теперь понимаю Что она только творится а То Говорят, про Свои ковки Постоянно согласен Козлины те еще особенно, те кто разобрался Но не Считают что разобрался

878
02:15:20.790 --> 02:15:32.579
Михаил Непряхин: они прям это начинают Там чего-нибудь инсинг, реплика вот это все сегмент партишин ну, все вот если вы как бы вот про это Никогда Не разбирались Но нереально разобраться

879
02:15:33.800 --> 02:15:41.969
Михаил Непряхин: Так не встретишь партию и в Принципе нормально понятно Аналогия с мюнхгом зашла нормально вот я специально с разных Сторон это вам Рассказывал что идет

880
02:15:42.150 --> 02:15:47.000
Михаил Непряхин: вот это прямо, Точно должно было зафиксироваться и остаться что это такое как оно работает

881
02:15:47.440 --> 02:15:53.339
Михаил Непряхин: потому что тут есть Очень много всяких Опций ну банального Там всяких автокрелей Топик и наиболее

882
02:15:53.550 --> 02:16:00.100
Михаил Непряхин: что типа кутупики Автоматически создается У них Там миллион этих Опций Но я вам прям говорю про кор функционал

883
02:16:00.470 --> 02:16:03.859
Михаил Непряхин: так давайте еще голосом есть вопросы?

884
02:16:03.860 --> 02:16:05.790
David R: Голосом есть вопросик.

885
02:16:05.790 --> 02:16:06.290
Михаил Непряхин: Нови.

886
02:16:06.290 --> 02:16:27.379
David R: Если можно и

887
02:16:27.380 --> 02:16:34.459
David R: а заглянуть обратно в локах посмотреть что там творилось или там все-таки вытесняющий из конца чистится логи.

888
02:16:35.280 --> 02:16:42.309
Михаил Непряхин: С конца чиститься, ну как я говорил Помните О же говорил вам Что Удаляется Удаляются Сегменты да

889
02:16:42.730 --> 02:16:48.470
Михаил Непряхин: значит эээ вот допустим ситуация, Давайте вот эту ситуацию посмотрим

890
02:16:52.980 --> 02:17:00.110
Михаил Непряхин: noise а вот ситуация, Мы видим Что У нас Один, сегмент

891
02:17:00.910 --> 02:17:05.340
Михаил Непряхин: У нас вот одна партиза Один, сегмент и

892
02:17:12.920 --> 02:17:18.160
Михаил Непряхин: видите как бы я пол ноль это первая птица мы Смотрим то Есть вот

893
02:17:18.350 --> 02:17:24.310
Михаил Непряхин: вот старая птица видите как Будто сделано то Есть тут пищу по папкам короче то Есть

894
02:17:24.520 --> 02:17:37.200
Михаил Непряхин: вот Мы Видим одна партия Первая вот это вот сегмент этот сегмент обратиться со среди сегментов

895
02:17:37.590 --> 02:17:42.999
Михаил Непряхин: вот ээ какие бы Сейчас. Ни были, настройки оретеншн полюсе

896
02:17:43.570 --> 02:17:50.089
Михаил Непряхин: Там, на удаление по количеству, Или по времени оно не сработает ничего не удалится

897
02:17:50.400 --> 02:17:55.569
Михаил Непряхин: пока это пока этот сегмент активен пока в него идет, запись

898
02:17:55.780 --> 02:17:59.339
Михаил Непряхин: какие бы ни были настройки ничего не удалиться

899
02:18:00.639 --> 02:18:07.860
Михаил Непряхин: потом когда наступает время для создания следующего сегмента и он создался

900
02:18:08.370 --> 02:18:15.289
Михаил Непряхин: и тут вот такая ситуация, что вот это вот как обернется вот это будет два икс еще раз появится ниже

901
02:18:15.450 --> 02:18:27.720
Михаил Непряхин: название файлов будет по названию, по количеству офсетов вот какой я Все там был вот лес боту сорок два был последний всего девятьсот сорок два сорок два сорок два рядышком файлики появятся

902
02:18:28.040 --> 02:18:29.500
Михаил Непряхин: вот тогда

903
02:18:30.030 --> 02:18:42.040
Михаил Непряхин: и политика удаления она там периодически проверяется там Раз в минуту что Ли Она проверяется Или Раз пять минут для всех. Топиков. Типа такой клан джоб проверяться надо удалить что-то Не надо

904
02:18:42.180 --> 02:18:49.240
Михаил Непряхин: вот когда сегмент Номер появится, и Там через, пять минут сработает Политика удаления тогда

905
02:18:49.610 --> 02:18:54.370
Михаил Непряхин: последнее То есть вот эти вот Нулевые Которые были ну Первые Они удаляться

906
02:18:54.770 --> 02:18:58.139
Михаил Непряхин: а Те Текущие активные в Которые идет, запись

907
02:18:58.510 --> 02:19:00.909
Михаил Непряхин: а они будут просто останутся Да

908
02:19:01.219 --> 02:19:08.240
Михаил Непряхин: и Поэтому такая ситуация, что Удаляется Сначала Но по файлова

909
02:19:08.420 --> 02:19:14.429
Михаил Непряхин: как бы Мы Не можем удалить файл, в который Сейчас пишем как бы Физически Не можем

910
02:19:14.610 --> 02:19:17.570
Михаил Непряхин: Поэтому тут есть особенности с этим Что.

911
02:19:18.719 --> 02:19:25.749
Михаил Непряхин: Новый сегмент появляется по своим правилам отдельно вы можете все настроить

912
02:19:25.990 --> 02:19:32.500
Михаил Непряхин: по размеру по количеству там по времени. То же самое все настраивается на создание нового сегмента

913
02:19:32.770 --> 02:19:52.610
Михаил Непряхин: и на Удаление, и у тебя говорю создай топик ну клина Полисе делит окей ну тут

914
02:19:52.820 --> 02:20:00.940
Михаил Непряхин: по Байтам вот превысит Количество бай будут удаляться сообщения ритэншн

915
02:20:01.620 --> 02:20:04.660
Михаил Непряхин: по Времени если время превысить будут удаляться

916
02:20:05.150 --> 02:20:12.289
Михаил Непряхин: и по Байтам если байтов превысить то будут удаляться то есть вот все три Можно указать Можно Хоть один из них сказать

917
02:20:12.820 --> 02:20:21.229
Михаил Непряхин: и отдельно настройки на сегмент смотрите когда открывается, новый сегмент

918
02:20:21.890 --> 02:20:24.779
Михаил Непряхин: Вот после этого Количество мили секунд

919
02:20:25.180 --> 02:20:28.259
Михаил Непряхин: ну типа это сколько-то ну Сколько За секунд дадут,

920
02:20:28.950 --> 02:20:32.419
Михаил Непряхин: Вот Или после превышения количества бай

921
02:20:33.050 --> 02:20:42.199
Михаил Непряхин: и получается Что на Создание Нового Сегмента. Свои, настройки Он Там Растет Новый файл появляется по своим Правилам

922
02:20:43.250 --> 02:20:47.890
Михаил Непряхин: и сообщения Старое Удаляются по своим Правилам

923
02:20:48.320 --> 02:21:00.889
Михаил Непряхин: но правила удаления сообщений могут Сработать Только в тот момент когда У нас Реально есть неактивные сегменты,

924
02:21:01.500 --> 02:21:10.479
Михаил Непряхин: потому что. Активный текущий сегмент удалиться. Не может найди и Сейчас точно уже объясню

925
02:21:11.950 --> 02:21:27.510
Михаил Непряхин: если Еще какие-то там, тупые вопросы? Потом будут в смысле не тупые ну что-то непонятно я уже объяснял все равно задавать Еще Раз, объясню вообще Нестремно Потому Что очень. Все сложное очень. Сложное и Как Бы важное для Понимания Поэтому Мне Не страшно объяснить Едва и Три раза

926
02:21:28.090 --> 02:21:41.160
Михаил Непряхин: так а Кот Консюмера, покажете да все все Покажем Давайте в следующий Раз, слишком большой Объем вот в следующий Раз, Мы на два занятия. Тема а в следующий Раз, мы уже

927
02:21:41.320 --> 02:21:45.590
Михаил Непряхин: даже ну, да посмотрим вот эти примеры

928
02:21:45.920 --> 02:21:48.819
Михаил Непряхин: вот и уже Реальный код приложения тоже посмотрим

929
02:21:49.920 --> 02:21:57.970
Михаил Непряхин: да в следующий Раз, так. Что, Давайте вопрос еще если есть голосом тоже можете Задавать

930
02:22:00.690 --> 02:22:07.570
Михаил Непряхин: пожика в корзину мадерофонд могут быть все на одном ввп ну да

931
02:22:07.750 --> 02:22:17.020
Михаил Непряхин: ну в случае, Тестирования разрешили ну Как бы У меня так и Есть все равно упасть вот ладно

932
02:22:17.230 --> 02:22:23.650
Михаил Непряхин: план Давайте значит до Следующего раза я Там Скинул ролик про кафку

933
02:22:23.920 --> 02:22:36.360
Михаил Непряхин: Он Там Сорока минутный и Там не Так подробно конечно Все как вот я вам Сейчас рассказывал Там Более Верхнего! Уровнево но это единственный вот хороший ролик который стоит посмотреть

934
02:22:36.620 --> 02:22:39.910
Михаил Непряхин: и То что я рассказывал оно еще вот наложится на это

935
02:22:40.070 --> 02:22:47.159
Михаил Непряхин: вот а в следующий Раз, уже будем смотреть ээ конкретно прикладные задачи как она настраивается

936
02:22:47.600 --> 02:22:53.289
Михаил Непряхин: и оно еще что-то зафиксируется поэтому в целом как бы

937
02:22:53.520 --> 02:23:02.320
Михаил Непряхин: то что осталось У вас прокавку Сейчас уже хорошо и отлично как бы Вы все равно уже на Голову. Будете выше Чем ваши коллеги которые

938
02:23:02.490 --> 02:23:20.720
Михаил Непряхин: и в таком. Формате Не изучали потому что ну. Это уникальный как бы материал никто ни фига это ничего Не объясняет Нигде все Собрано по Крохам по очень. Много Времени, и набитой шишки на своем опыте Поэтому вот этот Мастера, Правящей абсолютно, Уникальный

939
02:23:21.330 --> 02:23:26.730
Михаил Непряхин: вот ладно все тогда давайте до, следующего раза всем, пока.