Разбор был проведен с помощью Google Antigravity. Автор поста Askar Aituov. Дата публикации 11 ноября 2026
Источник: YouTube Live: Higgsfield Data Day (hpz8MrgRMWc)
Организаторы: DSMLKZ & Higgsfield AI
Локация: Алматы, Казахстан
Общая продолжительность: 04:26:35 (Полный хронометраж)
Краткое резюме здесь.
Полная программа конференции
00:00:00–00:31:00: Сбор гостей и техническое начало трансляции00:31:00–00:32:45: Открытие конференции — Ведущий Арсен00:32:45–00:53:05: Доклад 1: Ерзат (CTO & Co-founder Higgsfield AI) — Стартап, мировой рынок и развитие R&D в Казахстане00:53:05–01:12:00: Доклад 2: Ануар (DSMLKZ) — Как читать научные статьи и развивать AI-исследования01:12:00–01:17:55: Q&A сессия с Ануаром01:17:55–01:45:25: Доклад 3: Валерий Бабушкин — ML System Design и принятие решений в моделях01:45:25–01:51:15: Q&A сессия с Валерием Бабушкиным01:51:15–02:13:00: Доклад 4: Игорь Котеньков («Сиолошная») — «Похожие оценки, разные истории: о бенчмарках LLM»02:13:00–02:18:00: Q&A сессия с Игорем Котеньковым02:18:00–02:40:14: Кофе-брейк / Перерыв трансляции02:40:14–03:06:50: Доклад 5: Роман Ященко (Head of Antifraud в Higgsfield AI) — «Я дал агенту кнопку бана на 50 000 аккаунтов»03:06:50–03:13:54: Q&A сессия с Романом Ященко03:13:54–03:46:00: Доклад 6: Анатолий Карпов (CEO karpov.courses) — «Симулируй, прежде чем тестировать: A/B-тесты от Монте-Карло до графов»03:46:00–03:53:00: Q&A сессия с Анатолием Карповым03:53:00–04:23:00: Доклад 7: Дидар Нурхаир (Head of Data в Higgsfield AI) — «Higgsfield на допросе у VC: 10 вопросов, на которых все сыпятся»04:23:00–04:26:40: Q&A сессия с Дидаром Нурхаиром04:26:40–04:30:00: Закрытие конференции и финальное награждение
Сбор гостей и техническое начало трансляции (00:00:00)
[00:20:24] Добрый день, уважаемые гости. Рады приветствовать вас на Data Day. Совсем скоро мы начнём нашу программу. А пока располагайтесь, знакомьтесь с коллегами, угощайтесь напитками. Сегодня нас ждут интересные выступления и возможность задать вопросы спикера. Друзья, мы начинаем буквально через пару минут. Приглашаем всех проходить в зал и
[00:26:29] занимать [музыка] свои места. Друзья, Я ещё раз прошу всех занимать [музыка] свои места. Буквально минуты, и мы начинаем.
Открытие конференции — Ведущий Арсен (00:31:00)
[00:31:03] Добрый день, друзья. Давайте подождём буквально пару секундочек, люди займут свои места. Я пока представлюсь. Меня зовут Арсен. Рад видеть вас в этом зале сегодня. отдельная благодарность для тех, кто приехал с других стран, с других городов Казахстана, а также отдельное приветствие для нашей онлайнудитории идёт трансляция.
[00:31:26] Сегодня здесь собрались люди, которые работают с данными, с технологиями и решениями, которые влияют на развитие бизнеса и целых индустрий. Поэтому благодарим вас, что вы с нами здесь, а не за ноутом где-нибудь дома или на летнике. У вас они в Алматы погода отличная сегодня. Итак, нас ждёт сегодня
[00:31:44] шесть выступлений, возможно задать вопросы, а также Прежде чем мы начнём основную часть нашего вечера, я бы хотел начать с приветственного слова. На эту сцену приглашается не просто CTO и кофаундер Хиксфилд, но визионер и автор самой идеи основания этой компании. Друзья, встречаем Ерзад
Доклад 1: Ерзат (CTO & Co-founder Higgsfield AI) — Стартап, мировой рынок и развитие R&D в Казахстане (00:32:45)
[00:32:45] >> Так, раз-раз слышно? Да. Всем спасибо. Очень рад всех видеть. Большое спасибо, что пришли. Тем более мы организовали достаточно быстро эту конференцию. Сейчас попытаюсь рассказать про Hiixfield, а и почему мы так заспидранили вообще наш data day. А почему для нас это очень важно и почему
[00:33:11] мы благодарны, что вот все А, ну я думаю, так как здесь большинство ребят из Казахстана, все про компанию слышали, чем мы занимаемся, но а при этом мы заметили, что есть небольшая проблема с пониманием рынка, потому что, к примеру, а мы постоянно делаем хайринг там
[00:33:41] инженеров, датааналитиков, да, это к примеру, лично у меня там больший поток кандидатов из Силиконовой долины, чем из СНГ. И это, ну, достаточно странная ситуация, потому что у нас как бы главный офис в Казахстане, где вся разработка продукта, дизайн, resarch and development, всё происходит здесь из
[00:34:06] алматинского офиса. Но при этом мне там ежедневно пишут выпускники там PhD с Беркли, Стэнфорда, MAT, пытаются податься в Хиксфилд. А а в СНГ наоборот, у нас рекрутёры там достаточно много эфорта делают, чтобы нанять людей. И когда мы анализировали ситуацию, мы поняли, что проблема в понимании рынка,
[00:34:33] потому что если специалист, он живёт в Силиконовой долине, он очень хорошо рынок понимает в том, что там, чтобы какой-то большой финансовый апсайд получить, для этого нужно пойти, скорее всего, в стартап быстрорастущий, у которого Valation быстро растёт и есть возможность продажи secondaries или же в
[00:34:57] Bigкоorрb, но в Бикорпе достаточно сложно быстро расти. А потому что, ну, BCOR в последнее время стагнирует с точки зрения там быстрого карьерного роста. Поэтому в основном молодёжь, она пытается идти в стартапы. Например, вот Когниitionн по ревеню на втором месте после нас среди стартапов. Ну, во всём
[00:35:27] мире. То есть это понятно, большая часть стартапов на списке, они находятся в Силиконовой долине, но это как бы список всех AI стартапов на данный момент. И как видите, Hix на данный момент номер один стартап по А, и специалисты, которые находятся в долине, они просто смотрят на эти списки
[00:35:50] и, ну, естественно, подаются туда, где стартап, который быстрее всех растёт, потому что, а, там наиболее большой финансовый апсайт можно получить. А вот когни считается очень классным местом работы в долине. В основном, а молодёжь, топовые выпускники из вузов, они в долине обычно идут в cгниition.
[00:36:16] А вот, ну, потому что они не могут в Иixд а податься, так как мы находимся в Алмааты. А то же самое, к примеру, да, примерно такая ситуация сейчас на рынке, и мы это видим среди, там выпускников топовых вузов. И также мы это видим
[00:36:38] среди каких-то executive level людей. То есть, например, сейчас будет скоро IPROIC, и к нам в Хифл достаточно большое количество иков VP левела, хед-левела с антропика начало подаваться, которые у которых уже отвестили стоки антропика, и им особо нет смысла, ну, дальше там работать, потому что люди уже
[00:37:06] проработали там 3-4 года, и они тоже подаются в Хиксфилд. А такая вот, ну, интересная ситуация. А если вы обратите внимание, то большинство стартапов, которые на этом списке есть, они сильно старше, чем то есть, а помимо того, что мы обогнали всех по ревеню, мы также это сделали
[00:37:36] быстрее всех. То есть тут есть стартапы, каквый, к примеру, который был основан там вообще в 2019 году. То есть гигантская фора была у стартапа или 11 Labs. А 11 Labs стал юникорном ещё в 2000, кажется, в конце двадцать третьего года. То есть, а, и, и
[00:38:01] это, наверное, такой, да, интересный, замечательный факт, что нам удалось быстрее всех расти. И при этом, а, мы также у нас получилось почти всю эту дорогу быть кэшпозитив компании. То есть мы быстро росли, при этом мы зарабатывали деньги, не теряли деньги. И это тоже достаточно такой редкий кейс
[00:38:28] для стартапа в AI не сжигать гигантское количество денег, а быть эффективным с точки зрения это такой же рынок, только среди private компаний. А понятно, Antropic, OpenI ещё не вышли на IPO, и они тоже являются private но они относительно других стартапов, а, конечно, улетели вообще в стратосферу,
[00:39:02] поэтому, ну, они готовы выходить на iP. Также Андрей Санхоровиц – это топовый венчерный фонд. Он сделал такую презентацию, такой слайд. А это тоже по список AI стартапы по ревеню здесь есть большие private компании, как, к примеру, Canva или Superhuman. Это бывший Грамарли. То есть, а, по
[00:39:38] сути, у нас ближайшая цель – это побить канву по ревеню, а у них 5 млрд долларов. Any last rвен, это вот наша ближайшая цель быть топ-три. также, а что интересно, по последнему валейшену компаний, а, 1,4 млрд распределено среди сотрудников Хикслда. То есть это мы сейчас последнюю налоговую форму
[00:40:12] сдавали, и мы сами удивились, когда посчитали эту цифру. То есть она достаточно внушительная, учитывая, что ВВП Казахстана там порядка 400 млрд долларов, ну там от 350 до 400 в зависимости от того, как считать. И 1,4 млрд – это там просто один этаж в
[00:40:39] А, и также 169 долларовых миллионеров – по сути, первый там плюс-минус 169 сотрудников компании. А всего сейчас в компании 600 человек, компания быстро растёт. И с самого начала, а, мой кофаундер Алекс Машрабов, он этой политики пытался придерживаться. То есть, а, мы всегда пытались
[00:41:08] максимизировать стоки для сотрудников, потому что мы понимали, что это может быть нашей сильной стороной, так как на нашем рынке нету других стартапов. И, а, это сработало. То есть, э, наши сотрудники очень преданы работе. А у нас получилось собрать одну из самых сильных команд в мире. И это как бы
[00:41:37] объективно, учитывая предыдущие слайды, что мы смогли по операционной эффективности большинство, точнее все стартапы в тег обогнать. Это, естественно, благодаря нашим топовым мирового уровня. И я очень рад, что все получают такой большой финансовый апсайт. И если смотреть вот предыдущий слайд, то есть это private компании и а
[00:42:12] в чём, наверное, прелесть а быть быстрорастущей, успешной финансовой private компанией в том, что, а, прават рынки они достаточно очень ликвидные сейчас. А-а, то есть все, наверное, слышали про сделки там Open AI, Antropics, что даже не выходя на IPO, а сотрудники могут делать кэшаут, может
[00:42:42] продавать свои акции, которые отвестились. И то же самое уже происходит с HXF. Как только наши финансовые данные стали публичными в том, что мы шпозитив, что мы быстро растём, а что мы всех обогнали, то к нам пришло большое количество инвестбанков, включая Goldman Sax, Morgan Stanley, JP
[00:43:06] Morgan, UBS. И они начали выкупать secondнary у сотрудников. То есть это приходит, а, к примеру, последние последние две таких больших сделок, это приходил Goldman Sax, и он покупал акции у ранних сотрудников Хикслда. И у нас есть ребята, которым 25-24 года, и которые уже смогли продать голбонус аксу
[00:43:37] под миллион долларов. То есть это тоже достаточно, на мой взгляд, очень такой классный, а для Казахстанского технологического сектора, а события в том, что молодые ребята, которым, которые приходили в Хисел, когда им там было 22-23, им там сейчас 25-26 лет, и они уже смогли продать Голдману Саксу э
[00:44:04] свои акции. И при этом это, так как это ранние сотрудники, это ещё небольшой процент их их акций. Вот. И мы планируем дальше это продолжать. А мы планируем как минимум раз в год, в идеале два раза в год делать тендероферы. А тендероферы – это когда приходят инвестбанки и
[00:44:26] покупают у сотрудников акции, которые отвестились. А так, к примеру, делает STPE, так делает Revлют. Так, недавно, кстати, сделал 11 Labs, который на четвёртом месте сейчас находится, но Ele Labs, они уже делают большие тендероферы для сотрудников. Вот поэтому была, да, такая ситуация, что Хиксл
[00:44:57] очень быстро вырос. И в начале там я и Алекс мы ходили по подкастам и просто рассказывали, что а у нас надо очень много работать, мы стартап ранней стадии, мы там не можем там гигантские зарплаты платить, как в бигтеке. Сейчас ситуация изменилась. А действительно, а
[00:45:19] акции, которые мы даём сотрудникам, они стали ликвидными, они быстро растут в валюэйшене. Топовые инвестбанки в мире эти акции покупают. И также, так как мы смогли зарейзить большое количество денег, и мы продолжаем большое количество денег дальше рейзить, а мы новый раунд сейчас, к примеру,
[00:45:42] финализируем, а то мы можем платить большие зарплаты, но основное – это, конечно, наибольший финансовый апсайт – это акции компании. Потому что раньше достаточно была сложная ситуация у стартапов. Стартапу надо было ждать, когда его кто-то купит или когда он выйдет на IPO. Но финансовые рынки они сильно изменились.
[00:46:09] А на это там повлиял, к примеру, тот же STPE, потому что Strike, к примеру, не планирует выходить на iPть Страйпу на APO, когда вот они два раза в год могут делать тендер оферы, приходят большие инвестбанки и дают ликвидность. То есть любой сотрудник там, и то же
[00:46:28] самое с револютом, любой сотрудник, если он хочет, он может продать свои secondariies, а другие инвестора могут делать exit. Поэтому рынки для стартапов стали достаточно сейчас благоприятные, но нужно понимать, что это только для стартапов, которые успешны. А сейчас глобально all time low series A fundraй, то есть большинство,
[00:47:01] сейчас очень много AI стартапов появляется, но большинство банкротится не подняв Series A. То есть, а, идти в стартап ранней стадии – это достаточно рискованная идея, а, просто статистически, потому что, а, весь все де все венчурные деньги забирают стартапы, которые там сильно оторвались, быстро растут, которые, ну, здесь на
[00:47:25] списке. Аа а большинство стартапов ранней стадии, им достаточно сейчас тяжело. А если вы присоединитесь в Hexд, здесь достаточно классная ситуация, потому что, а, уже компания прошла долину смерти, то есть, а, уже нету там вероятности банкротства, аэ, нету вот этих всех проблем, стартапов ранней стадии. А при этом компания
[00:48:01] каждые полгода делает иксы в валюэйшене, и поэтому, а, большой финансовый псайт. То есть у нас бывают случаи, когда мы человеку даём, мы, когда его хайрим, делаем ему там total compensation там 1,5 млн долларов, он только выходит на работу, мы рейзим новый раунд, и он получает уже там не 15
[00:48:26] млн долларов, а 4 млн долларов а в тотал компе. И это достаточно э, ну, работать, поэтому быстроших Вот. А также очень коротко расскажу про наш рынок. То есть, а Hix а контролирует сейчас большую часть, а, трафика AI image и AI видео. А у нас больше
[00:48:56] трафика, чем у мол провайдеров. То есть там есть, например, Google, у которого есть модель нанобана, есть, а, BDE, у которого модель SDEN. И, например, у Байднса есть, а, внутренние свои продукты. У них есть Do, у них есть TikTok, у них есть Дремена, у них есть
[00:49:12] CCKat. И вот если, а, и у одного Хикслда больше трафика Сиднса, чем у всех вместе взятых продуктов внутренних самого Bance. А, то есть у нас нам удалось построить очень хороший distстрибью, и сейчас мы и то же самое практически со всеми популярными State of the Art
[00:49:32] моделями. То есть мы контролируем а большую часть трафика в интернете, а, кроме Китая. А в Китае мы не оперируем, мы оперируем в США, в Европе и в Азии. Ну, во всём мире, кроме Китая, санкционных стран, включая там Россию, Северную Корею и Ирана. Аа, и
[00:49:53] получается, что мы контролируем большую часть трафика, и при этом мы, а-а, при этом мы также контролируем, аэ, inference и compute для этих компаний. То есть, э, мы предоставляем и продаём GPU. То есть у нас достаточно сильный фенсибилити на рынке с точки зрения того, что мы смогли замкнуть end toend
[00:50:28] весь весь inference. То есть inference работает с тем, что есть дата-центры, есть GPU, а есть infrance и а далее там это всё в токены пересчитывается, потом конечный юзер это получает. А мы смогли построить, а такую систему, такую рыночную позицию, что мы всё это
[00:50:53] контролируем. И поэтому, э, мы там в очень хорошем положении на рынке находимся и а нас достаточно сложно будет с рынка подвинуть, учитывая ещё насколько операционно эффективно и быстро мы растём и работаем. Но тем не менее, а, AI рынок – это фронтир а экономических рынков. Это достаточно
[00:51:23] высококонкурентная среда. Это сильнейшие команды. Это сильнейшие китайские команды, а это сильнейшие американские команды, у которых гигантское количество фандинга а есть это большие компании. Поэтому конкурировать на таком рынке аа нам очень нравится. Нам нравится побеждать на этом рынке. Поэтому мы, э, хотим дальше скейлиться, мы хотим
[00:51:51] собрать сильнейшую в мире команду. А для этого сегодня мы делаем, а, day про анализ данных. Также в Hixfeld мы сильно расширяем R&D команду. А может кто-то видел наши вакансии на RnD также. А у нас в РНD там больше, наверное, сейчас тридцати человек работает. А достаточно быстро по
[00:52:23] всем направлениям мы растём. Вот. >> Ежат. Благодарю за приветственные слова. А мы начинаем основную часть нашего вечера. Я напоминаю, что после каждого выступления можно будет задавать вопросы. А для тех, кто не нашёл мест, есть пару мест на вторых рядах. Тут мне Я сейчас прошу поднять ээ руки тех, кто
[00:52:58] состоит в DSML KZ. Есть такие в зале? О, это очень много. Так вот, сегодня первый
Доклад 2: Ануар (DSMLKZ) — Как читать научные статьи и развивать AI-исследования (00:53:05)
[00:53:06] спикер нашей встречи, это основатель этого сообщества, также PhD в Мухамд бин Заяд A University в Абуби, топ 14 в Kegle Ranking, а также член scientific comte в ii с презентацией, которая называется AI на стыке комьюнити реча. и индустрии. Я приглашаю Ануара Что, ребят, очень серьёзно всё, да?
[00:54:03] В общем, это уже как бы мы делали этот ивент вместе с Хиксфилдом, то есть до этого мы уже делали восемь DSML метапов. И, ну, в том числе Ерзат часто участвовал в организации и был одним из наших keyнот спикеров. То есть я помню в
[00:54:21] 2018 году он рассказывал про то, что, ну, типа совершенно безумную вещь о том, что вот вы все думаете, что есть компьютер science внутри там, э, там машинarning внутри там типа deep learning AI, а на самом деле вот будет скоро вот AI, внутри, внутри будет там
[00:54:37] машинarning и внутри будет компьютер science. И вот сегодня в 2026 году мы уже все просто там вайп-кодим. То есть в каком-то смысле, а в каком-то смысле во заработала, да? Вот. Ну то есть в каком-то смысле действительно уже и я это как часть нашей жизни. Вот, наверное, я в первую
[00:55:00] очередь хотел сказать, как приятно мне быть здесь сегодня. Мне приятно, а, ну, видеть Ирзата в новой роли. То есть я думаю, что без его личного характера и убеждений, то есть никогда Хиксил не состоялся бы именно в Казахстане. Вот. А у меня сегодня такая условно спич
[00:55:22] поменьше. Вот я буду рассказывать. То есть так получилось, что я поработал в разных направлениях. То есть я работал в индустрии, а я работал над коммьюнити, работал над работаю сейчас над ресёрчем. И, ну, понятное дело, что искусственный интеллект меняет все эти направления. Вот я хотел бы это не просто, это не как
[00:55:43] типа visiony, это просто как бы то, что я понаблюдал на примере своего личного опыта. Вот начну с реча. То есть, как вы знаете, реch двигается по каким-то таким циклам, в которых вокруг каких-то конференций, особенно в сфере искусственного интеллекта. Вот. А что я хотел заметить, что во-первых с
[00:56:05] введением искусственного интеллекта сильно понизился как бы необходимый порог, который нужно преодолеть, чтобы войти в это направление. И это приводит к тому, что, э, ну, взрывным образом растёт количество аппликейшенов на каждую конференцию. Вы можете посмотреть на эти графики. А как бы чудовищная ситуация она в том, что на самом деле
[00:56:27] research комmity – это комьюнити энтузиастов. То есть, грубо говоря, что происходит, когда вы подаёте на resarch-конференцию? То есть там находят там троих добряков, да, которые пойдут и будут проверять вашу статью ну с каким-то опытом, да, типа уже, которые умели публиковать это делать, умели это
[00:56:46] делать. Вот вы видите, как растёт там, условно с 2016 года, там с 2.500 апликейшенов до 30.000 ПС на Neorips. Вы видите, что на CVPR в 9 раз, на в разросло число аппликейшенов. И на последней вот с одной из самых свежих конф 62.000 субмишенов было на ICLR. Это
[00:57:09] колоссальное давление именно на проIT ну вот эти конференции, они начинают какие-то делать действия, чтобы как бы справиться с этой ситуацией. Допустим, какие-то конференции ограничивают количество статей, которые ты можешь опубликовать как единственный автор. А какие-то конференции, в принципе, э говорят, что если ты сколько-то
[00:57:36] сабметишь, ты обязан ревью, а если ты плохо ревьюшь, то тогда мы снимаем твою твои аппликейшены с подачи. А так. А и интересный ещё феномен, что на STК 2027 предложили делать двадцати-тридцатиминутное видео вместе с твоим аппликейшеном, потому что участили случаи, когда докладчики не могут
[00:57:57] нормально презентовать свою работу. А это вот то, что как бы сигналы, которые говорят о понижении качества аппликейшенов на научной конференции, то есть более 100 снятых работ на ICL. одна из четырёхриps статей опубликованных содержала ошибки в в ссылках. И понятное дело, что типа на
[00:58:21] таком огромном скейле, чтобы справляться и автоматически детектировать такие кейсы, используют опять-таки AI. Вот. И получается такая ситуация, что у нас вот AI там что-то пишет, AI его проверяет, и при этом AI ошибается и там, и там. Получается, вроде как хотели сэкономить, а в итоге работы в два раза больше
[00:58:41] При этом вот этот вот феномен авторессерча, он становится уже объектом исследований. Тут есть два направления. Во-первых, то есть это в каком-то смысле автоматизация исследований. То есть в 2025 году, а с одной стороны автоматизация исследований, во-вторых, и во втором, то есть мы просто изучаем как
[00:58:59] бы продукт таких автоматических исследований. Вот в 2025 году Сакана AI а прошла на workшоп ICLR. И это была первая такая как бы подтверждённая э статья, полностью сгенерированная искусственным интеллектом. Этот статья потом прошла в нейчере как пример такой вот ээ AI статьи. А после этого
[00:59:23] интересные случаи было, что типа создали специальную конфу специально только для агентов, то есть где только агенты могут И да, и в том числе и рецензенты были тоже агентами, то есть были там условно, там антропик, ещё что-то, то есть как три ээ три ревьюевеевера. Вот. А Карпаты
[00:59:44] продемонстрировал широкой публике, как можно очень просто делать какие-то автоисследования. Это было буквально там полтора года назад. Сейчас уже весь мир там условно вайп-кодит. Мы это видим. Вот появляются стартапы, которые делают свою миссии именно создания автоматических исследований, и они привлекают тоже солидные деньги. И в
[01:00:08] 2026 году там вот на News появился Workshop Autoresearch. Там тоже было два направления, именно полностью сгенерированные статьи и ээ просто в целом, как можно автоматизировать качественно написание статей. При этом, ну, есть отдельные группы учёных, которые исследуют качество таких статей. Мы видим, что качество страдает. То есть
[01:00:28] там они часто пытаются как-то тебя пидмануть. Вот. Поэтому нужно быть аккуратно. И, ну, как бы какой-то такой практический совет здесь, то есть всегда стараться самому разделять как бы какой-то типа регламент эксперимента, то есть оценку качества метрики делать самому хотя бы. Вот хотя бы это [смех]
[01:00:47] вот. А это какие-то небольшие типа лайфхаки с моей стороны, то есть может быть будут полезные. То есть как минимум для writтинга вы можете использовать ML Paper Wing и academic plotting скилы. То есть второе, допустим, удобное, потому что на разных конференциях у них разные
[01:01:03] тимплейты, и там могут быть разные, условно ширины полей. Вот вы можете сразу готовить ваши картинки, которые будут сразу в нужном качестве без Вот. Ну и хуманизер, его многие используют, там много аналогов, чтобы просто убирать какие-то такой типа типичный AI log, э, из статей. Вот интересный факт от меня, что
[01:01:25] я вошёл в топ- 10% самых прожорливых пользователей Open. Yi. То есть у нас были бесплатные кредиты, ээ, по словам неограниченные. Я использовал их неограниченно, ставил там год, ложился спать и там просыпался и смотрел, что получилось. Вот, видимо, так всё-таки всё-таки делать не надо. Вот. Ну и для
[01:01:45] барншторминга я заметил, что всё-таки лучше кодекс, а для инженеринга клод. Ну это как бы вкусовщина, наверное. А так это что происходит? То есть типа что остаётся человеку? Вот очень часто люди не могут адекватно ответить даже на свои вопросы, то есть на вопросы даже по
[01:02:04] своим статьям. Поэтому сейчас появляется инициатива Гре Капча, чтобы каждый человек мог пройти квиз хотя бы по своей статье. Вот. А, да. Вот. Ну, есть статистика от этого сообщества AG for Science. Так, теперь давайте перейдём быстренько к комьюнити. Вот. DSML KZ. Ещё раз поднимите руки,
[01:02:29] кто кто из нас пришёл. Ну, нормально, людей, нормально. Вот. Ну, в общем, ещё возможно вы это уже слышали. Ну, как бы хочется повторить ещё раз. То есть многие, наверное, не слышали. То есть DSML KZ – это сообщество data специалистов. Мы проводим регулярные resarch семинары, где мы разбираем
[01:02:45] статьи. Мы проводим, ну, вот оффлайн этапы. Мы являемся, мы очень активно вовлечены в е олимпиады. Допустим, мы были, э, проводили первую олимпиаду для школьников в Казахстане где-то 2 года назад. И по результатам которой наши школьники занимали отличные места на международной олимпиаде. А в этом году i была проведена в
[01:03:10] Казахстане. Это третий раз, когда её и я в целом проводилась по миру. То есть это крупнейшая Е олимпиада для школьников. А я и мой друг Нурдаулет, мы находимся в scientific комитете этой олимпиады. То есть мы типа отвечаем за как бы вот условия задач, за интегрити, что всё
[01:03:27] честно и за процессы и так далее. Вот в том числе шесть человек было в хосткомитете из DSML Кz. То есть хосткомитет – это принимал оттифик комитета концепты задач и добивал их до конца. То есть приводил их ну, условно в завершённое состояние. У нас были авторы задач, у нас были
[01:03:47] четыре тренера сборных. Наши ребята опять показали отличные результаты у нас дома. То есть никто ничего не катал, просто ребята очень умные. Два золота, два серебра, четыре бронзы. А также абсолютно второе место занял Должан Вот это, ребята, наши герои. То есть можете видеть, а это наша замечательная
[01:04:07] сборная, будущая Казахстана. А, да, не без косяков, понятное дело. И олимпиада – это очень сложное занятие, а потому что оно и инженерное сложное. Тебе нужно подготовить GPU-кластер, потому что каждый участник должен иметь возможность экспериментировать, должен иметь возможность отправить своё решение, а это значит проверить его
[01:04:29] решение на публичном лидерборде, на приватном лидерборде. В общем, это такая настоящая большая инженерная система. Вот. и и а как бы как и DSML и вот всё, что до этого обсуждалось, это типа профит комнити. Поэтому, ну, довольно тяжело ему все эти инженерные штуки делать. Вот в первый день у нас очередь
[01:04:49] на сабмит достигала 40 минут. Во второй день всё было чисто. За день до старта мы переделывали одну задачу, потому что, ну, внезапно поняли, что мы не можем просить там учеников как-то не делать, а вот так делать. В истории комитов у нас остались старые
[01:05:07] формулировки задач. Это тоже типа небольшой типа бугурт вызвало. Вот. И вот, ну, лично для меня такое типа тяжёлая ситуация была на апелляции, когда у учеников на публичном лидерборде был высокий скор, а на приватном просто была какая-то ошибка редкая. Вот. И им получалось их высокий скор занулялся
[01:05:27] Вот 466 учеников за участников было. То есть представляете, какой масштаб вот этого всего деплоя. Наше сообщество растёт. То есть сейчас у нас помимо Telegram-чата есть ещё и как бы веб-платформа, вот где наши резиденты только не находятся. А помимо на этой веб-платформе мы разработали кучу разных сервисов. То
[01:05:51] есть это как пример того, что можно делать с искусственным интеллектом по сути в одного, а там, ну, с довольно ограниченным бюджетом. То есть самая большие статья расходов ушла на клод. Но при этом хорошая сторона, что сейчас подписка на клод за 100 баксов даёт ещё
[01:06:06] и 100 баксов апикредитов. Соответственно, все AI-сервисы вы можете оплачивать из этих токенов. У нас есть, э, штука, которая автоматизирует приём в вакансии от HR. У нас есть рекомендации вакансии, поиск вакансий, а, HR Premium, а, resarch Hub для как бы, чтобы сделать более заметным ресерчеров из Казахстана
[01:06:28] и AI радар, как бы новости про искусственный интеллект, собранные под мой вкус. И есть ещё ревью, генерации резюме на казахском и на, ну, на трёх языках, но и в том числе на казахском. Ну, и давайте все подавать только на казахском везде. Мне кажется, классный
[01:06:43] тренд. А вот то, что у меня уходит. Ээ, то есть типа я стараюсь типа очень аккуратно с бабками быть, да, в этом плане. То есть мы не рейзили миллиарды, да, [смех] вот на Версель там у меня уходит вот вот эти три. Они, в принципе, первые две они
[01:06:59] не обязательные, но так ког растёт там потихонечку он начинает выходить из и имейлами я начал активно пользоваться для маркетинга. И вот, и в целом тоже получается держать это бесплатно. То есть, грубо говоря, вы можете там 750 имейлов отправлять бесплатно в день и 22.000 в месяц, что, я думаю, это такая
[01:07:18] хорошая хорошая штука для роста. Вот. Это то, как мы используем искусственный интеллект. То есть, э, ну, наверное, тут как бы подсвечено то, что типа нельзя полагаться полностью на искусственный интеллект. Нужно стараться как-то его ограничивать по каким-то шагам, в которых ты лучше контролируешь то, что
[01:07:38] происходит. Например, ну, например, наверное, хороший пример с Я радаром. У нас есть, то есть, 45 источников, которые я лично подбирал, которые генерят более-менее, ну, то есть собирают более-менее хорошую информацию, хорошие новости, в том числе и про искусственный интеллект. Я сделал там просто натренил какую-то логистическую
[01:07:58] регрессию, чтобы контролировать ситуации тоже на синтетическом датасете. То есть мой контроль этого флоу шёл через то, что я контролировал именно лейблы в этом датасете. А дальше помощью ei мы делали кластеризацию тем, чтобы условно собирать там, понятное дело, когда ты собираешь там со всего интернета, у тебя
[01:08:18] появляются дубликаты, там значимые новости, о них все пишут, их нужно уметь склеивать в одну новость и потом реранкинг под вкус читателей. И также, то есть от того, что мы делаем это под вкус читателей, мы заметили, что, ну, под Казахстан есть смысл, то есть одну
[01:08:35] новость поднимать наверх. А у нас так получилось, что там, как и многие люди, наши модели очень любят бренды. Вот. Потому что, ну, легко заметить, что там все там новости, там, где упоминаются Open AI, они так или иначе про Open, про AI. Вот поэтому я сознательно старался
[01:08:53] от этого отучить. Более того, небольшой перекос получился того, что со словом Казахстан, потому что я не хотел, чтобы из казахстанских источников мы собирали именно новости про глобальные события, да, потому что, ну, типа, лучше брать из первоисточников. Вот они ещё запаздывают иногда. Вот и и от того, что я это делал
[01:09:11] через один датасет, так получилось, что Казахстан получил негативную коннотацию. Вот. Ну, это надо чинить условно, об этом надо думать всегда. А это вот то, что мы начали делать последнее время, то есть с помощью вот этих вот бесплатных имейлов. То есть мы начали рассылать именно такие штуки, как
[01:09:28] клейм твой resarch профайл. То есть началось с того, что я просто как бы начал писать людям, имеющих казахстанские аффиляции, то есть наших казахстанских универов. Вот. А благодаря тому, наверное, что типа сообщества ДСМ так или иначе знают, нас на нас никто не жаловался, поэтому то есть в целом такой
[01:09:45] подход работает. То есть, если мы бы были бы, наверное, no name, наверное, бы так было бы сложнее делать. Вот. Ну и в какой-то момент была смешная типа такая этот, э, идея, типа, а давайте просто по именам со всего мира искать казахов и типа давайте вот сегодня устроим день
[01:10:00] алибеков и добавим всех алибеков со всего мира. А, ну и совсем в пары слов про индустрию. То есть в индустрии, понятное дело, ещё больше изменения, которые, ну, ещё сильнее я и повлиял на индустрию. Мы слышим новости там про лейоффы постоянные, что типа условно выросла
[01:10:19] производительность труда и уже ну и вообще сильно профессия изменилась. Об этом, наверное, я не так много буду рассказывать. Ну и в целом, то, что сейчас очень мало стало такого типа ручного кодинга, то есть всё чаще мы видим на собеседованиях даже lm assisted cдинing какой-то, то есть типад
[01:10:37] становится, наверное, менее популярным. Я хотел просто рассказать типа словно от того, что я как бы нахожусь в Абу-Дабе, то есть тренды, которые я вижу, что типа сейчас активно харят, ну вот в заливе условно. Поэтому, если вас, условно, принимаю во внимание контекст сегодняшнего мероприятия, если вас
[01:10:53] сегодня не берут в Hixfield, то есть типа и у вас есть какой-то типа, ну, знаете, консалтинговый, э, бэкграунд, то есть типа с сильными софтскилами, то, возможно, стоит рассмотреть именно э позицию Forward deploy инженер. Мой инсайт, что в регионе активно открываются типа лаборатории, вот, ну,
[01:11:12] то есть как бы офисы крупнейших компаний, то есть есть офис Open AI, есть офис Mistral, есть офис OD Visantropic. В общем, я думаю, всё больше и больше будет и остальных открываться. Вот поэтому есть смысл рассмотреть. То есть, если помните, там в 2000, там был популярен
[01:11:32] слоган типа там data scientist is sexist Job of the Century. То есть 100 лет не прошло, но это плюс-минус какая-то такая же похожая история. Вот. Ну, наверное, это всё. То есть вот то, что у нас нанимает, наверное, это всё от меня. А, присоединяйтесь в DSML KZ, здесь QR-код.
[01:11:54] Всё. И буду рад вопросам, если есть
Q&A сессия с Ануаром (01:12:00)
[01:12:03] Благодарю, Ануар. Итак, у нас начинается рубрика Q&A. Не уходите. Ануар, вопросы к вам? Дада. Сейчас есть возможность задать вопросы нашему >> Есть ли желающие задать вопросы? Может быть, я начну, чтобы немножко показать, как это >> можно, может быть. Смотрите, вопрос следующий. А что в Казахстане мешает
[01:12:33] больше всего тому, о чём вы рассказывали? Нет людей или данных или, может, задачи нете? Как вы считаете? >> Ну, мне кажется, что люди есть. То есть мы там лидеры там по всевозможным техническим олимпиадам, то есть там по математике, там по проге, по физике в
[01:12:49] топ-15 там, по физике там чуть ли не топ- один ребята были. Вот я думаю, что нужно больше мечтать. То есть как бы Ерзата, допустим, того же мы знали давно. То есть его то, что отличало от других, что у него условно резюме было из двух строчек, что типа я мечтаю
[01:13:06] создать в Казахстане крупнейшую международную и лабораторию. Вот и, наверное, больше мечтать. Я также напомню нашим онлайн зрителям, что можно задать вопросы в чате. Мы и один из них попробуем озвучить. Есть ли в зале кто-то, кто хотел задать вопрос А нуару? О, отлично. Ээ, пожалуйста, сейчас вам подадут
[01:13:38] >> Всем здравствуйте. Всем привет. Алмаата, добрый день. Приветствую вас. Я давно состою в вашем коммьюнити и, ну, я на немного нервничаю, так что попытаюсь быть краток. А насчёт Хикслда и феномена Юникорна, особенно в Казахстане, раз уж мы находимся на ивенте Хикселда. Предиктите ли вы, что в будущем таких
[01:14:00] юникорнов у нас будет становиться больше? С чем это связано? И да, наверное, больше насчёт предикта. Будет ли больше таких юникорнов становиться в Казахстане, в СНГ, и будет ли такой тренд или же это больше такой некий аутлайер, который существует? Спасибо. Я думаю, что, безусловно, это как бы был
[01:14:21] аутлайром, который в каком-то смысле открывает двери для других. Вот я думаю, что в любом случае это какой-то случайный процесс. Не в каждой стране есть такого рода огромные типа лидеры рынка, которые вот условно там появляется новая индустрия, и они его быстро захватывают. Но у Казахстана есть
[01:14:40] все шансы. То есть у нас очень сильные люди, у нас открыт у нас открытые люди, я думаю. Вот. И у нас уже есть примеры. Я думаю, что это поможет, как вот я до этого говорил, людям мечтать, быть амбициозными и создавать что-то новое. То есть я верю в Казахстан,
[01:15:06] Кто пода микрофон? Ассаламу алейкум, Ануар, вы говорили про статьи. У меня вот такой вопрос. К примеру, я как дсер, который писал без вайп-кода, и сейчас, когда пользуюсь, замечаю то, что ну код КЛД пишет получше меня, он точно ошибается меньше. И в принципе AI у нас
[01:15:34] развивается. Мне интересно ваше мнение, то, что если оно разовьётся в том плане, то что с точки зрения науки AI тоже же потенциально может стать просто банально будет меньше ошибаться, ну или вообще не ошибаться. И как вы оцениваете, что будет тогда в принципе с речем в мире, в
[01:15:56] науке? Ну и в целом? >> Да, спасибо за вопрос. То есть в том числе, наверное, я не так как бы чисто выразил эту мысль. Я думаю, что к этому всё идёт, безусловно. То есть то направление авторессерч, оно упрощает исследование. Вот единственное, что оно
[01:16:10] не заменяет – это именно живой вопрос. То есть основное, что должен учёный уметь делать, это он умеет, он должен уметь задавать какой-то ну реальный, волнующий его вопрос, который он хочет исследовать. Без этого я и ничего не будет делать. Более того, замечен на практике, что когда ты вот условно как я
[01:16:28] на ночь ставишь, да, и я там что-то колупать вот в колупаторе, вот он часто сходится к какому-то очень узкому вопросу и читая ответ на который, ты понимаешь, почему его никто не исследовал, потому что, ну, он не очень такой важный. Вот поэтому я думаю, что,
[01:16:46] ну, сильно сильно и индустрия, и наука, всё, всё сильно изменится. Что останется? Это то, что нужны будут люди, у которых есть какая-то внутренняя энергия и сила под то, чтобы задать правильный вопрос. Это может быть в науке, это может быть вот даже как создать новую нишу, которая поможет всем
[01:17:05] людям, да, на земле, чтобы она стала там условно новой ээ огромной компанией. Вот я думаю так, >> друзья, у нас тайминг. Я напомню, что >> за лучший вопрос предусмотрен подарок. Я думаю, что Ануар выберет один из двух >> Ой, я уже забыл, какие вопросы были.
[01:17:27] [смех] Так что я, наверное, выберу >> Отлично. А я напоминаю, что можно будет дать одного вопроса. >> У нас есть возможность два, кажется, подарка дать. >> У нас есть возможность два подарка дать, по-моему. один от DSML и один от ээ >> вот я напоминаю, что можно будет
[01:17:44] непосредственно с Ануаром пообщаться во время перерывов, а также вечером. Ануар,
Доклад 3: Валерий Бабушкин — ML System Design и принятие решений в моделях (01:17:55)
[01:17:55] А я бы хотел анонсировать следующего спикера Data Day. человек, в послужном списке которого такие гиганты, как Мета, Яндекс, а ныне он BP, также Grandmasмаas и соавтор книги Machine Learning System Design, а также в том числе мой коллега по подкастному спасибо. Сегодня с выступлением
[01:18:28] Детерминизм как точка опоры в мире на эту сцену приглашается Валерий Бабушкин. Спасибо, спасибо. Надеюсь, меня хорошо слышно, видно. Я медленно шёл и сам думал, 25 минут включают прогулку до сцены или нет. Потому что, может, у себя из доклада время занимаю. А, и поэтому у
[01:19:08] меня здесь есть две версии. Одна на 3.000 слов, другая на 2.000 слов. Но я реально оценил обстановку, а на фокус-группе протестировал 3.000 слов: плотно, хорошо, поэтому оставлю это для своего платного курса. Э мы сейчас пишем книжку по дизайну агентских систем. И это будет
[01:19:31] эксклюзивный доклад, основанный на опыте моём, на том, что мы в этой книжке уже написали, и на различных наблюдениях. И даже сейчас передо мной Ануар кратко упомянул, что детерминизм крайне важная вещь для агентских систем. Помните, он рассказал, что модель может галлюцинировать что-то ещё. Нам её нужно
[01:19:52] использовать очень-очень осторожно. Но мы про это попробуем с вами поговорить. У нас есть примерно 25 минут. Я как раз сейчас вижу этот таймер. Значит, с чего мы начнём? У нас есть какая-то генеративная модель. Что она может? Она может понимать свободный текст. Она может работать с неполной информацией.
[01:20:14] Самое главное, что она может работать в стахастичной среде и адаптироваться под изменяющуюся обстановку. Классно, да? То есть это то, чего у нас раньше практически никогда не было. Нам, если нужна интерпретация, адаптация или выбор следующего шага по новой информации, замечательно будем использовать модель. То есть здесь у нас стоит задача понять
[01:20:35] какой-то противоречевый запрос. Ну, это вопрос к модели. Если у нас стоит задача проверить, а есть ли у этой системы право изменить объект, нам не нужна модель. Это вообще задача сервиса авторизации. Правда же? Зачем модель об этом спрашивать? Если нам нужно выбрать, какие сведения искать, это полезно
[01:20:57] поручить модели. А если нам нужно проверить поля запроса и допустимую сумму, но это нужно проверять кодом. Соответственно, эти этапы могут следовать в одном сценарии. где-то нужна адаптация, где-то нужно исполнение правил, независимо от того, как рассуждает модель. И если мы по какой-то причине передаём модели оба этих этапа,
[01:21:18] мы, во-первых, зря тратим деньги, зря тратим время, а кроме того, мы вообще не гарантируем, что мы можем получить. А самый яркий пример и, на мой взгляд, терминальный случай – это когда модели в промте передаётся “Запусти тесты”. И модель говорит: “Я запустила тесты”. Всё о’кей. Тесты, конечно, не
[01:21:38] запущены. Или тесты могли быть запущены, не прошли. Модель решила: “Ну, надо же, чтобы прошли. То есть надо поправить”. Ну, абсурдная ситуация запускать тесты к вещь, которая абсолютно детерминистична и которую мы хотим использовать, чтобы проверять модель. И мы отдаём ей полностью модели в парамте. Ну и то же
[01:21:56] самое такие вещи, как какие-то права или лимиты или фактический результат операции. Мы это всё умеем делать программно. А нам нужно обращаться к исполняющей системе, к чему-то детерминистичному, а не к модели. И основной принцип, о котором мы будем говорить и на котором мы будем дальше
[01:22:15] весь дизайн, следующий. Модель мы используем там, где необходимы её У нас формализуемые правила обеспечиваются через код, а модель нам даёт адаптивность. И, соответственно, дальше мы посмотрим, как это работает. К сожалению, работает это не очень. И мы сейчас поймём, почему. Значит, прежде чем мы перейдём ко всему
[01:22:36] этому, нужно ввести понятие, что мы будем понимать под детерминизмом. Под детерминизмом мы понимаем одинаковую проверку правила при заданных входах и состояниях. То есть правила на операцию либо есть, либо нет. Сумма либо укладывается в лимит, либо выходит за его пределы. Условия перехода либо выполнено, либо нет. Тесты либо прошли,
[01:22:57] либо не прошли. Проблема в том, что у нас здесь кабан наносит ответный удар. Значит, а кто-нибудь читал эту книгу? Ну, какие-то люди читали немного. А если я ещё спрошу из тех, кто поднял руку, кто читал, использовали ли вы что-то из этой книги, рук станет ещё меньше.
[01:23:16] Значит, раньше как было? Все, все почему спрашивали на собеседованиях про распределённые системы. Никто практически с распределёнными системами не работал. Задам другой вопрос. У кого на компьютере, неважно, ноутбук, что-то ещё, в рамках одной машины работает больше одного агента. Чуть побольше рук. О’кей. Как только у
[01:23:35] нас работает больше одного агента, что может произойти? Представьте, мы даже даём детерминизм, говорим: “Агент, ты не можешь тратить больше этой суммы. Сумма 100 долларов, 90 уже потрачено. Агент идёт, смотрит, ещё 10 можно потратить”. И дорогой агент идёт и смотрит, ещё 10 можно потратить. Что у нас? Race
[01:23:52] conditions. Добро пожаловать в мир распределённых систем. Потому что как только у нас появляются какие-то внешние тулы, которые меняют состояние, у нас в агентском цикле появляются классические проблемы распределённых систем. Когда-нибудь думали про это? Встречались, когда кто-то наступал на эту ловушку, э потому что запрос
[01:24:12] а ответ потерялся. Или у нас, пока модель рассуждала, данные изменились, потому что модель она достаточно долго может рассуждать. минуту, 5 минут, 15, 2 недели. Ну и к тем моделям, которые 2 недели рассуждают, у нас доступа с вами, скорее всего, пока что нет, но уже к тем
[01:24:28] моделям, которые спокойно рассуждают десятки минут или часы, у нас уже эти доступы есть. Дальше у нас вызовы каких-то тулов могут выполняться параллельно, то есть у нас здесь классический concurrнy. А, соответственно, LLM у нас здесь сложность очень очень простую. У нас теперь распределённая система может
[01:24:48] находиться даже в рамках одной машины. То, от чего раньше мы, казалось бы, были защищены, теперь здравствуйте. И детерминизм чем здесь важен? Он позволяет явно описать поведение системы и проверить реализацию. Но он вообще не обещает, что у нас будет одинаковое поведение всей распределённой системы,
[01:25:05] а, или какое-то отсутствие ошибок в воспроизводимом коде. Потому что у нас ещё добавляется, что агент может выбрать разные слова, маршруты и при этом получать одинаково полезные результаты. То есть всё всё это делает нашу жизнь сложнее и неприятнее, но с этим приходится жить. Ну, классический
[01:25:23] пример. Вот у нас есть какой-то лимит. У агента бюджет, ну, я где живу, в такой валюте и использую 100 фунтов. И, ээ, часто люди делают: “Не превышай бюджет, если не хочешь проблем. Не ошибайся”. Но агент же он он он же адаптивный. Он же подумает: “Так, ну есть классная
[01:25:43] возможность за 110, разница 10, но я на этом заработаю 50 сверху. Отлично, используем”. И плюёт на все эти ограничения, потому что если ограничения только в промте, у вас нет ограничения, у вас есть надежда. Надежда – это не не лучшее ограничение. То есть мы, конечно, можем надеяться,
[01:26:01] что если мы оставим кошелёк на сутки, то ничего не произойдёт. Но лучше не оставлять кошелёк на сутки в надеюсь, что ничего не произойдёт. А, а, соответственно, если у вас есть сервис, который перед операцией проверяет сумму и доступный бюджет, то он просто отклонит. Всё, ты превышаешь, до
[01:26:18] свидания. И при этом у нас, заметьте, рассуждения модели могут быть одинаковыми, но в одном случае у нас есть детерминистичный сервис, который принимает финальное решение, а в другой у нас всё на модели. То есть это архитектуры, которые принципиально И при этом нужно понимать, что проверка
[01:26:39] должна проверять, охватывать все способы потратить бюджет, потому что если её можно обойти каким-то другим способом, ну, привет, hugгиing face. Для тех, кто кто не знает, э, в истории с атакой на hggгиing face агенты Open AI, которые должны были работать изолированно, я не знаю, как они там через промт попросили
[01:26:57] работать изолировано или ещё как-то, они что, они сделали message, они сделали обмен сообщениями через общий artifactory, то есть, что мы можем кодировать сообщения в именах директории. У нас был репозиторий пакетов, стал групповой чат. Замечательно. Получается, что если у вас нет какого-то специального тула, это ещё
[01:27:18] не значит, что модель так считает и согласна с вами. И, соответственно, у каждого обязательного правила должно быть место исполнения. Это должен быть либо сервис авторизации, а, либо какая-то специфичная транзакция, либо ограничение базы, э, или проверка перехода состояния. И самое главное, должен быть тест, который пытается это
[01:27:38] нарушить. Не в промте модели. Тест должен быть детерминистичный. И это не очень, это это хорошо, но это тяжело, потому что все эти правила, их тоже нужно согласовывать, версионировать и обновлять вместе с процессом, потому что любое правило, оно требует поддержки. А потому что неправильное требование код будет
[01:28:00] последовательно исполнять неправильно. Ну, дали правила, он его исполняет. И при этом у вас может быть просто чепуха вместо спецификации. Я недавно с ребятами общался, и у них система, в которой присутствуют правила. Я спрашиваю: “А сколько у вас правил?” Они говорят: “300”. 300 правил вообще это много, это даже
[01:28:17] прочитать тяжело. Я говорю: “А что, неужели все 300 правил уникальные? Они там не пересекаются, нельзя какие-то там взять пять правил объединить в одно?” Посмотрели, говорят: “Можно”. Тоже вопрос, что у вас начинает расти другая сложность. Ну, мы же всё-таки говорим про агентские системы. вообще, что такое агентный цикл
[01:28:35] и где нам этот агентный цикл нужен. Ну, представьте, что у нас есть модель, она извлекает данные из документа. Дальше есть какой-то код, он проверяет поля, вызывает IP и передаёт результат дальше. И после чего у нас на другом этапе модель всё это достаёт и формулирует
[01:28:53] Но вообще два вызова модели здесь не говорят о том, что она управляет всем процессом, правда же? Это просто два вызова модели в разных этапах. Это вообще какая-то нормальная стоит машина. Потому что если у нас известный порядок, то нам этот известный порядок не нужен
[01:29:05] задавать через модель. Нам нужно его задавать через код. Мы проверяем полномочия, выполняем операцию, подтверждаем результаты. Всё, модели вообще незачем заново решать, нужны ли эти этапы. То есть модели использовать, повторюсь, дорого, долго, тяжело. Это какие-то просто гиганты, бегемоты, которые, если у вас есть, даже нет
[01:29:26] проблем с деньгами, у вас всё равно будет проблема со временем, потому что вы не хотите тратить слишком много А агентный цикл вам нужен, когда наблюдение требует интерпретации, меняет план. То есть мы на что-то посмотрели, мы не можем формализовать, что после этого дела. Здесь мы вызываем модель,
[01:29:42] почему она может адаптироваться, она может принимать решение, а что делать дальше. То есть модель, например, нашла противоречие в документе, потом понимаю: “Ага, нужно проверить другой источник, потому что я вижу противоречие, не могу просто на основе этого выдать какой-то ответ. О’кей, иду в другой источник,
[01:29:57] сопоставляю сведения, пересмотрю предложение. И понятно, что заранее заданная последовательность такого поведения целиком не описывает. Собственно, почему классическая проблема с различной автоматизацией PA и прочим, что, ну, невозможно описать всё это без какой-то стахастичности. Соответственно, у нас, но при этом отдельно само наличие обратной связи не
[01:30:19] требует агентного цикла, потому что, в принципе, обычный код тоже читает ответ, может что-то отдать, и там можно поставить if. Представляете, вы говорите if, тут надо выбирать, нужен агент. Нет, не обязательно. То есть это некоторый баланс у нас агент, программа задаёт какие-то обязательные переходы, а любые
[01:30:38] адаптивные, они идут через агентский Ну и в принципе умные люди над этим думали, думали и поняли, а если выбирать нужно из конечного множества, почему бы не упросить задачу? И ну кто вообще слышал про Джеф? Вот многие слышали про Джеф. Что такое Джеф? В общем, для многих людей AIML
[01:30:58] начался года три назад с выходом ча. И есть уже когорты людей, которые, в принципе, для них AI – это просто lм, ничего другого нет. И они как будто забыли, что существует такая вещь, как классификаторы, то есть что можно выбрать из какого-то конечного множества
[01:31:12] э потенциальных вариантов какой-то из них. Что сделали ребята? Они сказали: модели LM очень хорошо, что в неё не кинь, она что-то вам выдаст”. Ну, есть несколько проблем. Во-первых, она дорогая, как мы уже обсуждали. Во-вторых, вот я у тебя спрашивал, вот Шаген мне сказал, что он не может
[01:31:34] сравнить зебру и цифру семь. А вот цифру семь и цифру восемь он может и зебру с конём он может сравнить, а зебру и цифру семь не может. И я, в принципе, тоже не могу. А для модели семь и зебра сравниваются так же, как
[01:31:51] 7,8. То есть на самом деле никакая модель, но это довольно известно, она не работает с числами в том виде, в каком мы их ожидаем. Это какое-то представление векторное, и модель просто очень успешно вас обманывает, что она будто понимает. Значит, что сделали чуваки из ЖФ? Они сказали: “Возьмём
[01:32:06] большой корпус документов, обучим на них универсальный классификатор, что вроде классно, который при этом как-то внутри откалиброван”. То есть он даёт действительно вероятности, а не просто какие-то токены. Правда, никаких метрик откалиброванных вероятностей они не дали, поэтому мы не знаем, так это или нет. И там непонятно, работает ли этот
[01:32:24] RLCD или нет. Ну вот если работает, ну вроде не работает, было бы классно. Но это нас приводит к чему? К тому, что оказывается мы можем находить какие-то промежуточные решения. О’кей, нам нужен нужен выброс какого-то большого числа вариантов. Мы уже это не можем программно использовать. Но нам не нужна
[01:32:42] модель на 15 триллин параметров. поставим классификатор. Более того, если у нас есть LLM-модель, которая выдаёт лейблы для того же вызова тулов, например, вот вам функция разметки, вы имеете бесконечное количество лейблов, используйте их. Соответственно, что у нас дальше? Дальше у нас есть какие-то предложенные действия его исполнения,
[01:32:59] потому что вызов, который формирует модель, вот условный Тулкол – это лишь предложение. Напоминаем, модель у нас выдаёт какие-то вероятности, она что-то там хочет сказать, делаем вот это. Значит, представьте, клиент пишет что-то свободным текстом, а модель разбирается в этом обращении, находит заказ, уточняет детали и предлагает возврат. Но
[01:33:18] финансовая операция возврата делает не модель. Финансовая операция возврата должна выполнять программа в жёстком детерминистичном коде, потому что она должна проверять допустимость действий, полномочия и последствия. Но первая проверка у нас – это контракт апи. У нас есть все обязательные поля, типы, операции, тали, валюта. Корректно. И при
[01:33:37] этом ещё корректный формат не означает правомерность самой операции. Вторая – это у нас ээ бизнес ограничение. У нас сумма не должна превышает доступный к возврату остаток платежа. А то модель скажет: “Человек так пострадал, надо дать ему в 10 раз больше денег”. Э поэтому у нас должны быть какие-то
[01:33:53] ограничения. Третье – полномочия. А чей заказ? Кто вообще вправе вернуть тут деньги? И личность пользователя должна проходить из какого-то дополнительного контекста, а не просто передаваться модели в виде Jon файла. То есть модель вообще не должна иметь право выбирать под чьими правами она действует. Ну и
[01:34:12] четвёртое, наша любимое или не любимое – это актуальное состояние, потому что другой сотрудник уже мог выполнять возврат или другая модель, пока эта модель думала. Соответственно, нужно проверять это при фиксации изменения, прочитать состояние, подумать и записать. И тут без конкарен контрола, ну, делать нечего. То есть опять же
[01:34:30] кабан возвращается и здесь. И дальше у нас наступает проблема с согласованием конкретной операции, потому что у проверок должны быть владельцы в архитектуре, и проверки должны работать при любом выходе модели. Например, у нас должен быть какой-то инструмент возврата с понятным это дово это должно быть гораздо
[01:34:51] удобнее, чем работать с какой-то произвольной записью финансовой таблице, из которой модель что-то там вытащит в случайном моменте. Дальше, если у нас нужно согласование с человеком, он должен видеть, что он должен видеть конкретную сумму, заказы получателя. И представьте, человек согласовал, а у вас так дизайн построен, что после
[01:35:09] согласования модель может что-то поменять. Это хороший дизайн или нет? Ну, очевидно, да, происходит в девяти случаях из десяти. Согласовали, всё, дальше мы. Ну, я думаю, тут можно поменять. Соответственно, во-первых, после согласования нельзя менять параметры, а существенное изменение должно требовать нового решения. И ещё нужно определить, а что
[01:35:29] такое существенные изменения? И модель должна иметь свободу разбираться в обращении, но возможность исполнения проверяет внешняя система, внешние проверки. При этом, заметьте, модель может вообще выбрать не тот заказ. Оба могут принадлежать клиенту. Возврат по обоим разрешён, а намере понятно неверно. То есть у нас ошибки
[01:35:50] могут из разных мест идти. Поэтому, соответственно, нам дополнительно нужна оценка качества интерпретации, уточнения, какие-то необходимые подтверждения. И у нас проверки обеспечивают корректность конкретных свойств, но они всё ещё не делают систему безошибочной. Значит, ну, классическая вещь – это веселье с тайм-аутом и демпотентность, потому что у нас обработка сбоя не
[01:36:16] должна зависеть от предложений модели. Потому что, ну, представьте, система отправила возврат на 100 фунтов, сервис его выполнил, соединение оборвалось до ответа. Ну, мы знаем только, что ответ не То есть, если модель начинает действовать из каких-то своих предположений, она может повторить действие как новую операцию, и деньги
[01:36:36] потом могут уйти второй раз. Причём даже это это реальный случай, это происходило в авиакомпаниях, когда там делали возвраты или предлагали скидки и скидка была больше, чем стоимость билета. И тут даже никаких галлюцинаций не нужно, заметьте. Тут вот ничего галлюцинировать не нужно. Ну, просто
[01:36:52] из-за неверной обработки тайм-аута мы второй раз отправляем деньги. И из чего следует, что у нас логической операции нужен устойчивый идентификатор, потому что все повторы должны использовать тот же ключ. Принимающий сервис должен обеспечивать импотентность, и исполняющая система должна сохранять ключ и состояние операции, чтобы
[01:37:11] пережить повтор, новый заход агента или перезапуск или другого агента, который хочет сделать вдруг то же самое. И нам нужно знать контракт сервиса, что и как он запоминает, и выяснять как неизвестный, как неизвестный для нас исход, чем он закончился. То есть опять классика распределённых систем.
[01:37:30] Ну и что у нас здесь? У нас есть состояние операции, которое должно храниться уже в приложении, потому что если у нас два разных участника одновременно запрашивают возврат одного заказа, и дымпатентности здесь уже недостаточно, нам нужна проверка общего доступного остатка, нам нужны какие-то согласованные состояния и нам нужна
[01:37:50] работа с consсиisty. И опять же классика распределённых систем. Кроме того, нам может сказать система запрос принят. Что такое запрос принят? Это что? Это постановка в очередь. То есть у нас же есть разные состояния. Принят, выполняется, выполняется результат, подтверждён результат, неизвестен. Заметьте, как у нас начинает расширяться
[01:38:09] пространство возможных вариантов и ответов для модели. Поэтому модель, она получает фактическое состояние и разрешённый следующий шаг, чтобы продолжить работу или сообщить об ожидании. То есть у модели должна быть возможность просто ждать, потому что состоялся ли платёж, должна определять не модель. Это определяет запись в
[01:38:29] системе учёта. А мнение модели, в том числе попытка обмана, здесь ничего не меняет. Ну, модель же она всегда хочет говорить, она хочет говорить, что всё классно, результат успешный, тесты пройдены, клиент доволен. Соответственно, такие вещи, как какая-то предыдущая история разговора и прочее, она помогает
[01:38:47] продолжить рассуждение модели, но факт условного отправленного платежа и его идентификатор, они хранятся в устойчивом состоянии приложения. Это внешняя система. И после сбоя или перезапуска диалога начатая операция не становится новой для модели. Тоже очень, кстати, частая ошибка, которая происходит. Значит, как всё это тестировать? У меня
[01:39:07] остаётся 6 минут. Я попробую ускориться. Заметьте, это это короткая версия, она сильно короче. Значит, есть такая вещь, как based, которая которую достаточно просто сделать. То есть, ээ, мы можем проверять разные вещи, но мы, например, знаем, что сумма квадратов катетов равна квадрату гипотенузе, и это
[01:39:30] корректно для любого прямоугольного треугольника. Какой-то прямоугольный треугольник не черти. А более того, я могу утверждать, что сумма двух неотрицательных чисел больше или равна любому из этих чисел. На основе этого мы можем делать различные тесты, которые у нас могут работать в различных условиях. То есть
[01:39:48] мы задаём свойства, генерируем какие-то нарушается ли это свойство или нет. И для системы состояния мы можем генерировать и последовательность действий. Ну, на примере возвратов суммарный возврат по заказу не превышает допустимую сумму. Свойство свойство. Повтор операции не создаёт дополнительного финансового эффекта. Свойство. Свойство. Можем проверять. Без
[01:40:11] нужных прав возврат невозможен. Тоже свойство. Правда же? Можем проверять. Изменение согласованных параметров лишает запрос согласования. Тоже свойство. То есть это какие-то конкретные проверяемые утверждения. И спрашивать М, кажется ли это безопасным на здесь нам здесь не нужно. Всё детерминистично. А так, ну что, у меня 4 минуты, поэтому
[01:40:31] я, наверное, здесь ээ чуть-чуть ускорюсь. Не знаю, нужно ли вам это А не, наверное, это нужно. Значит, смотрите, мы с учётом всех этих проверок мы можем построить какие-то эвалы. Мы генерируем какие-то суммы на границах лимита, повторы, какие-то устаревшие версии записей. Моделируем потерю ответа. Всё можно сделать, правда же?
[01:40:53] Прекрасно. Тесты делаются легко. И мы делаем это там потерю ответа после исполнения, перезапуск перед повтором. Мы можем для Race Conditions проверять какие-то concurrent операции и и порядок фиксации изменений. Большую часть В чём в чём класс вообще? Мы большую часть этих тестов можем запускать без LLM. И
[01:41:11] это здорово, потому что дорого, долго, э непонятно. Аа мы что? Подставляем какие-то предложенные действия в систему, проверяем исполнение и отделяем дефект контроля от ошибки выбора действия. Смотрите, у нас появляются две системы. То есть затем можем проверять агентный цикл. Поняла ли модельзадачу, нашла ли данные, выбрала ли допустимый
[01:41:35] путь, достиг ли агент результатов, там сколько времени потратили ресурсов. То есть и здесь у нас какие-то повторные прогоны, которые нам позволяют разбирать неудачные траектории и оценивать устойчивость. И мы получаем два уровня. Здесь у нас есть формальные свойства исполнения. Здесь у нас есть качество
[01:41:52] решений модели. То есть у нас один агент, например, может найти заказ по номеру, а другой просто по дати и списку покупок. и оба решения корректны. Здесь никакой проблемы нет. У нас тут обязательный порядок в каких-то моментах может присвоить, в каких-то нет. И, соответственно, в чём здесь при
[01:42:08] прикольно получается, что из-за того, что у нас есть два уровня, формальные свойства исполнения и качества решения модели, мы можем их разделять, поддерживать и масштабировать по-разному. И это очень сильно напоминает разделение в любых дата-платформах компьютера и сториджа. Правда же? У нас есть две разных
[01:42:23] сущности, мы можем с ними по-разному Ой-ой-ой, времени совсем мало. Ладно, про баш не будем говорить. А, ну, ну, классика. О’кей. Опять же, мы модели не верим. Мы не доверяем ей. Мы не говорим ей: “Модель, ничего не изменяй”. Мы даём ей права только на чтение. Если модель
[01:42:41] нужно делать только три операции, мы даём ей права на три операции. Мы даём, мы не даём ей весь башл. Ну, думаю, это уже понятно из всего того, что я рассказывал. Это скорее повторение. Нам очень важно иметь обратную связь, потому что модель не должна выбирать
[01:42:56] себе роль администратора или передавать какой-то секретный ключ в аргументах. Поэтому у нас есть какой-то исполняющий компонент, который получает личность пользователя из доверенного контекста и потом связывает запрос с полномочиями делегированной задачи. Более того, частая ошибка, что делегируют какой-то другой модели и расширяют её права
[01:43:16] автоматически. Тоже нет. Так делать не нужно. Делегирование другой модели не расширяет права автоматически. И для поиска информации достаточно доступа к нужным данным на чтение. То есть никаких дополнительных прав выдавать нельзя. Более того, обратная связь, она должна выдавать точную причину и допустимый следующий шаг. Версия устарела,
[01:43:35] перечитай состояние. Неверный формат даты нужен год, месяц и день. Запрос принят, результат ещё не подтверждён. И это помогает адаптироваться, потому что если вы просто перекидываете в модель слова ошибка или вы перекидываете весь стрейс там на на 100.000 токенов. Ну, значит, у вас очень много
[01:43:53] Так делать тоже не нужно. Соответственно, важно делать эту корректную обратную связь, чтобы модель умела на этом учиться. Ну и у нас, соответственно, это приводит к тому, что у нас есть четыре основных вопроса к архитектуре. И для каждого этапа системы мы задаём эти четыре вопроса. Первый,
[01:44:10] какое свойство модели нам здесь нужно? работа с неоднозначностью, поиск следующего шага. Известные проверки и вычисления мы убираем в код. Это формализованные признаки. Второй, кто выбирает следующий этап? Потому что у нас заданный процесс должна исполнять программа, а пересмотр плана по новому наблюдению, он может уже потребовать
[01:44:31] агентного цикла. То есть того, с чего мы начали, модель может адаптироваться. Третий. Какие свойства у нас сохраняются при при любом решении модели? лимиты, порядок согласований, защиты от повторов. То есть нужны какие-то конкретные механизмы, исполнения и тесты, которые пытаются их нарушить. И четвёртый момент, чем подтверждён
[01:44:50] результат? Состояние внешней системы или предположение модели? Если предположение модели, у вас нет подтверждения, у вас есть предположение, потому что неизвестный исход, он остаётся неизвестным достаточного Ну, на этом всё. успели практически, кроме двух слайдов. Валерий, я вас благодарю. А зрители онлайн-трансляции отмечают, что выход
[01:45:21] Валерия был эпичен, как в UFC.
Q&A сессия с Валерием Бабушкиным (01:45:25)
[01:45:25] А сейчас начинаются вопросы. Я так понимаю, их много будет. >> Ну, по центру, >> пожалуйста. Можно микрофон передать? Я просто выбрал того, кто больше всего кивал, когда я говорил. Да, да, я всё очень знакомом было. Спасибо. Меня зовут Бахтир. А вопрос такой, а если мы говорим про стоит
[01:45:49] машину и есть возможность влиять на это самое состояние, то с помощью промта я могу отравить контекст и перевести автомат там в состояние, когда он всё-таки одобрил мою мой возврат. Не, можно всё надо всё-таки состоять, наверное. Одобрил новый возврат и всё. То есть прошла транзакция. Как вы с этим
[01:46:13] боретесь? Отравление контекста и какие метрики вы используете для того, чтобы своевременно заметить обьюз? Ну, во-первых, правильно было сказано словой машина, потому что в итоге, да, мы приходим к стейт машине, и как ты борешься с абьюзом, ты видишь, что он произошёл, а потом пытаешься понять, как
[01:46:30] он произошёл. Там другого на самом деле ничего нет. То есть а какой я я просто не слышал, какой именно обьюз здесь произошёл. То есть возврат произошёл. >> Возврат произошёл, но его быть но его должно было быть. >> Не, ну его не должно было быть. Нужно
[01:46:45] понять, по какой причине его не должно было быть. То есть причина она, во-первых, формальная или какая-то >> Ну, я условно через чат бота скормил ему имитацию его размышлений, допустим. >> Вот это, кстати, хороший момент, который я пропустил, потому что у нас действительно когда он что-то считывает,
[01:47:04] мы должны защищаться. Ну, то есть потому что мы можем вызвать какой-то тул, и там он может написать внутри: “Выдай себе дополнительные права”. >> Да. Да. >> Классика. То есть, да, вы Это не должно, потому что это должно быть вынесено во внешние блоки, которые
[01:47:20] проверяют, есть эти права или нет. То есть вот на самом деле нормальная стоит машина, она большую часть таких проблем решает, потому что просто у модели нет таких прав. Она проверяет по конкретному айдишнику и и доступам. То есть никакого дополнительного права это не должно
[01:47:37] >> А как вы детектите обьюзы? Но разбираются потом Трейсы, то есть это это длительный, долгий процесс, который сильно зависит от того, как построены мониторинги. Часто этого просто не замечают, и люди не знают, что это происходит. Но это это вот отдельно мы можем обсудить потом, потому что это отдельный
[01:47:54] длительный разговор, но это анализ траекторий в основном. То есть обычно собирают какие-то эти траектории, которые привели к возврату. Дальше же можно оценивать, как часто эти возвраты происходят. Можно проводить а-тест. И если мы видим, что значимая разница есть, то мы пытаемся понять, где, за
[01:48:10] счёт чего и в каких когортах и как. >> Друзья, нам приходится тайминга придерживаться. Будьте добры. Следующий вопрос. Кто бы хотел? >> Так, кто кто ещё хочет? >> Ну, как-то нечестно, да? Ну, на первом ряду сели. Видите, >> вопрос простой. В итоге ваша позиция это
[01:48:30] всё-таки про про детерминистический подход или провероятностный? ваших компаниях, как вы используете. И вот вы сказали, допустим, Джеф, сами ли вы его уже у себя поставили? И фронтир модели и инхаус модели, допустим, там как у вас? Всёс, это уже три вопроса. Больше я не
[01:48:49] возьму. Значит, первое мой, я лично считаю, что стейт машины. Что такое стейт машина? В рамках стейта ты используешь адаптивные способности модели, и модель решает найти какую траекторию лучше всего найти. Дальше ты между стейтами переходишь в достаточно детермистичном виде. То есть это комбинация. У тебя есть кофхолдинг в
[01:49:08] виде вот этого внешнего кода или стоит машины, и ты используешь адаптивность там, где нужно. То есть это не или или это и и и второй, значит, момент, что использовать фронтир модели или что-то своё. Но вообще использовать что-то, опять же, как только ты выходишь за пределы одной
[01:49:28] машины, вот сделать операцию на одном ноутбуке и сделать такую же операцию на 100 машинах, это вообще не тривиальная задача. Как только мы пытаемся поставить что-то openсourсное, нам нужно, что? Нам нужно железо, нам нужны разные версии, нам нужна авторизация, нам нужна оптимальная утилизация ресурсов, нам
[01:49:46] нужно восстановление сессий, нам нужно кэширование. Это, короче, не тривиально. Я сомневаюсь, что у сильно большое количества компаний есть инженерные силы это сделать. Поэтому обычно всё-таки используется IP. Дальше вопрос, какой IP? И благо достаточно, но это уже зависит от задач. Фронтирные модели, как показывает практика, и вот Игорь
[01:50:03] расскажет про бенчмарки, китайские модели пока сильно не дотягивают. С другой стороны, то, что они сильно не дотягивают, не значит, что они не решают вашу задачу. И третий вопрос про Джеф. очень специфичная вещь. А я не я пока не видел там бы, где он был нам нужен по
[01:50:19] сравнению с тем, что можем взять какой-то классификатор на трансформере и обучить его, и это будет ещё быстрее. И ты не зависишь от внешнего IP. И тут всё достаточно просто и понятно. И ты сокращаешь задержку до условных там 50 мисекунд или 200. Ну Джеф в ряде
[01:50:34] проектов я видел, использует. Я лично пока не видел своих проектов, где бы он имел смысл по сравнению с каким-то обычным классификатором. Ну просто, что можно быстрее стартовать. Ну я думаю, мы по времени, >> да, друзья. К сожалению, время этой сессии закончено. Я напоминаю, что можно
[01:50:48] будет пото отдельно поговорить с Валерием. А мы должны выбрать вопрос, который получит подарок. Все вопросы классные, но здесь было бы нечестное конкурентное преимущество. Здесь было три вопроса, а там один, поэтому я дам за один вопрос. Хорошо. Благодарю. Всё, >> Валерий Бабушкин. >> Друзья, по нашему плану сейчас будет ещё
[01:51:12] один доклад, а позже пятнадцатиминутный
Доклад 4: Игорь Котеньков («Сиолошная») — «Похожие оценки, разные истории: о бенчмарках LLM» (01:51:15)
[01:51:16] Следующим нашим спикером мы свяжемся через Zoom. Да, я понимаю, многие здесь пришли, чтобы немножко социализироваться. И из зумим мы так каждый день, но тем не менее. А возможно его личность вас более порадует. А на Zoom к нам присоединяется автор канала Сеолошна Игорь Котеньков. Кто знает этот
[01:51:38] канал, поднимите руки. Отлично. Отлично. Я думаю, в дальнейших представлениях Игорь не нуждается, но тем не менее, да, тем не менее ML Engженер, а KG Competition Master, также Head of AI Vanlion AI и lead ML инженер Валибараша. А с нами на связи будет Игорь, буквально сейчас подключается.
[01:52:02] Доклад называется Похожие оценки, разные истории. Давайте посмотрим, что получится. [музыка] >> Всем привет. К сожалению, я не смог прилететь к вам, и поэтому мне приходится рассказывать вам онлайн, но надеюсь, это не станет существенной >> А на самом деле я просто забоялся конкуренции с Валерой на одной сцене и
[01:52:31] поэтому решил самуустраниться. Как вы уже рассказали, я буду рассказывать про бенчмарки. И мой доклад называется: “Когда одинаковые оценки рассказывают разные истории”. Всего будет три больших блока. Сначала я постараюсь описать большую картину того, почему мы вообще переживаем про бенчмарке, почему мы на них должны смотреть и какие, а разные
[01:52:49] выводы мы можем заключать. Дальше я расскажу про свою историю, как я смотрю на разные бенчмарки, как я делаю какой-то анализ и пытался найти >> И прошу прощения, могу я маленький вопрос зал задать, как вам слышно? Всё Всё, Алматы на связи. Пожалуйста, слово вам великолепно. И третий блок будет про
[01:53:08] выводы, которые мы можем взять из истории, которые я вам расскажу. Перед тем, как мы перейдём к сути доклада, давайте сделаем маленький интерактивчик. Я бы хотел увидеть зал. Поднимите, пожалуйста, руки те, кто в последние несколько месяцев, скажем, последние полгода хоть раз смотрел на оценки на
[01:53:23] разных бачмарках открытых и закрытых моделей и пытался взять для себя какие-то выводы, что ту или иную модель имеет смысл использовать. Отлично. Я вижу хотя бы несколько рук. Это вроде чуть меньше, чем количество людей, которые подписаны на мой канал. Поэтому надеюсь, что хоть кому-то будет
[01:53:38] этот доклад интересен. А справа на картинке вы видите пример того, как совсем недавний релиз модели 3.1 был презентован самой компанией. Они говол второй твит в цепочке твитов анонсов. И они вот показывают, что на достаточно свежем и тяжёлом бечмарке Terminal Bench 4 их модель существенно обходит
[01:53:56] конкурентов, включая пропритарные решения от Open и Antropic. И она это делает не только а по лучшему качеству, она это делает более эффективно. Она это делает дешевле, чем OPUS 5.5 или модель от Openi GPT6 Astra. Но когда вы видите такую картинку, насколько вы можете ей
[01:54:11] доверять? Собственно, на этот вопрос я и попытаюсь дать ответ. Перед этим, как я говорил по плану, давайте сначала поговорим, почему вообще должны смотреть на оценки на бечмарках и почему мы за это переживаем. Ну, самый простой и персональный, наверное, а самая простая причина – это то, что мы хотим
[01:54:28] разобраться, что же нам самим использовать. Будь то ПД-проекты или рабочий проект. Или, быть может, вы хотите использовать не агент, а использовать модель как а какую-то часть системы, про которую рассказывал Валерий. И она должна делать выводы, рассуждать, ризанить, как сейчас принято говорить. И мы можем
[01:54:45] просто посмотреть на некоторый набор бенчмарков и понять, что нас привлекает. Может быть, мы ищем какой-то оптимальный трейдов по качеству и стоимости, может быть, нас интересует скорость и так далее. Вторая большая группа, о которой обычно меньше думают – это то, что большое количество бенчмарков
[01:54:59] используется для предсказания трендов в индустрии. А наверняка вы слышали про разные истории вроде i 2027, где берутся сценарии развития моделей. И в основном эти сценарии заточены на то, чтобы экстраполировать оценки моделей на разных мэтчмарках, на каких-то определённых наборах и попытаться понять, что же это приведёт в реальном
[01:55:21] мире, когда модели достигнут определённого порога. И третье, поскольку я – это очень горячий топик, он очень активно обсуждается в политике. Вот на неделе прошли выборы и губернаторов, и сенаторов, и кого только не выбирали в США. И даже в очень больших крупных штатах политики буквально в первый день после
[01:55:37] избрания говорили про то, что я – это очень важный для них топик. Они будут обсуждать, а, и моратории на постройку дата-центров, и, э, приоритет развития локальных моделей, и что они только не обещали обсуждать, ну, политики, что с них взять. И в этих обсуждениях очень
[01:55:52] важно не быть оторванным материальности и понимать, где же находятся модели конкретного государства. Понятно, что для американцев важно, что происходит в Америке, для китайцев важно, что происходит на их локальном рынке. Ну а весь мир смотрит и пытается понять, а что же им делать в этой ситуации.
[01:56:07] И тут начинается моя персональная история. Ровно год назад, э, 6 ноября двадцать пятого года вышла модель Kika 2 Thinking. И Moons Shot компания представляла её какр-модель, которая способна соревноваться с GPT5 на тот момент актуальной моделью, и моделью Sonet отOPC. И кроме того, она была
[01:56:24] дешевле. И по бнчмаркам, которые компания опубликовала, выходило, что модель действительно как будто бы находится на одном уровне, даже не чуть-чуть отстаёт. И это немного не соотносилась с моей картиной мира о том, как я считаю, как должно происходить развитие больших языковых моделей. И у
[01:56:38] меня было ощущение, что модели скорее должны отставать. Поэтому я сделал такое предсказание. В следующие 2-три месяца после релиза для нас должно стать очевидно, что на самом деле эта модель ни одного уровня и что эта модель отстаёт, особенно если мы будем смотреть на бечмарки, которые выходят после
[01:56:53] релиза. Таким образом, мы можем подождать какое-то количество времени, сделать ретроспективный анализ и посмотреть на честную оценку на бенчмарках, на которые невозможно переобучиться, потому что они выходят после релиза. А для открытых моделей, если бы вы скачали Веса, понятно, что если вы их никак не меняете, то, ну, по
[01:57:08] идее, вы их никак не добучаете на конкретную задачу. И это дало мне идею о том, как можно подойти, э, атакого эту проблему и попытаться сделать какую-то базовую аналитику. В следующие 3 месяца я собрал 16 бенчмарков. И каждый из них, конечно, имеет большое количество
[01:57:25] рисков. У них могут быть разные системы оценки. Где-то чуть больше шума, где-то чуть меньше шума, где-то очень много самплов, поэтому доверительный интервал маленький, где-то самплов мало, поэтому доверительный интервал большой. И я попытался какой-то достаточно простой подход сделать и просто посмотреть на точечную разницу в оценках между ми с
[01:57:43] одной стороны и с другой стороны моделями, с которыми авторы сравнивались, GPT5 и Clots CNet 4.5. Ну и как вы видите по картинке, в правой части на тринадцати бенчмарках из шестнадцати Кими проиграла. Где-то разрыв достаточно маленький, например, на крипти или постch мы видим, что разница в пределах
[01:58:00] 3% может быть даже и погрешность. На двух мент статистически значимой разницы, и на одном бенчмарке Кими выигрывает. Но если мы из всех всесех всех бенчмарков выделим те, которые специализируются на agentic coding, то есть на агентах, которые пишут код, то мы видим, что проигрывает на шести
[01:58:16] бенчмарках из шести. При этом есть разница более чем в 10%. А если мы посмотрим на все бенчмарки, то такая разница в более чем 10% наблюдается почти в половине семи из шестнадцати, что, на мой взгляд, лишь подтверждает тезис, что модель на самом деле не
[01:58:30] является паритетом и она немножко отстаёт и таким образом нарушает нарратив, который, по крайней мере, некоторые люди пытались а навести. А, но мне было интересно также посмотреть и на относительную разницу, где я бы посчитал, а, разницу в оценке относительно бейзлайна, который у меня мог бы быть. То есть давайте представим,
[01:58:48] что я пользователь проприатарных моделей. Я пользуюсь либо моделями Open, либо моделями Antropic, поэтому их число, их метрика в знаменателя. И я пытаюсь ответить для себя на вопрос, если я с этих моделей перейду на модель KIA, то насколько просядет мой пользовательский опыт. Поэтому я беру
[01:59:02] относительную метрику. И здесь, по сути, те же самые бенчмарки, просто пересчитано этот по формуле, которая проведена на слайде. И мы видим, что а разница очень существенная. И конкретно в кодинге просадка на 25% в среднем. То есть это означает, что четверть задач, которые я мог решать с моделями от
[01:59:20] Openна или Antropic, модель KI не решала. По-моему, это очень большой удар удар по пользовательскому опыту был бы, по крайней мере, в том случае. И когда я наконец-то собрал все эти результаты, опубликовал их, я подумал, что я сделал какую-никую более-менее объективную аналитику, а я был уверен, что,
[01:59:36] наверное, это станет хорошим датапоинтом в истории про то, что на самом деле сохраняется между китайскими, который сложился, это то, что, ну, Кими уже 3 месяца, никто не хочет на неё смотреть, она не интересна. Во, сейчас выйдет хайповая модель deepsc V4. А от тех самых дипсик, которые перевернули
[01:59:53] весь американский рынок. Помните, в январе двадцать пятого года они выпустили модель, рассуждающую R1, и все подумали: “Вот сейчас китайцы выстрелят, они уже на пороге”. И поэтому все ждали Deep PSI V4 и Кими никому не была интересна. И я повторил это упражнение. Я подождал 3 месяца, собрал 30
[02:00:09] бенчмарков, все из которых были релизнуты после выхода Рипсика. И в данном случае сравнение происходит с моделью GPT 5.5. Это модель, которая вышла у Openi до выхода дипсика. И поэтому кажется, что их сравнивать честно. Ну и как вы видите по картинке, модель, китайская модель проиграла в 20
[02:00:25] бенчмарках из 31. В среднем она проиграла 18%, это абсолютная разница. И также она проиграла на одинцати бенчмарках из двенадцати по кодингу. И при этом на кодинге средний проигрыш был уже 50% относительный, что означает, что половину задач, которую вы могли решить с GPT 5.5, вы не смогли бы решить с
[02:00:45] дипсиком. Хотел я сделать маленькую сноску. Когда я говорю китайские модели или открытые модели, я в целом эти термины использую в контексте этого доклада как взаимозаменяемые, потому что лучше открытые модели, они китайские, и почти все китайские модели, кроме самых больших квенов – это открытые модели.
[02:01:02] Поэтому анализ сфокусирован больше на китайских открытых моделях. И мне кажется, опять же, это очень хороший, а, хорошее доказательство того, что модели не были паритетными, они на самом деле проигрывают. И очень важно отдавать себе отчёт о том, что есть некоторая разница. Но понятно, что
[02:01:18] модель DПК, например, гораздо дешевле. И там, где вы не могли использовать их для каких-то сценариев просто потому что вам казалось, что это будет стоить очень большое количество денег, модели псика могут стать отличным выбором. Но когда вышел этот анализ, в тот момент уже было принято говорить о Kimка 3,
[02:01:33] потому что в июле она вышла. Самишот говорили, что, точнее, очень многие люди говорили, что это ответ китайский модели Fable от Anthropic или Mythos, про которую антропик сами рассказывали очень страшные истории, что она может находить огромное количество взломов, уязвимостей. И представьте, если бы такую модель выложили в Open Source, что
[02:01:49] бы могло начаться? Поэтому мы возвращаемся к этой истории третий раз и смотрим на бечмарке, как же сравнивается Мика 3 против Able. И вы не поверите, история ровно та же самая. Мне удалось собрать, по-моему, 80 или 90 бенчмарков, но конкретное сравнение против Fable было в сорока из них. И, как вы видите,
[02:02:06] на трёх Киме выигрывает, на одном выигрывает существенно на более чем 500%. Это потому, что бейelйн у модели антропик очень низкий, ибо большая часть запросов была отпланенафти фильтрами. На двух бенчмарках, здесь они отмечены серым цветом, а она была примерно вровень, не было статистически значимой
[02:02:23] разницы между FЛ и Kми. И на тридцати пти она проиграла. И средний гэп был 15% почти, а медианный 25%. Это по всем бечмаркам, не только по готингу. Что опять же означает, что на широком наборе задач Кими всё-таки отстаёт от фронтира американского. И это
[02:02:40] очень важно держать в уме, когда вы думаете прозкейс и про то, где вы можете использовать разные модели. А, возможно, у вас возник вопрос: “Игорь, вот ты сделал такой анализ, там это продлилось несколько недель, несколько месяцев, но может быть это просто твой персональный баяс, может
[02:02:54] быть, на самом деле, э, это заключение, которому ты хотел прийти, поэтому ты к нему пришёл”. А я задавал себе этот вопрос, и моё ощущение, что мне удалось избежать этого Баяса, потому что есть много других независимых агрегатов бенчмарков, которые пытаются ответить на похожие вопросы. И вот здесь как пример,
[02:03:09] это бенчмарк сайт artificial analysis. Они делают свои бенчмарки закрытые, на которых невозможно переобучиться. Они собирают открытые бенчмарки и поддерживают их. Например, авторыв какие-то авторы выпускают бенчмарк, но они готовы тратить свои средства, чтобы прогонять каждую новую выходящую модель. И они дают их этот benchmark artificial
[02:03:27] analysis, и они уже этим занимаются. Всего у них больше десятка бенчмарков. Они агрегируют скары и строят некоторое аранжирование между моделями. И после выходами IC3.1 складывалось ощущение, что эта китайская модель действительно находится где-то в топе. Посмотрите на верхнюю часть картинки. Она совсем чуть-чуть отстаёт
[02:03:45] от опуса Иoneta. Идёт вплотную с Fable 5.1, но и даже немножко обходит её, но Fable, извините, это очень мощная модель и существенно обходит модель Astra Topen. И в конце октября artificial analysis обновили свой индекс. Они отказались от большого количества бенчмарков, которые долгое время уже
[02:04:03] оставались открытыми. Например, GPQA, который в паблике уже был больше года, и как следствие каждый на нём может натренироваться. Они добавили большее количество закрытых бенчмарков, которые до этого нигде не светились и, а, как следствие, опять же, на них невозможно было переобучиться и перестроили своё
[02:04:18] ранжирование. И, как вы видите, картинка изменилась в корне. Оказывается, что Кими гораздо менее сильная модель, чем нам обещали. И модель Astra вплотную конкурирует с сильнейшей моделью Antropic и даже немножко входит в Fable 5.1, что, казалось бы странно, потому что опять же очень часто я, по крайней
[02:04:37] мере, слышал сентимент, что модель Fable это гораздо более сильная модель, чем модель Openy, но вот на таком независимом обсрезе бенчмарков а это не подтверждается. И я надеюсь, мне удалось вас убедить, что п существует, п реален и не нужно вестись на тот нарратив, который вы можете видеть в твиттере, в
[02:04:55] социальных сетях или тот, который пытаются продвигать разработчики модели, когда они говорят: “Ну вот мы идём почти в ровень с кем-то”. На самом деле зачастую эти выражения не выдерживают никакой критики и проверки временем. А давайте мы попытаемся ответить на вопрос, почему так происходит. Почему мы
[02:05:11] видим, что если мы посмотрим какие бычмарки, выходящие после релиза модели, то они существенно начинают проигрывать? Возможно, разработчики модели переобучаются, возможно, они занимаются плохими практиками, они прямо берут, размечают тестовые данные, добавляют их тренировочную выборку, и поэтому модели показывают себя хорошо. А я бы не спешил
[02:05:29] с выводами, и я бы это не тот вывод, к которому я пришёл. Я бы не хотел говорить, что у прямо повально у всех разработчиков есть какие-то скрытые инцентивы. Вернее так, скрытые интивы есть, но они не обязательно плохие. И я думаю, что в большей степени эта разница
[02:05:42] относится к процессу разработки и скорости разработки, что у американских пропритарных разработчиков уже было некоторое преимущество, и они просто продолжают его сдерживать, даже если у вас темп разработки сохраняется. А моё видение тако здесь маленький дисклеймер, я не работал в Frontier компаниях, которые занимаются разработкой LLM с
[02:06:00] нуля, и поэтому я здесь могу говорить просто свои догадки, но мне кажется, это достаточно вероятная версия. А мне представляется, что компании вроде Open Anropic инвестирует огромное количество средств и усилий в то, чтобы поддерживать широкий набор своих собственных бенчмарков, на которых они сделают трезвую оценку качества моделей
[02:06:17] и не пытаются на них а оверфитнуться, чтобы самих себя не обмануть. И эта выборка у них гораздо шире. Например, у них может быть 100 бенчмарков, в каждом из которых по 10.000 вопросов. А у китайских конкурентов может быть, скажем, 30 бенчмарков, и в каждом из них
[02:06:31] по 2.000 вопросов. И поэтому можно, если это правда, то можно прийти, наверное, к заключению, что американские компании просто более ровно расширяют навыки моделей и оптимизируют не какой-то один узкий набор, но более широкий, более репрезентативный. И он, как следствие, выражается в том, что на бэтчмарках,
[02:06:48] которые выходят позже, они, как правило, сложнее, они более необычные, то есть они становятся менее тривиальными для моделей, а пропаритарные модели не просаживаются так сильно. можно привести такой концептуальный экзампл, пример. Пару лет назад вышел бенчмарк SVE Bench, и у него было много фолоапов и продолжений, много разви
[02:07:10] развилок, но базовая идея очень была проста. Давайте мы возьмём весь GitHub, соскрапимся в с него все публичные репозитории, все комиты, все полуреквесты, все issues, в которых описываются проблемы, и попытаемся из этого сделать бенчмарк, потому что зачастую у открытых проектов есть, например, а бактрекер, и на нём люди
[02:07:27] пишут: “Я сделал то-то, то-то, и у меня что-то сработало не так, как я ожидал”. Это баг, я прошу вас исправить. И затем к этому ишю прилинкован некоторый пулреквест, в котором сказано: “Я исправил такую-то вещь, а таким-то тестом я её проверил”. А вот сам патч с
[02:07:41] исправлением. И отсюда понятно, как можно очень легко сделать бенчмарк. Но это может быть сделать достаточно нетривиально с технической точки зрения, но это понятный последовательный технический план. Мы сначала делаем первое, потом второе, потом третье, и через некоторое количество усилий мы приходим к тому, что такой набор данных
[02:07:56] у нас есть. Мы можем на нём обучаться, можем на нём верифицироваться. И вот такой pйплайн, я утверждаю, что frontier компании вроде Open Tropic и Google, они могут масштабировать гораздо больше, потому что у них банально больше ресурсов и больше людей. Они это могут сделать не только с гитхабом и не только
[02:08:12] с кодингом, но и с большим количеством других доменов. В то время как китайские разработчики, например, долгое время фокусировались исключительно на котинге, сейчас они, например, стали больше фокусироваться на фронтенде, на 3D-моделировании, назнес applications. И, грубо говоря, они просто смотрят, куда идёт фронтир, и пытаются прийти в
[02:08:28] ту же точку, в то время как фронтир уже сдвинулся и движется дальше. И в некотором смысле это создаёт фидбэк-луб. Если ваши модели всё время немножко лучше, то вы начинаете раньше понимать их ограничения, что работает, что не работает. Вы собираете огромное количество логов со всех пользователей.
[02:08:43] И понятно, почему здесь, например, Open может быть существенное преимущество с более чем миллиардой, миллиардной аудитории. И начинаете составлять новые внутренние бечмарки, на которых оптимизируете модели, что приводит к тому, что на вещах, о которых индустрия ещё не подумала, вы уже можете улучшить свою модель. И, как следствие,
[02:08:59] ретроспективный анализ покажет, чтоная модель будет лучше. Собственно, что мы видим на примерах, которые я показывал. И мысленно можно себе представить всевсевсе задачи, которые можно отправить в модель, все промты, как некоторое распределение с очень длинным правым хвостом. И я утверждаю, что большая часть бенчмарков, по крайней
[02:09:17] мере, выходящих там в последние полтора-д года, они были сосредоточены в основном в левой части, в самых популярных на доменах и в самых популярных наборах задач. Например, условно пару лет назад это могло быть помоги мне написать какой-то имеil, а там год назад это могло быть помоги мне
[02:09:31] написать что-то на Питоне или сделать какой-то аналитический запрос в CQL. Но потом начинают появляться всё более специфичные специфичные запросы от давайте напишем какой-то веб-компонент на таком языке программирования, как Cobл, или давайте нарисуем SVG картинку пеликана на велосипеде. И понятно, что если модель никогда с этим
[02:09:50] не сталкивалась, то ей наверняка будет очень сложно это сделать. И получается, что фронтиры компании, они быстрее доходят до этого крайнего хвостарапределения и начинают от него откусывать потихонечку, в то время как открытые модели запаздывают. И это моя ментальная модель того, почему я вижу, что этот ГАП существует и он скорее в
[02:10:07] ближайшее время продолжит сохраняться. А я уже сказал, что я не вижу никаких, а я не утверждаю, что этот гэп существует и отставание американских ой китайских моделей существует исключительно из-за того, что а они переобучаются на бенчмарке. А я думаю, что это не совсем правда, но тем не менее это не означает,
[02:10:26] что этого вообще нет. И вот буквально на неделе мне попалась на глаза такая сдельская работа, где авторы взяли очень свежий уже упомянутый терминал BНCH 4.0. Мы его видели с вами на втором слайде, если помните, там, где показывалось, что KI C 3.1 была лучше опуса Астры и была
[02:10:42] более эффективной с точки зрения денег. Она делала те же задачи дешевле. И авторы сделали следующее. Они взяли те же задачи, но немного изменили условия выполнения и добавили новые ограничения или убрали некоторые из ограничений. И дали это разным моделям. И почти все модели, кроме одной, следовали этим
[02:10:59] новым инструкциям, потому что у них не было никакого никакой предрасположенности к этим задачам. Они эти задачи видели в первый раз. Нока 3.1 начала игнорировать эти инструкции и возвращалась к инструкциям, которые модели не показывали, но они были в исходном бенчмарке, что, на мой взгляд,
[02:11:12] указывает на то, что модель уже знакома с этими задачами, она знакома с критериями оценки оценки на этих конкретно этих запросах, и поэтому качество, скорее всего, завышено искусственно. Так что даже несмотря на то, что объективно я не думаю, что здесь какой-то малийший контент, всё-таки
[02:11:28] иногда это наблюдается и всё ещё немножко завышает оценку моделей. А и мы подходим к концу моего доклада. Я очень бы хотел саморизовать это следующими словами. А давайте не забывать про то, что benнмарк скоры переоценивают или перепродают нам модели, особенно открытые. Я утверждаю, что для открытых это гораздо более а
[02:11:47] большая проблема, чем для закрытых моделей. Но самое главное, услышате меня правильно. Я не говорю, что вам не нужно использовать открытые модели или конкретно китайские модели. Я ничего против них не имею. Пожалуйста, продолжайте их использовать, особенно если они подходят для вашего кейскейса и закрывать все ваши проблемы. И всё, что
[02:12:00] я говорил, оно, конечно же, относится, а, ко всем открытым моделям. И американским, например, Нетрон от Nvidia и европейским, например, если вы посмотри, вернётесь на слайды с арtificial анализ с бенчмарком, вы увидите, что модели там тоже гораздо, а, сильнее просели, открытые американские, европейские по отношению к FRН Europe i
[02:12:17] Antropic. И ещё что важно понимать, это то, что я не говорю, что эти открытые модели хуже во всём. Для разработчика открытых моделей вполне можно найти какой-то домен, где разработчик решил: “Мы здесь сделаем большой фокус на сбор данных, мы построим собственный пайплайн, мы сделаем разметку, мы
[02:12:33] улучшим качество, мы сделаем несколько итераций и мы догоним и перегоним фронтир.” Например, 3 была, на мой взгляд, лучше модели Fable в генерации 3D визуализации на сайтах. Или, по крайне мере, они были прямо ровень в ровень. А поэтому какие-то из ваших кейсов, если они попадают в то, на чём
[02:12:51] сфокусировались разработчики открытых моделей, могут вполне быть закрыты ими за гораздо меньший бюджет. Но и последняя вещь, которую я хотел сказать, это чтомарке рассказывают всю историю. И
Q&A сессия с Игорем Котеньковым (02:13:00)
[02:13:02] самым лучшим способом понять, что вообще происходит с моделью, насколько вам подходит, это попробовать с ней пообщаться, передать в неё свои запросы и понять, что она вам отвечает, а бечмарки оставить для какой-то более серьёзной аналитики и На этом у меня всё. Я готов ответить на
[02:13:18] несколько вопросов. Я не знаю, сколько времени у меня осталось. А, и пока мы повтор. И >> вопросы из зала. Вы видите зал или мне выбрать самому ответы? >> Я не смогу выбрать, извините, но я вижу. >> Игорь. Спасибо большое за ваш интересный доклад. А вот что вы думаете насчёт
[02:13:45] того, то что, да, китайские компании могут там читерить на вот этих бенчмарках, но вы сравниваете, получается, открытые, ой, ну, про приоритарные модели с открытыми моделя, которые зафиксированы. То есть про приоритарные модели могли, например, уже тоже дообучиться. То есть, а та же, например, Астра, которой я пользовался
[02:14:07] там пару недель назад, и сегодняшняя Астра, они могут быть разными. И Open Ai там может не афишировать это, что они там зафатюнили на новых этих. Что вы думаете по поводу этого? >> Я думаю, что такое если происходит, то достаточно редко. Я могу допустить, что
[02:14:23] так происходит, например, во время аб-тестов, когда подготавливается новая модель и часть трафика пересылается, например, на Astra 6.2 там, которую ожидают вот совсем скоро. Но я думаю, что это не вносит существенной разницы в выводы и в данные, которые я собрал. А это в первую очередь. И вовторую, многие
[02:14:38] бычмарки собираются в относительно сконцентрированный промежуток времени. И мне кажется, что вероятность того, что условно Астра набирает, набирает, набирает знания со временем, она минимальная. Я всё-таки верю в то, что, то есть, я делаю некоторое предположение, я не могу его проверить, а что модель остаётся в большей степени
[02:14:54] статичной. Насколько я знаю, ещё одну вещь хотел добавить. Насколько я знаю, очень большое количество людей, а, страдают паранои. Говорят: “Вот опус, который я поль использовал вчера и опус, который используют сегодня – это разные модели. Моя модель сегодня работает гораздо хуже. модель квантовали или
[02:15:07] порезали или что-то с ней сделали. А я очень большой противник этой идеи. Мне кажется, это самовнушение и как бы просто не наши модели недисттермистические и они могут один раз сработать, другой не сработать. И а я не видел ни одного хорошего анализа, который показывал бы, что вот, например,
[02:15:23] мы взяли бенчмарк, замерили его там в течение месяца и увидели какую-то деградацию или прирост качества. Всегда обычно нестатистически значимая разница. >> Пожалуйста, следующий вопрос. >> Будьте добры. А, спасибо за доклад. Игорь, вопрос, а можете прокомментировать как-то более слабые модели, то есть, условно говоря,
[02:15:47] Terra Sonet и как они сравнимы с китайскими >> А, по памяти, честно говоря, нет. Можем вернуться на слайд icial analysis V5 и посмотреть, что terra и Sonet находятся всё ещё выше, чем свежая модель от Mus Fable 5.1, чем Kimi, а, и вот, например, хайпу, очень
[02:16:09] дешёвая модель, обходит почти весь Open source и Groк 4.7 от XAI. А я не уверен, что прямо стоит на 100% доверять этому рейтингу, но я в целом, наверное, согласен больше с таким мнением, что, скорее всего Тера во многом сопоставима с почти всеми, если не всеми описорсными
[02:16:27] >> Последний вопрос из зала. Кто бы хотел? Будьте добры сюда. >> Так, здравствуйте, Игор. Меня зовут Черхан. Я хотел спросить уже, ну, связанный вопрос не слмо, который сегодня, да, вот обсуждаем, а больше про поисковую системы. Вот хотел бы узнать сейчас на стыке ЛМА, как развивается
[02:16:50] поисковой системой. Но вот раньше был кандидат-генератор, потом ранкинг и потом, возможно, реранкер, да. Ну и наоборот. Вот интересно было бы узнать сейчас, как всё развивается на стыке >> А я бою, что я не могу ответить на этот вопрос. Это выходит из сферы моей
[02:17:07] экспертизы. Я очень поверхностно это знаю. Условно, например, Google делает Search, где агенту просто предоставляются разные инструменты и он может делать сематический поиск, он может делать синтаксический поиск. И на основе выборки, которую мы обычно готовит другая более дешёвая и быстрая модель, а, например, делает самре
[02:17:25] страниц, которые попадают обратно в контекст модели, а модели уже приводят к выводу о том, что отвечать. Но это достаточно поверхностный ответ, и, как я сказал, я не уверен, что могу сильно глубоко капнуть. >> Игорь, давайте выберем, а какой вопрос вам наиболее понравился. Автор его
[02:17:40] получит приз. >> Первый вопрос мне очень понравился. Спасибо большое. >> Первый вопрос. Его автор получает приз. А мы благодарим Игоря. Огромное спасибо за уделённое время и за знания, которыми вы делись. >> Спасибо, что пригласили. Хорошего дня >> Всего доброго,
Кофе-брейк / Перерыв трансляции (02:18:00)
[02:18:01] друзья. Сейчас у нас небольшой перерыв, буквально 15 минут. Э, на экране вы видите таймер, он будет отсчитывать. После перерыва у нас тут ещё три интересные презентации, а затем увлекательная активность и так далее. Я так понимаю, часть людей уже начала использовать фуршет. Пожалуйста, всё для
[02:18:21] вас. Встречаемся через 15 минут. стараться всех Достара, мы продолжаем нашу встречу. Прошу всех рассаживаться. Прошу всех рассаживаться. Как только места будут заняты, мы начнём. Присаживаемся, присаживаемся. Я также напомню, что после трёх выступлений у нас будет свободное время, также фуршет, много активности и интересного, поэтому всё ещё можно
[02:38:04] успеть сегодня. Рассаживаемся. Э, поднимите руки, кто из По заявкам было очень много. Каспижумака проходит. Я думал половина города сейчас там. У нас потихоньку люди собираются. Какое из выступлений первой сессии больше всего понравилось вам? >> давайте похлопаем каждому из тех, кто выступал сегодня. И также
[02:39:08] сейчас три выступления, все вживую. Больше зума не будет, потому что, я так понял, зум очень сильно плохо влияет на дисциплину и желание сидеть в Мы уже поднимаемся. Для человека, который очень плохо разбирается в теме, какой лучше всего >> для самых простых потребностей около
[02:39:43] наверное, мы с вами отдельно поговорим после выпуска. Проходим, проходим. Можем начинать. Итак, друзья, вторую часть нашего вечера начнёт Head of Antiфу в Hixfield Роман Ященко с интереснейшей темой. Я дал агенту кнопку бана на 50.000 аккаунтов. Я бы на месте опаздывающих с Романом не
[02:40:10] шутил. Человек умеет банить.
Доклад 5: Роман Ященко (Head of Antifraud в Higgsfield AI) — «Я дал агенту кнопку бана на 50 000 аккаунтов» (02:40:14)
[02:40:14] Итак, друзья, на этой сцене Роман Ященко. Капец, вас много тут. Э, очень приятно, что вы пришли. Меня зовут Рома. Ребята здесь вчера с 6:00 вечера готовили зал, декорации, поэтому супер наслаждайтесь. А я расскажу вам короткий доклад. Вот я в Хикслде ответственен за антифрод. И
[02:41:04] сегодня расскажу получается так слайды. Так, обратно. Так вот, э сегодня расскажу о том, как мы потеряли 700.000 долларов за 4 дня. Как после этого решили строить систему почти с нуля. Зачем же я, собственно, дал агенту кнопку бана на 50.000 аккаунтов и кого нам до сих пор не
[02:41:32] хватает? О’кей. Э, давайте начнём. Поговорим про антифрод. Соответственно, так обычно выглядит антифрот большой компании. Ээ очень много людей. Кто-то работает ночью, кто-то утром, и одни передают дела Кто-то размечает, кто-то пишет правила. И вот так это всё по циклу. И обычно такой отдел делят на направления.
[02:42:02] Это аналитики, эмilльщики, платформа, правила подзапуски, э дежурные ассеры, апелляции, исследователи, очень много ребят. И официальная статистика, в революте в 2023 году этим занималась почти треть компании, то есть 2,500 человек. И ребята, которые приходят к нам на собеседование, я лично очень часто собешую, там каждый день по
[02:42:29] несколько раз, они, как правило, задают один и тот же вопрос. Э вопрос это буквально дословно с собеседования. Э-э, и вы хотите, чтобы весь антифрод продукта закрывал один человек. И здесь такой прозаичный ответ. Э-э, ответ, собственно, да. И нанимаем как раз затем, чтобы это, да, осталось в
[02:42:52] прошлом. Вот. Потому что наш отдел антифрода в июле выглядел так. Это я. Спасибо за фотографию моему коллеге Бахтияру. Он очень классно Соответственно, в середине июля я пришёл в Фикс, то есть совсем недавно, и был, по сути, первым человеком, который занимается фултайм антифродом. И из
[02:43:17] восьми ролей была занята только одна, как здесь можно видеть. Но вопросы прилетали по всем там, почему у нас нет ML-модельки, почему нет платформы. Вот. Но антифрот при этом, важно сказать, что до этого был просто был не свой. То есть платежи проверял платёжный провайдер регистрации,
[02:43:39] соответственно, провайдер авторизации, трафик, который к нам поступал на предмет, это боты или нет, провел проверял ещё один провайдер. И, соответственно, это было правильное решение для стартапа, который растёт настолько быстро, э купить э делать продукт. Но хотя команда продуктовой аналитики была сильной, но поведенческого антифрода у нас не было.
[02:44:04] И как бы никто не смотрел на то, как аккаунт себя ведёт. Вот как на возможный И ответственная история получается, э через 10 дней после моего выхода продукт запускает академия. Это релиз, где ты можешь пройти, э, получается курс по AI видео и получить в конце дорогую
[02:44:32] Э курс задуман на часа два, то есть прошёл, э, какие-то лёрнинги получил и идёшь генерить. Но тут такой момент, что фермы его не смотрели. Они прошли его скриптом, то есть автоматизировали, так что скрипт проходит курс, забирает генерации и дальше уже используют это в своих
[02:44:57] каких-то целях, о которых мы можем только догадываться. То есть забирает регистрацию, забирает генерацию, регистрирует следующий аккаунт и так по кругу. И дальше 4 дня, э, соответственно, курс за эти 2 недели прошло около 130.000 тысяч аккаунтов. Ээ это нам обошлось в 700.000 долларов на
[02:45:20] генерации. И после этого всего лишь 42 аккаунта законвертились в подписку, казалось бы, да? Э не было ни одного алёрта, то есть ну мы спокойно себе живём, как ээ э- ночему вообще так произошло? Потому что на нашем масштабе там 700.000 долларов за 4 дня. Это не
[02:45:44] супер многое, и оно просто растворилось в общих тратах. Но, э, там, почему никто не заметил, потому что все спали и узнали по звонку в воскресенье ночью, то есть от нашего леда. Кажется, мы теряем деньги. После этого там в течение получаса все были в офисе и разбирались
[02:46:05] с этим, да? Э и ночь после звонка выглядела так. за ночь собрались, поняли вообще, как работает этот скрипт, нашли закономерность и составили несколько правил. И вот одно из правил по нему статистика была такая, что оно накрывало 80% втрат и всего банило честных пользователей. Соответственно,
[02:46:30] какое именно правило, я не скажу, потому что наверняка на Ютубе нас смотрят те самые э фермы. Но в тот же день появился у нас первый сторож, который уже был направлен на алертинг, да, и в следующий раз там, чтобы следующую академию увидеть до звонка и в воскресенье ночью не
[02:46:53] работать. Вот. Но, э, мы свественно поняли, что систему надо строить, э, и дальше мы так жить не можем. Но как её строить, когда ты по сути в отделе один? И, естественно, я пошёл общаться, э, встретился с лидом очень большой компании, получается Head of Antif. Ээ
[02:47:16] вы 90% зала, я уверен, знаете эту компанию. Она и в Казахстане присутствует, и ещё много где. Э, но, э, получается, поговорил с ним и, э, он рассказал, что весь антифрот у них сейчас это полтора-два человека, да? То есть в прошлом месяце работы это было 10
[02:47:37] человек и 2 года, чтобы построить платформу. А сейчас он работает в ястартапе, который, опять же, вы все знаете. И там, чтобы у них сделать такую же платформу, ушло два человека и 2 месяца. Да, агенты, казалось бы, решают всё. Вот. Но для меня это было не
[02:47:55] открытием, так как мы тоже Super AI Native в Фикслде. И сейчас я на следующем слайде покажу, почему. А получается вот пример, почему мы итив здесь довольно знакомый интерфейслака, наверное, для многих. И здесь наша классическая переписка. То есть вот мой агент пишет агенту моего коллеги там:
[02:48:21] “Привет, ночной сторож поднял флаг на завтрашний запуск и прежде чем будить людей, хочу сверить контекст”. Там прикрепляют какой-то контекст. Это если что не реальная история. Так у нас примерно каждую ночь работает. И, соответственно, ээ клодма отвечает на это: “Да, запуск там в 10 утра по
[02:48:42] Алматы. Э, капы поставили, всё готово, в целом всё норм”. И тегает клод нашего третьего члена команды эмльщика. Как у нас с моделью? На что он отвечает: “Да, с моделью всё норм”. Распределение скоров как у честных пользователей. Людей будить нельзя. Потом там ещё 12
[02:49:03] ответов в тре, но они разобрались. О’кей. И, ээ, если говорить про то, насколько мы AI native, да, здесь есть какой-то вывод. А если говорить на то, насколько мы AI Native, можно это посчитать. Я предлагаю вам отсканировать этот QR-код. Это ведёт на того же
[02:49:26] Telegramбта, где вы регистрировались, и там можно поставить, сколько в октябре на лмке тратил средний сотрудник Хикс. Да, тут для контекста, чтобы лучше было понимание, о чём вообще число. Это идт, и GPT, и там лэмки по пишке. Но тут важно понимать, что, во-первых, это не
[02:49:48] только разработчики, да, это и дизайнеры, и креативщики, ну, в общем, и там операторы поддержки, все члены команды. Это первое. А второе, наверное, то, что, ну, здесь, естественно, не включены траты на лмки, которые идут на наших пользователей. Вот, соответственно, сканьте QR, ставьте ответ в долларах и самому точному мы
[02:50:12] подарим, точнее, мой агент подарит подписку Ультра за 300 баксов, и вы сможете супер протестить Хиксул. Так, если все отсканировали, погнали А результаты будут чуть позже, да? Вернёмся опять же к презентации. то, что поняли, но там агентам у нас доверено много, но как получается доверять, это
[02:50:40] отдельный вопрос, да, и как вот у нас это устроено. То есть Валера сегодня рассказывал про детерминизм, супер классный рассказ, то есть это правила, которые обязаны выполняться, и важно, чтобы они были обеспечены кодом, да, а не промтом. То есть теорию я здесь повторять не буду, но подсвечу важные
[02:50:58] моменты. которые мы у себя используем, они довольно простые, но при этом а супер оберегают от ошибок. То есть первое – это то, что сначала при заведении любого правила мы делаем прогон по истории. И как раз вот на академии так и получилось, что мы не задели никого из
[02:51:18] платящих. Второе – это то, что склад с данными у нас только на чтение, а не запись. И таким образом, пока мы спим, агенты договариваются, у нас не может перетереться база, не может проистики критов в этом плане. И, наверное, третье – это то, что нажимает человек вот здесь
[02:51:37] я могу успокоить Валеру, что детерминизм есть. И как раз вот эта кнопка на 50.000 аккаунтов, она её всё-таки нажимает э после рассмотрения человек, а агент сам пока что не банит так массово. Вот. Но, э, получается, агента можно переубедить, да, а права доступа нельзя. Но как бы
[02:52:01] кто вообще работает ночью, да? Первыми у нас ночью работают сторожи. Да, то есть, как я рассказывал про академию, там было один сторож, да, первый в июле, а сейчас это уже 20 сторожей. То есть это агенты, которые по сути ходят в наши кодовые базы, в наши таблички и понимают вообще,
[02:52:24] насколько у нас сейчас аномально в плане антифрода, в плане И, собственно, уже дальше передают этот процесс на разбор того, что они нашли из аномалий. А получается, и вот похожий дэшборд у нас висит в офисе. Да, ну, естественно, здесь чуть-чуть выдумано, э, чтобы не палить истинные метрики. Но, в общем,
[02:52:56] базывают примерно вот так. И целиком получается одно дело у нас проходит примерно так в антифроде. То есть первое тут как раз 20 сторожей плюс-минус, которые просто выполняют сQэльники по расписанию и передают их дальше ЛМ-агенту. То есть так называемому детективу на разбор, типа, всё ли тут норм или нет. Естественно,
[02:53:20] этот детектив он также может покопать в данные, как и сторож. Э, ну, ну, и он уже как бы собирает самари для человека, да. И третий этап, да, пока что, так скажем, это человек botne может быть в данном процессе, но мы работаем над этим. Э, что человек
[02:53:44] уже, когда дело собрано, он проверяет и решает, то есть делать какое-то действие или нет, да? Четвёртый как раз этап здесь. То есть забанить или не забанить, если грубо. И уже из этого там мы рассмотрели это дело и у нас появляются лёрнинги. То есть, э, вот тут надо было
[02:54:01] банить, тут не надо было, и агент учится, и дальше уже становится с каждым днём всё более умнее. Вот. Но на шаге действия обычно люди привыкли, что либо бан, либо не бан, да. Но у нас, ээ, есть интересная история, да? То есть очередная ночь, как обычно это
[02:54:24] происходит, к сожалению, ээ приходит пачка оплат на полмиллиона долларов, и выглядит это нормально. То есть, э, наши проверки платежей, проверки регистраций, ничего не алёртит, но как бы мы с ребятами в аналитике видим, что что-то не то, но понять не можем, да, и вариантов у нас здесь два. Ну, опять же,
[02:54:47] как я сказал, либо забанить, либо пропустить. Но мы понимаем, что, ну, точно нас гложит эта ситуация, и есть явные признаки того, что нам не нравятся эти платежи. И щелчок, мы сделали третий вариант в эту ночь – это freз до 3DS. 3DS – это простая вещь, да. Это когда вы
[02:55:13] делаете какую-то оплату и вам говорит: “Видите код из симки, да? И на самом деле это перекладывает ответственность с того, кто принимает платёж, то есть нас, на банк. И здесь как раз вот мы сделали такой третий доступ, что аккаунт уже оплатил, но, э, мы подозреваем, мы его
[02:55:35] подозреваем, и поэтому закрываем его доступ, ничего при этом у него не забираем, то есть кредиты на месте, но, пожалуйста, вот, э, оплати, пожалуйста, пройди проверку, что эта карта твоя. Вот. И здесь, что лично мне супернравится в Хиф в Хикслде, это то, что щелчок раскатили в ту же ночь. То
[02:55:59] есть, ну, а супер привычно то, что есть два действия, мы придумали третье, раскатили в ту же ночь. И это действительно показывает наш темп, в котором мы работаем. То есть и релизы у нас действительно также у нас бывают там дни, когда у нас то просто
[02:56:18] придумали в этот день релиз и там, я не знаю, вечером, утром он уже на проде и там тысячи, миллионы людей ээ пользуются, наслаждаются. Вот. Пойдём дальше. А да, это результаты того, что мы эту третью кнопку придумали. То есть, как оказалось, наши подозрения были
[02:56:43] правдивы, и четыре из п четыре из пяти, скажем, долларов э не прошли эту проверку. И мы как раз сэкономили здесь эти 400.000 долларов на том, что по сути не потеряли их на генерации этих пользователей и просто зарефандили на эти краденные карты. Вот. Но как бы третья кнопка, она
[02:57:06] спасает от плохих. Но однажды была ортогональная ситуация, да, когда мы чуть не нажали на хороших. Соответственно, 22 октября, и мы видим, там один из детекторов, точнее, видит, что у нас есть 40 суперплотно связанных аккаунтов между собой. Да, ну тут можно подумать, какие-то вообще связи, но
[02:57:31] обычно используют карту, IP. и другие варианты. Вот. И маржа, естественно, у них тоже была отрицательная. Здесь примерно отражено, что она была где-то в два-три раза сжигли на генерациях они в два-три раза больше, чем заплатили. И щелчок похоже на абьюзеров, да? То есть, что люди явно
[02:57:57] что-то не так делают на нашей платформе, и Джун бы здесь предложил бан, но наш детектор пошёл шире. Это оказалась рекламная студия, да? И не просто рекламная студия, да? То есть, э, детектор это как вообще понял? Давай начнём с Давайте начнём с этого. Они
[02:58:17] платят давно. Диспютов, то есть споров за платежи у них за год ноль. Также условно по домену детектор понял их сайт, пошёл, посмотрел, что они такие же AI Native, классные ребята, и, соответственно, передал этот кейс мне, чтобы я посмотрел. Ну, я такой: “Ну, выглядит как
[02:58:38] легитимный. Э, давайте не будем ничего делать”. И ещё они вроде крутые ребята. Пойду схожу в B2B, которые у нас продают большим клиентам, и расскажу им про этот кейс. И здесь очень классный финал в том, что B2B закрыли этого клиента, и теперь они платят 300.000 долларов нам в год за
[02:59:02] контракт. То есть, по сути, здесь джуновое решение могло нам скосить просто 300к. О’кей, давайте дальше. А как раз кульминация, да? Давайте попробуем попросить моего агента, чтобы он разослал вам мм результаты. Да, сейчас я нажму оп, и мне [откашливается] говорят: “Победитель ставки Марат Дординов”. Он
[02:59:33] сделал ставку, которая отличается на 9 долларов от правильного ответа. И Марат у нас в БЦК Head of ML and Data Products. Марат, я тебя поздравляю. И промокод уже у тебя. Если будут вопросы, как активировать, а их не должно быть, но пиши мне или подходи. А да, ну,
[02:59:56] собственно, правильный ответ. 5.500 долларов это тратит один сотрудник Хиксулдана элмки. Да, чуть-чуть, кажется много по сравнению с 200 долларов подпиской, да. Ну и здесь как бы можно понять, что бюджет у нас на агентов почти не ограничен. Приходите, все дела. Э, о’кей. Так, у меня осталось чуть-чуть
[03:00:18] да, и чуть-чуть поговорим про вообще команду, да, то есть, э, команда растёт, по сути, строим антифрот отдел с нуля. И, ээ, клетки, где вот я один был в самом начале, их заполняли не только боты, не только агенты, да, такие можно подумать, что он там со своими агентами.
[03:00:40] Да, первый наш найм – это был Данил. Жёсткий задрот из МФТИ. Данил 100% смотрит это. Передаю ему привет. В свободное время Даниил делает у нас рекомендательную систему, да, и также крутые модельки для антифрода. А второй важный человек сейчас – это Окежан. То есть [смех] прораб платформы Антифрода.
[03:01:06] И это человек, который, по сути, из пустого репозитория сделал платформу, которая докатилась до прода за 3 недели. И теперь я сплю чуть-чуть спокойнее, потому что просто когда мы запускаем новую акцию, не нужно заводить всю логику с нуля, она уже есть. Мы просто говорим: “Вот это, да, вот это”. И
[03:01:26] Третий человек – это Рахим. Легенда. Это человек, которого супер тяжело застать не в сети, в Телеграме. Он супер давно работает у нас в бэкэнде и очень классно помогает с тем, чтобы придумывать новые правила и капы под каждый запуск. Э, и здесь прикольная у
[03:01:45] него кнопка launch. Каждый, по сути, продуктовый релиз, э, важный в прайсинге, не в прайсинге, и, естественно, CX, э, которые помогают нам вообще понимать, насколько мы, ээ, норм баним или нет. Э, да, иногда действительно это происходит не зря. Спасибо, ребят. Да, осталось пару слайдов. Соответственно, вы, наверное,
[03:02:12] видели многие бота для найма. Хиксфхаринг. Да, это сделал свободное время я. Э, получается, вообще в чём суть? Он задаёт вопрос как интервьюеры какие-то в начале, просто чтобы чуть-чуть поскринить и освободить наших рекрутеров, которых у нас не так много. Если они вам не отвечают, пожалуйста,
[03:02:31] ээ, наберите терпение, они всем отвечают в итоге. Получается, что вообще делает этот бот? Бот собирает данные о человеке из нескольких источников. То есть, чтобы обогатить вообще опыт. Иногда люди привыкли указывать не весь опыт или, наоборот, да, как мы в третьем пункте поймём, э сейчас распространено то, что
[03:02:52] опыт преукрашают или накручивают, да, ставят другие компании. И как раз для меня это довольно резонирует с антифродом. И запустили мы его сначала в личку в Телеграме. И что произошло? произошло то, что мы напоролись на систему антифрода самого Телеграма. Да, казалось бы, человек делает антифрод, и
[03:03:15] его сами заантифродили Telegram. При том, что никакие правила мы не нарушали, всё было легально там, то есть порф Телеграма, но они просто в какой-то момент решили нас бе без предупреждения почистить 80 чатов с кандидатами и в них все сообщения. Но благо, благо подходили
[03:03:34] мы к делу ответственно, и всё было бакапнуто. Мы всех перенаправили в бота, но сегодня нанимаю по старинке, сегодня можно подойти ко мне, просто пообщаться, если вам вдруг стало интересно. И давайте подходить к концу. Вот что примерно осталось на плёнке в данный момент. Тут в целом, я думаю, всё понятно, но
[03:04:02] получается, кто-то должен замечать странное, да, это должен быть не только я с агентами, и я сейчас очень ищу таких ребят, которые могут найти аномалии в данных, могут настроить классные аёртинги, супер круто придумывают идеи и, ну, наверное, то, что у них есть чуть-чуть опыта хотя бы. Вот. И лично
[03:04:23] мне кажется, что это самое интересное в антифроделе, что можно делать. Ты ищешь из внутренних, из внешних источников, какие вообще вообще есть виды фрода, и пытаешься с ними сразу же бороться, катишь ту же ночь и получаешь эффекты нередко на сотни тысяч долларов. Супер, это мотивирует.
[03:04:43] И, соответственно, а вот таких людей мы ищем. В основном мой пройор сейчас – это расследователи, да? То есть, э, бывшие аналитики, скорее всего, продуктовые аналитики, то есть ребята, которые могут классно покопаться в данных, понять какие-то аномалии и сделать там в ту же ночь правила. Вот. И второе, кого я ищу
[03:05:07] – это классных бэкэндеров. Желательно с опытом построения платформы, да, это не обязательно платформа антифрода, а олимпиады тоже плюс. Вот. И получается здесь, э, что мне нравится в нашей работе, это то, что по сути весь цикл вот этого антифрода, если возвращаться в самое начало про 2.500 человек, делает
[03:05:30] по сути команда из нескольких человек, и вы можете стать одними из них. Наверное, это круто. И давайте последний слайд, соответственно, это QR-код. Здесь, если вам понравилось, э, заинтересовал антифрот, вы можете подать резюмешку, и мы постараемся супербыстро вам ответить. Если бот по резюме не предложил
[03:05:55] антифрот, то там можно выбрать галочку. Э, соответственно, что из крутого ещё есть, если вас ещё не замотивировало, э, как сказал, одна ночь – это сотни тысяч долларов, и решайте здесь вы. То есть у нас нет особо вообще peopleменеджмента. То есть вы приходите, у вас есть
[03:06:14] ответственность, берёте и тащите, получаете результат. А второе – это то, что на агентов бюджет почти не ограничен. И реально, когда выходишь иногда из офиса, э такой вайп создаётся, что в другом мире живёшь, просто И третье, то, что, естественно, платим выше рынка, как рассказывал Грзад. Всё
[03:06:36] правда, под всем подписываюсь. Офис в Алмааты. Если нас кто-то смотрит онлайн, то релокация за наш счёт. Мы вас очень ждём. Спасибо большое, что послушали. Если есть вопросы, наверное,
Q&A сессия с Романом Ященко (03:06:50)
[03:06:50] на пару могу ответить. >> Роман, выбирайте, Пойдём по принципу ближайшему. А можно Вот здесь за колонной. >> А, здравствуйте. У меня вопрос по рекламной студии. Я так и не понял. Вот вы говорите, а было 40 человек, у которых отрицательно маржа, то есть получается0
[03:07:30] >> 40 аккаунтов. О’кей. >> Вы тратили на них больше чем они вам платили. Ага. О’кей, вы сходили в B2B, оформили их, ну, 300.000 долларов в год. Звучит круто. И с точки зрения логики возникает вопрос типа, как вы сделали здесь вин-вин? Но я подразумеваю
[03:07:51] то, что вин-вин был типа в обе стороны. Получается, они стали платить вам больше или сжигать меньше или, ну, вообще можно поподробнее здесь, >> да? Ну, вообще, э-э, как так устроено, что иногда нам могут платить меньше, чем мы на них тратим? Это то, что мы
[03:08:11] стартап, естественно, мы много денег жём на маркетинг, и один из видных маркетинга – это там анлимы, фриген генерации. Э, и мы действительно здесь спонсируем, чтобы захватить большую долю рынка. И эти ребята были одними из таких. И наша, по сути, задача отличить, кто злоупотребляет акции, а кто
[03:08:30] потенциально классные, честные ребята, которых, ээ, ну, которым можно дать здесь большую свободу и пока что не банить. И вот такие ребята были одними из них. Вот. И поэтому мы приняли решение не банить. А про вин-вин не совсем понял. То есть, э, в чём тут вопрос? Можешь повторить,
[03:08:54] пожалуйста? А эти 40 аккаунтов, о’кей, они сейчас корпоративные, вы также тратите на них больше, чем они >> Здесь я, наверное, ээ не могу сказать, э то есть потому что это конкретная студия. Но в B2B мы классно зарабатываем, могу так сказать. Маржа у нас супервысокая для стартапа.
[03:09:20] >> Давайте следующий вопрос. Вот девушка. >> Добрый вечер. >> Я бы хотела задать вопрос насчёт правил, которые вы формируете для антифрода. >> А получается, даже начальные правила, которые вы сформировали м когда ещё не видели всей аналитики, как в целом, а происходят взломы, да, получается, или
[03:09:47] какие-то там обходные пути. Вы это тоже делали с помощью аиагентов или же тут человеческий фактор больше влиял? >> Я думаю, что почти вся Спасибо за вопрос. Да, я думаю, что почти вся работа сейчас она идёт всё равно вплотную с агентами. То есть я здесь
[03:10:03] привык к такому подходу, что если есть какая-то важная ответственная задача, я хотя бы там 10-15 минут обычно думаю о ней, там где-то где не особо шумно, а потом иду излагать мысли агенту и чтобы он меня покритиковал. И в таком процессе диалога и рождаются правила, да. Но,
[03:10:22] естественно, здесь важно опять же на данные опираться. То есть это, наверное, не вот так один раз подумал и пошёл. Сначала там посмотрел данные, потом подумал, и вот как-то так оно и >> А в целом как часто дополняются ваши правила по антифроду? >> Ежедневно. Ну, то есть здесь важно
[03:10:42] сказать, что антифрод ещё тем интересен, что ты придумал какие-то правила, да, и здесь твои противники, да, абьюзеры, фродеры, они супербыстро адаптируются, потому что рой у них супервысокий, они могут потратить там денег, а там вытащить из нас 100x, да, могли, точнее. >> Всё, спасибо большое
[03:11:06] >> вам. Спасибо. >> Последний вопрос. >> Давайте кого-нибудь издалека, да? >> Здесь супенициативные ребята. Давайте вот оттуда. >> Вот девушка поднимается. Да. >> Да. Добрый вечер. Ээ я ваша коллега в прошлом тоже в Дэт в антифроде работала в Яндексе одно время, и мне стало
[03:11:34] интересно, а вы часто говорите про правила? ваши правила чаще в итоге, ну, просто так вот чисто программно срезают какие-то потенциально, ну, какие-то потенциально компиляции фичей или это на имели как-то или это, может быть, агенты, допустим, из всего потока данных ищут. >> Да, кажется, понял.
[03:12:01] >> Вот. Да, >> да, спасибо за [откашливается] вопрос. Чаще всего сейчас правила, э, просто правила как раз программные. То есть, как я говорил, агенту мы решение не отдаём. То есть агент может принести странные ситуации, но уже какие правила формировать, там, какие-модели обучать, это остаётся нами, да. И правила, они
[03:12:22] дают где-то 80-90% результата обычно, а эмлька добивает оставшихся 10. Вот. Но эмэльщики тоже нужны, если вам интересно, подавайтесь. Но всё равно скорее ищу человека, которому интересно и руками посмотреть, и модельку. Да, у нас нет такого, что мы кому-то пишем ТЗ, вот нужна такая-то моделька. Вот.
[03:12:43] >> А, то есть у вас 80 там на обычных правилах и 10 – это только ML. Сейчас примерно такой разбень. >> А, ну я я скорее говорил про пропорцию результата, да. Это может быть одно правило и одна моделька, да? Просто с модельками. Тут такой нюанс, что акции
[03:13:02] постоянно разные, поведение тоже суперразное, и модельки надо постоянно переобучать. Плюс нужны таргеты классные, размеченные. И с этим это тоже пока задача, которую мы в процессе. >> Можно ещё спросить, а есть у вас какие-то большие модели, сигнал с которых вы можете использовать как входную фичу, например? Такое есть?
[03:13:25] >> Да, есть. Ну, кратко могу так от [смех] >> Аман, стоит выбрать лучший вопрос. >> Блин, я как э Ануар прямо забыл вопросы. Сейчас чуть-чуть подумаю. Мм, давайте вот девушке подарим. Спасибо. А мы благодарим Романа за его выступление. Аплодисменты Роману.
Доклад 6: Анатолий Карпов (CEO karpov.courses) — «Симулируй, прежде чем тестировать: A/B-тесты от Монте-Карло до графов» (03:13:54)
[03:13:54] Друзья, наш следующий спикер Анатолий Карпов, CEO CarP of CSES, автор курсов по статистике и машинному обучению. Поднимите рук, кто обучался на его курсах. Я думаю, очень не отлично, очень много людей. А также скажу, что ранее, а Анатолий руководил командой аналитики в отделе рекламы и бизнеса Mail.ruг Group
[03:14:19] и ВК. Сегодняшняя тема его выступления звучит как симулируй прежде чем тестировать. AB тесты от Монтекарла до сантических пользователей. Друзья, поприветствуем Анатолий Карпов. Дорогие друзья, всем привет. Очень рад быть здесь. Сегодня я поговорю про тоже прикладную тему. Продолжая предыдущие доклады, я поговорю про статистику и
[03:15:07] Здесь есть интересная параллель с тем, о чём рассказывал Валера Бабушкин, где проходит грань между таким классическим детерминизмом, классической опорой на теорию, потому что статистика всё-таки это довольно строгий подраздел математики, где есть свои доказанные теоремы, где есть понятные теоретические распределения. При этом в статистике
[03:15:26] изначально, особенно в частотнической статистике, которая чаще всего как раз-таки используется в индустрии для основного инструментария а-тестов, применяется подход, который как раз-таки опирается на симуляцию, а, который делает некоторые такие статистические вероятностные высказывания. И вот интересно посмотреть, как это помогает нам в работе с данными. А в целом,
[03:15:55] несмотря на то, что мы сейчас живём в эпоху действительно эагентов, которые полностью меняют флоу того, как сейчас происходит работа внутри команд и аналитики, и даты саентистов, атестирование остаётся всё также востребованной темой, потому что ничего лучше дата дривовена, принятие решений, когда мы тестируем какие-то гипотезы
[03:16:16] именно через а-тесты, пока что ещё не придумали, но справедливости ради уже над этим работают. То есть сегодня в конце мы даже чуть-чуть поговорим, а что происходит в ситуации, когда вместо аб-тестов, которые мы проводим на наших пользователей, уже проводятся а-тесты на агентах, которые моделирует поведение
[03:16:35] человека, и исходя из этого принимаются какие-то решения. Пару слов о своём бэкграунде. Я всю свою профессиональную карьеру был связан с аналитикой данных, работал на стыке разных направлений: и даты инженерии, и машинного обучения, и аналитики, но душа моя всегда лежала к статистике, к а-тестам. Я очень много
[03:16:54] занимался-тестированием. Сейчас тоже часто выступаю консультантом в компаниях, которые выстраивают аб-платформы, которые внедряют такое непрерывное аб-тестирование в свои продукты. И сегодня как раз-таки тоже об этом поговорим. Итак, давайте начнём с, наверное, такого базового утверждения, что в целом концепция симуляции, концепция такого подхода через эмпирическое исследование данных, она в
[03:17:20] целом близка и даже такой теоретической статистике. Если мы посмотрим на такие классические определения, которые используются в индустрии, те же самые доверительные интервалы, очень часто их определяют именно через процедуру. То есть, если бы мы многократно повторяли некоторую процедуру, извлекали, допустим, выборку определённого размера из генеральной совокупности, каждый раз
[03:17:40] высчитывали для этой выборки среднее значение и строили некоторый доверительный интервал, то в 95% случаев из 100 этот доверительный интервал покрывал бы истинное значение в генеральной совокупности. Поэтому, кстати, есть даже такие, а, споры в профессиональной среде, насколько вообще корректно говорить, что доверительные интервалы содержат реальное среднее
[03:18:04] значение, интересующее нас величины, с определённой вероятностью? Потому что здесь как бы речь не про вероятность, а скорее про некоторую процедуру. И вот этот вот подход, что с одной стороны есть как бы довольно строгие выкладки математические, как должна вести себя статистика, но при этом мы проверяем
[03:18:21] какие-то вещи эмпирически, он с самого начала в статистике находил довольно сильный отклик. Такой самый один известных примеров из учебников Уильям Госет, который изобрёл Т-тест, которым, я думаю, все вы аналитики пользовались. Понятное дело, у него была очень большая теоретическая база, как должно вести себя это распределение, на каких
[03:18:41] теоретических распределениях оно основывается. Но при этом вот есть тоже интересная как бы задокументированная история, что он запросил 3.000 ээ данных о заключённых из ближайшей тюрьмы. И тогда ещё не то что агентов, тогда ещё и компьютеров не было. И вручную делал выборки по четыре человека. Для каждого
[03:19:01] рассчитывал, как раз-таки, этой маленькой выборки среднее значение. и смотрел, как на маленьких данных ведёт себя интересующая статистика, как раз, чтобы показать, что эмпирическое распределение определённой величины действительно совпадает с теоретическим распределением, которое мы ожидаем под нашим распределением. И сегодня я как раз хотел бы поговорить
[03:19:24] таких четыре направлениях, где этот подход, когда мы исследуем при помощи симуляций разные величины, разные направления, помогает нам правильно принимать корректные решения в а-тестах. Начнём с самого простого, где речь идёт про симуляцию, условно там чисел, распределений и данных. поговорим потом про симуляцию уже определённых паттернов
[03:19:47] в самом-тестировании и закончим таким более интересным интересной областью, где мы симулируем а поведение и самое интересное, где мы симулируем людей. То есть сейчас мы постепенно уже входим в новый мир, который отчасти меняет, как работают классические а-тесты, когда человек не сам приходит на маркетплейс и
[03:20:09] выбирает себе товар, а он посылает туда агента. И это тоже уже компании начали замечать, что в их а-тестах оказываются боты, оказываются агенты, которые тоже как-то ведут себя на платформе. И здесь есть целых два интересных направления. С одной стороны, а как это сказывается на
[03:20:27] результатах классических а-тестов? С другой стороны, а можно ли эту идею использовать, э, для себя? Можно ли проводить а-тесты не на людях, не на реальных пользователях, а можно ли проводить а-тесты на агентах, которые симулирует поведение человека? Там очень интересные выводы, они пока ещё такие
[03:20:47] предварительные, но э тоже уже есть первые результаты, которые а тоже довольно интересно показывают короткий ответ где-то уже можно. Первый самый простой уровень, который нас интересует – это ситуация, когда мы сталкиваемся с самыми базовыми задачами. Наверное, вот классическая история, с которой сталкивался любой аналитик.
[03:21:11] Какой критерий выбрать? Если мы откроем любой учебник по статистике, то чаще всего этот вопрос описывается такой как бы некоторым графом принятия решений, которое отталкивается от каких-то характеристик распределения. Типа, если распределение нормальное, то можно использовать вот такой тест. Если ненормальная, то другой тест. Если
[03:21:30] данных много, если данных мало, в зависимости от этого выбирается определённый подход. Это такой классический подход, который используется в учебниках по биостатистике, особенно прямо такие специальные таблички, которые вот описывают выбор статистического теста как некоторые алгоритм. На практике всё не работает. Мы сегодня, кстати, буквально уже с некоторыми коллегами
[03:21:51] общались, вот тоже обсуждали, какой статистический критерий выбрать, когда данных мало. Да, непонятно. На самом деле правильного ответа на этот вопрос нет. Особенно в индустрии, где никаких, разумеется, нормальных распределений не существует. Самая классическая история, ээ, которую мы будем наблюдать – это вот такие вот очень явно выраженные
[03:22:10] асимметричные распределения, которые описывают пользовательскую активность. Чаще всего у нас больше всего людей находится в какой-то такой начальной зоне, например, там количество минут, которые пользователь провёл на нашем сервисе. Это такое ядро аудитории будет в начале шкалы. и большой такой хвост, который утекает дальше. Когда я работал
[03:22:29] в ВК в отделе бизнеса и рекламы, наш ключевой, собственно говоря, показатель это был CTR. Тоже метрика довольно сложная. И по большому счёту, как выбрать правильный критерий. Самый хороший ответ, который мы получили, который есть, кстати, в очень классной статье Никита Маршалкина, которая тоже раньше работал в команде ВКонтакте,
[03:22:48] можете эту статью почитать. Самый правильный подход. Мы симулируем наши данные. Мы описываем некоторые теоретические распределения, которые мы знаем, как они у нас выглядят. У нас есть много исторических данных, много пользователей. Мы можем примерно представить, какое распределение, с какими характеристиками описывает наши эмпирические данные. И дальше можем с
[03:23:08] этим распределением играться, давать ему большую асимметрию, меньшую асимметрию, увеличивать выборки, уменьшать выборки и, по сути, отвечать на один вопрос. Что нам нужно от статистического критерия? Нам нужно, чтобы у нас было в нужном диапазоне значение ошибок первого, второго рода. Нам нужно, чтобы наш Pvue
[03:23:24] действительно показывал нам, э, значения, которые масштабируются на выборку. Иными словами, если мы там зафиксировали э некоторую альфа, с которой сравниваем нашу Pvue, мы ожидаем, что процент ошибок, которые мы будем получать в Б-тесте, он фиксирован. И вот самый правильный подход, который сейчас есть в индустрии, для того, чтобы
[03:23:43] даже на такой базовый ответ ответить, какой статистический критерий выбрать, однозначного, теоретически верного ответа на этот вопрос нет. Самое правильное – это просимулировать ваши данные и прогнать все критерии э рядом. Небольшой лайфхак, если совсем сомневаетесь, то, конечно же, буotстп – это такие просто заметки с полей
[03:24:04] аналитика. Если бутстреп сложный и тяжело, он такой энергозатратный, то есть пуасоновский бутстэреп. Кстати, вспоминая Валеру Бабушкина, у нас на канале есть замечательная лекция от него проасоновский вотстрэп. Можете посмотреть. И интересные результаты, которые вот тоже мы получили, что однозначно победителя нигде не было. В
[03:24:23] зависимости от того, как изменяется характеристика распределения, то одни тесты работают лучше, то другие. И однозначно теоретически подобрать правильный статт-тест не получается. нужно именно отталкиваться от симуляции. Вторая история и которая тоже является одной из вообще основоположных проблематик АБ-тестирования, которая отчасти продолжает вот эту вот
[03:24:44] проблематику, которую я сказал, мы хотим, чтобы наши а-тесты были системным решением. Иными словами, мы хотим, что если мы провели 1.000 АБ-тестов, то количество ложных срабатываний фиксировалось бы заданными нами заранее уровнем. И вот аа-тесты – это, наверное, такая вообще самая главная история в обтестировании, в платформах
[03:25:02] обтестирования. Мы сегодня тоже уже успели поговорить про то, как лучше подходить к этому снаряду, как лучше распределять хыши, соль. Но короткий ответ, кстати, теоретически тоже практически, ну, не подобрать эту историю. А когда мы говорим про систему сплитования, когда мы говорим про атесты, самый правильный
[03:25:23] подход он тоже через симуляцию. Когда в больших компаниях у вас уже такая зрелая система Б-тестирования, а тесты вообще проходят фоном постоянно, крутятся, копятся какие-то очень большие наборы, а, тестирования. Когда этих данных нет, очень частый подход, мы проводим один-два аа теста, а потом при помощи
[03:25:43] бутстрепа или другой симуляции делаем ресемплинг, делаем симуляцию, как бы как будто мы провели 1.000 этих а-тестов и ожидаем, что наше с вами Pvue будет распределено равномерно. Действительно, симуляция показывает, что у нас группы делятся правильно. Если группы делятся неправильно, это открывает портал в огромное количество проблем, с который
[03:26:04] сталкивается индустрия. Самая типичная история в ББ-тестировании, когда у нас рушится рандомизация, как раз-таки рушится система сплитования и у нас происходит диспропорция людей в наших группах. Мы проводим А-тест. Мы ожидаем, что у нас трафик 50 на50. А по результатам А-теста получается, что в одной группе у нас 50%,
[03:26:25] пользователей, а во второй группе 49%, 8. Казалось бы, пользователей – это не так много, но если статистически проверить, то это отклонение точно будет там не случайно на наших данных. И если у нас по какой-то причине, например, самые платящие пользователи, которых очень мало, но которые вот этом самом
[03:26:44] хвосте распределения не попадают в нашу одну из групп, а всё время статистически попадают во вторую группу, то мы уже атестом проверяем не нашу гипотезу, а просто проверяем сам факт, что у нас одни платящие пользователи статистически оказываются в правой корзине, а не в левой. И это, конечно же, все выводы
[03:27:00] нарушает. И здесь тоже огромное количество подходов, которые развиваются. Я приложу в конце ссылки на статьи, на Netflix, на Spotify, как они при помощи симуляции постоянно проверяют свои системы сплетования. И что более важно, как они постоянно проверяют, что их система, которая статистически считает, что трафик
[03:27:22] распределяется равномерно между группами, а работает корректно. Один из моих таких самых интересных примеров как раз-таки тоже в статье от Спотифая, что они, э, во-первых, это делают постоянно. Вот, Астдым новым пользователем, который попадает в каждую группу, постоянно прокручивается тест на равномерность распределения, что у нас трафик идёт равномерно. А второе,
[03:27:46] что по сути, что такое а-тесты? А-тесты же делят наших пользователей на группы. А как только мы видим, что кого-то разделили на группы, сразу можно что сделать? правильно обучить классификатор. И фоном постоянно работает ML-моделька, которая пытается решить задачу, которая как бы вроде бы по-хорошему должна не решиться, которая
[03:28:06] пытается найти статистически значимые предикторы, которые определяют, в какую группу впадает пользователь. То есть, зная все характеристики нашего пользователя, его город, пол, его всякие скоры, можно ли предсказать в какую корзинку Атеста он упадёт? Если наша система сплетования работает корректно, то точность этой модели будет не выше
[03:28:27] случайного. Как только нам получается обучить классификатор, который работает выше случайного, это сразу означает, что в нашей системе сплетования что-то идёт не так. И как раз-таки постоянно перемешивая наших пользователей, симулируя а-тесты и проводя вот такую проверку, получается очень быстро отлавливать ситуации, когда неверно как
[03:28:50] раз-таки ведёт себя именно рандомизация наших пользователей. Вообще, как бы, про проблемы а-тестирования можно говорить довольно долго. Их огромный список. Наверное, тоже одна из таких самых интересных историй, связанная с проблемой подглядывания. Такая так называемая picking problem. тоже очень много классных публикаций, статей выходят буквально вот в последние годы.
[03:29:10] А самая свежая, интересная статья, которую я читал – это двадцать третий год. Ребята из Spotify назвали её проблема 2.0. Казалось бы, вот уже изучено всё вдоль и поперёк. Действительно, если подглядывать за А-тестом в процессе его проведения, мы тем самым завышаем ошибку ложного срабатывания. Ну, это очень простая
[03:29:32] логика, да, как бы мы вместо того, чтобы провести атест и один раз посмотреть, мы постоянно делаем эту проверку, тем самым, что вероятность, что хотя бы в одной из этих проверок мы получим нужную нам Pvue, она начинает увеличиваться. Есть огромное количество подходов, которые с этим борятся, да, там можно
[03:29:50] сделать Fix Horizon подход, который вообще запрещает подглядывать, можно сделать последовательное тестирование. Но что интересно, первое, что даже последовательное тестирование и другие подходы, которые позволяют нам более правильно подглядывать за а-тестами, очень часто как раз-таки опираются на некоторые априорные, заранее зафиксированные характеристики распределения наших переменных, которые
[03:30:12] не всегда такие. И очень эффективный метод – это именно как раз-таки просимулировать ту же самую там 1.000 аа тестов, просимулировать последовательное проверку Pве каждом из этапов. Например, мы каждый день хотим смотреть за нашим а-тестом, чтобы прекратить его проводить, если мы видим, что и так всё
[03:30:31] хорошо или, наоборот, всё слишком плохо. и как раз-таки скорректировать вот этот вот поправку на PVO, которую эмпирически гораздо точнее можно найти при помощи симуляций, чем пользуясь готовыми библиотеками или фреймворками, потому что на ваших данных очень много специфики. А вторая история, вот упоминая статью из Споotтифая, как я уже
[03:30:53] сказал, казалось бы, всё уже изучено, переизучено, но вот тоже нашли проблему. Оказывается, что в метриках, в которых, э, которые обновляются в течение всего эксперимента, например, количество минут, которые пользователь провёл в сервисе, вот они про эту метрику пишут, и у нас пользователь уже попадает в
[03:31:11] эксперимент в первый день, но его метрика пересчитывается на второй, на третий, на четвёртый, на пятый день, когда пользователь продолжает пользоваться нашим продуктом. А оказывается, что вот такие метрики, которые в процессе обновляются к классическому подходу э последовательного тестирования, тоже завышают ошибку первого рода. Опять-таки, ребята нашли это через
[03:31:32] симуляцию и очень круто свою систему подфиксировали. Вообще очень много методологических аспектов, которые позволяют выхватывать такие ошибки, когда статистика работает правильно, но условно чисто сама методология Атеста приводит к ошибкам. Ну вот на слайде есть пример, который показывает, что если, как часто бывает, ээ все мы,
[03:31:58] аналитики это делаем, мы проводим а-тест, а потом можем его покрутить как-нибудь, там применить два разных критерия, посмотреть в разных срезах. По сути, это такая завуалированная поправка на нужное сравнение, которую мы не делаем. Из моего опыта у меня был интересный кейс тоже. Мы в компании
[03:32:14] делали аудит системы АБ-тестов, и у них была такая как бы сложная система принятия решения, какой критерий выбирать к вопросу о критериях. Там условно, если данные там соответствуют критериям, то применяется Т-тест, а если не соответствует, то после Т-теста ещё применяется и непраметрические критерии. И получается, что одни тесты проверяются
[03:32:37] одним критериям, а вторые тесты проверяются двумя критериями. И часто у аналитиков возникает ээ соблазн посмотреть на результаты Pвео обоих тестов и тем самым как бы принять решение, например, если там один из них значимый, что по сути опять-таки завуалированная проблема множественных сравнений. Мы прогнали тоже довольно
[03:32:57] большое количество симуляции такого рода подхода и показали, что мы действительно завышаем риск ложного срабатывания, если в одном случае выбираем, какой из критерией нам в каком-то смысле больше импонирует. В этом понимании, конечно же, аналитик должен быть максимально холоднокровный и никак не поддаваться на провокации. Но это были вещи, которые
[03:33:18] скорее описывали такие классические истории, когда мы стимулируем э либо методологию проведения а Б-теста, э там а-тесты симулируем какие-то ресемплинги симулируем, либо симулируем сами распределения либо данные. А это очень круто, это очень полезно, но прогресс не стоит на месте. И дальше можно симулировать уже не какие-то
[03:33:41] распределения, а можно симулировать в прямом смысле слова поведение пользователей, как они ведут себя в нашем продукте. Вообще проблема AB-тестирования заключается в том, что очень часто мы используем какие-то довольно высокоуровневые метрики, например, там, грубо говоря, там средний чек. Но этот средний чек, на самом деле,
[03:33:59] это очень сильная суммаризация того, что с пользователем произошло. Пользователь, на самом деле, условно зашёл на первую страницу, тыкнул на карточку товара, вернулся, посмотрел рекламу, добавил в корзину и потом снова, условно, вернулся и купил. То есть есть такой целый граф поведения пользователя, паттернов, а, на некоторых
[03:34:23] которые представляют из собой опять-таки digдиit сайты, тот же самый, там сайты по покупкам билетов, ээ, маркетплейсы. У пользователя вообще как бы нету понятного, нету понятной воронки. Воронка – это очень сильное упрощение. На практике у него не воронка, а целый вот такой вот граф, по которому он
[03:34:40] перемещается, возвращается обратно, где-то сталкивается с другими пользователями, начинаются сетевые эффекты. И что получается? Если мы такой граф изобразим, мы можем вероятности переходов взять из наших исторических данных. Э, и если мы прогоним симулированных пользователей, крайне наивных, которые просто с заданной вероятностью переходят из одного
[03:35:03] состояние в другое. Ну, никакой новой информации мы не получим, потому что мы получим в среднем те же самые вероятности, которые есть и по нашим эмпирическим данным. Но дальше возникает интересная история, что мы вот этих вот, э, симулированных пользователей можем сделать немножко умнее. Тут мы начинаем
[03:35:20] добавлять такую агентность этим вот digдил пользователям. Мы можем симулировать некоторые предпочтения, мы можем симулировать их память, мы можем симулировать сетевые эффекты. И это позволяет при помощи симуляции отвечать на очень интересный вопрос. Вот приходят к нам продакты и говорят: “Мы проводим а-тест, хотим сделать новую карточку
[03:35:38] товаров”. Мы спрашиваем: “А зачем?” Они говорят: “Ну, для того, чтобы увеличить выручку”. А разумно. А вот мы начинаем прикидывать, например, мы увеличим, а, кликабельность этого товара, CTR, этого товара на 5%, а, а, а, насколько выручка увеличится? И мы как раз-таки можем прогнать симуляцию
[03:35:59] вот этих вот синтетических пользователей для того, чтобы понять, а какова финальная вероятность будет на самом конце. То есть мы меняем что-то в начале воронки, а при помощи симуляции можем оценить, сколько нам нужно данных, какой размер эффекта мы хотим задетектировать и какой размер выборки нам нужен для
[03:36:19] того, чтобы корректнее провести а-тест. Это тоже очень такие интересные подходы, которые сейчас развиваются. И, наверное, вот следующий переход, который логичный, он так и напрашивается. Но раз уж мы уже научились. Кстати, в этой области есть довольно много стартапов и платформ Инженеринг, довольно вот известная
[03:36:36] компания, которая как раз-таки описывает продукт как такой граф, по которому путешествуют наши пользователи, которые симулируют такое не случайное блуждание, потому что как раз-таки закладывают некоторые уже паттерны э такого интеллектуального э блуждания по этому графу. Но следующий как будто бы этап, давайте тогда уже доведём эту ситуацию
[03:37:00] до финального конца и попробуем проводить а-тесты не на людях, потому что проводить а-тесты на людях дорого, долго и вообще масса проблем. А попробуем проводить а-тесты на агентах. На самом деле эта идея в голову пришла уже очень многим. уже появляются первые публикации вот двадцать пятый-двадцать
[03:37:20] шестой год крупных компаний, которые исследуют, а что будет, если изменения в продукте тестировать на агентах. Причём агентов тоже делают очень такими умными. Делают как бы некоторые цифровые такие слепки, цифровые двойники поверх тех данных, которые есть эмпирические. И вот если Long Story Short, справедливости
[03:37:42] ради, сам я ещё в эту область вот только-только начинаю погружаться, у нас в компании уже есть ээ агенты, которые студенты, которые проходят наши курсы, проверяют, пытаются решить домашку, проходят тесты, но вот атесто на них ещё не запускали. Long story short, направление эффекта совпадает.
[03:38:02] Короткий ответ. Ээ, а-тесты при помощи симуляции уже не просто распределений, а при помощи реального симуляции людей агентами показывают ценаправленный эффект с реальными пользователями. И это, конечно, очень крутая история. Я думаю, она дальше будет развиваться особенно сильно, которая открывает прямо вообще принципиально новую главу
[03:38:22] об-тестировании, когда мы уже проводим а-тесты на агентах для того, чтобы понять, что агентам нравится больше в нашем продукте, то и пользователям тоже больше понравится. Вот такие дела. Поэтому я хотел рассказать про несколько кейсов того, где такой вот эмпирический подход с основой с опорой на симуляцию
[03:38:44] данных, распределений, а иногда и поведение пользователей приносит нам пользу веб-тестирования. Спасибо большое за внимание и буду рад ответить на ваши >> Анатолию, благодарим. Выбирайте. >> Давайте, молодой человек, >> будьте добры, пожалуйста, микрофон. >> Анатолий, здравствуйте. Меня зовут Арасен. А у меня такой вопрос. Если мы
[03:39:14] как бы подразумеваем, что обычные лэмки склонны к такой угодливости кооператиative B, в своей практике то, о чём вы только что рассказали, а как вы, скажем так, тренируете модели таким образом, чтобы они не влияли на конверсию? в А-тестах, условно говоря, тогда, когда вы проводите А-тесты на
[03:39:35] агентах, а, и чтобы они на конверсию не влияли и чтобы те выводы, которые в итоге они делают, они коррелировались тем, как ээ реальные пользователи реагируют на ту или иную там условно продуктовую фичу. >> Да, спасибо большое. Это очень хороший вопрос, на самом деле. Он действительно
[03:39:56] имеет место быть. Все исследования, которые вот я на последнем слайде привёл, они практически все сходятся во мнении, что даже если мы пытаемся затюнить нашего агента под такого среднестатического пользователя, есть очень сильный баяс. Целенаправленность у этих digitл пользователей сильно больше. Они завышают конверсии, они завышают
[03:40:14] CTR, у них такая вот действительно вижу цель, не вижу препятствий. Поэтому сейчас то, что получается скорее вот этот вот как бы агентный слой – это такая проксиметрика. Она позволяет скорее оценить направление эффекта, э, размер эффекта пока предсказать очень плохо получается. Это очень классное
[03:40:32] замечание. Действительно, мы ещё не дошли до того этапа, когда мы можем просто заменить все а-тесты на просто агентов, которые путешествуют по нашему продукту, но использовать это как проксиметрику уже получается. Спасибо. >> Следующий вопрос. Вот давайте, давайте како-нибуд теперь издалека возьмём. Вот там в самом ряду, вказывается последний
[03:40:51] молодой человек руку поднимает. >> Да, спасибо за доклад. Продолжаю, наверное, предыдущий вопрос. А вот если мы, вы видели работы, где, к примеру, пытались собрать несколько различных лм и посмотреть то, как они пытаются симулировать пользователей, потому что кажется, что опять же разные л будут вести себя немножко по-разному.
[03:41:23] И вот этот эффект тоже кажется довольно интересно поисследовать. >> Да, это скорее, ну, не вопрос, скорее комментарий. Я вот когда готовился к докладу эти статьи читал, там действительно, возвращаюсь к докладу Игоря сегодняшнего, целый огромный выбор, какие модели использовать, как их тренировать, какой подход нам нужен для
[03:41:43] того, чтобы они действительно максимально точно описывали пользователя. В общем, я здесь могу только согласиться. Ээ, пока что результатов, которые показывают, что мы можем полностью заменить тестирование людей на тестирование агентов не получается найти. Но, повторюсь, вот уже первые ласточки, что нам удаётся статистически показать, что эффект
[03:42:08] ценаправлен, он уже есть. А если очень кратко вы не видели, к примеру, результат, что использование нескольких, опять же, нескольких м одновременно для симуляции улучшают точность >> такого не могу сказать. Нет, не наблюдал. Спасибо. >> Так, ну и вот давайте ещё один вопрос, молодой человек, со второго ряда, с
[03:42:29] >> Будьте добры. Микрофон. >> Второй ряд. Третий, точнее. А, привет ещё раз, Анаторий. >> Спасибо за платформу, которую очередь. Мне очень сильно помогла ваша платформа, чтобы самостоятельно поизучать, ну, и аналитику тоже. Вот у меня такой вопрос. Что если в ходе эксперимента, ну, допустим, мы зафиксировали определённый
[03:42:59] метод, но в ходе эксперимента появились какие-то выбросы и аномалии или и ковирации ковиции для купеда. Но как отличить именно валидную м схему валидации? Вот. >> Ой, слушай, это очень хороший вопрос. На самом деле в больших компаниях обычно довольно строгий подход к этому. И когда
[03:43:23] вот я тоже занимался тестированием в крупных корпорациях, довольно строго, если мы понимаем, что в процессе абтеста что-то нарушилось, там трафика не дались или там в процессе катнули какой-нибудь, поправили бак, и у нас на старте распределения фичило там какое-то одно распределение, потом немножко поправилось, обычно просто вот реально
[03:43:42] списываем в утилье. пытаться постхоками какими-то это поправить. Ну, это скорее вот просто реально суперкейсы, когда нам почему-то ни в коем случае нельзя провести атест заново. Э в крупных компаниях а-тесты проводятся там сотнями, тысячами, да, и если мы видим артефакты в процессе, то самое правильное – это просто этот тест
[03:44:05] перезапустить. Вот короткий ответ такой. >> А есть ещё другие варианты? >> ещё? Есть другие варианты, но, допустим, эксперимент провёлось где-то 2 недели, и мы хотим какой-то вывод сделать. >> Не, это, конечно, очень печально, больно, и мы очень хотим сделать вывод, но практика показывает, что как только
[03:44:23] мы начинаем играть в статистику не в формате, провели атест, зафиксировали изначально вводные, посмотрели результат, а когда мы начинаем постхоками данными обрабатывать, очень тяжело провести границу, где мы, по сути проводим вот эти вот завуалированные множественные сравнения. делая разные сегменты, делая разные подвыборки, применея разные стат-тесты,
[03:44:45] по большому счёту, есть такая шутка, что как бы любой а-тест можно довести до статзначимого на постобработке. Там не нужно их пользователей выкинуть, нужно их оставить, у тебя будет эффект, объяснив это какой-нибудь тоже продуктовой логикой. Поэтому это очень такая опасная дорожка и на практике её
[03:45:00] стараются избегать. >> Благодарим за вопросы. >> Вам надо будет выбрать самый лучший для вас вопрос. >> Так, я запомнил все вопросы. Э, сейчас я подумаю, что самое интересное. Наверное, а у нас один приз, да, >> Давайте, давайте отдадим молодому человеку про постхок, потому что, мне
[03:45:17] кажется, это важная история, что никогда нельзя себе >> допускать слабины в этих вопросах. >> друзья. С вами был Анатолий Карпов. >> Прошу не расходиться. У нас ещё одно завершающее выступление. Last but not least. И она на очень и очень интересную тему. Я думаю, эта тема волнует многих
[03:45:46] не только в зале, но в целом в Скажите, давно вы сыпались не в разговоре с женой там или Хайнжуртом, не с Жёлпол или не с налоговиком и даже не на кассе какого-нибудь супермаркета или во время битвы взглядов в метро, а с
Q&A сессия с Анатолием Карповым (03:46:00)
[03:46:02] инвесторами? Именно про это расскажет следующий докладчик >> Дидар Нурхаир Head of Data HiField. Тема звучит как Хиксфилд на допросе УVC. 10 вопросов, на которых все сыпятся. Встречаем Дидар Нурхайр. Так, всем привет. Прежде всего хочу поблагодарить всех предыдущих спикеров и за материалы, которые они подготовили. Ну и, конечно,
[03:46:50] спасибо вам, за что вы пришли э на наше, скажем так, первая дата мероприятия. Надеюсь, в будущем будем устраивать побольше. Э да, на самом деле, перед, э, материалом, который я хотел показать, долго думал, э я мог бы пройтись по тому, что нас конкретно спрашивали.
[03:47:12] Ну и по ходу понял, что большинство этих ответов не будет релевантно к многим другим бизнесам. И пытался как-то это структурировать так, чтобы это было вам полезно, ну и интересно, как мы этот путь прошли. этот график, который показывает, как мы выросли в Кикселде за,
[03:47:41] по-моему, 15 месяцев. на самом деле, э таким ростом может похвастаться очень мало компаний. Ну и то, что одна из них из Казахстана меня очень радует, и я гржусь этими цифрами. А зачастую, э, все вопросы начинаются с масштаба. Масштаб – это какой у вас рынок, куда вы можете
[03:48:10] пойти. Я помню ещё в январе, по-моему, прошлого года, в декабре, а перед нашим, а, series A этот вопрос очень часто встречался. Ai рынок, что вы будете делать, зачем вам это надо? И так далее. И нужно понимать, что на разных этапах инвестирования приоритет вопросов стоит по-разному.
[03:48:34] Если это Series A, то вопрос идёт больше про видение. Насколько быстро вы можете захватить рынок и какой большой вы difference делаете от того, что есть на И как вы можете видеть, 32% роста каждый месяц нам позволил выйти в один из самых быстрощих стартапов в мире. И опять же
[03:49:00] это стартап из Казахстана. я понял, что на самом деле не много кто в целом встречается с вопросами. Это короткий слайд. как вообще выглядит весь процесс инвестиций, рейраундов, оценок и так далее. Самое первое – это, конечно, подготовка. Давайте, допустим, что мы стартап, про нас никто не знает.
[03:49:28] А самое первое – это вам сделать так, чтобы инвесторов захватить презентации про вас. И она состоит из презентации самой финансовой модели и датарума. Что такое DATМ? Наверное, это по факту папочка в Шерпонте с данными, которые вы готовы зашерить, потому что бывают темы более
[03:49:54] конфиденциальные, цифры, которые вы и не хотите показывать, но в то же время вам нужно ловить баланс таким образом, чтобы данные были достаточно привлекательными, которые могут инвесторов заинтересовать. Следующее, это уже вы ищете фонды, которые вообще инвестируют в ваше направление, потому что есть фонды, которые только с коммерции работают,
[03:50:16] есть фонды, которые с IT работают. Естественно, вы ищете фонды, которые готовы потенциально в вас инвестировать. А в идеале у вас есть тёплый контакт, то есть есть знакомые, кто кого-то оттуда знает. А, но ворский сценарий вы просто находите почты, э, ищете в интернете, ищете на сайтах и просто делаете
[03:50:37] холодный outтрич. Вы отправляете: “Вот моя презентация, вот мой dataм, хотим там столько-то денег, давайте общаться”. Оттуда будет какая-то конверсия. Первый А обычно первый звонок – это больше про команду. Кто вы, что вы и зачем вы вообще этим занимаетесь. Следующее – это как раз я их пятый и
[03:50:59] седьмой вопрос подсветил, потому что вот это именно те этапы, где дата в целом начинает участвовать напрямую в процессе инвестиции. Это погружение, первая ваши метрики, как вы их следите и так далее. Второе – это Чёрмщиты. Это вот легальная часть, скажем так. Я в этом не
[03:51:19] сильно шарю, но думаю, э будут полезны. Дальше Diligence, где уже компании, которые согласились в вас инвестируют, проверяют, насколько вы соответствуете тому, что вы сказали. И последнее – это закрытие, э, сбор подписей, что они комичены, и потом уже идёт процесс перевода денег. Что я вам подготовил? По факту за год,
[03:51:46] там, чуть больше год работы в Кикселде было больше 100 вопросов. И на самом деле большинство из них даже не про готовые вопросы, которые они пишут, что будут спрашивать. Большинство из них вопросы, которые невозможно подготовиться, потому что сейчас я на следующем слайде покажу. А большинство
[03:52:10] из этих вопросов, они появляются в моменте. И проблема эта главная в том, что сам вопрос не всегда означает, что они хотят знать конкретную цифру. У них всегда вопрос подразумевает, понимаешь ли ты, куда идёшь, зачем ты это делаешь и насколько ваши расчёты соответствуют рынку. Давайте, э, пример. А вот все
[03:52:37] вопросы, я их сгруппировал. И как вы видите, про рост, как вы быстро можете расти, насколько вы растёте, он вообще всего 9% от всех вопросов составляет. И самое часто спрашиваемое – это как раз-таки маржа. То есть всех инвесторов на фоне AI интересует маржа в первую
[03:52:57] очередь, потому что, а, ну, к сожалению,
Доклад 7: Дидар Нурхаир (Head of Data в Higgsfield AI) — «Higgsfield на допросе у VC: 10 вопросов, на которых все сыпятся» (03:53:00)
[03:53:00] или так получилось, что на рынке было слишком много историй, где компании просто пылесосили денег с рынка и всё время за счёт негативной моржи отрицательные юнит экономики наращивали себе там страшные цифры по эволюэйшену и выходили на рынки, которые не могли удержать. а на самом деле вот этот ЛТВ как, э,
[03:53:27] окупаемость, как вы это всё делаете, как привлекаете, он по факту есть. А на любые венчерные фонды зайдите и посмотрите часто спрашиваемым вопросы. Они буквально есть у всех. А, но если по факту смотреть на ЛТВ, как в истории с 100 плюс вопросов спрашивали, наверное,
[03:53:48] дважды. Вот буквально дважды спрашивали. Ну и на самом деле это не говорит о том, что это неважно. Это говорит о том, что [фыркает] насколько вы хорошо готовите материал, что он покрывает эти вопросы. То есть всегда будут базовый сет вопросов, и ваша задача на презентации
[03:54:05] максимально их закрыть, чтобы на самой встрече спрашивали про действительно важные вещи. Я просто э пример, как наши слайды, презентации для инвесторов структурировались. И вот шесть пунктов там на примере ЛТВ, как как мы закрывали эти, в принципе, вопросы, чтобы к этому в целом в идеале не возвращаться.
[03:54:29] в идеа, ну как в идеале не возвращаться, но периодически эти слайды нужно показывать, потому что мы всегда делаем форкасты, мы всегда говорим, куда мы растём. И главное, чтобы что-то мы говорили там 2-3 недели назад или там 2-3 месяца назад совпадало с тем, что мы
[03:54:43] имеем сейчас. И что я понял из вопросов, они по факту имеют у себя какую-то скоркарту. А, ну вы понимаете, что большие, там, маленькие, средние венчерные фонды имеют дело с очень большим потоком стартапов, которые хотят привлечь инвестиции. И просто вдумайтесь в цифры, если они
[03:55:11] будут вникать в каждыйшн проценты ЛТВ как соотношения там и так далее, это было бы, ну, нереальная история, которую невозможно два стартапа друг с другом сравнить. И по факту большинство имеют вот такие скоркарты, которые им дают возможность быстро оценить, насколько мы готовы туда идти или нет. Там рост,
[03:55:31] операционная эффективность, монетизация, эффективность роста, юнитэ экономика и И задайте себе вопрос по компании, которой вы в текущей работаете, как бы вы себе оценки ставили? Оценка может быть циф в цифрах, да, там 010. Оценка может быть в словах там, хорошо, плохо. А, но как бы вы сами себе
[03:55:53] поставили эту оценку? И в итоге я всё сгруппировал в четыре темы. Масштабируется или бизнес? Что такое масштабируется? Это вот возвращаясь к отрицательной экономике. Можете ли вы иметь economy of scale? То есть имея какие-то расчёты, которые у вас есть сейчас, будут ли они у вас
[03:56:14] падать с увеличением объёма? Второе. А можно ли верить цифрам? Это на самом деле звучит не супер, но опыт показывает, что все цифры, которые мы по факту показываем, а это можно интерпретировать по-разному. Мы можем сказать: “Ревеню такой, мы его так считаем”. А другая компания по-другому
[03:56:36] считает. И даже большинство терминов, которые используются на рынке, каждая компания имеет своё определение. Следующее – это надолго ли? А это вот как раз только уже более продуктовая история. насколько с вами продукты, с вашим продуктом живут люди, как они платят, пользуются и так далее. И
[03:56:53] последнее, насколько это вырастет. Вот поит насколько это вырастет, вроде бы пересекается с масштабирую цели, но для почти всех инвестфондов, а насколько это вырастет, связано с энтерпрайзом, то есть насколько адаптация вашего продукта будет среди B2B клиентов. И мы насчёт этого ещё отдельно переговорим. Первое. Можешберётся ли бизнес? А самые
[03:57:23] часто задаваемые вопросы – это какая валова моржа в разбивке по моделям? Как будете расти моржа? Что будет в объёме 10x? И на каждый из этих вопросов можно всегда заранее готовиться, всегда готовить ответы, но все они дешевеет ли единица продукта с ростом. И самое главное, понимаете ли вы почему.
[03:57:46] Потому что вот ээ у нас месяцев назад, наверное, была такая история. У нас все метрики растут, деньги растут, ретеншены улучшаются, всё улучшается, а мы не понимаем, почему. Вроде бы хорошая проблема. э, которую вы имеете. Но если это масштабировать, это такая же проблема, как и всё падает. То, что ты
[03:58:08] не знаешь, почему что падает. А как вообще менеджатся у них expectations? Например, в 2020 году Ивеestфонд AXNZ, он говорит: “Э, AI платформы будут иметь маржу 50-60%, а все софты будут иметь 60-80”. И когда они к нам приходят, они говорят: “Почему у вас ржа меньше, чем у софта? В
[03:58:36] чём разница? Почему так происходит?” И что нужно быть готовым к этому, это заранее делать реч вообще, есть ли какие-то бенчмарки на рынке по компаниям, схожим с вашими. И заранее, то есть буквально мы готовили под 60, наверное, вопросов, которые потенциально могут задать, и на каждый
[03:58:58] готовили ответы, чтобы мы на месте уже могли давать полный ответ, потому что если мы нам не дадим ответ, этот ответ придумают они сами. А это самое страшное, потому что люди будут приходить со своими какими-то ожиданиями, которые возможно нереальные. То есть вот это expectations ты должен
[03:59:16] ставить сам. А, и самое главное – это направление важнее самого уровня. Что это подразумевает? Это как они оценивают, э, что они оценивают. И всегда когда они даже спрашивают какие-то конкретные цифры, например, мм, какая маржа у вас сейчас, там мы сказали там 10%. Через 3 месяца приходит и спрашивают:
[03:59:42] “Какая у вас маржа?” 30%. И они не уходят на этом. Они говорят: “Вот эти 20, откуда они появились? Что вы сделали? Почему вы это сделали? Куда идёт рынок? Где она будет через 3 месяца?” То есть все цифры, все отдельно взятые просто датапоинты – это не то,
[04:00:00] что нужно инвесторам. Всегда нужно тренд, куда, зачем и почему. И самое главное, чтобы вы сами это понимали. И отдельное это что не проходит по таким вопросам. Это одноусранённая цифра. Я часто вижу в презентациях у нас тенtion там 80%. Ну и вы должны себе давать отчёт, что
[04:00:21] эти 80% инвесторы ни о чём не говорят, потому что вот тому же определение ретеншна, там есть три-четыре определения. В одном это хорошо, в другом это плохо. Ну давайте я вам пример приведу. у AI платформ в подписках у B2C хорошим считается 6570, а у B2B сервисов хорошим считается 92. И
[04:00:44] в итоге это вы называете цифру 80. Она вроде бы лучше, чем B2C, но хуже, чем B2B. И отсюда уже возникают вопросы, что вы им предоставляете. Вот наглядный пример. Э, один из наших поинтов. Мы предоставляли данные по конюкредитам и повю. И если посмотрите месяц один, месяц ой,
[04:01:08] месяц ноль, месяц 12 у нас конюткредиты выросли X10, но выручка выросла там X5, грубо. Что инвесторы видят? [фыркает] Они говорят: “Вы по факту продаёте кредиты, и выручка на один кредит у вас в два раза упал за 12 месяцев”. Почему так происходит? И на самом деле,
[04:01:31] даже я, наверное, у зала спрошу, как вы считаете, это хорошо или плохо? Вот я слышал хорошо. Ну да, на самом деле это хорошо. Это показывает, что пользователи больше используют кредиты, то есть выданные, да, им кредиты. И за счёт этого у нас выручка пять раз
[04:01:50] выросла, а usage выросл 10 раз. И если на вот такие ответы заранее самим не готовить, они будут это интерпретировать как плохо. И у инвесторов такая майндсет всегда в худшую сторону тянуть. И они такие: “Метрика, выручка упала X2, это плохо, у вас что-то не так, вы что-то делаете
[04:02:11] неправильно”. Хотя если сразу заходить с объяснение, что usage растёт, это хорошо, продуктом пользуется, ретеtion высокий. И смотрите на цифру в вырочке, что один каждый пользователь начинает платить в пять раз больше, чем в нулевой Отдельный пункт. Можно ли верить цифрам? Давайте я чуть ускорюсь. Я этот,
[04:02:30] кажется, отстою от графика. А что под этим подразумевает? А есть много методов оценки в целом денег. Есть списанные деньги, есть признанные деньги, есть налоги с вычетом без и так далее. И любая названная цифра без контекста, то есть как это посчитано, у инвестора вызывает вопрос, почему он сформировал
[04:02:49] так, а не по-другому? Или, э, как был хороший вопрос, мы давали цифры, и первый же вопрос был: “Тудас включён или нет?” И вот все эти 5-6% – это для US, а 20% для Европы в экономике делают огромную разницу. И в итоге репортить там миллион с таксами или 800 без – это
[04:03:13] две отдельные цифры. А что помогает в этом кейсе, что на каждую цифру, которую вы считаете, по факту у вас есть уже готовные определение, которое не меняется со временем, потому что мы сами видели э потенциальных конкурентов другие стартапы, как они рейзят, что они показывают. И у одной компании была
[04:03:36] проблема, что у них определение выручки менялся с каждой презентации к презентации. И вы имеете в виду, что если инвестор сейчас видит вашу презентацию, там первую, вторую, третью, он видел и все предыдущие. И главное тут быть consistent, что вызывает доверие. Если вы что-то меняете, то вы должны
[04:03:53] объяснить, почему вы что-то меняете. Ну и, соответственно, другие поинты в виде, а, какие версии есть. А и все презентации, которые у вас есть, всегда consistent. Вот всегда вот любую новую версию, которую вы чего-то делаете, всегда проверяете со старой, что у вас цифры всегда остаются одинаковыми.
[04:04:14] И вот тоже один пример. Мы думали очень долго. А обе цифры правильные. Это рост за год в процентах. Если вы следили за предыдущими слайдами, я показывал 32% рост. В чём разница? Что это мартовские данные за 12 месяцев. То есть это начиная с марта 2025 года,
[04:04:37] когда киксел по факту только появился и март двадцать шестого года. То есть цифры не врут, они такие же. А в чём здесь подвох? Когда вы хотите, э, как на быть импреessive, да? То есть кого-то, э, задобрить, не знаю, чтобы показать, что вы крутые. А имейте в виду, что а
[04:05:00] как что почитано всегда будет спрашивать. Если вы свои цифры строите на около нулевых значениях и оттуда строите проценты, это это сразу noу go. И если у вас нет истории, пытайтесь это как-то агрегировать и давать в значимость, да, к вашим цифрам. То есть ноль умножено там на, ну, то есть 1
[04:05:21] доллар умножен на 5.000 долларов через год, это 5.000% ростбизнеса. Ну, звучит так себе. А следующее, по факту у нас м в сентябре мы прошли отметку в 1 млрд. А по факту у неё есть три правильные цифры. Первое – это билинг. Ну, что такое билинг – это сколько денег
[04:05:42] фактически мы исписали. Следующее – это признанная выручка. Это вот как раз было 22-23 сентября, где мы пробили 1 млрд. И последнее – это признанное. Э почему вот эти две последние чуть отличаются? А мы, чтобы быть consistent, один метод признания используем всё время. И в er,
[04:06:04] когда очень много бизнес становится уже микс, то есть они не только подписка, они не только транзакционные, у них есть всё вместе. Мы выбрали как раз подход, который используют, ну, как antropic, lovable, Open AI, которые всегда берут последние 28 дней и умножают на 13.
[04:06:20] Логика довольно проста. Если вы берёте месяц, умножаете на 12, вы всегда репортите 360 дней. То есть вы 5 дней теряете. А если вы берёте 28 дней, умножате на 13, вы всегда покрываете 364 дня, что более там корректно показывает год. А следующий вопрос. Это надолго.
[04:06:43] Что обычно тут спрашивают? Это ретешн первого месяца. Потому что у всех подписочных бизнесов самая проблемная точка – это сколько из пришедших вами пользователей остаются на следующий А и второй, это не не менее важный, наверное, вопрос, сколько денег остаётся, потому что это не всегда
[04:07:03] одинаковая цифра. И всегда нужно, конечно же, покажет когорты, как они растут, как они consistent. как они выходят из Плато и что они хотят ээ со всем этим знать. Даже если у вас ретенш юзерный низкий, но люди, которые остаются, платят x10, то это тоже свой
[04:07:23] метод бизнеса, свой метод мотизации и по факту хотят знать, остаются ли клиенты и тратят ли они больше со временем. А следующее, так как горт этот не середины я проговорил, вот я хотел насчёт этого тоже сфокусироваться. А говорят удержание, ретенш. Посмотрите, у нас есть три определения ретеншена и
[04:07:45] процентных пунктов между ними 20. Это удержание выручки, удержание подписок, удержание клиентов. Я думаю, по определениям самого там в целом понятно. А в чём главный поинт? То, что когда вы репортите цифры, которые вы показываете, всегда давайте контекст, как это цифры были посчитаны. Потому что если вы её не
[04:08:06] дадите, инвесторы придумают его за вас. Второй слайд, который я хотел показать, почему retтенtion – это, наверное, одно из главных, но не самое – это вручка в деньгах. Посмотрите этот график. Мы брали пользователей сентября, по-моему, двадца пятого года, а в нулевой месяц покупки у нас 91%
[04:08:31] денег приходит с подписки, девять приходят с дополнительных кредитов, которые они докупают. И эти же пользователи на двенадцатый месяц по факту платят больше за кредиты, чем за саму подписку, почти ну такую же сумму. О чём это говорит? о том, что у продукта есть масштабируемость даже в рамках
[04:08:48] индивидуальных планов, не говоря уже о и насколько это вырастет. Это больше про а корпоративный адопtion. Мы в целом, наверное, эту тему несколько раз покрывали. Ээ как мы считаем, вам нужно сперва захватить B2C рынок. B2C рынок – это те люди, которые драйвят B2B adoption. То
[04:09:10] есть люди сперва должны попробовать сами. Потом мы должны показать, как это можно использовать в Энтерпрайзе. Тогда они уже пойдут свои методы внедрять в компании, в корпорации, соответственно, переходить к нам как Enterprise. И, ну, конечно же, самый большой вопрос: сколько они платят, насколько они больше
[04:09:27] платят и так далее. Я, наверное, вот я не добавил слайд, чисто инсайдерская Вот у нас есть топ-10 энтерпрайзов, которые сейчас нам моментоктивны, и все 10 приходили как индивидуальные планы. То есть оттуда по факту был один-два человека, которые просто пользовались подписками и сейчас в итоге заскелили
[04:09:49] свой бизнес. Ну, в N раз они платили нам намеры 100 долларов, сейчас там в месяц платят по 4 млн долларов. Это про тему, что B2C Adoption ведёт Ну и, соответственно, опции, что проходит, что нет. А так тоже часто спрашивают, кто такой enterprise, кто такой корпоративный и так далее. У
[04:10:12] нас, э, термин простой. А почему простой? Часто бывает вопросы, люди начинают придумывать. Если он пришёл, [откашливается] сделал это, потом сюда, то мы считаем его таким-то Проблема с такими подходами, что чем больше условий, почему он крутой, тем больше вопросов это вызывает. А у нас
[04:10:35] определение довольно простое. А B2BL, B2B карта, либо же сам Enterprise. И ни у какого инвестора никогда не возникает вопросов, кто такой Corporate. Дальше у нас есть цифра вот 430+, э, из Fortune 500. Отсюда тоже определение. Как мы определяем? Мы берём карты, домены и текущие наши
[04:11:04] А, и никаких инвесторов не возникает вопросов, откуда эти цифры. Это вот как раз про инсайдерскую инфу, что 86% наших всех энтерпрайзов начинали как индивидуал планы. И это, наверное, больше сигнал к будущим, наверное, продуктам, будущим стартапам, что Bits сектор тоже всегда является одним из на как важных этапов
[04:11:28] воронки, который ведёт к вашим B2B Ну и в итоге, как понять, что вы молодцы на этих разговорах, на всех этих вопросах? А это по факту можно знать по следующим вопросам, которые они задают. Если они вопрос задали, переходят к следующей теме, значит вы молодцы, вы правильно
[04:11:49] ответили, у них expectations good. А если спрашивают: “А что будет, если там таких пользователей станет тысячу? А что будет, когда вы будете миллиардами или десятимиллиардной компанией?” Значит, у них вопрос не в самой цифре, а они пытаются понять направление, то есть куда идёт бизнес, что вы будете делать,
[04:12:08] что будете делать через пять, ты через 10. Ну, я думаю, никому не секрет, что у любых инвесторов первая задача – это X денег, которые они вложили. Поэтому тут довольно прагматично, а, и вам тоже нужно отвечать в этом прагматичном формате, чтобы удовлетворить их интерес.
[04:12:28] Следующее – это просят эту же цифру посчитать по-другому. Значит, ваше определение или ваш метод их не убедил. не убедил. Это значит, вы потратите очень много времени, доказывая им. И самая главная проблема с этим, что каждый раз, когда вы пытаетесь что-то им доказать, это
[04:12:50] каждый раз снижает ваш уровень доверия к вам. И в идеале вы сказали определение, всё поняли, пошли дальше. Нормальный кейс, ещё раз по-другому сказали. Третий, значит, ээ, вы либо не не смогли донести, либо вам нужно вообще переработать, э, как вы определяете ту или иную версию. И проти сходные данные,
[04:13:13] это уже на последних этапах происходит. Вы можете по факту, скажем так, на слайдах рисовать любые цифры, что вы там молодцы. Но имейте в виду, что все цифры, которые вы будете показывать и даже не показывать, они будут сами считать и будут считать по-своему. И вы должны быть к этому
[04:13:31] готовы. И частый вопрос, где один и тот же вопрос переспрашивают там три-четыре человека из, э, ну, как не собеседования, а во время разговоров, потому что со стороны инвесторов всегда находится три или четыре человека. И один может спросить вопрос, второй, может, третий вопрос, четвёртый, и они
[04:13:50] спрашивают одно и то же. Значит, что ваш ответ, который вы предоставляете в формате, котором вы пересказали, он недостаточно хорош. Либо он это не то, что они ожидают. И вот как выглядит любая цифра, которую мы предоставляем. У нас есть цифра, у нас есть, э, как мы её посчитали, есть
[04:14:13] определение, почему мы её так считаем, есть дата, когда это было посчитано. А дальше самое, на самом деле, важное, потому что сейчас частенько бывает, ты посчитал цифру, всё, на этот момент всё хорошо, через месяц эту же цифру спрашивают, и ты, блин, а как я её
[04:14:28] считал? Это на самом деле как экзистольный вопрос. И в идеале любой скильзапрос, любые цифры, которые вы где-то как-то считаете, сохраняйте, записывайте, ведите прямо лог, какие цифры кому, когда и как были посчитаны. Ну и последнее – это контекст. Контекст вот самое, наверное, важное из всего
[04:14:46] этого. как вы пришли ко всему этому. И каждый цифру, каждое утверждение, которое вы даёте, в идеале записываете в таком формате, потому что через время они будут об этом спрашивать ещё раз. И самый ворсткий сценарио один одну и ту же цифру спросить дважды, и вы дважды
[04:15:05] скажете разные два разных определения. И по факту, что хочет инвестор знать, это не цифры, это не не ваше видение мира, а по факту это куда вы идёте и каким образом вы туда дойдёте. И всегда можно быть готовым к тесту, да, а ещё до встречи, если знать,
[04:15:32] что они хотят, и к ним правильно подбирать слова. Потому что история Пич и так далее – это всегда про убедительность. И как на последней встрече SEO Nvid говорил, инвестирует не в бизнес, инвестирует в люди. Поэтому будьте уверены, говорите чётко. Всегда держите одно и то же определение, и у
[04:15:54] вас всё будет good. И я ставил такой что по факту они спрашивают и что они хотят с этого узнать. У меня всё. Всем спасибо, Дедар. Большое большое спасибо. А у нас рубрика вопросов. Выбирайте. >> А давайте вот парень в чёрном. Угу. >> Можно нам микрофон, пожалуйста, за
[04:16:33] >> Добрый день. Спасибо большое за доклад. А меня зовут Яржан. У меня два вопроса есть. Первый подскажите, пожалуйста, вот вы готовитесь к этим всем вопросам, но всё-таки насколько про в процентном соотношении реально подготовиться ко всем вопросам? Вот и второй вопрос. если можно привести успешный кейс
[04:16:55] переговоров, которым вы гордитесь. Было бы интересно послушать. Спасибо. >> М, отвечаю на первый. Насколько реально? я бы сказал, из всех вопросов, которые мы заранее готовили, и их было больше тыся, наверное, реально спросили, ну, 20, наверное. Ну, отвечая на вопрос, можно ли быть готовым ко всему,
[04:17:17] наверное, нет. Но когда ты готовишься к этим вопросам, ты сам больше имеешь контекста, больше имеешь понимания, и ты к любым, как неожиданным, э, вопросам, которые могут прийти, готов, потому что у тебя есть ещё тыся вариаций. Что ты изучал, кто ты готовился, и сможешь
[04:17:36] ответ составить таким образом, чтобы это, а, как правильно прозвучало. Ну, как бы это ни было. Угу. А из хороших а на самом деле их несколько. К сожалению, наверное, отдельно с кем это я не могу назвать, но самая быстрая встреча была 15 минут. Буквально зашли,
[04:17:57] четыре вопроса задали, мы четыре ответа дали, они сказали: “Всё, поехали”. И по всё, наверное, прошло там буквально за 4 >> Отлично. Следующий вопрос. А вот давайте, девушка в красном. Середина, третий ряд. >> Здравствуйте, снова. Вот подумайте, если вам дали 5 минут, чтобы доказать, что
[04:18:24] Хиксел переоценён, какие три метрики вы бы привели в качестве аргумента? >> ну тут довольно просто. А Creative Market, э-э, total accessible Market сейчас это 3 триллин долларов, из которых, а, какую-то часть покрывает Adob, какую-то часть покрывает отдельные тулы, есть маркетинг-инструменты, а Hix по факту сейчас имеет всего 1,5 млрд, а
[04:18:49] из этого маркета. И говорит, что из трёхтриллионного маркета, имея полтора – это переоценка, э, очень грубое допущение. Поэтому у Кислда есть ещё очень высокий потолок, куда мы можем >> Спасибо. Ещё кто? >> Вот давайте вот сзади парень, да, поднимает руки. Да-да. Да, вот который вот опустил сейчас. Вот
[04:19:11] поднял. Да, да, у столба, короче, который. [смех] >> А, здравствуйте. У меня больше технический вопрос, наверное, про качество данных, которые вы >> Как вы консолидируете все свои данные? Потому что у вас много систем. У вас есть платёжная, есть у вас бухгалтерия, есть маркетинг, дефрод, там клиенты. И
[04:19:34] как вы всё консолидируете? Что за платформу вы используете? >> А, ну за консолидацию у нас всё довольно-таки просто. Ну ладно, давайте так сейчас просто, потому что к этому мы тоже очень, э, какое-то время шли. Э за каждое направление есть отдельные люди, которые отвечают за констиции данных,
[04:19:53] чтобы они всегда считались одним методом. У нас на еженедельной основе проверяется, какие цифры у нас есть, насколько они полные, имеем ли мы полные данные и насколько мы готовы вообще их презентовать. Если мы не уверены в данных, есть отдельные люди, которые идут и проверяют. И за счёт недельных
[04:20:09] чеков, когда месяц проходит, мы, ну, на 99,9% уверены в своих данных. И как это учитывается? Если говорить про инструментарию, у нас ещё сейчас в бикуре а инструмент визуализации у нас ХКС. а-а для консолидации проверок у нас очень много-агентов, которые делают определённую долю задачи за нас.
[04:20:30] >> А, всё, понял. Спасибо. >> Прежде чем воду задут маленькое объявление, прошу не покидать свои места. У нас ещё маленький сюрприз есть для вас, поэтому, особенно вот эта часть, лучше бы её было заполнить, >> да? Хорошо. Следующий вопрос. >> Парень в полосатом чёрно-белом.
[04:20:47] >> это окончательный финальный вопрос. >> Всем привет. Спасибо за возможность задать вопрос. А вы упомянули B2C Adoption, то, что много ваших клиентов, которые работают именно по B2C, они переходили с Individual в B2C. А, >> да, B2B, B2C. А ведётся ли у вас какой-то тренкинг B2C адапшна? Возможно,
[04:21:09] вы как-то находите людей, которые имеют там high likely там конверсии с B2B, B2C в более прибыльный план? Имеются ли у вас такие механики, методики? Пользуетесь ли вы таким или это больше как естественный планомерная конверсия за счёт хорошего продукта? Вот. А по факту мы мы понимаем, что самый
[04:21:31] книвствительный сегмент – это B2C сегмент. И как мы понимаем, что люди подходят под B2B? Это когда value, которые они получают, а больше схож с Под valю, я имею в виду, у них есть командные задачи, у них есть проектные работы, да, где мы понимаем, что они
[04:21:49] работают над маркетингом, над Cinematic Studio или ещё что-то. И мы по факту, ну, развешиваем разные триггеры и делаем так называемый product quality lead, где мы их пытаемся обселить уже в тим-планы. В тим-планах, в определённых кейсав мы начинаем их обскелить в сale-планы. И уже со сaleпланов после определённой
[04:22:09] цифры мы знаем, что им экономически выгоднее enterprise, то есть у нас есть валидные датапоинты. Почему следующий план лучше, чем то, что ты используешь сейчас с точки зрения денег? Потому что деньги – это в большинстве случаев драйвер у B2C, а в B2B, когда они уже
[04:22:26] дотерпрайса доходят, уже больше фичи, секюрность, опции, как они могут распределять кредиты и так далее. Там, ну, в принципе, ценности другие, но весь пайплайн до энтерпрайса, это всегда касается денег и почему им выгодно идти >> Хорошо, спасибо большое, >> Дидар. Время выбрать лучший вопрос.
[04:22:44] >> какой вам понравился? я думаю, вопрос, который был два вопроса подряд. Вот у, да, у парня, который задавал первый, по-моему, да? Или второй? Да, вот молодой человек сидит. Отлично. Ваш подарок уже направляется к вам. А с вами был
Q&A сессия с Дидаром Нурхаиром (04:23:00)
[04:23:01] >> Дидар Нургайр. Наша официальная часть на этом заканчивается. Не спешите уходить. Впереди ещё не официальная часть фуршет. Много общения, много нетворкинга, много коллег. А я бы хотел как небольшое резюме этого вечера сказать, что у нас было шесть выступлений. Я надеюсь, что многие получили идеи, которые будут
[04:23:27] использованы также в вашей работе. что было получено много вдохновения от этого коммьюнити. А также я хотел поблагодарить бы каждого, кто сюда пришёл, также нашу онлайна аудиторию и, разумеется, спикеров, которые сегодня для вас выступали. Я прошу всех спикеров подняться на эту Мы предлагаем залу сделать совместное
[04:23:52] >> Фото с залом, зал может подходить в целом. Мы развернёмся же. Нам нужен фотограф. А, сначала так. О’кей. Ладно, сначала мы так сделаем, потом [музыка] фотозалом, я так понял. А теперь фото с залу. Теперь мы делаем фото. Ну, можно было со сцены, но ладно.
[04:24:47] Прошу встать. Наверное, мы подходим, подходим, не стесняемся. Я всех благодарю. Напоминаю, сейчас будет фуршет, также много неформального общения. Также хочу напомнить, что Хиксфилд нанимает. Сейчас будет QR-код, по которому можно пройти, и наш бот попробует вам вакансию подобрать. Всем спасибо за ваше участие.
Что такое TengriMap?
TengriMap — первая в истории интерактивная платформа-навигатор по технологической и исследовательской экосистеме Центральной Азии (Казахстан, Узбекистан, Кыргызстан, Таджикистан) от создателей devs.kz. Нанесите свой проект на карту экосистемы и заявите о себе.
Что можно делать на платформе:
- 🗺️ Интерактивная карта: находите AI-стартапы, технологические хабы и коворкинги в Алматы, Астане, Ташкенте и Бишкеке.
- 📄 arXiv-радар: каталог передовых исследований региона с оценкой коммерческого и прикладного потенциала (
artifactPotential). - 🚀 Artifacts Workspace: запуск совместных проектов между фаундерами, ML-инженерами и менторами-исследователями.
👉 Исследовать экосистему первым: app.tengrimap.com