[{"data":1,"prerenderedAt":54627},["ShallowReactive",2],{"course:aidt-iot-mii":3,"course:aidt-iot-mii:topics":74,"course:aidt-iot-mii:project":40},{"id":4,"title":5,"body":6,"course_slug":39,"description":35,"env_label":40,"env_url":40,"extension":41,"group":42,"is_course_project":43,"is_index":44,"level":45,"meta":46,"navigation":44,"path":70,"section":40,"seo":71,"stem":72,"topic_number":40,"topic_slug":40,"__hash__":73},"courses\u002Fcourses\u002Faidt-iot-mii\u002Findex.md","Методы искусственного интеллекта",{"type":7,"value":8,"toc":34},"minimark",[9,14],[10,11,13],"h2",{"id":12},"документы","Документы",[15,16,17,27],"ul",{},[18,19,20,21,26],"li",{},"Требования к содержанию и оформлению — ",[22,23,25],"a",{"href":24},".\u002Fshared\u002FSTYLEGUIDE","shared\u002FSTYLEGUIDE.md",".",[18,28,29,30,26],{},"Содержание курса — ",[22,31,33],{"href":32},".\u002Ftopics","topics.md",{"title":35,"searchDepth":36,"depth":36,"links":37},"",2,[38],{"id":12,"depth":36,"text":13},"aidt-iot-mii",null,"md","iot",false,true,"бакалавриат",{"topics_count":47,"has_lr":44,"has_pz":44,"has_course_project":43,"final_assessment":35,"tech_focus":48,"kind":49,"authors":50,"publication":61,"annotation":69},9,"scikit-learn, Keras\u002FTensorFlow, Hugging Face","Учебное пособие",[51,56],{"last_name":52,"first_name":53,"patronymic":54,"role":55,"affiliation":35},"Корчагин","Сергей","Геннадьевич","автор",{"last_name":57,"first_name":58,"patronymic":59,"role":55,"affiliation":60},"Рындин","Никита","Александрович","ВГТУ",{"city":62,"year":63,"founder":64,"publisher":65,"udk":35,"bbk":35,"shelf_mark":35,"isbn":35,"approval_body":68},"Воронеж",2026,"Министерство науки и высшего образования Российской Федерации",{"short":60,"full":66,"address":67},"Федеральное государственное бюджетное образовательное учреждение высшего образования «Воронежский государственный технический университет»\n","394026, Воронеж, Московский проспект, 14","Издается по решению редакционно-издательского совета\nВоронежского государственного технического университета\n","Учебное пособие охватывает основные методы искусственного интеллекта:\nклассические алгоритмы поиска и логического вывода, постановку задач\nмашинного обучения, классические алгоритмы классификации и регрессии,\nобучение без учителя, методологию оценки и выбора моделей, нейронные\nсети и обработку естественного языка с применением современных\nпредобученных моделей.\n\nПредназначено для студентов бакалавриата, изучающих дисциплины\n«Методы искусственного интеллекта» и смежные курсы по машинному\nобучению. Предполагается базовое владение языком Python и навыки\nпредварительной обработки данных.","\u002Fcourses\u002Faidt-iot-mii",{"title":5,"description":35},"courses\u002Faidt-iot-mii\u002Findex","piE67Aq1EFie5slrRu4oHnVNvzYsc6XAWuF13eVVSic",[75,112,648,5730,10843,22822,34767,40944,46466,51672],{"id":76,"title":77,"body":78,"course_slug":39,"description":87,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":104,"navigation":44,"path":105,"section":106,"seo":107,"stem":108,"topic_number":109,"topic_slug":110,"__hash__":111},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-00-content.md","Введение",{"type":7,"value":79,"toc":102},[80,84,88,96,99],[81,82,77],"h1",{"id":83},"введение",[85,86,87],"p",{},"Настоящее пособие посвящено алгоритмическим подходам, на которых строятся современные системы прогнозирования, классификации и автоматического рассуждения. Центральный вопрос — что по имеющимся данным можно предсказать, автоматизировать или объяснить, и какими средствами это делается. Предполагается, что читатель уже владеет базовыми навыками работы с данными — их загрузкой, очисткой, разведочным анализом и построением признакового пространства; задача пособия — научить строить по этим данным модели.",[85,89,90,91,95],{},"Под методами искусственного интеллекта (англ. ",[92,93,94],"em",{},"artificial intelligence, AI","; далее — ИИ) здесь понимается совокупность алгоритмических подходов, позволяющих компьютерной программе решать задачи, традиционно считавшиеся прерогативой человеческого интеллекта: распознавание образов, классификацию ситуаций, прогнозирование, рассуждение по неполным сведениям, понимание текста. Современный ИИ — это в первую очередь машинное обучение: построение моделей не через явное программирование правил, а через обучение на примерах. Однако сводить всю дисциплину к одному машинному обучению было бы неверно. Историческое ядро ИИ — символьные методы: поиск в пространстве состояний, логический вывод, представление знаний. Они продолжают применяться в навигационных сервисах, игровых движках, системах планирования и проверке программного обеспечения. Поэтому изложение охватывает оба больших класса методов: сначала кратко рассматриваются символьные подходы, что даёт исторический и концептуальный контекст, а затем основное внимание сосредоточено на машинном обучении — формализации задачи, классических алгоритмах, ансамблевых методах, нейронных сетях и современных моделях на основе трансформеров.",[85,97,98],{},"Девять тем пособия складываются в четыре смысловых блока. Первый — исторический и концептуальный контекст: что такое ИИ, какие подходы в нём сложились исторически, какое место занимает машинное обучение и какова роль символьных методов. Второй блок — классическое машинное обучение: формализация задачи, алгоритмы классификации и регрессии, обучение без учителя. Третий — методология и ансамбли: кросс-валидация, подбор гиперпараметров, случайный лес, градиентный бустинг, стэкинг; он намеренно идёт после конкретных алгоритмов, так как без понимания того, какие модели сравниваются, методология выбора лишена смысла. Четвёртый блок — нейронные сети и современный ИИ: многослойный перцептрон, обратное распространение ошибки, свёрточные и рекуррентные архитектуры, обработка естественного языка, большие языковые модели и трансформеры.",[85,100,101],{},"Изложение рассчитано на студента бакалавриата, прослушавшего вводный курс по анализу данных. Потребуются уверенное владение Python и библиотеками NumPy и Pandas, знакомство с типовыми операциями анализа данных, а также базовые сведения из линейной алгебры (векторы, матрицы, умножение матриц), математического анализа (производная, градиент) и теории вероятностей (случайная величина, распределение, математическое ожидание). Глубокого знакомства с математической статистикой не требуется: необходимые понятия вводятся по ходу изложения. Однако пробелы в перечисленных областях стоит закрыть заранее — обращаться к справочникам в момент, когда уже идёт разбор алгоритма, значительно менее эффективно.",{"title":35,"searchDepth":36,"depth":36,"links":103},[],{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-00-content","content",{"title":77,"description":87},"courses\u002Faidt-iot-mii\u002Ftopic-00-content",0,"topic-00","gyhZ-6-lRW-RntOkpd5OhMAijLPkrtO-wEUH1OF2InY",{"id":113,"title":114,"body":115,"course_slug":39,"description":122,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":641,"navigation":44,"path":642,"section":106,"seo":643,"stem":644,"topic_number":645,"topic_slug":646,"__hash__":647},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-01-content.md","Тема 1. Что такое ИИ: история и классификация подходов",{"type":7,"value":116,"toc":626},[117,120,123,127,132,152,165,168,181,185,202,215,228,251,254,267,280,284,288,291,315,344,361,372,376,394,405,412,415,419,422,429,436,447,458,462,465,477,486,499,507,510,514,517,525,531,537,544,554,557,561],[81,118,114],{"id":119},"тема-1-что-такое-ии-история-и-классификация-подходов",[85,121,122],{},"Искусственный интеллект занимает особое место среди дисциплин, связанных с информационными технологиями. В отличие от большинства инженерных направлений, ИИ с момента зарождения ставил перед собой не только практические, но и фундаментальные вопросы: может ли машина мыслить, каковы границы автоматизации интеллектуальной деятельности, чем формальное рассуждение отличается от понимания. Окончательных ответов нет до сих пор, однако попытки их найти породили методы, которые сегодня лежат в основе машинного обучения, компьютерного зрения, обработки естественного языка и многих других прикладных областей. В рамках этой темы мы проследим, как формировалась дисциплина, какие подходы в ней сложились и какое место среди них занимает машинное обучение — центральный предмет настоящего курса.",[10,124,126],{"id":125},"становление-искусственного-интеллекта-как-научной-дисциплины","Становление искусственного интеллекта как научной дисциплины",[128,129,131],"h3",{"id":130},"истоки-и-предпосылки","Истоки и предпосылки",[85,133,134,135,138,139,151],{},"Идея создания искусственного разума значительно старше самих вычислительных машин. Ещё в XVII веке Лейбниц предложил концепцию универсального исчисления (лат. ",[92,136,137],{},"calculus ratiocinator",") — формальной системы, способной механически порождать истинные утверждения ",[140,141,144],"sup",{"className":142},[143],"cite",[22,145,147],{"href":146},"#ref-1",[148,149,150],"span",{},"1",". До появления программируемых вычислительных устройств подобные идеи оставались философскими конструкциями, но они задали направление мысли: интеллект можно попытаться свести к вычислению.",[85,153,154,155,164],{},"Поворотной точкой стала работа Алана Тьюринга «Computing Machinery and Intelligence» ",[140,156,158],{"className":157},[143],[22,159,161],{"href":160},"#ref-2",[148,162,163],{},"2",". Предложенный в ней тест формулируется просто: если человек, общаясь с собеседником через текстовый интерфейс, не может надёжно определить, является ли тот человеком или машиной, то машину следует признать обладающей интеллектом. Тест Тьюринга не является строгим научным критерием — он не определяет, что именно означает «мыслить». Его заслуга в другом: проблема была переведена из философской плоскости в операциональную и стала предметом инженерного исследования.",[85,166,167],{},"Параллельно развивалась математическая логика. Работы Гёделя, Чёрча и самого Тьюринга показали, что существуют чётко определённые границы вычислимости: не всякая математическая задача может быть решена алгоритмически. Эти результаты обозначили пределы того, на что в принципе способна вычислительная машина, но одновременно дали ИИ строгий язык для постановки задач.",[85,169,170,171,180],{},"Ещё одна предпосылка — кибернетика Норберта Винера ",[140,172,174],{"className":173},[143],[22,175,177],{"href":176},"#ref-3",[148,178,179],{},"3",". Винер показал, что процессы управления у живых организмов и в технических системах подчиняются общим закономерностям: и те и другие используют обратную связь для корректировки поведения. Этот взгляд — интеллектуальное поведение как результат взаимодействия системы со средой — впоследствии нашёл развитие в обучении с подкреплением.",[128,182,184],{"id":183},"основные-этапы-развития","Основные этапы развития",[85,186,187,188,191,192,201],{},"Формальной датой рождения ИИ как самостоятельной дисциплины принято считать 1956 год — Дартмутский семинар, организованный Джоном Маккарти, Марвином Минским, Натаниэлем Рочестером и Клодом Шенноном. Именно в заявке на его проведение впервые появился термин ",[92,189,190],{},"artificial intelligence"," ",[140,193,195],{"className":194},[143],[22,196,198],{"href":197},"#ref-4",[148,199,200],{},"4",". Участники исходили из оптимистичного предположения, что за одно лето удастся существенно продвинуться в моделировании мышления. Оптимизм оказался преждевременным, но направление было задано.",[85,203,204,205,214],{},"Первые два десятилетия после семинара прошли под знаком символьного подхода. Исследователи создавали программы, оперирующие символами и правилами: Logic Theorist Ньюэлла и Саймона ",[140,206,208],{"className":207},[143],[22,209,211],{"href":210},"#ref-5",[148,212,213],{},"5"," доказывала математические теоремы, другие системы планировали действия и играли в шахматы. Результаты впечатляли — машины справлялись с задачами, которые считались интеллектуальными. Проблема обнаружилась при попытке выйти за пределы хорошо формализованных областей: стоило задаче столкнуться с неструктурированной реальностью, система оказывалась беспомощной.",[85,216,217,218,227],{},"Разрыв между обещаниями и реальностью привёл к первой «зиме ИИ» (середина 1970-х). Отчёт Лайтхилла ",[140,219,221],{"className":220},[143],[22,222,224],{"href":223},"#ref-6",[148,225,226],{},"6"," в Великобритании и аналогичные оценки в США констатировали провал: комбинаторный взрыв при масштабировании задач, неспособность работать с неточной информацией, отсутствие обучения на опыте — всё это оказалось значительно сложнее, чем предполагалось. Финансирование было резко сокращено.",[85,229,230,231,240,241,250],{},"Новую волну интереса в 1980-х вызвали экспертные системы — программы, воспроизводящие рассуждения специалиста в конкретной предметной области. MYCIN диагностировала инфекционные заболевания ",[140,232,234],{"className":233},[143],[22,235,237],{"href":236},"#ref-7",[148,238,239],{},"7",", XCON конфигурировала вычислительные системы ",[140,242,244],{"className":243},[143],[22,245,247],{"href":246},"#ref-8",[148,248,249],{},"8",". Коммерческая ценность была продемонстрирована, но обнаружилось узкое место: базы знаний приходилось формировать вручную, что делало системы дорогими в создании и неустойчивыми к изменениям предметной области.",[85,252,253],{},"Именно разочарование в ручном формировании знаний стало одной из причин статистического поворота 1990–2000-х — смены научной парадигмы, при которой исследователи перестали пытаться описать интеллект через явные логические правила и перешли к его моделированию средствами математической статистики и теории вероятностей. Знание в такой постановке — не набор предписанных экспертом утверждений, а закономерность, оценённая по выборке наблюдений; рассуждение — не дедуктивный вывод, а оценка вероятности гипотезы при имеющихся данных. К этому методологическому сдвигу добавились два внешних фактора — рост объёмов доступных данных и удешевление вычислений. Вместо попыток явно запрограммировать интеллектуальное поведение исследователи стали строить модели, обучающиеся на данных: деревья решений, метод опорных векторов, байесовские классификаторы.",[85,255,256,257,266],{},"Наконец, прорыв 2012 года: свёрточная нейронная сеть AlexNet ",[140,258,260],{"className":259},[143],[22,261,263],{"href":262},"#ref-9",[148,264,265],{},"9"," выигрывает конкурс ImageNet с радикальным отрывом от конкурентов. С этого момента глубокие нейронные сети стали доминирующим инструментом в компьютерном зрении, обработке естественного языка, распознавании речи. Три фактора сделали это возможным: большие размеченные датасеты, вычислительная мощность GPU и усовершенствованные алгоритмы обучения (dropout, batch normalization, улучшенные функции активации).",[85,268,269,270,279],{},"Десятилетие после AlexNet принесло ещё один сдвиг — на этот раз в обработке естественного языка. В 2017 году была предложена архитектура трансформера ",[140,271,273],{"className":272},[143],[22,274,276],{"href":275},"#ref-10",[148,277,278],{},"10",", основанная на механизме внимания и допускающая параллельное обучение на огромных корпусах текста. На её основе выросло семейство больших предобученных моделей, дообучаемых под частные задачи: BERT — для понимания текста, GPT-серия — для генерации, CLIP — для согласования текста и изображений. Качественный скачок произошёл в 2022–2023 годах: появление ChatGPT, диффузионных моделей синтеза изображений (Stable Diffusion, Midjourney), мультимодальных систем, способных одновременно работать с текстом, изображением и звуком. К 2024–2025 годам в фокус вышли ИИ-агенты — модели, не только отвечающие на вопрос, но и самостоятельно планирующие последовательность действий, обращающиеся к внешним инструментам и API. Технологически это всё то же глубокое обучение, выросшее из коннекционистских идей середины XX века, — но масштаб моделей и широта решаемых задач изменили общественное восприятие ИИ радикальнее, чем любой прежний этап.",[10,281,283],{"id":282},"классификация-подходов-к-ии","Классификация подходов к ИИ",[128,285,287],{"id":286},"символьный-ии-и-коннекционизм","Символьный ИИ и коннекционизм",[85,289,290],{},"Всю историю ИИ пронизывает противостояние двух подходов к моделированию интеллекта.",[85,292,293,297,298,301,302,191,305,314],{},[294,295,296],"strong",{},"Символьный подход"," (англ. ",[92,299,300],{},"symbolic AI",", иногда GOFAI — ",[92,303,304],{},"Good Old-Fashioned AI",[140,306,308],{"className":307},[143],[22,309,311],{"href":310},"#ref-11",[148,312,313],{},"11",") исходит из того, что интеллектуальная деятельность сводится к манипулированию символами по формальным правилам. Знания представляются явно — факты, правила, онтологии — а рассуждение реализуется как логический вывод. Чтобы понять, как это работает на практике, достаточно вспомнить экспертную систему MYCIN: она хранила несколько сотен правил вида «если у пациента наблюдается симптом X и результат анализа Y, то с вероятностью Z причина — инфекция W». Система была способна обосновать каждый шаг рассуждения — и в этом главное достоинство символьного подхода. Его главное ограничение — там, где знания трудно формализовать (распознавание образов, понимание естественного языка), символьные системы работают плохо.",[85,316,317,297,320,323,324,333,334,343],{},[294,318,319],{},"Коннекционистский подход",[92,321,322],{},"connectionism",") устроен принципиально иначе. Вместо явного задания правил система обучается на примерах, самостоятельно выявляя закономерности. Перцептрон Розенблатта ",[140,325,327],{"className":326},[143],[22,328,330],{"href":329},"#ref-12",[148,331,332],{},"12",", многослойные сети с обратным распространением ошибки ",[140,335,337],{"className":336},[143],[22,338,340],{"href":339},"#ref-13",[148,341,342],{},"13"," — ранние модели демонстрировали способность к обобщению, но упирались в нехватку данных и вычислительных ресурсов. Современные глубокие нейронные сети — по сути, развитие того же коннекционистского подхода, получившего практическую применимость благодаря аппаратному и алгоритмическому прогрессу.",[85,345,346,347,350,351,360],{},"Современные нейро-символьные системы разделяют задачу между подходами: нейронная сеть распознаёт объекты на изображении или извлекает сущности из текста, а затем передаёт результат символьному модулю, который выполняет логический вывод, проверяет ограничения или строит план действий. Например, в системе визуального ответа на вопросы (англ. ",[92,348,349],{},"visual question answering",") нейросеть определяет, какие объекты присутствуют на изображении, а логический модуль отвечает на вопрос «сколько красных предметов левее куба?», оперируя уже структурированными фактами ",[140,352,354],{"className":353},[143],[22,355,357],{"href":356},"#ref-14",[148,358,359],{},"14",". Тем не менее для осознанного выбора методов и понимания их ограничений различение символьного и коннекционистского подходов остаётся принципиально важным. В настоящем курсе мы работаем преимущественно в коннекционистской и статистической парадигмах, но в теме 2 рассмотрим и классические методы поиска, восходящие к символьной традиции.",[362,363,364,365,364,369],"figure",{},"\n  ",[366,367],"img",{"src":368,"alt":287},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-01\u002Fsymbolic_vs_connectionist.svg",[370,371,287],"figcaption",{},[128,373,375],{"id":374},"иерархия-понятий-ии-машинное-обучение-глубокое-обучение","Иерархия понятий: ИИ, машинное обучение, глубокое обучение",[85,377,378,379,382,383,382,386,389,390,393],{},"Термины ",[92,380,381],{},"искусственный интеллект",", ",[92,384,385],{},"машинное обучение",[92,387,388],{},"глубокое обучение"," и ",[92,391,392],{},"наука о данных"," в популярных источниках часто используются как синонимы — это создаёт устойчивую путаницу. Между ними есть строгая вложенность.",[85,395,396,397,400,401,404],{},"Искусственный интеллект — самое широкое из перечисленных понятий: дисциплина, охватывающая любые методы автоматизации интеллектуальной деятельности, включая символьные системы, эвристический поиск, экспертные системы и обучающиеся модели. Машинное обучение (англ. ",[92,398,399],{},"machine learning, ML",") — подраздел ИИ, в котором поведение системы определяется не правилами, написанными человеком, а параметрами, подобранными по данным. Глубокое обучение (англ. ",[92,402,403],{},"deep learning, DL",") — частный случай машинного обучения, использующий многослойные нейронные сети с большим числом параметров; именно благодаря ему произошли прорывы 2010-х в задачах восприятия и языка.",[85,406,407,408,411],{},"Наука о данных (англ. ",[92,409,410],{},"data science",") расположена иначе — это пересекающаяся, а не вложенная область. Она включает сбор, очистку, разведочный анализ, визуализацию данных и статистический вывод; машинное обучение для неё — лишь один из инструментов, а не центральный предмет. Инженер ML опирается на навыки data scientist на этапе подготовки данных, но дальше работает с алгоритмами обучения и метриками качества модели.",[85,413,414],{},"Практическое следствие простое: говоря «применим ИИ», уточняйте — символьное правило, классическая ML-модель или глубокая сеть. Каждый уровень предъявляет разные требования к данным, вычислительным ресурсам, интерпретируемости и квалификации команды.",[128,416,418],{"id":417},"парадигмы-машинного-обучения","Парадигмы машинного обучения",[85,420,421],{},"Внутри машинного обучения принято выделять три парадигмы, различающиеся не алгоритмами, а характером обратной связи, по которой модель учится.",[85,423,424,425,428],{},"Обучение с учителем (англ. ",[92,426,427],{},"supervised learning",") — самая распространённая постановка: модель получает обучающую выборку из пар «вход → правильный ответ» и подбирает параметры так, чтобы её предсказания на этих парах согласовывались с эталоном. Сюда относятся классификация (предсказать метку класса) и регрессия (предсказать число). Ограничение метода — необходимость размеченных данных, разметка которых, как правило, трудоёмка и дорога. Темы 3–6 настоящего курса посвящены именно этой парадигме.",[85,430,431,432,435],{},"Обучение без учителя (англ. ",[92,433,434],{},"unsupervised learning",") работает с неразмеченной выборкой и ищет в ней скрытую структуру: кластеризация (группировка похожих объектов), снижение размерности, обнаружение аномалий. Здесь не существует «правильного ответа», поэтому оценка качества опирается на косвенные метрики и интерпретацию полученной структуры экспертом.",[85,437,438,439,442,443,446],{},"Обучение с подкреплением (англ. ",[92,440,441],{},"reinforcement learning, RL",") описывает агента, взаимодействующего со средой: он совершает действия, получает в ответ числовое вознаграждение и со временем подбирает стратегию (англ. ",[92,444,445],{},"policy","), максимизирующую суммарное вознаграждение. Парадигма применима там, где правильный ответ заранее неизвестен, но известен критерий успеха: игры, робототехника, оптимизация рекламы, управление сетевой инфраструктурой. Идейно RL восходит к кибернетике Винера с её обратной связью, упомянутой выше.",[85,448,449,450,453,454,457],{},"В реальных системах парадигмы редко используются в чистом виде. Самообучение (англ. ",[92,451,452],{},"self-supervised learning",") формирует учительский сигнал из самих данных — на этом подходе обучены большие языковые модели. Полу-учитель (англ. ",[92,455,456],{},"semi-supervised learning",") комбинирует малую размеченную выборку с большой неразмеченной. Понимание базовых трёх парадигм даёт каркас, на который такие гибриды естественно укладываются.",[128,459,461],{"id":460},"сильный-и-слабый-ии","Сильный и слабый ИИ",[85,463,464],{},"Другая фундаментальная классификация касается не методов, а целей и претензий ИИ-систем.",[85,466,467,297,470,382,473,476],{},[294,468,469],{},"Слабый (узкий) ИИ",[92,471,472],{},"narrow AI",[92,474,475],{},"weak AI",") — система, спроектированная для решения конкретной задачи или класса задач. Шахматная программа, система распознавания лиц, голосовой ассистент, рекомендательный алгоритм — всё это слабый ИИ. Такая система может превосходить человека в своей области, но не обладает общим пониманием мира, не переносит знания между доменами без специальной адаптации, не имеет самосознания.",[85,478,479,297,482,485],{},[294,480,481],{},"Сильный (общий) ИИ",[92,483,484],{},"artificial general intelligence, AGI",") — гипотетическая система с когнитивными способностями на уровне человека: обучение в произвольных областях, рассуждение, планирование, адаптация к новым ситуациям.",[85,487,488,489,498],{},"Разграничение сильного и слабого ИИ восходит к работе Джона Сёрла ",[140,490,492],{"className":491},[143],[22,493,495],{"href":494},"#ref-15",[148,496,497],{},"15",", предложившего мысленный эксперимент «Китайская комната». Суть эксперимента: человек, не знающий китайского языка, сидит в закрытой комнате и получает записки с иероглифами. У него есть подробная инструкция на английском, которая для каждой комбинации входных символов предписывает, какие символы написать в ответ. Следуя инструкции, он выдаёт ответы, неотличимые от ответов носителя языка, — но при этом не понимает ни слова по-китайски. Сёрл утверждал, что компьютерная программа находится в том же положении: она манипулирует символами по правилам, однако не обладает пониманием их смысла. Аргумент остаётся дискуссионным, но он наглядно показывает, почему корректное выполнение задачи не тождественно пониманию. Ни одна существующая система определению сильного ИИ не соответствует.",[362,500,364,501,364,505],{},[366,502],{"src":503,"alt":504},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-01\u002Fchinese_room.svg","Мысленный эксперимент Джона Сёрла «Китайская комната»",[370,506,504],{},[85,508,509],{},"Для нас это разграничение имеет практическое значение. Все методы настоящего курса относятся к слабому ИИ: каждый решает определённый тип задач, требует соответствующей подготовки данных, выбора архитектуры и настройки гиперпараметров. Представление о том, что современные нейронные сети «понимают» данные в человеческом смысле слова, — распространённое заблуждение, которое ведёт к некорректному применению методов и завышенным ожиданиям от результатов.",[10,511,513],{"id":512},"ландшафт-методов-и-задач-ии","Ландшафт методов и задач ИИ",[85,515,516],{},"Для дальнейшего изложения выделим четыре крупных класса задач ИИ.",[362,518,364,519,364,523],{},[366,520],{"src":521,"alt":522},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-01\u002Fai_tasks_landscape.svg","Классификация задач искусственного интеллекта",[370,524,522],{},[85,526,527,530],{},[294,528,529],{},"Задачи восприятия"," — извлечение структурированной информации из неструктурированных входных данных: распознавание объектов на изображениях, детекция лиц, сегментация сцен, преобразование речи в текст, анализ сенсорных данных. Эти задачи долгое время считались одними из самых трудных, поскольку требуют обобщения на уровне, естественном для человека, но плохо поддающемся формализации. Прорыв произошёл именно в задачах восприятия — с появлением свёрточных нейронных сетей, о которых пойдёт речь в теме 7.",[85,532,533,536],{},[294,534,535],{},"Задачи рассуждения"," охватывают логический вывод, планирование действий, принятие решений в условиях ограничений: доказательство теорем, планирование маршрутов, составление расписаний, конфигурирование сложных систем. Исторически это территория символьного ИИ, и для ряда таких задач символьные методы по-прежнему наиболее эффективны. Подробнее — в теме 2.",[85,538,539,540,543],{},"Ядро настоящего курса составляют ",[294,541,542],{},"задачи обучения",": классификация (отнесение объекта к одному из заранее определённых классов), регрессия (предсказание непрерывной величины), кластеризация (группировка объектов по сходству без заданных меток). Именно им посвящены темы 3–7, и именно на них мы будем отрабатывать полный цикл — от подготовки данных до оценки качества модели.",[85,545,546,549,550,553],{},[294,547,548],{},"Задачи генерации"," связаны с созданием нового контента: текстов, изображений, музыки, программного кода. От простых марковских цепей до больших языковых моделей (англ. ",[92,551,552],{},"large language model, LLM",") и диффузионных моделей — это одно из наиболее активно развивающихся направлений. Основы генеративных подходов рассматриваются в заключительной теме курса.",[85,555,556],{},"Границы между классами условны. Беспилотный автомобиль одновременно решает задачи восприятия (камеры, лидар), рассуждения (планирование маршрута) и обучения (адаптация к дорожным условиям). Но как рабочая классификация для структурирования учебного материала это деление достаточно.",[10,558,560],{"id":559},"литература","Литература",[562,563,566,570,574,578,582,586,590,594,598,602,606,610,614,618,622],"ol",{"className":564},[565],"references",[18,567,569],{"id":568},"ref-1","Russell S., Norvig P. Artificial Intelligence: A Modern Approach. — Pearson, 2021.",[18,571,573],{"id":572},"ref-2","Turing A. M. Computing Machinery and Intelligence. — Mind, 1950, С. 433–460, DOI: 10.1093\u002Fmind\u002FLIX.236.433.",[18,575,577],{"id":576},"ref-3","Wiener N. Cybernetics: Or Control and Communication in the Animal and the Machine. — MIT Press, 1948.",[18,579,581],{"id":580},"ref-4","McCarthy J., Minsky M. L., Rochester N., Shannon C. E. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955. — AI Magazine, 2006, С. 12–14, DOI: 10.1609\u002Faimag.v27i4.1904.",[18,583,585],{"id":584},"ref-5","Newell A., Simon H. A. The Logic Theory Machine: A Complex Information Processing System. — IRE Transactions on Information Theory, 1956, С. 61–79, DOI: 10.1109\u002FTIT.1956.1056797.",[18,587,589],{"id":588},"ref-6","Lighthill J. Artificial Intelligence: A General Survey. — 1973.",[18,591,593],{"id":592},"ref-7","Shortliffe E. H. Computer-Based Medical Consultations: MYCIN. — Elsevier, 1976.",[18,595,597],{"id":596},"ref-8","McDermott J. R1: A Rule-Based Configurer of Computer Systems. — Artificial Intelligence, 1982, С. 39–88, DOI: 10.1016\u002F0004-3702(82)90021-2.",[18,599,601],{"id":600},"ref-9","Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks. — Advances in Neural Information Processing Systems (NeurIPS), 2012, С. 1097–1105.",[18,603,605],{"id":604},"ref-10","Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser {., Polosukhin I. Attention Is All You Need. — Advances in Neural Information Processing Systems (NeurIPS), 2017, С. 5998–6008.",[18,607,609],{"id":608},"ref-11","Haugeland J. Artificial Intelligence: The Very Idea. — MIT Press, 1985.",[18,611,613],{"id":612},"ref-12","Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. — Psychological Review, 1958, С. 386–408, DOI: 10.1037\u002Fh0042519.",[18,615,617],{"id":616},"ref-13","Rumelhart D. E., Hinton G. E., Williams R. J. Learning Representations by Back-Propagating Errors. — Nature, 1986, С. 533–536, DOI: 10.1038\u002F323533a0.",[18,619,621],{"id":620},"ref-14","Yi K., Wu J., Gan C., Torralba A., Kohli P., Tenenbaum J. B. Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding. — Advances in Neural Information Processing Systems (NeurIPS), 2018.",[18,623,625],{"id":624},"ref-15","Searle J. R. Minds, Brains, and Programs. — Behavioral and Brain Sciences, 1980, С. 417–424, DOI: 10.1017\u002FS0140525X00005756.",{"title":35,"searchDepth":36,"depth":36,"links":627},[628,633,639,640],{"id":125,"depth":36,"text":126,"children":629},[630,632],{"id":130,"depth":631,"text":131},3,{"id":183,"depth":631,"text":184},{"id":282,"depth":36,"text":283,"children":634},[635,636,637,638],{"id":286,"depth":631,"text":287},{"id":374,"depth":631,"text":375},{"id":417,"depth":631,"text":418},{"id":460,"depth":631,"text":461},{"id":512,"depth":36,"text":513},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-01-content",{"title":114,"description":122},"courses\u002Faidt-iot-mii\u002Ftopic-01-content",1,"topic-01","tuua9d8fLwHuEvz-DUmPvNFDi00xbmgav5-8pcT9XaU",{"id":649,"title":650,"body":651,"course_slug":39,"description":658,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":5724,"navigation":44,"path":5725,"section":106,"seo":5726,"stem":5727,"topic_number":36,"topic_slug":5728,"__hash__":5729},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-02-content.md","Тема 2. Поиск и логический вывод",{"type":7,"value":652,"toc":5712},[653,656,659,662,666,670,1012,1182,1879,1896,1905,2258,2342,2345,2383,2542,2546,2549,2650,2659,2670,3080,3096,3107,3187,3196,3199,3216,3477,3536,3545,3896,3900,3903,4027,4080,4388,5018,5360,5451,5459,5534,5538,5542,5545,5570,5596,5604,5614,5624,5627,5637,5646,5649,5652,5656,5659,5669,5679,5686,5689,5692,5694],[81,654,650],{"id":655},"тема-2-поиск-и-логический-вывод",[85,657,658],{},"В предыдущей теме мы отметили, что символьный ИИ исторически предшествовал машинному обучению. Прежде чем перейти к построению моделей на данных, стоит разобраться в методах, которые составляли ядро ИИ на протяжении нескольких десятилетий, — и которые до сих пор применяются в задачах планирования, конфигурирования и автоматического рассуждения. Речь пойдёт о двух больших классах методов: поиске в пространстве состояний и логическом выводе на основе баз знаний.",[85,660,661],{},"Понимание этих методов полезно не только как историческая справка. Алгоритмы поиска лежат в основе навигационных сервисов, игровых движков, систем автоматического планирования. Экспертные системы продолжают использоваться в медицинской диагностике и промышленной автоматизации. Кроме того, ограничения символьного подхода, с которыми мы столкнёмся в конце темы, — это именно те ограничения, ответом на которые стало машинное обучение.",[10,663,665],{"id":664},"задачи-поиска-в-пространстве-состояний","Задачи поиска в пространстве состояний",[128,667,669],{"id":668},"формализация-задачи-поиска","Формализация задачи поиска",[85,671,672,673,676,677,749,750,839,840,843,844,895,896,1011],{},"Многие задачи ИИ можно свести к поиску пути в некотором абстрактном пространстве. Рассмотрим классический учебный пример — головоломку «восьмёрка» (англ. ",[92,674,675],{},"8-puzzle","). Имеется поле ",[148,678,681,709],{"className":679},[680],"katex",[148,682,685],{"className":683},[684],"katex-mathml",[686,687,689],"math",{"xmlns":688},"http:\u002F\u002Fwww.w3.org\u002F1998\u002FMath\u002FMathML",[690,691,692,704],"semantics",{},[693,694,695,698,702],"mrow",{},[696,697,179],"mn",{},[699,700,701],"mo",{},"×",[696,703,179],{},[705,706,708],"annotation",{"encoding":707},"application\u002Fx-tex","3 \\times 3",[148,710,714,739],{"className":711,"ariaHidden":713},[712],"katex-html","true",[148,715,718,723,727,732,736],{"className":716},[717],"base",[148,719],{"className":720,"style":722},[721],"strut","height:0.7278em;vertical-align:-0.0833em;",[148,724,179],{"className":725},[726],"mord",[148,728],{"className":729,"style":731},[730],"mspace","margin-right:0.2222em;",[148,733,701],{"className":734},[735],"mbin",[148,737],{"className":738,"style":731},[730],[148,740,742,746],{"className":741},[717],[148,743],{"className":744,"style":745},[721],"height:0.6444em;",[148,747,179],{"className":748},[726]," с восемью пронумерованными фишками и одной пустой клеткой. За один ход разрешается переместить фишку, соседнюю с пустой клеткой, на освободившееся место. Требуется привести фишки в стандартный порядок. На таком масштабе пространство достижимых конфигураций обозримо — ",[148,751,753,791],{"className":752},[680],[148,754,756],{"className":755},[684],[686,757,758],{"xmlns":688},[690,759,760,788],{},[693,761,762,764,768,773,775,778,781,785],{},[696,763,265],{},[699,765,767],{"stretchy":766},"false","!",[769,770,772],"mi",{"mathvariant":771},"normal","\u002F",[696,774,163],{},[699,776,777],{},"=",[696,779,780],{},"181",[782,783,784],"mtext",{}," ",[696,786,787],{},"440",[705,789,790],{"encoding":707},"9!\u002F2 = 181\\,440",[148,792,794,823],{"className":793,"ariaHidden":713},[712],[148,795,797,801,804,808,812,816,820],{"className":796},[717],[148,798],{"className":799,"style":800},[721],"height:1em;vertical-align:-0.25em;",[148,802,265],{"className":803},[726],[148,805,767],{"className":806},[807],"mclose",[148,809,811],{"className":810},[726],"\u002F2",[148,813],{"className":814,"style":815},[730],"margin-right:0.2778em;",[148,817,777],{"className":818},[819],"mrel",[148,821],{"className":822,"style":815},[730],[148,824,826,829,832,836],{"className":825},[717],[148,827],{"className":828,"style":745},[721],[148,830,780],{"className":831},[726],[148,833],{"className":834,"style":835},[730],"margin-right:0.1667em;",[148,837,787],{"className":838},[726]," состояний, и в учебных схемах далее мы пользуемся именно «восьмёркой» для наглядности. Её старший вариант, «пятнашки» (англ. ",[92,841,842],{},"15-puzzle",") на поле ",[148,845,847,865],{"className":846},[680],[148,848,850],{"className":849},[684],[686,851,852],{"xmlns":688},[690,853,854,862],{},[693,855,856,858,860],{},[696,857,200],{},[699,859,701],{},[696,861,200],{},[705,863,864],{"encoding":707},"4 \\times 4",[148,866,868,886],{"className":867,"ariaHidden":713},[712],[148,869,871,874,877,880,883],{"className":870},[717],[148,872],{"className":873,"style":722},[721],[148,875,200],{"className":876},[726],[148,878],{"className":879,"style":731},[730],[148,881,701],{"className":882},[735],[148,884],{"className":885,"style":731},[730],[148,887,889,892],{"className":888},[717],[148,890],{"className":891,"style":745},[721],[148,893,200],{"className":894},[726]," с пятнадцатью фишками, даёт уже ",[148,897,899,930],{"className":898},[680],[148,900,902],{"className":901},[684],[686,903,904],{"xmlns":688},[690,905,906,927],{},[693,907,908,911,913,915,917,920],{},[696,909,910],{},"16",[699,912,767],{"stretchy":766},[769,914,772],{"mathvariant":771},[696,916,163],{},[699,918,919],{},"≈",[921,922,923,925],"msup",{},[696,924,278],{},[696,926,342],{},[705,928,929],{"encoding":707},"16!\u002F2 \\approx 10^{13}",[148,931,933,957],{"className":932,"ariaHidden":713},[712],[148,934,936,939,942,945,948,951,954],{"className":935},[717],[148,937],{"className":938,"style":800},[721],[148,940,910],{"className":941},[726],[148,943,767],{"className":944},[807],[148,946,811],{"className":947},[726],[148,949],{"className":950,"style":815},[730],[148,952,919],{"className":953},[819],[148,955],{"className":956,"style":815},[730],[148,958,960,964,967],{"className":959},[717],[148,961],{"className":962,"style":963},[721],"height:0.8141em;",[148,965,150],{"className":966},[726],[148,968,970,974],{"className":969},[726],[148,971,973],{"className":972},[726],"0",[148,975,978],{"className":976},[977],"msupsub",[148,979,982],{"className":980},[981],"vlist-t",[148,983,986],{"className":984},[985],"vlist-r",[148,987,990],{"className":988,"style":963},[989],"vlist",[148,991,993,998],{"style":992},"top:-3.063em;margin-right:0.05em;",[148,994],{"className":995,"style":997},[996],"pstrut","height:2.7em;",[148,999,1005],{"className":1000},[1001,1002,1003,1004],"sizing","reset-size6","size3","mtight",[148,1006,1008],{"className":1007},[726,1004],[148,1009,342],{"className":1010},[726,1004]," состояний — на этом масштабе полный перебор исключён.",[85,1013,1014,1015,297,1018,1021,1022,191,1025,1105,1106,191,1109,1170,1171,1174,1175,297,1178,1181],{},"Чтобы решить эту задачу алгоритмически, её нужно формализовать. Обозначим конфигурацию поля как ",[294,1016,1017],{},"состояние",[92,1019,1020],{},"state","). Начальная конфигурация — ",[294,1023,1024],{},"начальное состояние",[148,1026,1028,1048],{"className":1027},[680],[148,1029,1031],{"className":1030},[684],[686,1032,1033],{"xmlns":688},[690,1034,1035,1045],{},[693,1036,1037],{},[1038,1039,1040,1043],"msub",{},[769,1041,1042],{},"s",[696,1044,973],{},[705,1046,1047],{"encoding":707},"s_0",[148,1049,1051],{"className":1050,"ariaHidden":713},[712],[148,1052,1054,1058],{"className":1053},[717],[148,1055],{"className":1056,"style":1057},[721],"height:0.5806em;vertical-align:-0.15em;",[148,1059,1061,1065],{"className":1060},[726],[148,1062,1042],{"className":1063},[726,1064],"mathnormal",[148,1066,1068],{"className":1067},[977],[148,1069,1072,1096],{"className":1070},[981,1071],"vlist-t2",[148,1073,1075,1091],{"className":1074},[985],[148,1076,1079],{"className":1077,"style":1078},[989],"height:0.3011em;",[148,1080,1082,1085],{"style":1081},"top:-2.55em;margin-left:0em;margin-right:0.05em;",[148,1083],{"className":1084,"style":997},[996],[148,1086,1088],{"className":1087},[1001,1002,1003,1004],[148,1089,973],{"className":1090},[726,1004],[148,1092,1095],{"className":1093},[1094],"vlist-s","​",[148,1097,1099],{"className":1098},[985],[148,1100,1103],{"className":1101,"style":1102},[989],"height:0.15em;",[148,1104],{},", упорядоченная конфигурация — ",[294,1107,1108],{},"целевое состояние",[148,1110,1112,1131],{"className":1111},[680],[148,1113,1115],{"className":1114},[684],[686,1116,1117],{"xmlns":688},[690,1118,1119,1128],{},[693,1120,1121],{},[921,1122,1123,1125],{},[769,1124,1042],{},[699,1126,1127],{},"∗",[705,1129,1130],{"encoding":707},"s^*",[148,1132,1134],{"className":1133,"ariaHidden":713},[712],[148,1135,1137,1141],{"className":1136},[717],[148,1138],{"className":1139,"style":1140},[721],"height:0.6887em;",[148,1142,1144,1147],{"className":1143},[726],[148,1145,1042],{"className":1146},[726,1064],[148,1148,1150],{"className":1149},[977],[148,1151,1153],{"className":1152},[981],[148,1154,1156],{"className":1155},[985],[148,1157,1159],{"className":1158,"style":1140},[989],[148,1160,1161,1164],{"style":992},[148,1162],{"className":1163,"style":997},[996],[148,1165,1167],{"className":1166},[1001,1002,1003,1004],[148,1168,1127],{"className":1169},[735,1004],". Каждый допустимый ход — это ",[294,1172,1173],{},"оператор перехода",", переводящий одно состояние в другое. Множество всех достижимых состояний вместе с переходами между ними образует ",[294,1176,1177],{},"пространство состояний",[92,1179,1180],{},"state space",").",[85,1183,1184,1185,1318,1319,1348,1349,1443,1444,1472,1473,1526,1527,1726,1727,1796,1797,26],{},"Формально задача поиска задаётся четвёркой:\n",[148,1186,1188,1230],{"className":1187},[680],[148,1189,1191],{"className":1190},[684],[686,1192,1193],{"xmlns":688},[690,1194,1195,1227],{},[693,1196,1197,1200,1203,1206,1212,1214,1217,1219,1222,1225],{},[699,1198,1199],{"stretchy":766},"⟨",[769,1201,1202],{},"S",[699,1204,1205],{"separator":713},",",[1038,1207,1208,1210],{},[769,1209,1042],{},[696,1211,973],{},[699,1213,1205],{"separator":713},[769,1215,1216],{},"A",[699,1218,1205],{"separator":713},[769,1220,1221],{},"G",[699,1223,1224],{"stretchy":766},"⟩",[699,1226,1205],{"separator":713},[705,1228,1229],{"encoding":707},"\\langle S, s_0, A, G \\rangle,",[148,1231,1233],{"className":1232,"ariaHidden":713},[712],[148,1234,1236,1239,1243,1247,1251,1254,1294,1297,1300,1303,1306,1309,1312,1315],{"className":1235},[717],[148,1237],{"className":1238,"style":800},[721],[148,1240,1199],{"className":1241},[1242],"mopen",[148,1244,1202],{"className":1245,"style":1246},[726,1064],"margin-right:0.0576em;",[148,1248,1205],{"className":1249},[1250],"mpunct",[148,1252],{"className":1253,"style":835},[730],[148,1255,1257,1260],{"className":1256},[726],[148,1258,1042],{"className":1259},[726,1064],[148,1261,1263],{"className":1262},[977],[148,1264,1266,1286],{"className":1265},[981,1071],[148,1267,1269,1283],{"className":1268},[985],[148,1270,1272],{"className":1271,"style":1078},[989],[148,1273,1274,1277],{"style":1081},[148,1275],{"className":1276,"style":997},[996],[148,1278,1280],{"className":1279},[1001,1002,1003,1004],[148,1281,973],{"className":1282},[726,1004],[148,1284,1095],{"className":1285},[1094],[148,1287,1289],{"className":1288},[985],[148,1290,1292],{"className":1291,"style":1102},[989],[148,1293],{},[148,1295,1205],{"className":1296},[1250],[148,1298],{"className":1299,"style":835},[730],[148,1301,1216],{"className":1302},[726,1064],[148,1304,1205],{"className":1305},[1250],[148,1307],{"className":1308,"style":835},[730],[148,1310,1221],{"className":1311},[726,1064],[148,1313,1224],{"className":1314},[807],[148,1316,1205],{"className":1317},[1250],"\nгде ",[148,1320,1322,1335],{"className":1321},[680],[148,1323,1325],{"className":1324},[684],[686,1326,1327],{"xmlns":688},[690,1328,1329,1333],{},[693,1330,1331],{},[769,1332,1202],{},[705,1334,1202],{"encoding":707},[148,1336,1338],{"className":1337,"ariaHidden":713},[712],[148,1339,1341,1345],{"className":1340},[717],[148,1342],{"className":1343,"style":1344},[721],"height:0.6833em;",[148,1346,1202],{"className":1347,"style":1246},[726,1064]," — множество состояний, ",[148,1350,1352,1375],{"className":1351},[680],[148,1353,1355],{"className":1354},[684],[686,1356,1357],{"xmlns":688},[690,1358,1359,1372],{},[693,1360,1361,1367,1370],{},[1038,1362,1363,1365],{},[769,1364,1042],{},[696,1366,973],{},[699,1368,1369],{},"∈",[769,1371,1202],{},[705,1373,1374],{"encoding":707},"s_0 \\in S",[148,1376,1378,1434],{"className":1377,"ariaHidden":713},[712],[148,1379,1381,1385,1425,1428,1431],{"className":1380},[717],[148,1382],{"className":1383,"style":1384},[721],"height:0.6891em;vertical-align:-0.15em;",[148,1386,1388,1391],{"className":1387},[726],[148,1389,1042],{"className":1390},[726,1064],[148,1392,1394],{"className":1393},[977],[148,1395,1397,1417],{"className":1396},[981,1071],[148,1398,1400,1414],{"className":1399},[985],[148,1401,1403],{"className":1402,"style":1078},[989],[148,1404,1405,1408],{"style":1081},[148,1406],{"className":1407,"style":997},[996],[148,1409,1411],{"className":1410},[1001,1002,1003,1004],[148,1412,973],{"className":1413},[726,1004],[148,1415,1095],{"className":1416},[1094],[148,1418,1420],{"className":1419},[985],[148,1421,1423],{"className":1422,"style":1102},[989],[148,1424],{},[148,1426],{"className":1427,"style":815},[730],[148,1429,1369],{"className":1430},[819],[148,1432],{"className":1433,"style":815},[730],[148,1435,1437,1440],{"className":1436},[717],[148,1438],{"className":1439,"style":1344},[721],[148,1441,1202],{"className":1442,"style":1246},[726,1064]," — начальное состояние, ",[148,1445,1447,1460],{"className":1446},[680],[148,1448,1450],{"className":1449},[684],[686,1451,1452],{"xmlns":688},[690,1453,1454,1458],{},[693,1455,1456],{},[769,1457,1216],{},[705,1459,1216],{"encoding":707},[148,1461,1463],{"className":1462,"ariaHidden":713},[712],[148,1464,1466,1469],{"className":1465},[717],[148,1467],{"className":1468,"style":1344},[721],[148,1470,1216],{"className":1471},[726,1064]," — множество операторов (действий), ",[148,1474,1476,1495],{"className":1475},[680],[148,1477,1479],{"className":1478},[684],[686,1480,1481],{"xmlns":688},[690,1482,1483,1492],{},[693,1484,1485,1487,1490],{},[769,1486,1221],{},[699,1488,1489],{},"⊆",[769,1491,1202],{},[705,1493,1494],{"encoding":707},"G \\subseteq S",[148,1496,1498,1517],{"className":1497,"ariaHidden":713},[712],[148,1499,1501,1505,1508,1511,1514],{"className":1500},[717],[148,1502],{"className":1503,"style":1504},[721],"height:0.8193em;vertical-align:-0.136em;",[148,1506,1221],{"className":1507},[726,1064],[148,1509],{"className":1510,"style":815},[730],[148,1512,1489],{"className":1513},[819],[148,1515],{"className":1516,"style":815},[730],[148,1518,1520,1523],{"className":1519},[717],[148,1521],{"className":1522,"style":1344},[721],[148,1524,1202],{"className":1525,"style":1246},[726,1064]," — множество целевых состояний. Решением является последовательность операторов ",[148,1528,1530,1570],{"className":1529},[680],[148,1531,1533],{"className":1532},[684],[686,1534,1535],{"xmlns":688},[690,1536,1537,1567],{},[693,1538,1539,1545,1547,1553,1555,1558,1560],{},[1038,1540,1541,1543],{},[769,1542,22],{},[696,1544,150],{},[699,1546,1205],{"separator":713},[1038,1548,1549,1551],{},[769,1550,22],{},[696,1552,163],{},[699,1554,1205],{"separator":713},[699,1556,1557],{},"…",[699,1559,1205],{"separator":713},[1038,1561,1562,1564],{},[769,1563,22],{},[769,1565,1566],{},"n",[705,1568,1569],{"encoding":707},"a_1, a_2, \\ldots, a_n",[148,1571,1573],{"className":1572,"ariaHidden":713},[712],[148,1574,1576,1580,1620,1623,1626,1666,1669,1672,1676,1679,1682,1685],{"className":1575},[717],[148,1577],{"className":1578,"style":1579},[721],"height:0.625em;vertical-align:-0.1944em;",[148,1581,1583,1586],{"className":1582},[726],[148,1584,22],{"className":1585},[726,1064],[148,1587,1589],{"className":1588},[977],[148,1590,1592,1612],{"className":1591},[981,1071],[148,1593,1595,1609],{"className":1594},[985],[148,1596,1598],{"className":1597,"style":1078},[989],[148,1599,1600,1603],{"style":1081},[148,1601],{"className":1602,"style":997},[996],[148,1604,1606],{"className":1605},[1001,1002,1003,1004],[148,1607,150],{"className":1608},[726,1004],[148,1610,1095],{"className":1611},[1094],[148,1613,1615],{"className":1614},[985],[148,1616,1618],{"className":1617,"style":1102},[989],[148,1619],{},[148,1621,1205],{"className":1622},[1250],[148,1624],{"className":1625,"style":835},[730],[148,1627,1629,1632],{"className":1628},[726],[148,1630,22],{"className":1631},[726,1064],[148,1633,1635],{"className":1634},[977],[148,1636,1638,1658],{"className":1637},[981,1071],[148,1639,1641,1655],{"className":1640},[985],[148,1642,1644],{"className":1643,"style":1078},[989],[148,1645,1646,1649],{"style":1081},[148,1647],{"className":1648,"style":997},[996],[148,1650,1652],{"className":1651},[1001,1002,1003,1004],[148,1653,163],{"className":1654},[726,1004],[148,1656,1095],{"className":1657},[1094],[148,1659,1661],{"className":1660},[985],[148,1662,1664],{"className":1663,"style":1102},[989],[148,1665],{},[148,1667,1205],{"className":1668},[1250],[148,1670],{"className":1671,"style":835},[730],[148,1673,1557],{"className":1674},[1675],"minner",[148,1677],{"className":1678,"style":835},[730],[148,1680,1205],{"className":1681},[1250],[148,1683],{"className":1684,"style":835},[730],[148,1686,1688,1691],{"className":1687},[726],[148,1689,22],{"className":1690},[726,1064],[148,1692,1694],{"className":1693},[977],[148,1695,1697,1718],{"className":1696},[981,1071],[148,1698,1700,1715],{"className":1699},[985],[148,1701,1704],{"className":1702,"style":1703},[989],"height:0.1514em;",[148,1705,1706,1709],{"style":1081},[148,1707],{"className":1708,"style":997},[996],[148,1710,1712],{"className":1711},[1001,1002,1003,1004],[148,1713,1566],{"className":1714},[726,1064,1004],[148,1716,1095],{"className":1717},[1094],[148,1719,1721],{"className":1720},[985],[148,1722,1724],{"className":1723,"style":1102},[989],[148,1725],{},", переводящая ",[148,1728,1730,1747],{"className":1729},[680],[148,1731,1733],{"className":1732},[684],[686,1734,1735],{"xmlns":688},[690,1736,1737,1745],{},[693,1738,1739],{},[1038,1740,1741,1743],{},[769,1742,1042],{},[696,1744,973],{},[705,1746,1047],{"encoding":707},[148,1748,1750],{"className":1749,"ariaHidden":713},[712],[148,1751,1753,1756],{"className":1752},[717],[148,1754],{"className":1755,"style":1057},[721],[148,1757,1759,1762],{"className":1758},[726],[148,1760,1042],{"className":1761},[726,1064],[148,1763,1765],{"className":1764},[977],[148,1766,1768,1788],{"className":1767},[981,1071],[148,1769,1771,1785],{"className":1770},[985],[148,1772,1774],{"className":1773,"style":1078},[989],[148,1775,1776,1779],{"style":1081},[148,1777],{"className":1778,"style":997},[996],[148,1780,1782],{"className":1781},[1001,1002,1003,1004],[148,1783,973],{"className":1784},[726,1004],[148,1786,1095],{"className":1787},[1094],[148,1789,1791],{"className":1790},[985],[148,1792,1794],{"className":1793,"style":1102},[989],[148,1795],{}," в некоторое ",[148,1798,1800,1822],{"className":1799},[680],[148,1801,1803],{"className":1802},[684],[686,1804,1805],{"xmlns":688},[690,1806,1807,1819],{},[693,1808,1809,1815,1817],{},[921,1810,1811,1813],{},[769,1812,1042],{},[699,1814,1127],{},[699,1816,1369],{},[769,1818,1221],{},[705,1820,1821],{"encoding":707},"s^* \\in G",[148,1823,1825,1870],{"className":1824,"ariaHidden":713},[712],[148,1826,1828,1832,1861,1864,1867],{"className":1827},[717],[148,1829],{"className":1830,"style":1831},[721],"height:0.7278em;vertical-align:-0.0391em;",[148,1833,1835,1838],{"className":1834},[726],[148,1836,1042],{"className":1837},[726,1064],[148,1839,1841],{"className":1840},[977],[148,1842,1844],{"className":1843},[981],[148,1845,1847],{"className":1846},[985],[148,1848,1850],{"className":1849,"style":1140},[989],[148,1851,1852,1855],{"style":992},[148,1853],{"className":1854,"style":997},[996],[148,1856,1858],{"className":1857},[1001,1002,1003,1004],[148,1859,1127],{"className":1860},[735,1004],[148,1862],{"className":1863,"style":815},[730],[148,1865,1369],{"className":1866},[819],[148,1868],{"className":1869,"style":815},[730],[148,1871,1873,1876],{"className":1872},[717],[148,1874],{"className":1875,"style":1344},[721],[148,1877,1221],{"className":1878},[726,1064],[85,1880,1881,1882,297,1885,1888,1889,297,1892,1895],{},"Пространство состояний естественно представляется в виде графа: вершины — состояния, рёбра — допустимые переходы. При этом алгоритм поиска обычно работает не с полным графом (он может быть слишком велик или даже бесконечен), а строит ",[294,1883,1884],{},"дерево поиска",[92,1886,1887],{},"search tree",") «на лету», раскрывая вершины по мере необходимости. Корень дерева — начальное состояние; дочерние вершины порождаются применением операторов; ",[294,1890,1891],{},"лист",[92,1893,1894],{},"leaf",") — вершина без детей, которая либо ещё не раскрыта алгоритмом, либо является тупиком, у которого нет применимых операторов (рис. 2.1).",[362,1897,364,1898,364,1902],{},[366,1899],{"src":1900,"alt":1901},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-02\u002Fstate_space_and_search_tree.svg","Пространство состояний и дерево поиска на примере головоломки",[370,1903,1904],{},"Пространство состояний и дерево поиска на примере «восьмёрки»",[85,1906,1907,1908,1977,1978,2047,2048,2117,2118,2187,2188,2257],{},"Слева на рисунке — фрагмент графа пространства состояний: начальное состояние ",[148,1909,1911,1928],{"className":1910},[680],[148,1912,1914],{"className":1913},[684],[686,1915,1916],{"xmlns":688},[690,1917,1918,1926],{},[693,1919,1920],{},[1038,1921,1922,1924],{},[769,1923,1042],{},[696,1925,973],{},[705,1927,1047],{"encoding":707},[148,1929,1931],{"className":1930,"ariaHidden":713},[712],[148,1932,1934,1937],{"className":1933},[717],[148,1935],{"className":1936,"style":1057},[721],[148,1938,1940,1943],{"className":1939},[726],[148,1941,1042],{"className":1942},[726,1064],[148,1944,1946],{"className":1945},[977],[148,1947,1949,1969],{"className":1948},[981,1071],[148,1950,1952,1966],{"className":1951},[985],[148,1953,1955],{"className":1954,"style":1078},[989],[148,1956,1957,1960],{"style":1081},[148,1958],{"className":1959,"style":997},[996],[148,1961,1963],{"className":1962},[1001,1002,1003,1004],[148,1964,973],{"className":1965},[726,1004],[148,1967,1095],{"className":1968},[1094],[148,1970,1972],{"className":1971},[985],[148,1973,1975],{"className":1974,"style":1102},[989],[148,1976],{}," и четыре его соседа по одному ходу (B, C, D, E). Рёбра графа двунаправленные: любой ход «восьмёрки» обратим — фишку, передвинутую в пустую клетку, можно тут же передвинуть назад. Справа тот же фрагмент развёрнут в дерево поиска из корня ",[148,1979,1981,1998],{"className":1980},[680],[148,1982,1984],{"className":1983},[684],[686,1985,1986],{"xmlns":688},[690,1987,1988,1996],{},[693,1989,1990],{},[1038,1991,1992,1994],{},[769,1993,1042],{},[696,1995,973],{},[705,1997,1047],{"encoding":707},[148,1999,2001],{"className":2000,"ariaHidden":713},[712],[148,2002,2004,2007],{"className":2003},[717],[148,2005],{"className":2006,"style":1057},[721],[148,2008,2010,2013],{"className":2009},[726],[148,2011,1042],{"className":2012},[726,1064],[148,2014,2016],{"className":2015},[977],[148,2017,2019,2039],{"className":2018},[981,1071],[148,2020,2022,2036],{"className":2021},[985],[148,2023,2025],{"className":2024,"style":1078},[989],[148,2026,2027,2030],{"style":1081},[148,2028],{"className":2029,"style":997},[996],[148,2031,2033],{"className":2032},[1001,1002,1003,1004],[148,2034,973],{"className":2035},[726,1004],[148,2037,1095],{"className":2038},[1094],[148,2040,2042],{"className":2041},[985],[148,2043,2045],{"className":2044,"style":1102},[989],[148,2046],{},". Среди потомков корня снова появляется ",[148,2049,2051,2068],{"className":2050},[680],[148,2052,2054],{"className":2053},[684],[686,2055,2056],{"xmlns":688},[690,2057,2058,2066],{},[693,2059,2060],{},[1038,2061,2062,2064],{},[769,2063,1042],{},[696,2065,973],{},[705,2067,1047],{"encoding":707},[148,2069,2071],{"className":2070,"ariaHidden":713},[712],[148,2072,2074,2077],{"className":2073},[717],[148,2075],{"className":2076,"style":1057},[721],[148,2078,2080,2083],{"className":2079},[726],[148,2081,1042],{"className":2082},[726,1064],[148,2084,2086],{"className":2085},[977],[148,2087,2089,2109],{"className":2088},[981,1071],[148,2090,2092,2106],{"className":2091},[985],[148,2093,2095],{"className":2094,"style":1078},[989],[148,2096,2097,2100],{"style":1081},[148,2098],{"className":2099,"style":997},[996],[148,2101,2103],{"className":2102},[1001,1002,1003,1004],[148,2104,973],{"className":2105},[726,1004],[148,2107,1095],{"className":2108},[1094],[148,2110,2112],{"className":2111},[985],[148,2113,2115],{"className":2114,"style":1102},[989],[148,2116],{}," (красный лист в легенде), и это прямое следствие обратимости ходов: каждый ребёнок корня — это ",[148,2119,2121,2138],{"className":2120},[680],[148,2122,2124],{"className":2123},[684],[686,2125,2126],{"xmlns":688},[690,2127,2128,2136],{},[693,2129,2130],{},[1038,2131,2132,2134],{},[769,2133,1042],{},[696,2135,973],{},[705,2137,1047],{"encoding":707},[148,2139,2141],{"className":2140,"ariaHidden":713},[712],[148,2142,2144,2147],{"className":2143},[717],[148,2145],{"className":2146,"style":1057},[721],[148,2148,2150,2153],{"className":2149},[726],[148,2151,1042],{"className":2152},[726,1064],[148,2154,2156],{"className":2155},[977],[148,2157,2159,2179],{"className":2158},[981,1071],[148,2160,2162,2176],{"className":2161},[985],[148,2163,2165],{"className":2164,"style":1078},[989],[148,2166,2167,2170],{"style":1081},[148,2168],{"className":2169,"style":997},[996],[148,2171,2173],{"className":2172},[1001,1002,1003,1004],[148,2174,973],{"className":2175},[726,1004],[148,2177,1095],{"className":2178},[1094],[148,2180,2182],{"className":2181},[985],[148,2183,2185],{"className":2184,"style":1102},[989],[148,2186],{}," плюс один ход; среди четырёх возможных ходов из этого ребёнка один обязательно возвращает обратно в ",[148,2189,2191,2208],{"className":2190},[680],[148,2192,2194],{"className":2193},[684],[686,2195,2196],{"xmlns":688},[690,2197,2198,2206],{},[693,2199,2200],{},[1038,2201,2202,2204],{},[769,2203,1042],{},[696,2205,973],{},[705,2207,1047],{"encoding":707},[148,2209,2211],{"className":2210,"ariaHidden":713},[712],[148,2212,2214,2217],{"className":2213},[717],[148,2215],{"className":2216,"style":1057},[721],[148,2218,2220,2223],{"className":2219},[726],[148,2221,1042],{"className":2222},[726,1064],[148,2224,2226],{"className":2225},[977],[148,2227,2229,2249],{"className":2228},[981,1071],[148,2230,2232,2246],{"className":2231},[985],[148,2233,2235],{"className":2234,"style":1078},[989],[148,2236,2237,2240],{"style":1081},[148,2238],{"className":2239,"style":997},[996],[148,2241,2243],{"className":2242},[1001,1002,1003,1004],[148,2244,973],{"className":2245},[726,1004],[148,2247,1095],{"className":2248},[1094],[148,2250,2252],{"className":2251},[985],[148,2253,2255],{"className":2254,"style":1102},[989],[148,2256],{},". На рисунке такие дубликаты показаны под B и E; под C и D они точно такие же (там, где в дереве стоит «…»). Если алгоритм не ведёт список уже посещённых вершин, дубликаты раскрываются повторно, и дерево раздувается в разы по сравнению с самим графом.",[85,2259,2260,2261,2341],{},"Чтобы оценить, как масштабируется такой перебор, удобно сравнить «восьмёрку» с «пятнашками»: 181 440 против ",[148,2262,2264,2284],{"className":2263},[680],[148,2265,2267],{"className":2266},[684],[686,2268,2269],{"xmlns":688},[690,2270,2271,2281],{},[693,2272,2273,2275],{},[699,2274,919],{},[921,2276,2277,2279],{},[696,2278,278],{},[696,2280,342],{},[705,2282,2283],{"encoding":707},"\\approx 10^{13}",[148,2285,2287,2300],{"className":2286,"ariaHidden":713},[712],[148,2288,2290,2294,2297],{"className":2289},[717],[148,2291],{"className":2292,"style":2293},[721],"height:0.4831em;",[148,2295,919],{"className":2296},[819],[148,2298],{"className":2299,"style":815},[730],[148,2301,2303,2306,2309],{"className":2302},[717],[148,2304],{"className":2305,"style":963},[721],[148,2307,150],{"className":2308},[726],[148,2310,2312,2315],{"className":2311},[726],[148,2313,973],{"className":2314},[726],[148,2316,2318],{"className":2317},[977],[148,2319,2321],{"className":2320},[981],[148,2322,2324],{"className":2323},[985],[148,2325,2327],{"className":2326,"style":963},[989],[148,2328,2329,2332],{"style":992},[148,2330],{"className":2331,"style":997},[996],[148,2333,2335],{"className":2334},[1001,1002,1003,1004],[148,2336,2338],{"className":2337},[726,1004],[148,2339,342],{"className":2340},[726,1004]," — отличие в семь порядков при увеличении поля всего на одну строку и один столбец. Это типичная картина для задач поиска: пространство состояний растёт комбинаторно от размера задачи, и выбор стратегии обхода дерева оказывается решающим уже на скромных масштабах.",[85,2343,2344],{},"Алгоритмы поиска оценивают по четырём критериям:",[15,2346,2347,2356,2365,2374],{},[18,2348,2349,297,2352,2355],{},[294,2350,2351],{},"Полнота",[92,2353,2354],{},"completeness","): гарантирует ли алгоритм нахождение решения, если оно существует?",[18,2357,2358,297,2361,2364],{},[294,2359,2360],{},"Оптимальность",[92,2362,2363],{},"optimality","): находит ли алгоритм решение с минимальной стоимостью?",[18,2366,2367,297,2370,2373],{},[294,2368,2369],{},"Временная сложность",[92,2371,2372],{},"time complexity","): сколько вершин алгоритм раскрывает в худшем случае?",[18,2375,2376,297,2379,2382],{},[294,2377,2378],{},"Пространственная сложность",[92,2380,2381],{},"space complexity","): сколько вершин алгоритм одновременно хранит в памяти?",[85,2384,2385,2386,191,2389,2419,2420,191,2423,2452,2453,2507,2508,191,2511,2541],{},"Дальнейший анализ алгоритмов опирается на три параметра дерева поиска. ",[294,2387,2388],{},"Фактор ветвления",[148,2390,2392,2406],{"className":2391},[680],[148,2393,2395],{"className":2394},[684],[686,2396,2397],{"xmlns":688},[690,2398,2399,2404],{},[693,2400,2401],{},[769,2402,2403],{},"b",[705,2405,2403],{"encoding":707},[148,2407,2409],{"className":2408,"ariaHidden":713},[712],[148,2410,2412,2416],{"className":2411},[717],[148,2413],{"className":2414,"style":2415},[721],"height:0.6944em;",[148,2417,2403],{"className":2418},[726,1064]," — среднее число дочерних вершин при раскрытии. ",[294,2421,2422],{},"Глубина решения",[148,2424,2426,2440],{"className":2425},[680],[148,2427,2429],{"className":2428},[684],[686,2430,2431],{"xmlns":688},[690,2432,2433,2438],{},[693,2434,2435],{},[769,2436,2437],{},"d",[705,2439,2437],{"encoding":707},[148,2441,2443],{"className":2442,"ariaHidden":713},[712],[148,2444,2446,2449],{"className":2445},[717],[148,2447],{"className":2448,"style":2415},[721],[148,2450,2437],{"className":2451},[726,1064]," — длина кратчайшего пути от корня до целевой вершины, то есть число ходов в оптимальном решении. Для «восьмёрки» полным перебором установлено, что ",[148,2454,2456,2476],{"className":2455},[680],[148,2457,2459],{"className":2458},[684],[686,2460,2461],{"xmlns":688},[690,2462,2463,2473],{},[693,2464,2465,2467,2470],{},[769,2466,2437],{},[699,2468,2469],{},"≤",[696,2471,2472],{},"31",[705,2474,2475],{"encoding":707},"d \\leq 31",[148,2477,2479,2498],{"className":2478,"ariaHidden":713},[712],[148,2480,2482,2486,2489,2492,2495],{"className":2481},[717],[148,2483],{"className":2484,"style":2485},[721],"height:0.8304em;vertical-align:-0.136em;",[148,2487,2437],{"className":2488},[726,1064],[148,2490],{"className":2491,"style":815},[730],[148,2493,2469],{"className":2494},[819],[148,2496],{"className":2497,"style":815},[730],[148,2499,2501,2504],{"className":2500},[717],[148,2502],{"className":2503,"style":745},[721],[148,2505,2472],{"className":2506},[726],": никакая решаемая начальная конфигурация не требует больше 31 хода до цели. ",[294,2509,2510],{},"Максимальная глубина дерева",[148,2512,2514,2528],{"className":2513},[680],[148,2515,2517],{"className":2516},[684],[686,2518,2519],{"xmlns":688},[690,2520,2521,2526],{},[693,2522,2523],{},[769,2524,2525],{},"m",[705,2527,2525],{"encoding":707},[148,2529,2531],{"className":2530,"ariaHidden":713},[712],[148,2532,2534,2538],{"className":2533},[717],[148,2535],{"className":2536,"style":2537},[721],"height:0.4306em;",[148,2539,2525],{"className":2540},[726,1064]," — длина самой длинной ветви, по которой алгоритм может спуститься; в графах с циклами без отсечения повторов она может оказаться сколь угодно большой.",[128,2543,2545],{"id":2544},"неинформированный-поиск","Неинформированный поиск",[85,2547,2548],{},"Неинформированные (слепые) алгоритмы не используют никаких сведений о том, насколько текущее состояние «близко» к цели. Они различаются лишь порядком, в котором раскрывают вершины.",[85,2550,2551,297,2554,2557,2558,2588,2589,2642,2643,297,2646,2649],{},[294,2552,2553],{},"Поиск в ширину",[92,2555,2556],{},"breadth-first search, BFS",") обходит дерево слоями. Глубина вершины — это длина пути от корня до неё: корень имеет глубину 0, его дети — глубину 1, их дети — глубину 2, и так далее. BFS сначала раскрывает корень, затем все вершины на глубине 1, затем все на глубине 2, и пока слой ",[148,2559,2561,2575],{"className":2560},[680],[148,2562,2564],{"className":2563},[684],[686,2565,2566],{"xmlns":688},[690,2567,2568,2573],{},[693,2569,2570],{},[769,2571,2572],{},"k",[705,2574,2572],{"encoding":707},[148,2576,2578],{"className":2577,"ariaHidden":713},[712],[148,2579,2581,2584],{"className":2580},[717],[148,2582],{"className":2583,"style":2415},[721],[148,2585,2572],{"className":2586,"style":2587},[726,1064],"margin-right:0.0315em;"," не разобран до конца, к слою ",[148,2590,2592,2611],{"className":2591},[680],[148,2593,2595],{"className":2594},[684],[686,2596,2597],{"xmlns":688},[690,2598,2599,2608],{},[693,2600,2601,2603,2606],{},[769,2602,2572],{},[699,2604,2605],{},"+",[696,2607,150],{},[705,2609,2610],{"encoding":707},"k+1",[148,2612,2614,2633],{"className":2613,"ariaHidden":713},[712],[148,2615,2617,2621,2624,2627,2630],{"className":2616},[717],[148,2618],{"className":2619,"style":2620},[721],"height:0.7778em;vertical-align:-0.0833em;",[148,2622,2572],{"className":2623,"style":2587},[726,1064],[148,2625],{"className":2626,"style":731},[730],[148,2628,2605],{"className":2629},[735],[148,2631],{"className":2632,"style":731},[730],[148,2634,2636,2639],{"className":2635},[717],[148,2637],{"className":2638,"style":745},[721],[148,2640,150],{"className":2641},[726]," алгоритм не переходит (рис. 2.2). Реализуется это ",[294,2644,2645],{},"очередью FIFO",[92,2647,2648],{},"first-in-first-out","): новые порождённые вершины кладутся в хвост очереди, а на раскрытие берётся та, что стоит в голове, — то есть попавшая туда раньше всех. Поскольку дети любой вершины оказываются в очереди позже самой вершины, послойный порядок выдерживается автоматически.",[362,2651,364,2652,364,2656],{},[366,2653],{"src":2654,"alt":2655},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-02\u002Fbfs_traversal.svg","Поиск в ширину: порядок раскрытия вершин по слоям",[370,2657,2658],{},"Поиск в ширину: вершины раскрываются по слоям, нумерация — в порядке посещения",[85,2660,2661,2662,2665,2666,2669],{},"BFS ",[294,2663,2664],{},"полон",": если решение существует, оно лежит на какой-то конечной глубине, и алгоритм гарантированно до неё доходит — он не оставляет ни одного слоя необработанным. BFS также ",[294,2667,2668],{},"оптимален при одинаковой стоимости переходов",": если каждый ход стоит одинаково (например, любой ход в «восьмёрке» — это один шаг), то первое же найденное решение имеет минимальное число шагов; алгоритм просто не успевает спуститься глубже, пока на текущем слое есть нерассмотренные вершины. Если стоимости разные (скажем, длины участков дороги в задаче навигации), это уже не гарантировано: путь с наименьшим числом ходов не обязательно самый дешёвый, и BFS перестаёт быть оптимальным.",[85,2671,2672,2673,2701,2702,2730,2731,2811,2812,2864,2865,2915,2916,389,2967,3019,3020,3079],{},"Платит BFS за свои гарантии памятью: на глубине ",[148,2674,2676,2689],{"className":2675},[680],[148,2677,2679],{"className":2678},[684],[686,2680,2681],{"xmlns":688},[690,2682,2683,2687],{},[693,2684,2685],{},[769,2686,2437],{},[705,2688,2437],{"encoding":707},[148,2690,2692],{"className":2691,"ariaHidden":713},[712],[148,2693,2695,2698],{"className":2694},[717],[148,2696],{"className":2697,"style":2415},[721],[148,2699,2437],{"className":2700},[726,1064]," при факторе ветвления ",[148,2703,2705,2718],{"className":2704},[680],[148,2706,2708],{"className":2707},[684],[686,2709,2710],{"xmlns":688},[690,2711,2712,2716],{},[693,2713,2714],{},[769,2715,2403],{},[705,2717,2403],{"encoding":707},[148,2719,2721],{"className":2720,"ariaHidden":713},[712],[148,2722,2724,2727],{"className":2723},[717],[148,2725],{"className":2726,"style":2415},[721],[148,2728,2403],{"className":2729},[726,1064]," в очереди может оказаться до ",[148,2732,2734,2761],{"className":2733},[680],[148,2735,2737],{"className":2736},[684],[686,2738,2739],{"xmlns":688},[690,2740,2741,2758],{},[693,2742,2743,2746,2749,2755],{},[769,2744,2745],{},"O",[699,2747,2748],{"stretchy":766},"(",[921,2750,2751,2753],{},[769,2752,2403],{},[769,2754,2437],{},[699,2756,2757],{"stretchy":766},")",[705,2759,2760],{"encoding":707},"O(b^d)",[148,2762,2764],{"className":2763,"ariaHidden":713},[712],[148,2765,2767,2771,2775,2778,2808],{"className":2766},[717],[148,2768],{"className":2769,"style":2770},[721],"height:1.0991em;vertical-align:-0.25em;",[148,2772,2745],{"className":2773,"style":2774},[726,1064],"margin-right:0.0278em;",[148,2776,2748],{"className":2777},[1242],[148,2779,2781,2784],{"className":2780},[726],[148,2782,2403],{"className":2783},[726,1064],[148,2785,2787],{"className":2786},[977],[148,2788,2790],{"className":2789},[981],[148,2791,2793],{"className":2792},[985],[148,2794,2797],{"className":2795,"style":2796},[989],"height:0.8491em;",[148,2798,2799,2802],{"style":992},[148,2800],{"className":2801,"style":997},[996],[148,2803,2805],{"className":2804},[1001,1002,1003,1004],[148,2806,2437],{"className":2807},[726,1064,1004],[148,2809,2757],{"className":2810},[807]," вершин. Для «восьмёрки» с ",[148,2813,2815,2834],{"className":2814},[680],[148,2816,2818],{"className":2817},[684],[686,2819,2820],{"xmlns":688},[690,2821,2822,2831],{},[693,2823,2824,2826,2828],{},[769,2825,2403],{},[699,2827,919],{},[696,2829,2830],{},"2.67",[705,2832,2833],{"encoding":707},"b \\approx 2.67",[148,2835,2837,2855],{"className":2836,"ariaHidden":713},[712],[148,2838,2840,2843,2846,2849,2852],{"className":2839},[717],[148,2841],{"className":2842,"style":2415},[721],[148,2844,2403],{"className":2845},[726,1064],[148,2847],{"className":2848,"style":815},[730],[148,2850,919],{"className":2851},[819],[148,2853],{"className":2854,"style":815},[730],[148,2856,2858,2861],{"className":2857},[717],[148,2859],{"className":2860,"style":745},[721],[148,2862,2830],{"className":2863},[726]," и оптимальной длиной решения ",[148,2866,2868,2885],{"className":2867},[680],[148,2869,2871],{"className":2870},[684],[686,2872,2873],{"xmlns":688},[690,2874,2875,2883],{},[693,2876,2877,2879,2881],{},[769,2878,2437],{},[699,2880,2469],{},[696,2882,2472],{},[705,2884,2475],{"encoding":707},[148,2886,2888,2906],{"className":2887,"ariaHidden":713},[712],[148,2889,2891,2894,2897,2900,2903],{"className":2890},[717],[148,2892],{"className":2893,"style":2485},[721],[148,2895,2437],{"className":2896},[726,1064],[148,2898],{"className":2899,"style":815},[730],[148,2901,2469],{"className":2902},[819],[148,2904],{"className":2905,"style":815},[730],[148,2907,2909,2912],{"className":2908},[717],[148,2910],{"className":2911,"style":745},[721],[148,2913,2472],{"className":2914},[726]," хранение нескольких десятков миллионов вершин ещё допустимо в памяти настольной машины. Для «пятнашек» с ",[148,2917,2919,2937],{"className":2918},[680],[148,2920,2922],{"className":2921},[684],[686,2923,2924],{"xmlns":688},[690,2925,2926,2934],{},[693,2927,2928,2930,2932],{},[769,2929,2403],{},[699,2931,919],{},[696,2933,179],{},[705,2935,2936],{"encoding":707},"b \\approx 3",[148,2938,2940,2958],{"className":2939,"ariaHidden":713},[712],[148,2941,2943,2946,2949,2952,2955],{"className":2942},[717],[148,2944],{"className":2945,"style":2415},[721],[148,2947,2403],{"className":2948},[726,1064],[148,2950],{"className":2951,"style":815},[730],[148,2953,919],{"className":2954},[819],[148,2956],{"className":2957,"style":815},[730],[148,2959,2961,2964],{"className":2960},[717],[148,2962],{"className":2963,"style":745},[721],[148,2965,179],{"className":2966},[726],[148,2968,2970,2989],{"className":2969},[680],[148,2971,2973],{"className":2972},[684],[686,2974,2975],{"xmlns":688},[690,2976,2977,2986],{},[693,2978,2979,2981,2983],{},[769,2980,2437],{},[699,2982,919],{},[696,2984,2985],{},"80",[705,2987,2988],{"encoding":707},"d \\approx 80",[148,2990,2992,3010],{"className":2991,"ariaHidden":713},[712],[148,2993,2995,2998,3001,3004,3007],{"className":2994},[717],[148,2996],{"className":2997,"style":2415},[721],[148,2999,2437],{"className":3000},[726,1064],[148,3002],{"className":3003,"style":815},[730],[148,3005,919],{"className":3006},[819],[148,3008],{"className":3009,"style":815},[730],[148,3011,3013,3016],{"className":3012},[717],[148,3014],{"className":3015,"style":745},[721],[148,3017,2985],{"className":3018},[726]," оценка ",[148,3021,3023,3041],{"className":3022},[680],[148,3024,3026],{"className":3025},[684],[686,3027,3028],{"xmlns":688},[690,3029,3030,3038],{},[693,3031,3032],{},[921,3033,3034,3036],{},[769,3035,2403],{},[769,3037,2437],{},[705,3039,3040],{"encoding":707},"b^d",[148,3042,3044],{"className":3043,"ariaHidden":713},[712],[148,3045,3047,3050],{"className":3046},[717],[148,3048],{"className":3049,"style":2796},[721],[148,3051,3053,3056],{"className":3052},[726],[148,3054,2403],{"className":3055},[726,1064],[148,3057,3059],{"className":3058},[977],[148,3060,3062],{"className":3061},[981],[148,3063,3065],{"className":3064},[985],[148,3066,3068],{"className":3067,"style":2796},[989],[148,3069,3070,3073],{"style":992},[148,3071],{"className":3072,"style":997},[996],[148,3074,3076],{"className":3075},[1001,1002,1003,1004],[148,3077,2437],{"className":3078},[726,1064,1004]," выходит за пределы реалистичных ресурсов — BFS становится практически неприменимым.",[85,3081,3082,297,3085,3088,3089,297,3092,3095],{},[294,3083,3084],{},"Поиск в глубину",[92,3086,3087],{},"depth-first search, DFS",") идёт в противоположном направлении. Алгоритм раскрывает вершину и сразу переходит к одному из её детей, углубляясь по выбранной ветви, пока не достигнет листа или тупика; только после этого возвращается к ближайшему непросмотренному ветвлению и продолжает оттуда (рис. 2.3). Реализуется это ",[294,3090,3091],{},"стеком LIFO",[92,3093,3094],{},"last-in-first-out","): новые порождённые вершины кладутся на верх стека, а на раскрытие берётся та, что положена туда последней — самая «свежая». Естественной альтернативой стеку служит обычная рекурсия: рекурсивный вызов сам кладёт состояние на стек выполнения, а возврат из вызова — снимает.",[85,3097,3098,3099,3102,3103,3106],{},"В отличие от BFS, DFS ",[294,3100,3101],{},"не полон в общем случае",": если в пространстве состояний есть бесконечная ветвь (например, из-за неотсекаемых циклов), алгоритм может уйти в неё навсегда и так и не добраться до решения, даже если оно существует на конечной глубине. ",[294,3104,3105],{},"Оптимальность тоже не гарантируется"," — даже если решение найдено, оно может оказаться сколь угодно длиннее оптимального: DFS возвращает первое решение, которое попалось, а оно лежит на той ветви, куда алгоритм случайно свернул раньше других.",[85,3108,3109,3110,3157,3158,3186],{},"Зато по памяти DFS радикально экономнее BFS: на стеке в каждый момент хранится только текущая ветвь и не раскрытые ещё соседи каждой её вершины — в худшем случае ",[148,3111,3113,3135],{"className":3112},[680],[148,3114,3116],{"className":3115},[684],[686,3117,3118],{"xmlns":688},[690,3119,3120,3132],{},[693,3121,3122,3124,3126,3128,3130],{},[769,3123,2745],{},[699,3125,2748],{"stretchy":766},[769,3127,2403],{},[769,3129,2525],{},[699,3131,2757],{"stretchy":766},[705,3133,3134],{"encoding":707},"O(bm)",[148,3136,3138],{"className":3137,"ariaHidden":713},[712],[148,3139,3141,3144,3147,3150,3154],{"className":3140},[717],[148,3142],{"className":3143,"style":800},[721],[148,3145,2745],{"className":3146,"style":2774},[726,1064],[148,3148,2748],{"className":3149},[1242],[148,3151,3153],{"className":3152},[726,1064],"bm",[148,3155,2757],{"className":3156},[807],", где ",[148,3159,3161,3174],{"className":3160},[680],[148,3162,3164],{"className":3163},[684],[686,3165,3166],{"xmlns":688},[690,3167,3168,3172],{},[693,3169,3170],{},[769,3171,2525],{},[705,3173,2525],{"encoding":707},[148,3175,3177],{"className":3176,"ariaHidden":713},[712],[148,3178,3180,3183],{"className":3179},[717],[148,3181],{"className":3182,"style":2537},[721],[148,3184,2525],{"className":3185},[726,1064]," — максимальная глубина дерева. Для «пятнашек» это уже терпимо. Поэтому в задачах с гигантским пространством состояний DFS остаётся применимым там, где BFS не помещается в память, — ценой потерь в полноте и оптимальности.",[362,3188,364,3189,364,3193],{},[366,3190],{"src":3191,"alt":3192},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-02\u002Fdfs_traversal.svg","Поиск в глубину: спуск по первой ветви до листа",[370,3194,3195],{},"Поиск в глубину: алгоритм спускается по выбранной ветви до листа (подсвечена) и только после этого возвращается к следующему ветвлению",[85,3197,3198],{},"На практике выбор между BFS и DFS — это выбор между гарантией результата и расходом памяти. Существует ли компромисс?",[85,3200,3201,297,3204,3207,3208,3215],{},[294,3202,3203],{},"Поиск с итеративным углублением",[92,3205,3206],{},"iterative deepening depth-first search, IDDFS",") пытается совместить достоинства BFS и DFS ",[140,3209,3211],{"className":3210},[143],[22,3212,3213],{"href":146},[148,3214,150],{},". Алгоритм выполняет серию запусков DFS с возрастающим ограничением глубины: сначала просматривает только корень (предел 0), затем корень и его детей (предел 1), потом — до глубины 2, и так далее, пока на каком-то пределе не найдёт целевую вершину (рис. 2.4). Каждая отдельная итерация — это обычный DFS, но с жёстким запретом спускаться ниже текущего предела глубины.",[85,3217,3218,3219,3272,3273,3301,3302,3424,3425,3476],{},"На первый взгляд кажется, что повторное раскрытие верхних уровней — расточительство: при поиске на глубине 3 алгоритм заново обходит все вершины глубин 1 и 2, которые уже раскрывались. Однако при факторе ветвления ",[148,3220,3222,3241],{"className":3221},[680],[148,3223,3225],{"className":3224},[684],[686,3226,3227],{"xmlns":688},[690,3228,3229,3238],{},[693,3230,3231,3233,3236],{},[769,3232,2403],{},[699,3234,3235],{},">",[696,3237,150],{},[705,3239,3240],{"encoding":707},"b > 1",[148,3242,3244,3263],{"className":3243,"ariaHidden":713},[712],[148,3245,3247,3251,3254,3257,3260],{"className":3246},[717],[148,3248],{"className":3249,"style":3250},[721],"height:0.7335em;vertical-align:-0.0391em;",[148,3252,2403],{"className":3253},[726,1064],[148,3255],{"className":3256,"style":815},[730],[148,3258,3235],{"className":3259},[819],[148,3261],{"className":3262,"style":815},[730],[148,3264,3266,3269],{"className":3265},[717],[148,3267],{"className":3268,"style":745},[721],[148,3270,150],{"className":3271},[726]," основная масса вершин сосредоточена на последнем уровне (там их в ",[148,3274,3276,3289],{"className":3275},[680],[148,3277,3279],{"className":3278},[684],[686,3280,3281],{"xmlns":688},[690,3282,3283,3287],{},[693,3284,3285],{},[769,3286,2403],{},[705,3288,2403],{"encoding":707},[148,3290,3292],{"className":3291,"ariaHidden":713},[712],[148,3293,3295,3298],{"className":3294},[717],[148,3296],{"className":3297,"style":2415},[721],[148,3299,2403],{"className":3300},[726,1064]," раз больше, чем на предпоследнем), и накладные расходы на повторы составляют не более ",[148,3303,3305,3331],{"className":3304},[680],[148,3306,3308],{"className":3307},[684],[686,3309,3310],{"xmlns":688},[690,3311,3312,3328],{},[693,3313,3314],{},[3315,3316,3317,3319],"mfrac",{},[769,3318,2403],{},[693,3320,3321,3323,3326],{},[769,3322,2403],{},[699,3324,3325],{},"−",[696,3327,150],{},[705,3329,3330],{"encoding":707},"\\frac{b}{b-1}",[148,3332,3334],{"className":3333,"ariaHidden":713},[712],[148,3335,3337,3341],{"className":3336},[717],[148,3338],{"className":3339,"style":3340},[721],"height:1.2834em;vertical-align:-0.4033em;",[148,3342,3344,3348,3421],{"className":3343},[726],[148,3345],{"className":3346},[1242,3347],"nulldelimiter",[148,3349,3351],{"className":3350},[3315],[148,3352,3354,3412],{"className":3353},[981,1071],[148,3355,3357,3409],{"className":3356},[985],[148,3358,3361,3383,3394],{"className":3359,"style":3360},[989],"height:0.8801em;",[148,3362,3364,3368],{"style":3363},"top:-2.655em;",[148,3365],{"className":3366,"style":3367},[996],"height:3em;",[148,3369,3371],{"className":3370},[1001,1002,1003,1004],[148,3372,3374,3377,3380],{"className":3373},[726,1004],[148,3375,2403],{"className":3376},[726,1064,1004],[148,3378,3325],{"className":3379},[735,1004],[148,3381,150],{"className":3382},[726,1004],[148,3384,3386,3389],{"style":3385},"top:-3.23em;",[148,3387],{"className":3388,"style":3367},[996],[148,3390],{"className":3391,"style":3393},[3392],"frac-line","border-bottom-width:0.04em;",[148,3395,3397,3400],{"style":3396},"top:-3.394em;",[148,3398],{"className":3399,"style":3367},[996],[148,3401,3403],{"className":3402},[1001,1002,1003,1004],[148,3404,3406],{"className":3405},[726,1004],[148,3407,2403],{"className":3408},[726,1064,1004],[148,3410,1095],{"className":3411},[1094],[148,3413,3415],{"className":3414},[985],[148,3416,3419],{"className":3417,"style":3418},[989],"height:0.4033em;",[148,3420],{},[148,3422],{"className":3423},[807,3347]," от стоимости однократного обхода. Для ",[148,3426,3428,3446],{"className":3427},[680],[148,3429,3431],{"className":3430},[684],[686,3432,3433],{"xmlns":688},[690,3434,3435,3443],{},[693,3436,3437,3439,3441],{},[769,3438,2403],{},[699,3440,777],{},[696,3442,179],{},[705,3444,3445],{"encoding":707},"b = 3",[148,3447,3449,3467],{"className":3448,"ariaHidden":713},[712],[148,3450,3452,3455,3458,3461,3464],{"className":3451},[717],[148,3453],{"className":3454,"style":2415},[721],[148,3456,2403],{"className":3457},[726,1064],[148,3459],{"className":3460,"style":815},[730],[148,3462,777],{"className":3463},[819],[148,3465],{"className":3466,"style":815},[730],[148,3468,3470,3473],{"className":3469},[717],[148,3471],{"className":3472,"style":745},[721],[148,3474,179],{"className":3475},[726]," это всего лишь полуторакратное увеличение.",[85,3478,3479,3480,3482,3483,3485,3486,3535],{},"IDDFS наследует преимущества обоих родительских алгоритмов. Он ",[294,3481,2664],{},": ограничение глубины растёт неограниченно, и любое решение на конечной глубине рано или поздно будет найдено. Он ",[294,3484,2668],{},": глубина увеличивается шагами по единице, и первая нашедшаяся цель неизбежно лежит на минимальной возможной глубине. И при этом по памяти он экономен как DFS — ",[148,3487,3489,3511],{"className":3488},[680],[148,3490,3492],{"className":3491},[684],[686,3493,3494],{"xmlns":688},[690,3495,3496,3508],{},[693,3497,3498,3500,3502,3504,3506],{},[769,3499,2745],{},[699,3501,2748],{"stretchy":766},[769,3503,2403],{},[769,3505,2437],{},[699,3507,2757],{"stretchy":766},[705,3509,3510],{"encoding":707},"O(bd)",[148,3512,3514],{"className":3513,"ariaHidden":713},[712],[148,3515,3517,3520,3523,3526,3529,3532],{"className":3516},[717],[148,3518],{"className":3519,"style":800},[721],[148,3521,2745],{"className":3522,"style":2774},[726,1064],[148,3524,2748],{"className":3525},[1242],[148,3527,2403],{"className":3528},[726,1064],[148,3530,2437],{"className":3531},[726,1064],[148,3533,2757],{"className":3534},[807],", — потому что каждая итерация это обычный DFS. Сочетание этих свойств делает IDDFS предпочтительным неинформированным алгоритмом для задач с большим пространством состояний.",[362,3537,364,3538,364,3542],{},[366,3539],{"src":3540,"alt":3541},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-02\u002Fiddfs_traversal.svg","Поиск с итеративным углублением: серия DFS с растущим пределом глубины",[370,3543,3544],{},"Поиск с итеративным углублением: серия запусков DFS с пределом глубины 0, 1, 2, 3 …",[85,3546,3547,3548,3599,3600,3650,3651,3791,3792,3866,3867,3895],{},"Сравнение трёх алгоритмов на одной задаче поучительно. Положим задачу нахождения решения в дереве глубиной ",[148,3549,3551,3569],{"className":3550},[680],[148,3552,3554],{"className":3553},[684],[686,3555,3556],{"xmlns":688},[690,3557,3558,3566],{},[693,3559,3560,3562,3564],{},[769,3561,2437],{},[699,3563,777],{},[696,3565,332],{},[705,3567,3568],{"encoding":707},"d = 12",[148,3570,3572,3590],{"className":3571,"ariaHidden":713},[712],[148,3573,3575,3578,3581,3584,3587],{"className":3574},[717],[148,3576],{"className":3577,"style":2415},[721],[148,3579,2437],{"className":3580},[726,1064],[148,3582],{"className":3583,"style":815},[730],[148,3585,777],{"className":3586},[819],[148,3588],{"className":3589,"style":815},[730],[148,3591,3593,3596],{"className":3592},[717],[148,3594],{"className":3595,"style":745},[721],[148,3597,332],{"className":3598},[726]," с ",[148,3601,3603,3620],{"className":3602},[680],[148,3604,3606],{"className":3605},[684],[686,3607,3608],{"xmlns":688},[690,3609,3610,3618],{},[693,3611,3612,3614,3616],{},[769,3613,2403],{},[699,3615,777],{},[696,3617,179],{},[705,3619,3445],{"encoding":707},[148,3621,3623,3641],{"className":3622,"ariaHidden":713},[712],[148,3624,3626,3629,3632,3635,3638],{"className":3625},[717],[148,3627],{"className":3628,"style":2415},[721],[148,3630,2403],{"className":3631},[726,1064],[148,3633],{"className":3634,"style":815},[730],[148,3636,777],{"className":3637},[819],[148,3639],{"className":3640,"style":815},[730],[148,3642,3644,3647],{"className":3643},[717],[148,3645],{"className":3646,"style":745},[721],[148,3648,179],{"className":3649},[726],". BFS гарантированно найдёт оптимальное решение, удерживая в памяти около ",[148,3652,3654,3685],{"className":3653},[680],[148,3655,3657],{"className":3656},[684],[686,3658,3659],{"xmlns":688},[690,3660,3661,3682],{},[693,3662,3663,3669,3671,3673,3676],{},[921,3664,3665,3667],{},[696,3666,179],{},[696,3668,332],{},[699,3670,919],{},[696,3672,213],{},[699,3674,3675],{},"⋅",[921,3677,3678,3680],{},[696,3679,278],{},[696,3681,213],{},[705,3683,3684],{"encoding":707},"3^{12} \\approx 5 \\cdot 10^5",[148,3686,3688,3735,3753],{"className":3687,"ariaHidden":713},[712],[148,3689,3691,3694,3726,3729,3732],{"className":3690},[717],[148,3692],{"className":3693,"style":963},[721],[148,3695,3697,3700],{"className":3696},[726],[148,3698,179],{"className":3699},[726],[148,3701,3703],{"className":3702},[977],[148,3704,3706],{"className":3705},[981],[148,3707,3709],{"className":3708},[985],[148,3710,3712],{"className":3711,"style":963},[989],[148,3713,3714,3717],{"style":992},[148,3715],{"className":3716,"style":997},[996],[148,3718,3720],{"className":3719},[1001,1002,1003,1004],[148,3721,3723],{"className":3722},[726,1004],[148,3724,332],{"className":3725},[726,1004],[148,3727],{"className":3728,"style":815},[730],[148,3730,919],{"className":3731},[819],[148,3733],{"className":3734,"style":815},[730],[148,3736,3738,3741,3744,3747,3750],{"className":3737},[717],[148,3739],{"className":3740,"style":745},[721],[148,3742,213],{"className":3743},[726],[148,3745],{"className":3746,"style":731},[730],[148,3748,3675],{"className":3749},[735],[148,3751],{"className":3752,"style":731},[730],[148,3754,3756,3759,3762],{"className":3755},[717],[148,3757],{"className":3758,"style":963},[721],[148,3760,150],{"className":3761},[726],[148,3763,3765,3768],{"className":3764},[726],[148,3766,973],{"className":3767},[726],[148,3769,3771],{"className":3770},[977],[148,3772,3774],{"className":3773},[981],[148,3775,3777],{"className":3776},[985],[148,3778,3780],{"className":3779,"style":963},[989],[148,3781,3782,3785],{"style":992},[148,3783],{"className":3784,"style":997},[996],[148,3786,3788],{"className":3787},[1001,1002,1003,1004],[148,3789,213],{"className":3790},[726,1004]," вершин. DFS уложится в ",[148,3793,3795,3818],{"className":3794},[680],[148,3796,3798],{"className":3797},[684],[686,3799,3800],{"xmlns":688},[690,3801,3802,3815],{},[693,3803,3804,3806,3808,3810,3812],{},[696,3805,179],{},[699,3807,3675],{},[696,3809,332],{},[699,3811,777],{},[696,3813,3814],{},"36",[705,3816,3817],{"encoding":707},"3 \\cdot 12 = 36",[148,3819,3821,3839,3857],{"className":3820,"ariaHidden":713},[712],[148,3822,3824,3827,3830,3833,3836],{"className":3823},[717],[148,3825],{"className":3826,"style":745},[721],[148,3828,179],{"className":3829},[726],[148,3831],{"className":3832,"style":731},[730],[148,3834,3675],{"className":3835},[735],[148,3837],{"className":3838,"style":731},[730],[148,3840,3842,3845,3848,3851,3854],{"className":3841},[717],[148,3843],{"className":3844,"style":745},[721],[148,3846,332],{"className":3847},[726],[148,3849],{"className":3850,"style":815},[730],[148,3852,777],{"className":3853},[819],[148,3855],{"className":3856,"style":815},[730],[148,3858,3860,3863],{"className":3859},[717],[148,3861],{"className":3862,"style":745},[721],[148,3864,3814],{"className":3865},[726]," вершин памяти, но может уйти в неоптимальную ветвь и вернуть решение длиной, скажем, 17 вместо 12. IDDFS повторит часть верхних уровней, раскрыв в полтора раза больше вершин, чем BFS, — но при тех же ",[148,3868,3870,3883],{"className":3869},[680],[148,3871,3873],{"className":3872},[684],[686,3874,3875],{"xmlns":688},[690,3876,3877,3881],{},[693,3878,3879],{},[696,3880,3814],{},[705,3882,3814],{"encoding":707},[148,3884,3886],{"className":3885,"ariaHidden":713},[712],[148,3887,3889,3892],{"className":3888},[717],[148,3890],{"className":3891,"style":745},[721],[148,3893,3814],{"className":3894},[726]," единицах памяти и с гарантией оптимальности. Когда задача исчерпывает оперативную память при BFS, IDDFS обычно становится единственно реалистичным неинформированным выбором.",[128,3897,3899],{"id":3898},"информированный-эвристический-поиск","Информированный (эвристический) поиск",[85,3901,3902],{},"Неинформированные алгоритмы «слепы» — они не знают, в какой стороне находится цель, и потому обходят пространство состояний механически. Если же у нас есть возможность оценить, насколько текущее состояние далеко от целевого, поиск можно направить значительно эффективнее.",[85,3904,3905,191,3908,3953,3954,3982,3983,4026],{},[294,3906,3907],{},"Эвристическая функция",[148,3909,3911,3932],{"className":3910},[680],[148,3912,3914],{"className":3913},[684],[686,3915,3916],{"xmlns":688},[690,3917,3918,3929],{},[693,3919,3920,3923,3925,3927],{},[769,3921,3922],{},"h",[699,3924,2748],{"stretchy":766},[769,3926,1566],{},[699,3928,2757],{"stretchy":766},[705,3930,3931],{"encoding":707},"h(n)",[148,3933,3935],{"className":3934,"ariaHidden":713},[712],[148,3936,3938,3941,3944,3947,3950],{"className":3937},[717],[148,3939],{"className":3940,"style":800},[721],[148,3942,3922],{"className":3943},[726,1064],[148,3945,2748],{"className":3946},[1242],[148,3948,1566],{"className":3949},[726,1064],[148,3951,2757],{"className":3952},[807]," оценивает стоимость пути от вершины ",[148,3955,3957,3970],{"className":3956},[680],[148,3958,3960],{"className":3959},[684],[686,3961,3962],{"xmlns":688},[690,3963,3964,3968],{},[693,3965,3966],{},[769,3967,1566],{},[705,3969,1566],{"encoding":707},[148,3971,3973],{"className":3972,"ariaHidden":713},[712],[148,3974,3976,3979],{"className":3975},[717],[148,3977],{"className":3978,"style":2537},[721],[148,3980,1566],{"className":3981},[726,1064]," до ближайшего целевого состояния. Разумеется, точное значение этой стоимости нам неизвестно (иначе задача была бы уже решена), поэтому ",[148,3984,3986,4005],{"className":3985},[680],[148,3987,3989],{"className":3988},[684],[686,3990,3991],{"xmlns":688},[690,3992,3993,4003],{},[693,3994,3995,3997,3999,4001],{},[769,3996,3922],{},[699,3998,2748],{"stretchy":766},[769,4000,1566],{},[699,4002,2757],{"stretchy":766},[705,4004,3931],{"encoding":707},[148,4006,4008],{"className":4007,"ariaHidden":713},[712],[148,4009,4011,4014,4017,4020,4023],{"className":4010},[717],[148,4012],{"className":4013,"style":800},[721],[148,4015,3922],{"className":4016},[726,1064],[148,4018,2748],{"className":4019},[1242],[148,4021,1566],{"className":4022},[726,1064],[148,4024,2757],{"className":4025},[807]," — приближённая оценка. Для «восьмёрки» и «пятнашек» типичная эвристика — манхэттенское расстояние: сумма расстояний каждой фишки от её целевой позиции по горизонтали и вертикали. Эта оценка никогда не превышает реального числа ходов, и такое свойство оказывается ключевым.",[85,4028,4029,297,4032,4035,4036,4079],{},[294,4030,4031],{},"Жадный поиск",[92,4033,4034],{},"greedy best-first search",") всегда раскрывает вершину с наименьшим ",[148,4037,4039,4058],{"className":4038},[680],[148,4040,4042],{"className":4041},[684],[686,4043,4044],{"xmlns":688},[690,4045,4046,4056],{},[693,4047,4048,4050,4052,4054],{},[769,4049,3922],{},[699,4051,2748],{"stretchy":766},[769,4053,1566],{},[699,4055,2757],{"stretchy":766},[705,4057,3931],{"encoding":707},[148,4059,4061],{"className":4060,"ariaHidden":713},[712],[148,4062,4064,4067,4070,4073,4076],{"className":4063},[717],[148,4065],{"className":4066,"style":800},[721],[148,4068,3922],{"className":4069},[726,1064],[148,4071,2748],{"className":4072},[1242],[148,4074,1566],{"className":4075},[726,1064],[148,4077,2757],{"className":4078},[807],". Он устремляется к цели напрямик и может найти решение быстро, но без гарантии оптимальности: алгоритм легко попадает в локальные «ловушки», выбирая путь, который выглядит многообещающим, но ведёт в тупик.",[85,4081,4082,4085,4086,4089,4090,4097,4098,1318,4225,4269,4270,4298,4299,4342,4343,4387],{},[294,4083,4084],{},"Алгоритм A","* (англ. ",[92,4087,4088],{},"A-star",") использует более взвешенную стратегию ",[140,4091,4093],{"className":4092},[143],[22,4094,4095],{"href":160},[148,4096,163],{},". Для каждой вершины вычисляется оценочная функция\n",[148,4099,4101,4145],{"className":4100},[680],[148,4102,4104],{"className":4103},[684],[686,4105,4106],{"xmlns":688},[690,4107,4108,4142],{},[693,4109,4110,4113,4115,4117,4119,4121,4124,4126,4128,4130,4132,4134,4136,4138,4140],{},[769,4111,4112],{},"f",[699,4114,2748],{"stretchy":766},[769,4116,1566],{},[699,4118,2757],{"stretchy":766},[699,4120,777],{},[769,4122,4123],{},"g",[699,4125,2748],{"stretchy":766},[769,4127,1566],{},[699,4129,2757],{"stretchy":766},[699,4131,2605],{},[769,4133,3922],{},[699,4135,2748],{"stretchy":766},[769,4137,1566],{},[699,4139,2757],{"stretchy":766},[699,4141,1205],{"separator":713},[705,4143,4144],{"encoding":707},"f(n) = g(n) + h(n),",[148,4146,4148,4176,4204],{"className":4147,"ariaHidden":713},[712],[148,4149,4151,4154,4158,4161,4164,4167,4170,4173],{"className":4150},[717],[148,4152],{"className":4153,"style":800},[721],[148,4155,4112],{"className":4156,"style":4157},[726,1064],"margin-right:0.1076em;",[148,4159,2748],{"className":4160},[1242],[148,4162,1566],{"className":4163},[726,1064],[148,4165,2757],{"className":4166},[807],[148,4168],{"className":4169,"style":815},[730],[148,4171,777],{"className":4172},[819],[148,4174],{"className":4175,"style":815},[730],[148,4177,4179,4182,4186,4189,4192,4195,4198,4201],{"className":4178},[717],[148,4180],{"className":4181,"style":800},[721],[148,4183,4123],{"className":4184,"style":4185},[726,1064],"margin-right:0.0359em;",[148,4187,2748],{"className":4188},[1242],[148,4190,1566],{"className":4191},[726,1064],[148,4193,2757],{"className":4194},[807],[148,4196],{"className":4197,"style":731},[730],[148,4199,2605],{"className":4200},[735],[148,4202],{"className":4203,"style":731},[730],[148,4205,4207,4210,4213,4216,4219,4222],{"className":4206},[717],[148,4208],{"className":4209,"style":800},[721],[148,4211,3922],{"className":4212},[726,1064],[148,4214,2748],{"className":4215},[1242],[148,4217,1566],{"className":4218},[726,1064],[148,4220,2757],{"className":4221},[807],[148,4223,1205],{"className":4224},[1250],[148,4226,4228,4248],{"className":4227},[680],[148,4229,4231],{"className":4230},[684],[686,4232,4233],{"xmlns":688},[690,4234,4235,4245],{},[693,4236,4237,4239,4241,4243],{},[769,4238,4123],{},[699,4240,2748],{"stretchy":766},[769,4242,1566],{},[699,4244,2757],{"stretchy":766},[705,4246,4247],{"encoding":707},"g(n)",[148,4249,4251],{"className":4250,"ariaHidden":713},[712],[148,4252,4254,4257,4260,4263,4266],{"className":4253},[717],[148,4255],{"className":4256,"style":800},[721],[148,4258,4123],{"className":4259,"style":4185},[726,1064],[148,4261,2748],{"className":4262},[1242],[148,4264,1566],{"className":4265},[726,1064],[148,4267,2757],{"className":4268},[807]," — стоимость пути от начальной вершины до ",[148,4271,4273,4286],{"className":4272},[680],[148,4274,4276],{"className":4275},[684],[686,4277,4278],{"xmlns":688},[690,4279,4280,4284],{},[693,4281,4282],{},[769,4283,1566],{},[705,4285,1566],{"encoding":707},[148,4287,4289],{"className":4288,"ariaHidden":713},[712],[148,4290,4292,4295],{"className":4291},[717],[148,4293],{"className":4294,"style":2537},[721],[148,4296,1566],{"className":4297},[726,1064]," (известна точно), а ",[148,4300,4302,4321],{"className":4301},[680],[148,4303,4305],{"className":4304},[684],[686,4306,4307],{"xmlns":688},[690,4308,4309,4319],{},[693,4310,4311,4313,4315,4317],{},[769,4312,3922],{},[699,4314,2748],{"stretchy":766},[769,4316,1566],{},[699,4318,2757],{"stretchy":766},[705,4320,3931],{"encoding":707},[148,4322,4324],{"className":4323,"ariaHidden":713},[712],[148,4325,4327,4330,4333,4336,4339],{"className":4326},[717],[148,4328],{"className":4329,"style":800},[721],[148,4331,3922],{"className":4332},[726,1064],[148,4334,2748],{"className":4335},[1242],[148,4337,1566],{"className":4338},[726,1064],[148,4340,2757],{"className":4341},[807]," — эвристическая оценка оставшегося пути. Алгоритм раскрывает вершину с наименьшим ",[148,4344,4346,4366],{"className":4345},[680],[148,4347,4349],{"className":4348},[684],[686,4350,4351],{"xmlns":688},[690,4352,4353,4363],{},[693,4354,4355,4357,4359,4361],{},[769,4356,4112],{},[699,4358,2748],{"stretchy":766},[769,4360,1566],{},[699,4362,2757],{"stretchy":766},[705,4364,4365],{"encoding":707},"f(n)",[148,4367,4369],{"className":4368,"ariaHidden":713},[712],[148,4370,4372,4375,4378,4381,4384],{"className":4371},[717],[148,4373],{"className":4374,"style":800},[721],[148,4376,4112],{"className":4377,"style":4157},[726,1064],[148,4379,2748],{"className":4380},[1242],[148,4382,1566],{"className":4383},[726,1064],[148,4385,2757],{"className":4386},[807],", то есть учитывает и уже понесённые затраты, и прогнозируемый остаток.",[85,4389,4390,4391,297,4394,4397,4398,4509,4510,3157,4538,4612,4613,4641,4642,297,4645,4648,4649,4652,4653,4681,4682,4747,4748,4776,4777,3157,4989,5017],{},"A* гарантирует нахождение оптимального решения при выполнении двух условий. Первое — ",[294,4392,4393],{},"допустимость",[92,4395,4396],{},"admissibility",") эвристики: ",[148,4399,4401,4435],{"className":4400},[680],[148,4402,4404],{"className":4403},[684],[686,4405,4406],{"xmlns":688},[690,4407,4408,4432],{},[693,4409,4410,4412,4414,4416,4418,4420,4426,4428,4430],{},[769,4411,3922],{},[699,4413,2748],{"stretchy":766},[769,4415,1566],{},[699,4417,2757],{"stretchy":766},[699,4419,2469],{},[921,4421,4422,4424],{},[769,4423,3922],{},[699,4425,1127],{},[699,4427,2748],{"stretchy":766},[769,4429,1566],{},[699,4431,2757],{"stretchy":766},[705,4433,4434],{"encoding":707},"h(n) \\leq h^*(n)",[148,4436,4438,4465],{"className":4437,"ariaHidden":713},[712],[148,4439,4441,4444,4447,4450,4453,4456,4459,4462],{"className":4440},[717],[148,4442],{"className":4443,"style":800},[721],[148,4445,3922],{"className":4446},[726,1064],[148,4448,2748],{"className":4449},[1242],[148,4451,1566],{"className":4452},[726,1064],[148,4454,2757],{"className":4455},[807],[148,4457],{"className":4458,"style":815},[730],[148,4460,2469],{"className":4461},[819],[148,4463],{"className":4464,"style":815},[730],[148,4466,4468,4471,4500,4503,4506],{"className":4467},[717],[148,4469],{"className":4470,"style":800},[721],[148,4472,4474,4477],{"className":4473},[726],[148,4475,3922],{"className":4476},[726,1064],[148,4478,4480],{"className":4479},[977],[148,4481,4483],{"className":4482},[981],[148,4484,4486],{"className":4485},[985],[148,4487,4489],{"className":4488,"style":1140},[989],[148,4490,4491,4494],{"style":992},[148,4492],{"className":4493,"style":997},[996],[148,4495,4497],{"className":4496},[1001,1002,1003,1004],[148,4498,1127],{"className":4499},[735,1004],[148,4501,2748],{"className":4502},[1242],[148,4504,1566],{"className":4505},[726,1064],[148,4507,2757],{"className":4508},[807]," для всех ",[148,4511,4513,4526],{"className":4512},[680],[148,4514,4516],{"className":4515},[684],[686,4517,4518],{"xmlns":688},[690,4519,4520,4524],{},[693,4521,4522],{},[769,4523,1566],{},[705,4525,1566],{"encoding":707},[148,4527,4529],{"className":4528,"ariaHidden":713},[712],[148,4530,4532,4535],{"className":4531},[717],[148,4533],{"className":4534,"style":2537},[721],[148,4536,1566],{"className":4537},[726,1064],[148,4539,4541,4565],{"className":4540},[680],[148,4542,4544],{"className":4543},[684],[686,4545,4546],{"xmlns":688},[690,4547,4548,4562],{},[693,4549,4550,4556,4558,4560],{},[921,4551,4552,4554],{},[769,4553,3922],{},[699,4555,1127],{},[699,4557,2748],{"stretchy":766},[769,4559,1566],{},[699,4561,2757],{"stretchy":766},[705,4563,4564],{"encoding":707},"h^*(n)",[148,4566,4568],{"className":4567,"ariaHidden":713},[712],[148,4569,4571,4574,4603,4606,4609],{"className":4570},[717],[148,4572],{"className":4573,"style":800},[721],[148,4575,4577,4580],{"className":4576},[726],[148,4578,3922],{"className":4579},[726,1064],[148,4581,4583],{"className":4582},[977],[148,4584,4586],{"className":4585},[981],[148,4587,4589],{"className":4588},[985],[148,4590,4592],{"className":4591,"style":1140},[989],[148,4593,4594,4597],{"style":992},[148,4595],{"className":4596,"style":997},[996],[148,4598,4600],{"className":4599},[1001,1002,1003,1004],[148,4601,1127],{"className":4602},[735,1004],[148,4604,2748],{"className":4605},[1242],[148,4607,1566],{"className":4608},[726,1064],[148,4610,2757],{"className":4611},[807]," — истинная стоимость оптимального пути от ",[148,4614,4616,4629],{"className":4615},[680],[148,4617,4619],{"className":4618},[684],[686,4620,4621],{"xmlns":688},[690,4622,4623,4627],{},[693,4624,4625],{},[769,4626,1566],{},[705,4628,1566],{"encoding":707},[148,4630,4632],{"className":4631,"ariaHidden":713},[712],[148,4633,4635,4638],{"className":4634},[717],[148,4636],{"className":4637,"style":2537},[721],[148,4639,1566],{"className":4640},[726,1064]," до цели. Иначе говоря, эвристика не должна переоценивать расстояние до цели. Манхэттенское расстояние для «восьмёрки» — допустимая эвристика, поскольку каждая фишка должна сделать не менее стольких ходов, сколько клеток отделяет её от целевой позиции. Второе условие — ",[294,4643,4644],{},"состоятельность",[92,4646,4647],{},"consistency",", иногда ",[92,4650,4651],{},"monotonicity","): для любой вершины ",[148,4654,4656,4669],{"className":4655},[680],[148,4657,4659],{"className":4658},[684],[686,4660,4661],{"xmlns":688},[690,4662,4663,4667],{},[693,4664,4665],{},[769,4666,1566],{},[705,4668,1566],{"encoding":707},[148,4670,4672],{"className":4671,"ariaHidden":713},[712],[148,4673,4675,4678],{"className":4674},[717],[148,4676],{"className":4677,"style":2537},[721],[148,4679,1566],{"className":4680},[726,1064]," и её потомка ",[148,4683,4685,4705],{"className":4684},[680],[148,4686,4688],{"className":4687},[684],[686,4689,4690],{"xmlns":688},[690,4691,4692,4702],{},[693,4693,4694],{},[921,4695,4696,4698],{},[769,4697,1566],{},[699,4699,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},"0em","′",[705,4703,4704],{"encoding":707},"n'",[148,4706,4708],{"className":4707,"ariaHidden":713},[712],[148,4709,4711,4715],{"className":4710},[717],[148,4712],{"className":4713,"style":4714},[721],"height:0.7519em;",[148,4716,4718,4721],{"className":4717},[726],[148,4719,1566],{"className":4720},[726,1064],[148,4722,4724],{"className":4723},[977],[148,4725,4727],{"className":4726},[981],[148,4728,4730],{"className":4729},[985],[148,4731,4733],{"className":4732,"style":4714},[989],[148,4734,4735,4738],{"style":992},[148,4736],{"className":4737,"style":997},[996],[148,4739,4741],{"className":4740},[1001,1002,1003,1004],[148,4742,4744],{"className":4743},[726,1004],[148,4745,4701],{"className":4746},[726,1004],", полученного действием ",[148,4749,4751,4764],{"className":4750},[680],[148,4752,4754],{"className":4753},[684],[686,4755,4756],{"xmlns":688},[690,4757,4758,4762],{},[693,4759,4760],{},[769,4761,22],{},[705,4763,22],{"encoding":707},[148,4765,4767],{"className":4766,"ariaHidden":713},[712],[148,4768,4770,4773],{"className":4769},[717],[148,4771],{"className":4772,"style":2537},[721],[148,4774,22],{"className":4775},[726,1064],", выполняется ",[148,4778,4780,4837],{"className":4779},[680],[148,4781,4783],{"className":4782},[684],[686,4784,4785],{"xmlns":688},[690,4786,4787,4834],{},[693,4788,4789,4791,4793,4795,4797,4799,4802,4804,4806,4808,4810,4812,4818,4820,4822,4824,4826,4832],{},[769,4790,3922],{},[699,4792,2748],{"stretchy":766},[769,4794,1566],{},[699,4796,2757],{"stretchy":766},[699,4798,2469],{},[769,4800,4801],{},"c",[699,4803,2748],{"stretchy":766},[769,4805,1566],{},[699,4807,1205],{"separator":713},[769,4809,22],{},[699,4811,1205],{"separator":713},[921,4813,4814,4816],{},[769,4815,1566],{},[699,4817,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[699,4819,2757],{"stretchy":766},[699,4821,2605],{},[769,4823,3922],{},[699,4825,2748],{"stretchy":766},[921,4827,4828,4830],{},[769,4829,1566],{},[699,4831,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[699,4833,2757],{"stretchy":766},[705,4835,4836],{"encoding":707},"h(n) \\leq c(n, a, n') + h(n')",[148,4838,4840,4867,4942],{"className":4839,"ariaHidden":713},[712],[148,4841,4843,4846,4849,4852,4855,4858,4861,4864],{"className":4842},[717],[148,4844],{"className":4845,"style":800},[721],[148,4847,3922],{"className":4848},[726,1064],[148,4850,2748],{"className":4851},[1242],[148,4853,1566],{"className":4854},[726,1064],[148,4856,2757],{"className":4857},[807],[148,4859],{"className":4860,"style":815},[730],[148,4862,2469],{"className":4863},[819],[148,4865],{"className":4866,"style":815},[730],[148,4868,4870,4874,4877,4880,4883,4886,4889,4892,4895,4898,4930,4933,4936,4939],{"className":4869},[717],[148,4871],{"className":4872,"style":4873},[721],"height:1.0019em;vertical-align:-0.25em;",[148,4875,4801],{"className":4876},[726,1064],[148,4878,2748],{"className":4879},[1242],[148,4881,1566],{"className":4882},[726,1064],[148,4884,1205],{"className":4885},[1250],[148,4887],{"className":4888,"style":835},[730],[148,4890,22],{"className":4891},[726,1064],[148,4893,1205],{"className":4894},[1250],[148,4896],{"className":4897,"style":835},[730],[148,4899,4901,4904],{"className":4900},[726],[148,4902,1566],{"className":4903},[726,1064],[148,4905,4907],{"className":4906},[977],[148,4908,4910],{"className":4909},[981],[148,4911,4913],{"className":4912},[985],[148,4914,4916],{"className":4915,"style":4714},[989],[148,4917,4918,4921],{"style":992},[148,4919],{"className":4920,"style":997},[996],[148,4922,4924],{"className":4923},[1001,1002,1003,1004],[148,4925,4927],{"className":4926},[726,1004],[148,4928,4701],{"className":4929},[726,1004],[148,4931,2757],{"className":4932},[807],[148,4934],{"className":4935,"style":731},[730],[148,4937,2605],{"className":4938},[735],[148,4940],{"className":4941,"style":731},[730],[148,4943,4945,4948,4951,4954,4986],{"className":4944},[717],[148,4946],{"className":4947,"style":4873},[721],[148,4949,3922],{"className":4950},[726,1064],[148,4952,2748],{"className":4953},[1242],[148,4955,4957,4960],{"className":4956},[726],[148,4958,1566],{"className":4959},[726,1064],[148,4961,4963],{"className":4962},[977],[148,4964,4966],{"className":4965},[981],[148,4967,4969],{"className":4968},[985],[148,4970,4972],{"className":4971,"style":4714},[989],[148,4973,4974,4977],{"style":992},[148,4975],{"className":4976,"style":997},[996],[148,4978,4980],{"className":4979},[1001,1002,1003,1004],[148,4981,4983],{"className":4982},[726,1004],[148,4984,4701],{"className":4985},[726,1004],[148,4987,2757],{"className":4988},[807],[148,4990,4992,5005],{"className":4991},[680],[148,4993,4995],{"className":4994},[684],[686,4996,4997],{"xmlns":688},[690,4998,4999,5003],{},[693,5000,5001],{},[769,5002,4801],{},[705,5004,4801],{"encoding":707},[148,5006,5008],{"className":5007,"ariaHidden":713},[712],[148,5009,5011,5014],{"className":5010},[717],[148,5012],{"className":5013,"style":2537},[721],[148,5015,4801],{"className":5016},[726,1064]," — стоимость перехода. Состоятельность — более сильное требование, чем допустимость, и оно гарантирует, что A* не станет повторно раскрывать уже обработанные вершины.",[85,5019,5020,5021,191,5092,5095,5096,5166,5167,4509,5331,5359],{},"Качество эвристики на практике определяет, сколько вершин раскроет A*. Эвристика ",[148,5022,5024,5042],{"className":5023},[680],[148,5025,5027],{"className":5026},[684],[686,5028,5029],{"xmlns":688},[690,5030,5031,5039],{},[693,5032,5033],{},[1038,5034,5035,5037],{},[769,5036,3922],{},[696,5038,150],{},[705,5040,5041],{"encoding":707},"h_1",[148,5043,5045],{"className":5044,"ariaHidden":713},[712],[148,5046,5048,5052],{"className":5047},[717],[148,5049],{"className":5050,"style":5051},[721],"height:0.8444em;vertical-align:-0.15em;",[148,5053,5055,5058],{"className":5054},[726],[148,5056,3922],{"className":5057},[726,1064],[148,5059,5061],{"className":5060},[977],[148,5062,5064,5084],{"className":5063},[981,1071],[148,5065,5067,5081],{"className":5066},[985],[148,5068,5070],{"className":5069,"style":1078},[989],[148,5071,5072,5075],{"style":1081},[148,5073],{"className":5074,"style":997},[996],[148,5076,5078],{"className":5077},[1001,1002,1003,1004],[148,5079,150],{"className":5080},[726,1004],[148,5082,1095],{"className":5083},[1094],[148,5085,5087],{"className":5086},[985],[148,5088,5090],{"className":5089,"style":1102},[989],[148,5091],{},[294,5093,5094],{},"доминирует"," над ",[148,5097,5099,5117],{"className":5098},[680],[148,5100,5102],{"className":5101},[684],[686,5103,5104],{"xmlns":688},[690,5105,5106,5114],{},[693,5107,5108],{},[1038,5109,5110,5112],{},[769,5111,3922],{},[696,5113,163],{},[705,5115,5116],{"encoding":707},"h_2",[148,5118,5120],{"className":5119,"ariaHidden":713},[712],[148,5121,5123,5126],{"className":5122},[717],[148,5124],{"className":5125,"style":5051},[721],[148,5127,5129,5132],{"className":5128},[726],[148,5130,3922],{"className":5131},[726,1064],[148,5133,5135],{"className":5134},[977],[148,5136,5138,5158],{"className":5137},[981,1071],[148,5139,5141,5155],{"className":5140},[985],[148,5142,5144],{"className":5143,"style":1078},[989],[148,5145,5146,5149],{"style":1081},[148,5147],{"className":5148,"style":997},[996],[148,5150,5152],{"className":5151},[1001,1002,1003,1004],[148,5153,163],{"className":5154},[726,1004],[148,5156,1095],{"className":5157},[1094],[148,5159,5161],{"className":5160},[985],[148,5162,5164],{"className":5163,"style":1102},[989],[148,5165],{},", если ",[148,5168,5170,5209],{"className":5169},[680],[148,5171,5173],{"className":5172},[684],[686,5174,5175],{"xmlns":688},[690,5176,5177,5206],{},[693,5178,5179,5185,5187,5189,5191,5194,5200,5202,5204],{},[1038,5180,5181,5183],{},[769,5182,3922],{},[696,5184,150],{},[699,5186,2748],{"stretchy":766},[769,5188,1566],{},[699,5190,2757],{"stretchy":766},[699,5192,5193],{},"≥",[1038,5195,5196,5198],{},[769,5197,3922],{},[696,5199,163],{},[699,5201,2748],{"stretchy":766},[769,5203,1566],{},[699,5205,2757],{"stretchy":766},[705,5207,5208],{"encoding":707},"h_1(n) \\geq h_2(n)",[148,5210,5212,5276],{"className":5211,"ariaHidden":713},[712],[148,5213,5215,5218,5258,5261,5264,5267,5270,5273],{"className":5214},[717],[148,5216],{"className":5217,"style":800},[721],[148,5219,5221,5224],{"className":5220},[726],[148,5222,3922],{"className":5223},[726,1064],[148,5225,5227],{"className":5226},[977],[148,5228,5230,5250],{"className":5229},[981,1071],[148,5231,5233,5247],{"className":5232},[985],[148,5234,5236],{"className":5235,"style":1078},[989],[148,5237,5238,5241],{"style":1081},[148,5239],{"className":5240,"style":997},[996],[148,5242,5244],{"className":5243},[1001,1002,1003,1004],[148,5245,150],{"className":5246},[726,1004],[148,5248,1095],{"className":5249},[1094],[148,5251,5253],{"className":5252},[985],[148,5254,5256],{"className":5255,"style":1102},[989],[148,5257],{},[148,5259,2748],{"className":5260},[1242],[148,5262,1566],{"className":5263},[726,1064],[148,5265,2757],{"className":5266},[807],[148,5268],{"className":5269,"style":815},[730],[148,5271,5193],{"className":5272},[819],[148,5274],{"className":5275,"style":815},[730],[148,5277,5279,5282,5322,5325,5328],{"className":5278},[717],[148,5280],{"className":5281,"style":800},[721],[148,5283,5285,5288],{"className":5284},[726],[148,5286,3922],{"className":5287},[726,1064],[148,5289,5291],{"className":5290},[977],[148,5292,5294,5314],{"className":5293},[981,1071],[148,5295,5297,5311],{"className":5296},[985],[148,5298,5300],{"className":5299,"style":1078},[989],[148,5301,5302,5305],{"style":1081},[148,5303],{"className":5304,"style":997},[996],[148,5306,5308],{"className":5307},[1001,1002,1003,1004],[148,5309,163],{"className":5310},[726,1004],[148,5312,1095],{"className":5313},[1094],[148,5315,5317],{"className":5316},[985],[148,5318,5320],{"className":5319,"style":1102},[989],[148,5321],{},[148,5323,2748],{"className":5324},[1242],[148,5326,1566],{"className":5327},[726,1064],[148,5329,2757],{"className":5330},[807],[148,5332,5334,5347],{"className":5333},[680],[148,5335,5337],{"className":5336},[684],[686,5338,5339],{"xmlns":688},[690,5340,5341,5345],{},[693,5342,5343],{},[769,5344,1566],{},[705,5346,1566],{"encoding":707},[148,5348,5350],{"className":5349,"ariaHidden":713},[712],[148,5351,5353,5356],{"className":5352},[717],[148,5354],{"className":5355,"style":2537},[721],[148,5357,1566],{"className":5358},[726,1064]," при сохранении допустимости. Доминирующая эвристика никогда не приводит к раскрытию большего числа вершин. Классический пример для «восьмёрки»: тривиальная эвристика «число фишек не на своих местах» допустима, но слабая; манхэттенское расстояние её доминирует и на типичных задачах сокращает число раскрываемых вершин в десятки раз. Это объясняет, почему инженерия эвристики — отдельный пункт при проектировании систем планирования.",[85,5361,5362,5363,5406,5407,5450],{},"Разница между жадным поиском и A* наглядна на примере навигации. Положим, требуется проложить маршрут из точки А в точку Б на карте. Жадный поиск выберет дорогу, которая «смотрит» в сторону Б (минимальное расстояние по прямой), — но эта дорога может оказаться просёлочной, петляющей и в итоге длинной. A* учтёт и уже пройденный путь ",[148,5364,5366,5385],{"className":5365},[680],[148,5367,5369],{"className":5368},[684],[686,5370,5371],{"xmlns":688},[690,5372,5373,5383],{},[693,5374,5375,5377,5379,5381],{},[769,5376,4123],{},[699,5378,2748],{"stretchy":766},[769,5380,1566],{},[699,5382,2757],{"stretchy":766},[705,5384,4247],{"encoding":707},[148,5386,5388],{"className":5387,"ariaHidden":713},[712],[148,5389,5391,5394,5397,5400,5403],{"className":5390},[717],[148,5392],{"className":5393,"style":800},[721],[148,5395,4123],{"className":5396,"style":4185},[726,1064],[148,5398,2748],{"className":5399},[1242],[148,5401,1566],{"className":5402},[726,1064],[148,5404,2757],{"className":5405},[807],", и оставшееся расстояние ",[148,5408,5410,5429],{"className":5409},[680],[148,5411,5413],{"className":5412},[684],[686,5414,5415],{"xmlns":688},[690,5416,5417,5427],{},[693,5418,5419,5421,5423,5425],{},[769,5420,3922],{},[699,5422,2748],{"stretchy":766},[769,5424,1566],{},[699,5426,2757],{"stretchy":766},[705,5428,3931],{"encoding":707},[148,5430,5432],{"className":5431,"ariaHidden":713},[712],[148,5433,5435,5438,5441,5444,5447],{"className":5434},[717],[148,5436],{"className":5437,"style":800},[721],[148,5439,3922],{"className":5440},[726,1064],[148,5442,2748],{"className":5443},[1242],[148,5445,1566],{"className":5446},[726,1064],[148,5448,2757],{"className":5449},[807],", и предпочтёт скоростную магистраль, даже если она сначала ведёт в сторону от цели.",[362,5452,364,5453,364,5457],{},[366,5454],{"src":5455,"alt":5456},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-02\u002Fgreedy_vs_astar.svg","Сравнение жадного поиска и A* на задаче навигации",[370,5458,5456],{},[85,5460,5461,5462,5469,5470,5518,5519,5526,5527,26],{},"На практике A* применяется в навигационных приложениях, компьютерных играх (поиск пути для персонажей), робототехнике (планирование движения), логистике (оптимизация маршрутов). Ограничение алгоритма — требования к памяти: как и BFS, A* хранит все раскрытые вершины, и при больших пространствах состояний это может стать проблемой. Существуют модификации, смягчающие это ограничение: IDA* ",[140,5463,5465],{"className":5464},[143],[22,5466,5467],{"href":146},[148,5468,150],{}," комбинирует A* с итеративным углублением и потребляет ",[148,5471,5473,5494],{"className":5472},[680],[148,5474,5476],{"className":5475},[684],[686,5477,5478],{"xmlns":688},[690,5479,5480,5492],{},[693,5481,5482,5484,5486,5488,5490],{},[769,5483,2745],{},[699,5485,2748],{"stretchy":766},[769,5487,2403],{},[769,5489,2437],{},[699,5491,2757],{"stretchy":766},[705,5493,3510],{"encoding":707},[148,5495,5497],{"className":5496,"ariaHidden":713},[712],[148,5498,5500,5503,5506,5509,5512,5515],{"className":5499},[717],[148,5501],{"className":5502,"style":800},[721],[148,5504,2745],{"className":5505,"style":2774},[726,1064],[148,5507,2748],{"className":5508},[1242],[148,5510,2403],{"className":5511},[726,1064],[148,5513,2437],{"className":5514},[726,1064],[148,5516,2757],{"className":5517},[807]," памяти, SMA* ",[140,5520,5522],{"className":5521},[143],[22,5523,5524],{"href":176},[148,5525,179],{}," работает в фиксированном бюджете памяти, отбрасывая наименее перспективные вершины. Подробное рассмотрение этих модификаций выходит за рамки курса; систематическое изложение — в ",[140,5528,5530],{"className":5529},[143],[22,5531,5532],{"href":197},[148,5533,200],{},[10,5535,5537],{"id":5536},"логический-вывод-и-представление-знаний","Логический вывод и представление знаний",[128,5539,5541],{"id":5540},"базы-знаний-и-экспертные-системы","Базы знаний и экспертные системы",[85,5543,5544],{},"Поиск в пространстве состояний — мощный инструмент, но он предполагает, что задача уже формализована: определены состояния, операторы, цель. А что если задача состоит не в нахождении пути, а в принятии решения на основе неполной информации? Врач ставит диагноз, инженер определяет причину неисправности, консультант подбирает конфигурацию оборудования — во всех этих случаях рассуждение строится не как поиск пути, а как последовательность выводов из имеющихся фактов и правил.",[85,5546,5547,5548,297,5551,5554,5555,5562,5569],{},"Именно для таких задач в 1970–1980-х годах были разработаны ",[294,5549,5550],{},"экспертные системы",[92,5552,5553],{},"expert systems",") ",[140,5556,5558],{"className":5557},[143],[22,5559,5560],{"href":210},[148,5561,213],{},[140,5563,5565],{"className":5564},[143],[22,5566,5567],{"href":223},[148,5568,226],{},". Архитектура классической экспертной системы включает три компонента:",[15,5571,5572,5581,5590],{},[18,5573,5574,297,5577,5580],{},[294,5575,5576],{},"База знаний",[92,5578,5579],{},"knowledge base",") — хранилище фактов о предметной области и правил, связывающих факты с выводами. Факты описывают известные свойства объектов («температура пациента — 38.5°C», «бактерия грамположительная»). Правила задают логику вывода.",[18,5582,5583,297,5586,5589],{},[294,5584,5585],{},"Механизм вывода",[92,5587,5588],{},"inference engine",") — программный модуль, который применяет правила к фактам и порождает новые заключения.",[18,5591,5592,5595],{},[294,5593,5594],{},"Пользовательский интерфейс"," — обеспечивает диалог с пользователем: запрашивает недостающие факты и объясняет ход рассуждения.",[362,5597,364,5598,364,5602],{},[366,5599],{"src":5600,"alt":5601},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-02\u002Fexpert_system_architecture.svg","Архитектура экспертной системы",[370,5603,5601],{},[85,5605,5606,5607,297,5610,5613],{},"Правила в экспертных системах чаще всего записываются в форме ",[294,5608,5609],{},"продукций",[92,5611,5612],{},"production rules","): «ЕСЛИ условие, ТО действие». Рассмотрим фрагмент, стилизованный под систему диагностики:",[5615,5616,5621],"pre",{"className":5617,"code":5619,"language":5620},[5618],"language-text","ЕСЛИ инфекция является первичной бактериемией\n  И окраска по Граму положительная\n  И морфология — кокки в цепочках\nТО с вероятностью 0.7 возбудитель — Streptococcus\n","text",[5622,5623,5619],"code",{"__ignoreMap":35},[85,5625,5626],{},"Подобных правил в реальных системах могли быть сотни. MYCIN содержала около 450 правил и показывала точность диагностики, сопоставимую с экспертами-инфекционистами.",[85,5628,5629,5630,297,5633,5636],{},"Механизм вывода может работать в двух режимах. ",[294,5631,5632],{},"Прямой вывод",[92,5634,5635],{},"forward chaining",") отталкивается от известных фактов: система просматривает правила, проверяет, у каких из них выполнены условия, и активирует соответствующие действия, порождая новые факты. Процесс повторяется, пока не будет достигнута цель или не останется применимых правил. Прямой вывод естественен для задач мониторинга и автоматического реагирования: поступили новые данные — система делает выводы.",[85,5638,5639,297,5642,5645],{},[294,5640,5641],{},"Обратный вывод",[92,5643,5644],{},"backward chaining",") действует в противоположном направлении. Система начинает с гипотезы (например, «возбудитель — Streptococcus») и ищет правила, которые могли бы её подтвердить. Если условия правила не подтверждены имеющимися фактами, они становятся новыми подцелями, которые система пытается доказать рекурсивно. Обратный вывод характерен для диагностических систем: есть подозрение — нужно проверить, подтверждается ли оно данными.",[85,5647,5648],{},"На практике разница между режимами проявляется в том, какие вопросы система задаёт пользователю. Система с прямым выводом обрабатывает все доступные данные и выдаёт заключение. Система с обратным выводом спрашивает только то, что нужно для проверки текущей гипотезы, — и в этом её преимущество при большой базе знаний, когда сбор полной информации дорог или невозможен.",[85,5650,5651],{},"Рассмотрим миниатюрный пример. Пусть база знаний содержит два правила: «ЕСЛИ лихорадка И кашель, ТО грипп» и «ЕСЛИ грипп, ТО назначить покой». Известный факт — «лихорадка». Прямой вывод раскрутит цепочку так: ищем правила, у которых выполнены условия. Первое правило требует ещё и «кашель» — система спросит у пользователя про кашель; получив подтверждение, добавит «грипп» в базу фактов, затем сработает второе правило и появится «назначить покой». Обратный вывод стартует с гипотезы «назначить покой»: ищет правила, которые её выводят, находит второе; чтобы оно сработало, нужен «грипп». Грипп не факт — ищется правило, его выводящее: первое. Его условия — «лихорадка» (есть в фактах) и «кашель» (неизвестно — спрашиваем). Дальше — как в прямом выводе. Различие — в порядке вопросов: прямой обходит правила «снизу вверх» от фактов, обратный — «сверху вниз» от целей. На небольшой базе различие незаметно, но при сотнях правил разница в числе бесполезных запросов к пользователю определяет, удобна ли система.",[128,5653,5655],{"id":5654},"ограничения-символьного-подхода","Ограничения символьного подхода",[85,5657,5658],{},"Экспертные системы продемонстрировали, что формализованное знание позволяет решать практические задачи. Но их массовое внедрение обнажило несколько фундаментальных ограничений, которые не удалось преодолеть в рамках символьной парадигмы.",[85,5660,5661,5662,297,5665,5668],{},"Первое — ",[294,5663,5664],{},"проблема приобретения знаний",[92,5666,5667],{},"knowledge acquisition bottleneck","). Правила приходилось извлекать из голов экспертов вручную, в ходе длительных интервью. Эксперт далеко не всегда способен объяснить, как именно он принимает решения: значительная часть профессионального опыта существует в форме интуиции и неявного знания. Создание базы знаний для одной предметной области занимало месяцы и годы, а при изменении области — например, при появлении нового оборудования или новых стандартов — базу приходилось перерабатывать заново.",[85,5670,5671,5672,297,5675,5678],{},"Второе — ",[294,5673,5674],{},"хрупкость",[92,5676,5677],{},"brittleness","). Экспертная система работает уверенно ровно в тех ситуациях, которые предусмотрены её правилами. Стоит столкнуться с незнакомой комбинацией фактов — и система либо даёт некорректный ответ, либо не даёт никакого. У неё нет механизма обобщения, позволяющего перенести опыт из одной ситуации в другую. Человек-эксперт может рассуждать по аналогии; продукционная система — нет.",[85,5680,5681,5682,5685],{},"Третье — ",[294,5683,5684],{},"комбинаторный взрыв",". При увеличении числа правил и фактов количество возможных цепочек вывода растёт экспоненциально. Для простых систем с десятками правил это не проблема, но при масштабировании до тысяч правил время работы механизма вывода может стать неприемлемым.",[85,5687,5688],{},"Эти ограничения не означают, что символьный подход бесполезен. В задачах с чёткой структурой — конфигурирование, планирование, формальная верификация — он остаётся эффективным. Но для задач, где закономерности трудно формализовать в виде правил (распознавание образов, обработка естественного языка, прогнозирование на основе больших объёмов данных), потребовался принципиально иной подход.",[85,5690,5691],{},"Ответом стало машинное обучение: вместо ручного формирования правил — автоматическое извлечение закономерностей из данных. Вместо явной базы знаний — модель, параметры которой настраиваются в ходе обучения. Этот переход — от знаний к данным, от правил к статистике — составляет содержание следующих тем курса, начиная с темы 3.",[10,5693,560],{"id":559},[562,5695,5697,5700,5703,5706,5708,5710],{"className":5696},[565],[18,5698,5699],{"id":568},"Korf R. E. Depth-First Iterative-Deepening: An Optimal Admissible Tree Search. — Artificial Intelligence, 1985, С. 97–109, DOI: 10.1016\u002F0004-3702(85)90084-0.",[18,5701,5702],{"id":572},"Hart P. E., Nilsson N. J., Raphael B. A Formal Basis for the Heuristic Determination of Minimum Cost Paths. — IEEE Transactions on Systems Science and Cybernetics, 1968, С. 100–107, DOI: 10.1109\u002FTSSC.1968.300136.",[18,5704,5705],{"id":576},"Russell S. J. Efficient Memory-Bounded Search Methods. — Proceedings of the 10th European Conference on Artificial Intelligence (ECAI), 1992, С. 1–5.",[18,5707,569],{"id":580},[18,5709,593],{"id":584},[18,5711,597],{"id":588},{"title":35,"searchDepth":36,"depth":36,"links":5713},[5714,5719,5723],{"id":664,"depth":36,"text":665,"children":5715},[5716,5717,5718],{"id":668,"depth":631,"text":669},{"id":2544,"depth":631,"text":2545},{"id":3898,"depth":631,"text":3899},{"id":5536,"depth":36,"text":5537,"children":5720},[5721,5722],{"id":5540,"depth":631,"text":5541},{"id":5654,"depth":631,"text":5655},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-02-content",{"title":650,"description":658},"courses\u002Faidt-iot-mii\u002Ftopic-02-content","topic-02","kSDwsmk8qlUy50Yqlki87E3GLnx6wfOe4OWmkEA0gIQ",{"id":5731,"title":5732,"body":5733,"course_slug":39,"description":5740,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":10837,"navigation":44,"path":10838,"section":106,"seo":10839,"stem":10840,"topic_number":631,"topic_slug":10841,"__hash__":10842},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-03-content.md","Тема 3. Машинное обучение: постановка задачи",{"type":7,"value":5734,"toc":10822},[5735,5738,5741,5744,5748,5752,5941,5956,5959,5967,7190,7794,7849,7853,7856,7933,8091,8104,8115,8119,8123,8126,8147,8150,8153,8163,8171,8188,8226,8236,8243,8246,8250,8253,8654,10057,10074,10090,10135,10257,10260,10268,10684,10701,10705,10709,10723,10730,10733,10741,10756,10759,10763,10766,10773,10784,10787,10789],[81,5736,5732],{"id":5737},"тема-3-машинное-обучение-постановка-задачи",[85,5739,5740],{},"В теме 2 мы рассмотрели методы, в которых поведение системы задаётся вручную — алгоритмы поиска и правила вывода. У такого подхода обнаружились принципиальные ограничения: эксперт не всегда способен сформулировать своё знание в виде правил, базы знаний дороги в сопровождении, а закономерности в данных вроде изображений или текстов не сводятся к десяткам продукций. Машинное обучение даёт другой ответ: вместо того чтобы записывать правила, мы показываем системе примеры и поручаем извлечь закономерность самостоятельно.",[85,5742,5743],{},"В этой теме мы формализуем, что означает «обучить модель», как разделить данные для честной оценки и почему любой проект машинного обучения начинается не с глубокой нейронной сети, а с простейшей базовой модели. Содержание темы — это методологический каркас, на который будут опираться все следующие темы курса: от классификации и регрессии до оценки качества и ансамблевых методов.",[10,5745,5747],{"id":5746},"что-такое-машинное-обучение","Что такое машинное обучение",[128,5749,5751],{"id":5750},"определение-и-ключевая-идея","Определение и ключевая идея",[85,5753,5754,5755,5762,5763,5792,5793,5823,5824,5853,5854,5882,5883,5911,5912,5940],{},"Классическое определение машинного обучения принадлежит Тому Митчеллу ",[140,5756,5758],{"className":5757},[143],[22,5759,5760],{"href":146},[148,5761,150],{},": программа обучается на опыте ",[148,5764,5766,5780],{"className":5765},[680],[148,5767,5769],{"className":5768},[684],[686,5770,5771],{"xmlns":688},[690,5772,5773,5778],{},[693,5774,5775],{},[769,5776,5777],{},"E",[705,5779,5777],{"encoding":707},[148,5781,5783],{"className":5782,"ariaHidden":713},[712],[148,5784,5786,5789],{"className":5785},[717],[148,5787],{"className":5788,"style":1344},[721],[148,5790,5777],{"className":5791,"style":1246},[726,1064]," применительно к классу задач ",[148,5794,5796,5810],{"className":5795},[680],[148,5797,5799],{"className":5798},[684],[686,5800,5801],{"xmlns":688},[690,5802,5803,5808],{},[693,5804,5805],{},[769,5806,5807],{},"T",[705,5809,5807],{"encoding":707},[148,5811,5813],{"className":5812,"ariaHidden":713},[712],[148,5814,5816,5819],{"className":5815},[717],[148,5817],{"className":5818,"style":1344},[721],[148,5820,5807],{"className":5821,"style":5822},[726,1064],"margin-right:0.1389em;"," и мере качества ",[148,5825,5827,5841],{"className":5826},[680],[148,5828,5830],{"className":5829},[684],[686,5831,5832],{"xmlns":688},[690,5833,5834,5839],{},[693,5835,5836],{},[769,5837,5838],{},"P",[705,5840,5838],{"encoding":707},[148,5842,5844],{"className":5843,"ariaHidden":713},[712],[148,5845,5847,5850],{"className":5846},[717],[148,5848],{"className":5849,"style":1344},[721],[148,5851,5838],{"className":5852,"style":5822},[726,1064],", если её показатель ",[148,5855,5857,5870],{"className":5856},[680],[148,5858,5860],{"className":5859},[684],[686,5861,5862],{"xmlns":688},[690,5863,5864,5868],{},[693,5865,5866],{},[769,5867,5838],{},[705,5869,5838],{"encoding":707},[148,5871,5873],{"className":5872,"ariaHidden":713},[712],[148,5874,5876,5879],{"className":5875},[717],[148,5877],{"className":5878,"style":1344},[721],[148,5880,5838],{"className":5881,"style":5822},[726,1064]," на задачах ",[148,5884,5886,5899],{"className":5885},[680],[148,5887,5889],{"className":5888},[684],[686,5890,5891],{"xmlns":688},[690,5892,5893,5897],{},[693,5894,5895],{},[769,5896,5807],{},[705,5898,5807],{"encoding":707},[148,5900,5902],{"className":5901,"ariaHidden":713},[712],[148,5903,5905,5908],{"className":5904},[717],[148,5906],{"className":5907,"style":1344},[721],[148,5909,5807],{"className":5910,"style":5822},[726,1064]," улучшается с накоплением опыта ",[148,5913,5915,5928],{"className":5914},[680],[148,5916,5918],{"className":5917},[684],[686,5919,5920],{"xmlns":688},[690,5921,5922,5926],{},[693,5923,5924],{},[769,5925,5777],{},[705,5927,5777],{"encoding":707},[148,5929,5931],{"className":5930,"ariaHidden":713},[712],[148,5932,5934,5937],{"className":5933},[717],[148,5935],{"className":5936,"style":1344},[721],[148,5938,5777],{"className":5939,"style":1246},[726,1064],". За этой суховатой формулировкой стоит простая мысль: алгоритм не «знает», как решать задачу, и сам по себе на новой задаче работает плохо; но при наличии данных и измеримой меры качества он подбирает свои внутренние параметры так, чтобы эту меру повысить.",[85,5942,5943,5944,5947,5948,5955],{},"Сам термин ",[92,5945,5946],{},"machine learning"," появился ещё в 1959 году у А. Самуэля, разработавшего программу игры в шашки, которая улучшала свою игру за счёт самонастройки оценочной функции ",[140,5949,5951],{"className":5950},[143],[22,5952,5953],{"href":160},[148,5954,163],{},". Программа Самуэля играла лучше своего автора — и именно это, а не победа над человеком как таковая, сделало работу классической: впервые система с фиксированной архитектурой повышала качество по мере накопления опыта, без вмешательства программиста.",[85,5957,5958],{},"Различие между классическим программированием и машинным обучением удобно представить как разные потоки данных. В классическом программировании входами являются данные и правила, выходом — ответы: программист задаёт логику, машина выполняет вычисление. В машинном обучении вход — данные и желаемые ответы, выход — правило (модель), которое впоследствии можно применять к новым данным. Это переворачивание потока — концептуальный сдвиг, обозначенный ещё в 1990-х статистическим поворотом в ИИ.",[362,5960,364,5961,364,5965],{},[366,5962],{"src":5963,"alt":5964},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Fclassical_vs_ml.svg","Классическое программирование и машинное обучение: смена направления потока",[370,5966,5964],{},[85,5968,5969,5970,6003,6004,6036,6037,5095,6096,6148,6149,297,6152,5554,6155,6402,6403,6531,6532,6560,6561,6589,6590,6678,6679,6707,6708,297,6711,5554,6714,6828,6829,7018,7019,26],{},"Перейдём к формальной постановке для самого распространённого случая — обучения с учителем. Пусть ",[148,5971,5973,5989],{"className":5972},[680],[148,5974,5976],{"className":5975},[684],[686,5977,5978],{"xmlns":688},[690,5979,5980,5986],{},[693,5981,5982],{},[769,5983,5985],{"mathvariant":5984},"script","X",[705,5987,5988],{"encoding":707},"\\mathcal{X}",[148,5990,5992],{"className":5991,"ariaHidden":713},[712],[148,5993,5995,5998],{"className":5994},[717],[148,5996],{"className":5997,"style":1344},[721],[148,5999,5985],{"className":6000,"style":6002},[726,6001],"mathcal","margin-right:0.1464em;"," — пространство объектов, ",[148,6005,6007,6022],{"className":6006},[680],[148,6008,6010],{"className":6009},[684],[686,6011,6012],{"xmlns":688},[690,6013,6014,6019],{},[693,6015,6016],{},[769,6017,6018],{"mathvariant":5984},"Y",[705,6020,6021],{"encoding":707},"\\mathcal{Y}",[148,6023,6025],{"className":6024,"ariaHidden":713},[712],[148,6026,6028,6032],{"className":6027},[717],[148,6029],{"className":6030,"style":6031},[721],"height:0.7805em;vertical-align:-0.0972em;",[148,6033,6018],{"className":6034,"style":6035},[726,6001],"margin-right:0.0822em;"," — пространство ответов. Имеется неизвестное распределение ",[148,6038,6040,6066],{"className":6039},[680],[148,6041,6043],{"className":6042},[684],[686,6044,6045],{"xmlns":688},[690,6046,6047,6063],{},[693,6048,6049,6051,6053,6056,6058,6061],{},[769,6050,5838],{},[699,6052,2748],{"stretchy":766},[769,6054,6055],{},"x",[699,6057,1205],{"separator":713},[769,6059,6060],{},"y",[699,6062,2757],{"stretchy":766},[705,6064,6065],{"encoding":707},"P(x, y)",[148,6067,6069],{"className":6068,"ariaHidden":713},[712],[148,6070,6072,6075,6078,6081,6084,6087,6090,6093],{"className":6071},[717],[148,6073],{"className":6074,"style":800},[721],[148,6076,5838],{"className":6077,"style":5822},[726,1064],[148,6079,2748],{"className":6080},[1242],[148,6082,6055],{"className":6083},[726,1064],[148,6085,1205],{"className":6086},[1250],[148,6088],{"className":6089,"style":835},[730],[148,6091,6060],{"className":6092,"style":4185},[726,1064],[148,6094,2757],{"className":6095},[807],[148,6097,6099,6117],{"className":6098},[680],[148,6100,6102],{"className":6101},[684],[686,6103,6104],{"xmlns":688},[690,6105,6106,6114],{},[693,6107,6108,6110,6112],{},[769,6109,5985],{"mathvariant":5984},[699,6111,701],{},[769,6113,6018],{"mathvariant":5984},[705,6115,6116],{"encoding":707},"\\mathcal{X} \\times \\mathcal{Y}",[148,6118,6120,6139],{"className":6119,"ariaHidden":713},[712],[148,6121,6123,6127,6130,6133,6136],{"className":6122},[717],[148,6124],{"className":6125,"style":6126},[721],"height:0.7667em;vertical-align:-0.0833em;",[148,6128,5985],{"className":6129,"style":6002},[726,6001],[148,6131],{"className":6132,"style":731},[730],[148,6134,701],{"className":6135},[735],[148,6137],{"className":6138,"style":731},[730],[148,6140,6142,6145],{"className":6141},[717],[148,6143],{"className":6144,"style":6031},[721],[148,6146,6018],{"className":6147,"style":6035},[726,6001],"; из него независимо извлечена ",[294,6150,6151],{},"обучающая выборка",[92,6153,6154],{},"training set",[148,6156,6158,6213],{"className":6157},[680],[148,6159,6161],{"className":6160},[684],[686,6162,6163],{"xmlns":688},[690,6164,6165,6210],{},[693,6166,6167,6170,6172,6175,6177,6184,6186,6192,6194],{},[769,6168,6169],{},"D",[699,6171,777],{},[699,6173,6174],{"stretchy":766},"{",[699,6176,2748],{"stretchy":766},[1038,6178,6179,6181],{},[769,6180,6055],{},[769,6182,6183],{},"i",[699,6185,1205],{"separator":713},[1038,6187,6188,6190],{},[769,6189,6060],{},[769,6191,6183],{},[699,6193,2757],{"stretchy":766},[6195,6196,6197,6200,6208],"msubsup",{},[699,6198,6199],{"stretchy":766},"}",[693,6201,6202,6204,6206],{},[769,6203,6183],{},[699,6205,777],{},[696,6207,150],{},[769,6209,1566],{},[705,6211,6212],{"encoding":707},"D = \\{(x_i, y_i)\\}_{i=1}^{n}",[148,6214,6216,6234],{"className":6215,"ariaHidden":713},[712],[148,6217,6219,6222,6225,6228,6231],{"className":6218},[717],[148,6220],{"className":6221,"style":1344},[721],[148,6223,6169],{"className":6224,"style":2774},[726,1064],[148,6226],{"className":6227,"style":815},[730],[148,6229,777],{"className":6230},[819],[148,6232],{"className":6233,"style":815},[730],[148,6235,6237,6241,6245,6286,6289,6292,6333,6336],{"className":6236},[717],[148,6238],{"className":6239,"style":6240},[721],"height:1.0087em;vertical-align:-0.2587em;",[148,6242,6244],{"className":6243},[1242],"{(",[148,6246,6248,6251],{"className":6247},[726],[148,6249,6055],{"className":6250},[726,1064],[148,6252,6254],{"className":6253},[977],[148,6255,6257,6278],{"className":6256},[981,1071],[148,6258,6260,6275],{"className":6259},[985],[148,6261,6264],{"className":6262,"style":6263},[989],"height:0.3117em;",[148,6265,6266,6269],{"style":1081},[148,6267],{"className":6268,"style":997},[996],[148,6270,6272],{"className":6271},[1001,1002,1003,1004],[148,6273,6183],{"className":6274},[726,1064,1004],[148,6276,1095],{"className":6277},[1094],[148,6279,6281],{"className":6280},[985],[148,6282,6284],{"className":6283,"style":1102},[989],[148,6285],{},[148,6287,1205],{"className":6288},[1250],[148,6290],{"className":6291,"style":835},[730],[148,6293,6295,6298],{"className":6294},[726],[148,6296,6060],{"className":6297,"style":4185},[726,1064],[148,6299,6301],{"className":6300},[977],[148,6302,6304,6325],{"className":6303},[981,1071],[148,6305,6307,6322],{"className":6306},[985],[148,6308,6310],{"className":6309,"style":6263},[989],[148,6311,6313,6316],{"style":6312},"top:-2.55em;margin-left:-0.0359em;margin-right:0.05em;",[148,6314],{"className":6315,"style":997},[996],[148,6317,6319],{"className":6318},[1001,1002,1003,1004],[148,6320,6183],{"className":6321},[726,1064,1004],[148,6323,1095],{"className":6324},[1094],[148,6326,6328],{"className":6327},[985],[148,6329,6331],{"className":6330,"style":1102},[989],[148,6332],{},[148,6334,2757],{"className":6335},[807],[148,6337,6339,6342],{"className":6338},[807],[148,6340,6199],{"className":6341},[807],[148,6343,6345],{"className":6344},[977],[148,6346,6348,6393],{"className":6347},[981,1071],[148,6349,6351,6390],{"className":6350},[985],[148,6352,6355,6376],{"className":6353,"style":6354},[989],"height:0.6644em;",[148,6356,6358,6361],{"style":6357},"top:-2.4413em;margin-left:0em;margin-right:0.05em;",[148,6359],{"className":6360,"style":997},[996],[148,6362,6364],{"className":6363},[1001,1002,1003,1004],[148,6365,6367,6370,6373],{"className":6366},[726,1004],[148,6368,6183],{"className":6369},[726,1064,1004],[148,6371,777],{"className":6372},[819,1004],[148,6374,150],{"className":6375},[726,1004],[148,6377,6378,6381],{"style":992},[148,6379],{"className":6380,"style":997},[996],[148,6382,6384],{"className":6383},[1001,1002,1003,1004],[148,6385,6387],{"className":6386},[726,1004],[148,6388,1566],{"className":6389},[726,1064,1004],[148,6391,1095],{"className":6392},[1094],[148,6394,6396],{"className":6395},[985],[148,6397,6400],{"className":6398,"style":6399},[989],"height:0.2587em;",[148,6401],{},". Задача — построить функцию ",[148,6404,6406,6436],{"className":6405},[680],[148,6407,6409],{"className":6408},[684],[686,6410,6411],{"xmlns":688},[690,6412,6413,6433],{},[693,6414,6415,6423,6426,6428,6431],{},[6416,6417,6418,6420],"mover",{"accent":713},[769,6419,4112],{},[699,6421,6422],{},"^",[699,6424,6425],{},":",[769,6427,5985],{"mathvariant":5984},[699,6429,6430],{},"→",[769,6432,6018],{"mathvariant":5984},[705,6434,6435],{"encoding":707},"\\hat{f}: \\mathcal{X} \\to \\mathcal{Y}",[148,6437,6439,6504,6522],{"className":6438,"ariaHidden":713},[712],[148,6440,6442,6446,6495,6498,6501],{"className":6441},[717],[148,6443],{"className":6444,"style":6445},[721],"height:1.1523em;vertical-align:-0.1944em;",[148,6447,6450],{"className":6448},[726,6449],"accent",[148,6451,6453,6486],{"className":6452},[981,1071],[148,6454,6456,6483],{"className":6455},[985],[148,6457,6460,6469],{"className":6458,"style":6459},[989],"height:0.9579em;",[148,6461,6463,6466],{"style":6462},"top:-3em;",[148,6464],{"className":6465,"style":3367},[996],[148,6467,4112],{"className":6468,"style":4157},[726,1064],[148,6470,6472,6475],{"style":6471},"top:-3.2634em;",[148,6473],{"className":6474,"style":3367},[996],[148,6476,6480],{"className":6477,"style":6479},[6478],"accent-body","left:-0.0833em;",[148,6481,6422],{"className":6482},[726],[148,6484,1095],{"className":6485},[1094],[148,6487,6489],{"className":6488},[985],[148,6490,6493],{"className":6491,"style":6492},[989],"height:0.1944em;",[148,6494],{},[148,6496],{"className":6497,"style":815},[730],[148,6499,6425],{"className":6500},[819],[148,6502],{"className":6503,"style":815},[730],[148,6505,6507,6510,6513,6516,6519],{"className":6506},[717],[148,6508],{"className":6509,"style":1344},[721],[148,6511,5985],{"className":6512,"style":6002},[726,6001],[148,6514],{"className":6515,"style":815},[730],[148,6517,6430],{"className":6518},[819],[148,6520],{"className":6521,"style":815},[730],[148,6523,6525,6528],{"className":6524},[717],[148,6526],{"className":6527,"style":6031},[721],[148,6529,6018],{"className":6530,"style":6035},[726,6001],", которая хорошо предсказывает ",[148,6533,6535,6548],{"className":6534},[680],[148,6536,6538],{"className":6537},[684],[686,6539,6540],{"xmlns":688},[690,6541,6542,6546],{},[693,6543,6544],{},[769,6545,6060],{},[705,6547,6060],{"encoding":707},[148,6549,6551],{"className":6550,"ariaHidden":713},[712],[148,6552,6554,6557],{"className":6553},[717],[148,6555],{"className":6556,"style":1579},[721],[148,6558,6060],{"className":6559,"style":4185},[726,1064]," по ",[148,6562,6564,6577],{"className":6563},[680],[148,6565,6567],{"className":6566},[684],[686,6568,6569],{"xmlns":688},[690,6570,6571,6575],{},[693,6572,6573],{},[769,6574,6055],{},[705,6576,6055],{"encoding":707},[148,6578,6580],{"className":6579,"ariaHidden":713},[712],[148,6581,6583,6586],{"className":6582},[717],[148,6584],{"className":6585,"style":2537},[721],[148,6587,6055],{"className":6588},[726,1064]," не только на обучающей выборке, но и на новых объектах из того же распределения. Мера того, насколько плохо ",[148,6591,6593,6617],{"className":6592},[680],[148,6594,6596],{"className":6595},[684],[686,6597,6598],{"xmlns":688},[690,6599,6600,6614],{},[693,6601,6602,6608,6610,6612],{},[6416,6603,6604,6606],{"accent":713},[769,6605,4112],{},[699,6607,6422],{},[699,6609,2748],{"stretchy":766},[769,6611,6055],{},[699,6613,2757],{"stretchy":766},[705,6615,6616],{"encoding":707},"\\hat{f}(x)",[148,6618,6620],{"className":6619,"ariaHidden":713},[712],[148,6621,6623,6627,6669,6672,6675],{"className":6622},[717],[148,6624],{"className":6625,"style":6626},[721],"height:1.2079em;vertical-align:-0.25em;",[148,6628,6630],{"className":6629},[726,6449],[148,6631,6633,6661],{"className":6632},[981,1071],[148,6634,6636,6658],{"className":6635},[985],[148,6637,6639,6647],{"className":6638,"style":6459},[989],[148,6640,6641,6644],{"style":6462},[148,6642],{"className":6643,"style":3367},[996],[148,6645,4112],{"className":6646,"style":4157},[726,1064],[148,6648,6649,6652],{"style":6471},[148,6650],{"className":6651,"style":3367},[996],[148,6653,6655],{"className":6654,"style":6479},[6478],[148,6656,6422],{"className":6657},[726],[148,6659,1095],{"className":6660},[1094],[148,6662,6664],{"className":6663},[985],[148,6665,6667],{"className":6666,"style":6492},[989],[148,6668],{},[148,6670,2748],{"className":6671},[1242],[148,6673,6055],{"className":6674},[726,1064],[148,6676,2757],{"className":6677},[807]," согласуется с истинным ",[148,6680,6682,6695],{"className":6681},[680],[148,6683,6685],{"className":6684},[684],[686,6686,6687],{"xmlns":688},[690,6688,6689,6693],{},[693,6690,6691],{},[769,6692,6060],{},[705,6694,6060],{"encoding":707},[148,6696,6698],{"className":6697,"ariaHidden":713},[712],[148,6699,6701,6704],{"className":6700},[717],[148,6702],{"className":6703,"style":1579},[721],[148,6705,6060],{"className":6706,"style":4185},[726,1064],", задаётся ",[294,6709,6710],{},"функцией потерь",[92,6712,6713],{},"loss function",[148,6715,6717,6752],{"className":6716},[680],[148,6718,6720],{"className":6719},[684],[686,6721,6722],{"xmlns":688},[690,6723,6724,6749],{},[693,6725,6726,6729,6731,6733,6735,6741,6743,6745,6747],{},[769,6727,6728],{},"L",[699,6730,2748],{"stretchy":766},[769,6732,6060],{},[699,6734,1205],{"separator":713},[6416,6736,6737,6739],{"accent":713},[769,6738,4112],{},[699,6740,6422],{},[699,6742,2748],{"stretchy":766},[769,6744,6055],{},[699,6746,2757],{"stretchy":766},[699,6748,2757],{"stretchy":766},[705,6750,6751],{"encoding":707},"L(y, \\hat{f}(x))",[148,6753,6755],{"className":6754,"ariaHidden":713},[712],[148,6756,6758,6761,6764,6767,6770,6773,6776,6818,6821,6824],{"className":6757},[717],[148,6759],{"className":6760,"style":6626},[721],[148,6762,6728],{"className":6763},[726,1064],[148,6765,2748],{"className":6766},[1242],[148,6768,6060],{"className":6769,"style":4185},[726,1064],[148,6771,1205],{"className":6772},[1250],[148,6774],{"className":6775,"style":835},[730],[148,6777,6779],{"className":6778},[726,6449],[148,6780,6782,6810],{"className":6781},[981,1071],[148,6783,6785,6807],{"className":6784},[985],[148,6786,6788,6796],{"className":6787,"style":6459},[989],[148,6789,6790,6793],{"style":6462},[148,6791],{"className":6792,"style":3367},[996],[148,6794,4112],{"className":6795,"style":4157},[726,1064],[148,6797,6798,6801],{"style":6471},[148,6799],{"className":6800,"style":3367},[996],[148,6802,6804],{"className":6803,"style":6479},[6478],[148,6805,6422],{"className":6806},[726],[148,6808,1095],{"className":6809},[1094],[148,6811,6813],{"className":6812},[985],[148,6814,6816],{"className":6815,"style":6492},[989],[148,6817],{},[148,6819,2748],{"className":6820},[1242],[148,6822,6055],{"className":6823},[726,1064],[148,6825,6827],{"className":6826},[807],"))",". Для классификации типичный выбор — нулевая потеря ",[148,6830,6832,6874],{"className":6831},[680],[148,6833,6835],{"className":6834},[684],[686,6836,6837],{"xmlns":688},[690,6838,6839,6871],{},[693,6840,6841,6843,6845,6848,6851,6853,6856,6862,6864,6866,6868],{},[769,6842,6728],{},[699,6844,777],{},[696,6846,150],{"mathvariant":6847},"double-struck",[699,6849,6850],{"stretchy":766},"[",[769,6852,6060],{},[699,6854,6855],{"mathvariant":771},"≠",[6416,6857,6858,6860],{"accent":713},[769,6859,4112],{},[699,6861,6422],{},[699,6863,2748],{"stretchy":766},[769,6865,6055],{},[699,6867,2757],{"stretchy":766},[699,6869,6870],{"stretchy":766},"]",[705,6872,6873],{"encoding":707},"L = \\mathbb{1}[y \\neq \\hat{f}(x)]",[148,6875,6877,6895,6960],{"className":6876,"ariaHidden":713},[712],[148,6878,6880,6883,6886,6889,6892],{"className":6879},[717],[148,6881],{"className":6882,"style":1344},[721],[148,6884,6728],{"className":6885},[726,1064],[148,6887],{"className":6888,"style":815},[730],[148,6890,777],{"className":6891},[819],[148,6893],{"className":6894,"style":815},[730],[148,6896,6898,6901,6904,6907,6910,6913,6957],{"className":6897},[717],[148,6899],{"className":6900,"style":800},[721],[148,6902,150],{"className":6903},[726],[148,6905,6850],{"className":6906},[1242],[148,6908,6060],{"className":6909,"style":4185},[726,1064],[148,6911],{"className":6912,"style":815},[730],[148,6914,6916,6950,6954],{"className":6915},[819],[148,6917,6919],{"className":6918},[819],[148,6920,6923],{"className":6921},[726,6922],"vbox",[148,6924,6927],{"className":6925},[6926],"thinbox",[148,6928,6931,6935,6946],{"className":6929},[6930],"rlap",[148,6932],{"className":6933,"style":6934},[721],"height:0.8889em;vertical-align:-0.1944em;",[148,6936,6939],{"className":6937},[6938],"inner",[148,6940,6942],{"className":6941},[726],[148,6943,6945],{"className":6944},[819],"",[148,6947],{"className":6948},[6949],"fix",[148,6951],{"className":6952},[730,6953],"nobreak",[148,6955,777],{"className":6956},[819],[148,6958],{"className":6959,"style":815},[730],[148,6961,6963,6966,7008,7011,7014],{"className":6962},[717],[148,6964],{"className":6965,"style":6626},[721],[148,6967,6969],{"className":6968},[726,6449],[148,6970,6972,7000],{"className":6971},[981,1071],[148,6973,6975,6997],{"className":6974},[985],[148,6976,6978,6986],{"className":6977,"style":6459},[989],[148,6979,6980,6983],{"style":6462},[148,6981],{"className":6982,"style":3367},[996],[148,6984,4112],{"className":6985,"style":4157},[726,1064],[148,6987,6988,6991],{"style":6471},[148,6989],{"className":6990,"style":3367},[996],[148,6992,6994],{"className":6993,"style":6479},[6478],[148,6995,6422],{"className":6996},[726],[148,6998,1095],{"className":6999},[1094],[148,7001,7003],{"className":7002},[985],[148,7004,7006],{"className":7005,"style":6492},[989],[148,7007],{},[148,7009,2748],{"className":7010},[1242],[148,7012,6055],{"className":7013},[726,1064],[148,7015,7017],{"className":7016},[807],")]","; для регрессии — квадратичная ",[148,7020,7022,7062],{"className":7021},[680],[148,7023,7025],{"className":7024},[684],[686,7026,7027],{"xmlns":688},[690,7028,7029,7059],{},[693,7030,7031,7033,7035,7037,7039,7041,7047,7049,7051,7053],{},[769,7032,6728],{},[699,7034,777],{},[699,7036,2748],{"stretchy":766},[769,7038,6060],{},[699,7040,3325],{},[6416,7042,7043,7045],{"accent":713},[769,7044,4112],{},[699,7046,6422],{},[699,7048,2748],{"stretchy":766},[769,7050,6055],{},[699,7052,2757],{"stretchy":766},[921,7054,7055,7057],{},[699,7056,2757],{"stretchy":766},[696,7058,163],{},[705,7060,7061],{"encoding":707},"L = (y - \\hat{f}(x))^2",[148,7063,7065,7083,7104],{"className":7064,"ariaHidden":713},[712],[148,7066,7068,7071,7074,7077,7080],{"className":7067},[717],[148,7069],{"className":7070,"style":1344},[721],[148,7072,6728],{"className":7073},[726,1064],[148,7075],{"className":7076,"style":815},[730],[148,7078,777],{"className":7079},[819],[148,7081],{"className":7082,"style":815},[730],[148,7084,7086,7089,7092,7095,7098,7101],{"className":7085},[717],[148,7087],{"className":7088,"style":800},[721],[148,7090,2748],{"className":7091},[1242],[148,7093,6060],{"className":7094,"style":4185},[726,1064],[148,7096],{"className":7097,"style":731},[730],[148,7099,3325],{"className":7100},[735],[148,7102],{"className":7103,"style":731},[730],[148,7105,7107,7110,7152,7155,7158,7161],{"className":7106},[717],[148,7108],{"className":7109,"style":6626},[721],[148,7111,7113],{"className":7112},[726,6449],[148,7114,7116,7144],{"className":7115},[981,1071],[148,7117,7119,7141],{"className":7118},[985],[148,7120,7122,7130],{"className":7121,"style":6459},[989],[148,7123,7124,7127],{"style":6462},[148,7125],{"className":7126,"style":3367},[996],[148,7128,4112],{"className":7129,"style":4157},[726,1064],[148,7131,7132,7135],{"style":6471},[148,7133],{"className":7134,"style":3367},[996],[148,7136,7138],{"className":7137,"style":6479},[6478],[148,7139,6422],{"className":7140},[726],[148,7142,1095],{"className":7143},[1094],[148,7145,7147],{"className":7146},[985],[148,7148,7150],{"className":7149,"style":6492},[989],[148,7151],{},[148,7153,2748],{"className":7154},[1242],[148,7156,6055],{"className":7157},[726,1064],[148,7159,2757],{"className":7160},[807],[148,7162,7164,7167],{"className":7163},[807],[148,7165,2757],{"className":7166},[807],[148,7168,7170],{"className":7169},[977],[148,7171,7173],{"className":7172},[981],[148,7174,7176],{"className":7175},[985],[148,7177,7179],{"className":7178,"style":963},[989],[148,7180,7181,7184],{"style":992},[148,7182],{"className":7183,"style":997},[996],[148,7185,7187],{"className":7186},[1001,1002,1003,1004],[148,7188,163],{"className":7189},[726,1004],[85,7191,7192,7193,297,7196,7199,7200,7395,7396,7399,7400,7793],{},"Качество модели на распределении в целом описывается ",[294,7194,7195],{},"истинным риском",[92,7197,7198],{},"true risk",") — математическим ожиданием потерь ",[148,7201,7203,7265],{"className":7202},[680],[148,7204,7206],{"className":7205},[684],[686,7207,7208],{"xmlns":688},[690,7209,7210,7262],{},[693,7211,7212,7215,7217,7219,7221,7223,7244,7246,7248,7250,7252,7254,7256,7258,7260],{},[769,7213,7214],{},"R",[699,7216,2748],{"stretchy":766},[769,7218,4112],{},[699,7220,2757],{"stretchy":766},[699,7222,777],{},[1038,7224,7225,7227],{},[769,7226,5777],{"mathvariant":6847},[693,7228,7229,7231,7233,7235,7237,7239,7242],{},[699,7230,2748],{"stretchy":766},[769,7232,6055],{},[699,7234,1205],{"separator":713},[769,7236,6060],{},[699,7238,2757],{"stretchy":766},[699,7240,7241],{},"∼",[769,7243,5838],{},[769,7245,6728],{},[699,7247,2748],{"stretchy":766},[769,7249,6060],{},[699,7251,1205],{"separator":713},[769,7253,4112],{},[699,7255,2748],{"stretchy":766},[769,7257,6055],{},[699,7259,2757],{"stretchy":766},[699,7261,2757],{"stretchy":766},[705,7263,7264],{"encoding":707},"R(f) = \\mathbb{E}_{(x,y) \\sim P} L(y, f(x))",[148,7266,7268,7296],{"className":7267,"ariaHidden":713},[712],[148,7269,7271,7274,7278,7281,7284,7287,7290,7293],{"className":7270},[717],[148,7272],{"className":7273,"style":800},[721],[148,7275,7214],{"className":7276,"style":7277},[726,1064],"margin-right:0.0077em;",[148,7279,2748],{"className":7280},[1242],[148,7282,4112],{"className":7283,"style":4157},[726,1064],[148,7285,2757],{"className":7286},[807],[148,7288],{"className":7289,"style":815},[730],[148,7291,777],{"className":7292},[819],[148,7294],{"className":7295,"style":815},[730],[148,7297,7299,7303,7368,7371,7374,7377,7380,7383,7386,7389,7392],{"className":7298},[717],[148,7300],{"className":7301,"style":7302},[721],"height:1.1052em;vertical-align:-0.3552em;",[148,7304,7306,7310],{"className":7305},[726],[148,7307,5777],{"className":7308},[726,7309],"mathbb",[148,7311,7313],{"className":7312},[977],[148,7314,7316,7359],{"className":7315},[981,1071],[148,7317,7319,7356],{"className":7318},[985],[148,7320,7323],{"className":7321,"style":7322},[989],"height:0.3448em;",[148,7324,7326,7329],{"style":7325},"top:-2.5198em;margin-left:0em;margin-right:0.05em;",[148,7327],{"className":7328,"style":997},[996],[148,7330,7332],{"className":7331},[1001,1002,1003,1004],[148,7333,7335,7338,7341,7344,7347,7350,7353],{"className":7334},[726,1004],[148,7336,2748],{"className":7337},[1242,1004],[148,7339,6055],{"className":7340},[726,1064,1004],[148,7342,1205],{"className":7343},[1250,1004],[148,7345,6060],{"className":7346,"style":4185},[726,1064,1004],[148,7348,2757],{"className":7349},[807,1004],[148,7351,7241],{"className":7352},[819,1004],[148,7354,5838],{"className":7355,"style":5822},[726,1064,1004],[148,7357,1095],{"className":7358},[1094],[148,7360,7362],{"className":7361},[985],[148,7363,7366],{"className":7364,"style":7365},[989],"height:0.3552em;",[148,7367],{},[148,7369,6728],{"className":7370},[726,1064],[148,7372,2748],{"className":7373},[1242],[148,7375,6060],{"className":7376,"style":4185},[726,1064],[148,7378,1205],{"className":7379},[1250],[148,7381],{"className":7382,"style":835},[730],[148,7384,4112],{"className":7385,"style":4157},[726,1064],[148,7387,2748],{"className":7388},[1242],[148,7390,6055],{"className":7391},[726,1064],[148,7393,6827],{"className":7394},[807],". Распределение нам недоступно, поэтому на практике минимизируется ",[294,7397,7398],{},"эмпирический риск"," на обучающей выборке: ",[148,7401,7403,7476],{"className":7402},[680],[148,7404,7406],{"className":7405},[684],[686,7407,7408],{"xmlns":688},[690,7409,7410,7473],{},[693,7411,7412,7418,7420,7422,7424,7426,7432,7447,7449,7451,7457,7459,7461,7463,7469,7471],{},[6416,7413,7414,7416],{"accent":713},[769,7415,7214],{},[699,7417,6422],{},[699,7419,2748],{"stretchy":766},[769,7421,4112],{},[699,7423,2757],{"stretchy":766},[699,7425,777],{},[3315,7427,7428,7430],{},[696,7429,150],{},[769,7431,1566],{},[6195,7433,7434,7437,7445],{},[699,7435,7436],{},"∑",[693,7438,7439,7441,7443],{},[769,7440,6183],{},[699,7442,777],{},[696,7444,150],{},[769,7446,1566],{},[769,7448,6728],{},[699,7450,2748],{"stretchy":766},[1038,7452,7453,7455],{},[769,7454,6060],{},[769,7456,6183],{},[699,7458,1205],{"separator":713},[769,7460,4112],{},[699,7462,2748],{"stretchy":766},[1038,7464,7465,7467],{},[769,7466,6055],{},[769,7468,6183],{},[699,7470,2757],{"stretchy":766},[699,7472,2757],{"stretchy":766},[705,7474,7475],{"encoding":707},"\\hat{R}(f) = \\frac{1}{n} \\sum_{i=1}^{n} L(y_i, f(x_i))",[148,7477,7479,7538],{"className":7478,"ariaHidden":713},[712],[148,7480,7482,7486,7520,7523,7526,7529,7532,7535],{"className":7481},[717],[148,7483],{"className":7484,"style":7485},[721],"height:1.1968em;vertical-align:-0.25em;",[148,7487,7489],{"className":7488},[726,6449],[148,7490,7492],{"className":7491},[981],[148,7493,7495],{"className":7494},[985],[148,7496,7499,7507],{"className":7497,"style":7498},[989],"height:0.9468em;",[148,7500,7501,7504],{"style":6462},[148,7502],{"className":7503,"style":3367},[996],[148,7505,7214],{"className":7506,"style":7277},[726,1064],[148,7508,7510,7513],{"style":7509},"top:-3.2523em;",[148,7511],{"className":7512,"style":3367},[996],[148,7514,7517],{"className":7515,"style":7516},[6478],"left:-0.1667em;",[148,7518,6422],{"className":7519},[726],[148,7521,2748],{"className":7522},[1242],[148,7524,4112],{"className":7525,"style":4157},[726,1064],[148,7527,2757],{"className":7528},[807],[148,7530],{"className":7531,"style":815},[730],[148,7533,777],{"className":7534},[819],[148,7536],{"className":7537,"style":815},[730],[148,7539,7541,7545,7615,7618,7689,7692,7695,7698,7738,7741,7744,7747,7750,7790],{"className":7540},[717],[148,7542],{"className":7543,"style":7544},[721],"height:1.1901em;vertical-align:-0.345em;",[148,7546,7548,7551,7612],{"className":7547},[726],[148,7549],{"className":7550},[1242,3347],[148,7552,7554],{"className":7553},[3315],[148,7555,7557,7603],{"className":7556},[981,1071],[148,7558,7560,7600],{"className":7559},[985],[148,7561,7564,7578,7586],{"className":7562,"style":7563},[989],"height:0.8451em;",[148,7565,7566,7569],{"style":3363},[148,7567],{"className":7568,"style":3367},[996],[148,7570,7572],{"className":7571},[1001,1002,1003,1004],[148,7573,7575],{"className":7574},[726,1004],[148,7576,1566],{"className":7577},[726,1064,1004],[148,7579,7580,7583],{"style":3385},[148,7581],{"className":7582,"style":3367},[996],[148,7584],{"className":7585,"style":3393},[3392],[148,7587,7588,7591],{"style":3396},[148,7589],{"className":7590,"style":3367},[996],[148,7592,7594],{"className":7593},[1001,1002,1003,1004],[148,7595,7597],{"className":7596},[726,1004],[148,7598,150],{"className":7599},[726,1004],[148,7601,1095],{"className":7602},[1094],[148,7604,7606],{"className":7605},[985],[148,7607,7610],{"className":7608,"style":7609},[989],"height:0.345em;",[148,7611],{},[148,7613],{"className":7614},[807,3347],[148,7616],{"className":7617,"style":835},[730],[148,7619,7622,7628],{"className":7620},[7621],"mop",[148,7623,7436],{"className":7624,"style":7627},[7621,7625,7626],"op-symbol","small-op","position:relative;top:0em;",[148,7629,7631],{"className":7630},[977],[148,7632,7634,7680],{"className":7633},[981,1071],[148,7635,7637,7677],{"className":7636},[985],[148,7638,7641,7662],{"className":7639,"style":7640},[989],"height:0.8043em;",[148,7642,7644,7647],{"style":7643},"top:-2.4003em;margin-left:0em;margin-right:0.05em;",[148,7645],{"className":7646,"style":997},[996],[148,7648,7650],{"className":7649},[1001,1002,1003,1004],[148,7651,7653,7656,7659],{"className":7652},[726,1004],[148,7654,6183],{"className":7655},[726,1064,1004],[148,7657,777],{"className":7658},[819,1004],[148,7660,150],{"className":7661},[726,1004],[148,7663,7665,7668],{"style":7664},"top:-3.2029em;margin-right:0.05em;",[148,7666],{"className":7667,"style":997},[996],[148,7669,7671],{"className":7670},[1001,1002,1003,1004],[148,7672,7674],{"className":7673},[726,1004],[148,7675,1566],{"className":7676},[726,1064,1004],[148,7678,1095],{"className":7679},[1094],[148,7681,7683],{"className":7682},[985],[148,7684,7687],{"className":7685,"style":7686},[989],"height:0.2997em;",[148,7688],{},[148,7690],{"className":7691,"style":835},[730],[148,7693,6728],{"className":7694},[726,1064],[148,7696,2748],{"className":7697},[1242],[148,7699,7701,7704],{"className":7700},[726],[148,7702,6060],{"className":7703,"style":4185},[726,1064],[148,7705,7707],{"className":7706},[977],[148,7708,7710,7730],{"className":7709},[981,1071],[148,7711,7713,7727],{"className":7712},[985],[148,7714,7716],{"className":7715,"style":6263},[989],[148,7717,7718,7721],{"style":6312},[148,7719],{"className":7720,"style":997},[996],[148,7722,7724],{"className":7723},[1001,1002,1003,1004],[148,7725,6183],{"className":7726},[726,1064,1004],[148,7728,1095],{"className":7729},[1094],[148,7731,7733],{"className":7732},[985],[148,7734,7736],{"className":7735,"style":1102},[989],[148,7737],{},[148,7739,1205],{"className":7740},[1250],[148,7742],{"className":7743,"style":835},[730],[148,7745,4112],{"className":7746,"style":4157},[726,1064],[148,7748,2748],{"className":7749},[1242],[148,7751,7753,7756],{"className":7752},[726],[148,7754,6055],{"className":7755},[726,1064],[148,7757,7759],{"className":7758},[977],[148,7760,7762,7782],{"className":7761},[981,1071],[148,7763,7765,7779],{"className":7764},[985],[148,7766,7768],{"className":7767,"style":6263},[989],[148,7769,7770,7773],{"style":1081},[148,7771],{"className":7772,"style":997},[996],[148,7774,7776],{"className":7775},[1001,1002,1003,1004],[148,7777,6183],{"className":7778},[726,1064,1004],[148,7780,1095],{"className":7781},[1094],[148,7783,7785],{"className":7784},[985],[148,7786,7788],{"className":7787,"style":1102},[989],[148,7789],{},[148,7791,6827],{"className":7792},[807],". Это переход от истинного риска к его оценке по конечной выборке — источник почти всех проблем машинного обучения: модель, идеально подогнанная под обучающие данные, может оказаться катастрофически плохой на новых. К этой коллизии мы вернёмся в разделе про смещение и разброс.",[85,7795,7796,7797,7827,7828,297,7831,7834,7835,7842,26],{},"Параметры модели ",[148,7798,7800,7815],{"className":7799},[680],[148,7801,7803],{"className":7802},[684],[686,7804,7805],{"xmlns":688},[690,7806,7807,7812],{},[693,7808,7809],{},[769,7810,7811],{},"θ",[705,7813,7814],{"encoding":707},"\\theta",[148,7816,7818],{"className":7817,"ariaHidden":713},[712],[148,7819,7821,7824],{"className":7820},[717],[148,7822],{"className":7823,"style":2415},[721],[148,7825,7811],{"className":7826,"style":2774},[726,1064]," подбираются в ходе ",[294,7829,7830],{},"обучения",[92,7832,7833],{},"fitting",") — оптимизационной процедуры, минимизирующей эмпирический риск или его регуляризованный вариант. Выбор семейства моделей (линейная регрессия, дерево решений, нейронная сеть) определяет, какие зависимости в принципе возможны; обучение определяет конкретные значения параметров; а оценка качества — насколько модель полезна. Эти три шага — выбор семейства, обучение, оценка — образуют структуру любого учебника по машинному обучению, в том числе классических ",[140,7836,7838],{"className":7837},[143],[22,7839,7840],{"href":176},[148,7841,179],{},[140,7843,7845],{"className":7844},[143],[22,7846,7847],{"href":197},[148,7848,200],{},[128,7850,7852],{"id":7851},"типы-задач-машинного-обучения","Типы задач машинного обучения",[85,7854,7855],{},"В теме 1 мы упоминали три большие парадигмы — обучение с учителем, без учителя и с подкреплением. Здесь сосредоточимся на их различиях с точки зрения формальной постановки.",[85,7857,7858,7861,7862,297,7865,7868,7869,7897,7898,297,7901,7868,7904,7932],{},[294,7859,7860],{},"Обучение с учителем"," предполагает, что для каждого объекта обучающей выборки известен «правильный» ответ. По характеру ответа задача делится на две: ",[294,7863,7864],{},"классификацию",[92,7866,7867],{},"classification","), где ",[148,7870,7872,7885],{"className":7871},[680],[148,7873,7875],{"className":7874},[684],[686,7876,7877],{"xmlns":688},[690,7878,7879,7883],{},[693,7880,7881],{},[769,7882,6060],{},[705,7884,6060],{"encoding":707},[148,7886,7888],{"className":7887,"ariaHidden":713},[712],[148,7889,7891,7894],{"className":7890},[717],[148,7892],{"className":7893,"style":1579},[721],[148,7895,6060],{"className":7896,"style":4185},[726,1064]," принимает значения из конечного множества меток (например, «спам» \u002F «не спам»), и ",[294,7899,7900],{},"регрессию",[92,7902,7903],{},"regression",[148,7905,7907,7920],{"className":7906},[680],[148,7908,7910],{"className":7909},[684],[686,7911,7912],{"xmlns":688},[690,7913,7914,7918],{},[693,7915,7916],{},[769,7917,6060],{},[705,7919,6060],{"encoding":707},[148,7921,7923],{"className":7922,"ariaHidden":713},[712],[148,7924,7926,7929],{"className":7925},[717],[148,7927],{"className":7928,"style":1579},[721],[148,7930,6060],{"className":7931,"style":4185},[726,1064]," — вещественное число (цена квартиры, температура завтра). Хотя алгоритмы для классификации и регрессии часто разные, общая методологическая рамка — выборка, функция потерь, оценка обобщающей способности — для них совпадает. Темам 4 и 5 курса посвящены, соответственно, классификации и регрессии.",[85,7934,7935,7938,7939,8019,8020,8090],{},[294,7936,7937],{},"Обучение без учителя"," работает с выборкой ",[148,7940,7942,7964],{"className":7941},[680],[148,7943,7945],{"className":7944},[684],[686,7946,7947],{"xmlns":688},[690,7948,7949,7961],{},[693,7950,7951,7953,7959],{},[699,7952,6174],{"stretchy":766},[1038,7954,7955,7957],{},[769,7956,6055],{},[769,7958,6183],{},[699,7960,6199],{"stretchy":766},[705,7962,7963],{"encoding":707},"\\{x_i\\}",[148,7965,7967],{"className":7966,"ariaHidden":713},[712],[148,7968,7970,7973,7976,8016],{"className":7969},[717],[148,7971],{"className":7972,"style":800},[721],[148,7974,6174],{"className":7975},[1242],[148,7977,7979,7982],{"className":7978},[726],[148,7980,6055],{"className":7981},[726,1064],[148,7983,7985],{"className":7984},[977],[148,7986,7988,8008],{"className":7987},[981,1071],[148,7989,7991,8005],{"className":7990},[985],[148,7992,7994],{"className":7993,"style":6263},[989],[148,7995,7996,7999],{"style":1081},[148,7997],{"className":7998,"style":997},[996],[148,8000,8002],{"className":8001},[1001,1002,1003,1004],[148,8003,6183],{"className":8004},[726,1064,1004],[148,8006,1095],{"className":8007},[1094],[148,8009,8011],{"className":8010},[985],[148,8012,8014],{"className":8013,"style":1102},[989],[148,8015],{},[148,8017,6199],{"className":8018},[807],", в которой ответы ",[148,8021,8023,8041],{"className":8022},[680],[148,8024,8026],{"className":8025},[684],[686,8027,8028],{"xmlns":688},[690,8029,8030,8038],{},[693,8031,8032],{},[1038,8033,8034,8036],{},[769,8035,6060],{},[769,8037,6183],{},[705,8039,8040],{"encoding":707},"y_i",[148,8042,8044],{"className":8043,"ariaHidden":713},[712],[148,8045,8047,8050],{"className":8046},[717],[148,8048],{"className":8049,"style":1579},[721],[148,8051,8053,8056],{"className":8052},[726],[148,8054,6060],{"className":8055,"style":4185},[726,1064],[148,8057,8059],{"className":8058},[977],[148,8060,8062,8082],{"className":8061},[981,1071],[148,8063,8065,8079],{"className":8064},[985],[148,8066,8068],{"className":8067,"style":6263},[989],[148,8069,8070,8073],{"style":6312},[148,8071],{"className":8072,"style":997},[996],[148,8074,8076],{"className":8075},[1001,1002,1003,1004],[148,8077,6183],{"className":8078},[726,1064,1004],[148,8080,1095],{"className":8081},[1094],[148,8083,8085],{"className":8084},[985],[148,8086,8088],{"className":8087,"style":1102},[989],[148,8089],{}," отсутствуют. Цель — обнаружить структуру: разбить объекты на группы (кластеризация), снизить размерность представления, выявить аномалии. Поскольку «правильного» ответа нет, оценка качества опирается на косвенные критерии: компактность кластеров, доля сохранённой дисперсии, интерпретируемость найденных групп. Этой парадигме посвящена тема 6.",[85,8092,8093,8096,8097,26],{},[294,8094,8095],{},"Обучение с подкреплением"," описывает агента, который взаимодействует со средой: совершает действия, получает в ответ числовое вознаграждение и со временем подбирает стратегию, максимизирующую суммарную награду в долгосрочной перспективе. Постановка фундаментально отличается тем, что обучающие данные не существуют заранее — они порождаются взаимодействием самого агента со средой. В рамках настоящего курса обучение с подкреплением затрагивается обзорно; систематическое изложение — в ",[140,8098,8100],{"className":8099},[143],[22,8101,8102],{"href":210},[148,8103,213],{},[85,8105,8106,8107,8110,8111,8114],{},"На границах этих трёх парадигм возникают гибриды. ",[294,8108,8109],{},"Полу-учитель"," комбинирует малую размеченную выборку с большой неразмеченной — полезен, когда разметка дорога, а сырых данных много. ",[294,8112,8113],{},"Самообучение"," формирует учительский сигнал из самих данных, без участия аннотатора: например, языковая модель предсказывает следующее слово, для чего разметка не нужна — продолжение текста уже есть в нём самом. Именно на самообучении построены современные большие модели; для нас важно, что методологически они всё ещё подпадают под рамку «обучающая выборка → функция потерь → оптимизация», просто способ получения сигнала экзотический.",[10,8116,8118],{"id":8117},"методология-обучения-и-оценки","Методология обучения и оценки",[128,8120,8122],{"id":8121},"разделение-данных","Разделение данных",[85,8124,8125],{},"Главный вопрос в оценке модели — насколько хорошо она будет работать на данных, которых не видела при обучении. Иногда говорят про «обобщающую способность», иногда — про «генерализацию». Прямой способ её измерить — отложить часть данных до обучения и не показывать модели до момента финальной проверки.",[85,8127,8128,8129,8132,8133,297,8136,8139,8140,297,8143,8146],{},"Стандартная схема — разделить размеченные данные на три непересекающиеся части. ",[294,8130,8131],{},"Обучающая выборка"," используется для подгонки параметров модели. ",[294,8134,8135],{},"Валидационная выборка",[92,8137,8138],{},"validation set",") нужна для подбора гиперпараметров — настроек, которые не входят в число обучаемых параметров: глубина дерева, коэффициент регуляризации, число соседей в kNN, скорость обучения и так далее. ",[294,8141,8142],{},"Тестовая выборка",[92,8144,8145],{},"test set",") — финальная оценка качества на данных, которые модель не видела ни на одном этапе.",[85,8148,8149],{},"Принципиально важно понимать, чем валидационная выборка отличается от тестовой. Если по результатам валидации мы выбрали гиперпараметры, мы «подсмотрели» в неё — и метрика на валидационной выборке уже завышена относительно того, что будет на действительно новых данных. Поэтому финальное число, которое сообщают заказчику или включают в отчёт, всегда измеряется на тестовой выборке, и трогать её до финального запуска нельзя. Этот принцип кажется простым, но соблюсти его дисциплинированно труднее, чем кажется: на собрании по проекту легко поддаться соблазну «давайте посмотрим, что будет на тесте» — после этого тест перестаёт быть тестом.",[85,8151,8152],{},"Типичные пропорции — 60 \u002F 20 \u002F 20 или 70 \u002F 15 \u002F 15 для умеренных по размеру датасетов. Для очень больших датасетов абсолютное число объектов в тестовой выборке важнее доли — десяти тысяч примеров обычно достаточно, даже если это 0.1% всех данных. Для маленьких датасетов выделение отдельной валидационной выборки расточительно, и его заменяет кросс-валидация (теме 7).",[85,8154,8155,8156,297,8159,8162],{},"При классификации с несбалансированными классами случайное разделение может оставить в тестовой выборке непредставительное число объектов миноритарного класса. Решение — ",[294,8157,8158],{},"стратификация",[92,8160,8161],{},"stratification","): разбиение, сохраняющее пропорции классов в каждой части.",[362,8164,364,8165,364,8169],{},[366,8166],{"src":8167,"alt":8168},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Ftrain_val_test_split.svg","Разделение данных на обучающую, валидационную и тестовую выборки",[370,8170,8168],{},[85,8172,8173,8174,297,8177,5554,8180,8187],{},"Самый коварный артефакт нечестной оценки — ",[294,8175,8176],{},"утечка данных",[92,8178,8179],{},"data leakage",[140,8181,8183],{"className":8182},[143],[22,8184,8185],{"href":223},[148,8186,226],{},". Утечкой называется любое попадание в обучающую выборку информации, которая в реальной эксплуатации модели недоступна или появляется позже целевого момента предсказания. Несколько типичных сценариев.",[85,8189,8190,8191,8194,8195,8225],{},"Первый — ",[294,8192,8193],{},"временная утечка",". Если объекты выборки имеют временную привязку (транзакции, медицинские записи, события сенсоров), случайное разделение перемешивает прошлое и будущее. Модель, обучившаяся на будущих данных и проверенная на прошлых, может показать прекрасные метрики, которые рассыплются в продакшене. В таких задачах разбиение делают по времени: всё, что раньше даты ",[148,8196,8198,8212],{"className":8197},[680],[148,8199,8201],{"className":8200},[684],[686,8202,8203],{"xmlns":688},[690,8204,8205,8210],{},[693,8206,8207],{},[769,8208,8209],{},"t",[705,8211,8209],{"encoding":707},[148,8213,8215],{"className":8214,"ariaHidden":713},[712],[148,8216,8218,8222],{"className":8217},[717],[148,8219],{"className":8220,"style":8221},[721],"height:0.6151em;",[148,8223,8209],{"className":8224},[726,1064],", — в обучении, всё, что позже, — в тесте.",[85,8227,8228,8229,297,8232,8235],{},"Второй — ",[294,8230,8231],{},"утечка целевой переменной",[92,8233,8234],{},"target leakage","). В обучающие признаки случайно попадает информация, выводимая из самого ответа: например, в задаче «предсказать факт оттока клиента» в признаки попадает «дата ухода клиента», заполняемая только для уже ушедших. Модель учится тривиально и идеально, но в реальной задаче этого признака нет в момент предсказания.",[85,8237,8238,8239,8242],{},"Третий — ",[294,8240,8241],{},"утечка через нормализацию",". Если масштабирование или иную предобработку рассчитать на полной выборке до разделения, статистики (среднее, стандартное отклонение) уже включают информацию из тестовой части. Корректный приём — оценивать параметры предобработки только на обучающей выборке и применять их к валидации и тесту.",[85,8244,8245],{},"Утечка коварна тем, что обнаруживается чаще всего постфактум, после внедрения модели в продакшен и расхождения её фактического качества с ожидаемым. Аккуратное разделение данных — простая дисциплина с большим практическим эффектом.",[128,8247,8249],{"id":8248},"компромисс-смещения-и-разброса","Компромисс смещения и разброса",[85,8251,8252],{},"Сделать так, чтобы модель хорошо работала на обучающей выборке, сравнительно несложно: достаточно взять достаточно гибкое семейство — глубокое дерево или нейронную сеть со многими параметрами — и подогнать его под обучающие данные. Проблема в том, что хорошее качество на обучении не означает хорошего качества на новых данных. Этот разрыв между обучающей и тестовой ошибкой имеет строгое математическое описание.",[85,8254,8255,8256,3157,8345,8374,8375,8435,8436,8566,8567,8595,8596,8624,8625,8653],{},"Рассмотрим задачу регрессии с истинной зависимостью ",[148,8257,8259,8288],{"className":8258},[680],[148,8260,8262],{"className":8261},[684],[686,8263,8264],{"xmlns":688},[690,8265,8266,8285],{},[693,8267,8268,8270,8272,8274,8276,8278,8280,8282],{},[769,8269,6060],{},[699,8271,777],{},[769,8273,4112],{},[699,8275,2748],{"stretchy":766},[769,8277,6055],{},[699,8279,2757],{"stretchy":766},[699,8281,2605],{},[769,8283,8284],{},"ε",[705,8286,8287],{"encoding":707},"y = f(x) + \\varepsilon",[148,8289,8291,8309,8336],{"className":8290,"ariaHidden":713},[712],[148,8292,8294,8297,8300,8303,8306],{"className":8293},[717],[148,8295],{"className":8296,"style":1579},[721],[148,8298,6060],{"className":8299,"style":4185},[726,1064],[148,8301],{"className":8302,"style":815},[730],[148,8304,777],{"className":8305},[819],[148,8307],{"className":8308,"style":815},[730],[148,8310,8312,8315,8318,8321,8324,8327,8330,8333],{"className":8311},[717],[148,8313],{"className":8314,"style":800},[721],[148,8316,4112],{"className":8317,"style":4157},[726,1064],[148,8319,2748],{"className":8320},[1242],[148,8322,6055],{"className":8323},[726,1064],[148,8325,2757],{"className":8326},[807],[148,8328],{"className":8329,"style":731},[730],[148,8331,2605],{"className":8332},[735],[148,8334],{"className":8335,"style":731},[730],[148,8337,8339,8342],{"className":8338},[717],[148,8340],{"className":8341,"style":2537},[721],[148,8343,8284],{"className":8344},[726,1064],[148,8346,8348,8362],{"className":8347},[680],[148,8349,8351],{"className":8350},[684],[686,8352,8353],{"xmlns":688},[690,8354,8355,8359],{},[693,8356,8357],{},[769,8358,8284],{},[705,8360,8361],{"encoding":707},"\\varepsilon",[148,8363,8365],{"className":8364,"ariaHidden":713},[712],[148,8366,8368,8371],{"className":8367},[717],[148,8369],{"className":8370,"style":2537},[721],[148,8372,8284],{"className":8373},[726,1064]," — шум с нулевым средним и дисперсией ",[148,8376,8378,8397],{"className":8377},[680],[148,8379,8381],{"className":8380},[684],[686,8382,8383],{"xmlns":688},[690,8384,8385,8394],{},[693,8386,8387],{},[921,8388,8389,8392],{},[769,8390,8391],{},"σ",[696,8393,163],{},[705,8395,8396],{"encoding":707},"\\sigma^2",[148,8398,8400],{"className":8399,"ariaHidden":713},[712],[148,8401,8403,8406],{"className":8402},[717],[148,8404],{"className":8405,"style":963},[721],[148,8407,8409,8412],{"className":8408},[726],[148,8410,8391],{"className":8411,"style":4185},[726,1064],[148,8413,8415],{"className":8414},[977],[148,8416,8418],{"className":8417},[981],[148,8419,8421],{"className":8420},[985],[148,8422,8424],{"className":8423,"style":963},[989],[148,8425,8426,8429],{"style":992},[148,8427],{"className":8428,"style":997},[996],[148,8430,8432],{"className":8431},[1001,1002,1003,1004],[148,8433,163],{"className":8434},[726,1004],". Пусть ",[148,8437,8439,8467],{"className":8438},[680],[148,8440,8442],{"className":8441},[684],[686,8443,8444],{"xmlns":688},[690,8445,8446,8464],{},[693,8447,8448,8458,8460,8462],{},[1038,8449,8450,8456],{},[6416,8451,8452,8454],{"accent":713},[769,8453,4112],{},[699,8455,6422],{},[769,8457,6169],{},[699,8459,2748],{"stretchy":766},[769,8461,6055],{},[699,8463,2757],{"stretchy":766},[705,8465,8466],{"encoding":707},"\\hat{f}_D(x)",[148,8468,8470],{"className":8469,"ariaHidden":713},[712],[148,8471,8473,8476,8557,8560,8563],{"className":8472},[717],[148,8474],{"className":8475,"style":6626},[721],[148,8477,8479,8521],{"className":8478},[726],[148,8480,8482],{"className":8481},[726,6449],[148,8483,8485,8513],{"className":8484},[981,1071],[148,8486,8488,8510],{"className":8487},[985],[148,8489,8491,8499],{"className":8490,"style":6459},[989],[148,8492,8493,8496],{"style":6462},[148,8494],{"className":8495,"style":3367},[996],[148,8497,4112],{"className":8498,"style":4157},[726,1064],[148,8500,8501,8504],{"style":6471},[148,8502],{"className":8503,"style":3367},[996],[148,8505,8507],{"className":8506,"style":6479},[6478],[148,8508,6422],{"className":8509},[726],[148,8511,1095],{"className":8512},[1094],[148,8514,8516],{"className":8515},[985],[148,8517,8519],{"className":8518,"style":6492},[989],[148,8520],{},[148,8522,8524],{"className":8523},[977],[148,8525,8527,8549],{"className":8526},[981,1071],[148,8528,8530,8546],{"className":8529},[985],[148,8531,8534],{"className":8532,"style":8533},[989],"height:0.3283em;",[148,8535,8537,8540],{"style":8536},"top:-2.55em;margin-left:-0.1076em;margin-right:0.05em;",[148,8538],{"className":8539,"style":997},[996],[148,8541,8543],{"className":8542},[1001,1002,1003,1004],[148,8544,6169],{"className":8545,"style":2774},[726,1064,1004],[148,8547,1095],{"className":8548},[1094],[148,8550,8552],{"className":8551},[985],[148,8553,8555],{"className":8554,"style":1102},[989],[148,8556],{},[148,8558,2748],{"className":8559},[1242],[148,8561,6055],{"className":8562},[726,1064],[148,8564,2757],{"className":8565},[807]," — модель, обученная на выборке ",[148,8568,8570,8583],{"className":8569},[680],[148,8571,8573],{"className":8572},[684],[686,8574,8575],{"xmlns":688},[690,8576,8577,8581],{},[693,8578,8579],{},[769,8580,6169],{},[705,8582,6169],{"encoding":707},[148,8584,8586],{"className":8585,"ariaHidden":713},[712],[148,8587,8589,8592],{"className":8588},[717],[148,8590],{"className":8591,"style":1344},[721],[148,8593,6169],{"className":8594,"style":2774},[726,1064],". Ожидаемая квадратичная ошибка в точке ",[148,8597,8599,8612],{"className":8598},[680],[148,8600,8602],{"className":8601},[684],[686,8603,8604],{"xmlns":688},[690,8605,8606,8610],{},[693,8607,8608],{},[769,8609,6055],{},[705,8611,6055],{"encoding":707},[148,8613,8615],{"className":8614,"ariaHidden":713},[712],[148,8616,8618,8621],{"className":8617},[717],[148,8619],{"className":8620,"style":2537},[721],[148,8622,6055],{"className":8623},[726,1064]," по всем возможным выборкам ",[148,8626,8628,8641],{"className":8627},[680],[148,8629,8631],{"className":8630},[684],[686,8632,8633],{"xmlns":688},[690,8634,8635,8639],{},[693,8636,8637],{},[769,8638,6169],{},[705,8640,6169],{"encoding":707},[148,8642,8644],{"className":8643,"ariaHidden":713},[712],[148,8645,8647,8650],{"className":8646},[717],[148,8648],{"className":8649,"style":1344},[721],[148,8651,6169],{"className":8652,"style":2774},[726,1064]," раскладывается на три слагаемых:",[85,8655,8656],{},[148,8657,8659,8870],{"className":8658},[680],[148,8660,8662],{"className":8661},[684],[686,8663,8664],{"xmlns":688},[690,8665,8666,8867],{},[693,8667,8668,8674,8708,8710,8771,8773,8848,8850,8865],{},[1038,8669,8670,8672],{},[769,8671,5777],{"mathvariant":6847},[769,8673,6169],{},[693,8675,8676,8678,8680,8682,8684,8694,8696,8698,8700,8706],{},[699,8677,6850],{"fence":713},[699,8679,2748],{"stretchy":766},[769,8681,6060],{},[699,8683,3325],{},[1038,8685,8686,8692],{},[6416,8687,8688,8690],{"accent":713},[769,8689,4112],{},[699,8691,6422],{},[769,8693,6169],{},[699,8695,2748],{"stretchy":766},[769,8697,6055],{},[699,8699,2757],{"stretchy":766},[921,8701,8702,8704],{},[699,8703,2757],{"stretchy":766},[696,8705,163],{},[699,8707,6870],{"fence":713},[699,8709,777],{},[8711,8712,8713,8764],"munder",{},[8711,8714,8715,8761],{},[921,8716,8717,8759],{},[693,8718,8719,8721,8727,8729,8739,8741,8743,8745,8747,8749,8751,8753,8755,8757],{},[699,8720,2748],{"fence":713},[1038,8722,8723,8725],{},[769,8724,5777],{"mathvariant":6847},[769,8726,6169],{},[699,8728,6850],{"stretchy":766},[1038,8730,8731,8737],{},[6416,8732,8733,8735],{"accent":713},[769,8734,4112],{},[699,8736,6422],{},[769,8738,6169],{},[699,8740,2748],{"stretchy":766},[769,8742,6055],{},[699,8744,2757],{"stretchy":766},[699,8746,6870],{"stretchy":766},[699,8748,3325],{},[769,8750,4112],{},[699,8752,2748],{"stretchy":766},[769,8754,6055],{},[699,8756,2757],{"stretchy":766},[699,8758,2757],{"fence":713},[696,8760,163],{},[699,8762,8763],{"stretchy":713},"⏟",[921,8765,8766,8769],{},[782,8767,8768],{},"смещение",[696,8770,163],{},[699,8772,2605],{},[8711,8774,8775,8845],{},[8711,8776,8777,8843],{},[693,8778,8779,8785],{},[1038,8780,8781,8783],{},[769,8782,5777],{"mathvariant":6847},[769,8784,6169],{},[693,8786,8787,8789,8791,8801,8803,8805,8807,8809,8815,8817,8827,8829,8831,8833,8835,8841],{},[699,8788,6850],{"fence":713},[699,8790,2748],{"stretchy":766},[1038,8792,8793,8799],{},[6416,8794,8795,8797],{"accent":713},[769,8796,4112],{},[699,8798,6422],{},[769,8800,6169],{},[699,8802,2748],{"stretchy":766},[769,8804,6055],{},[699,8806,2757],{"stretchy":766},[699,8808,3325],{},[1038,8810,8811,8813],{},[769,8812,5777],{"mathvariant":6847},[769,8814,6169],{},[699,8816,6850],{"stretchy":766},[1038,8818,8819,8825],{},[6416,8820,8821,8823],{"accent":713},[769,8822,4112],{},[699,8824,6422],{},[769,8826,6169],{},[699,8828,2748],{"stretchy":766},[769,8830,6055],{},[699,8832,2757],{"stretchy":766},[699,8834,6870],{"stretchy":766},[921,8836,8837,8839],{},[699,8838,2757],{"stretchy":766},[696,8840,163],{},[699,8842,6870],{"fence":713},[699,8844,8763],{"stretchy":713},[782,8846,8847],{},"разброс",[699,8849,2605],{},[8711,8851,8852,8862],{},[8711,8853,8854,8860],{},[921,8855,8856,8858],{},[769,8857,8391],{},[696,8859,163],{},[699,8861,8763],{"stretchy":713},[782,8863,8864],{},"шум",[769,8866,26],{"mathvariant":771},[705,8868,8869],{"encoding":707},"\\mathbb{E}_D\\left[(y - \\hat{f}_D(x))^2\\right] = \\underbrace{\\left(\\mathbb{E}_D[\\hat{f}_D(x)] - f(x)\\right)^2}_{\\text{смещение}^2} + \\underbrace{\\mathbb{E}_D\\left[(\\hat{f}_D(x) - \\mathbb{E}_D[\\hat{f}_D(x)])^2\\right]}_{\\text{разброс}} + \\underbrace{\\sigma^2}_{\\text{шум}}.",[148,8871,8873,9083,9457,9905],{"className":8872,"ariaHidden":713},[712],[148,8874,8876,8880,8920,8923,9074,9077,9080],{"className":8875},[717],[148,8877],{"className":8878,"style":8879},[721],"height:1.8em;vertical-align:-0.65em;",[148,8881,8883,8886],{"className":8882},[726],[148,8884,5777],{"className":8885},[726,7309],[148,8887,8889],{"className":8888},[977],[148,8890,8892,8912],{"className":8891},[981,1071],[148,8893,8895,8909],{"className":8894},[985],[148,8896,8898],{"className":8897,"style":8533},[989],[148,8899,8900,8903],{"style":1081},[148,8901],{"className":8902,"style":997},[996],[148,8904,8906],{"className":8905},[1001,1002,1003,1004],[148,8907,6169],{"className":8908,"style":2774},[726,1064,1004],[148,8910,1095],{"className":8911},[1094],[148,8913,8915],{"className":8914},[985],[148,8916,8918],{"className":8917,"style":1102},[989],[148,8919],{},[148,8921],{"className":8922,"style":835},[730],[148,8924,8926,8936,8939,8942,8945,8948,8951,9030,9033,9036,9039,9068],{"className":8925},[1675],[148,8927,8931],{"className":8928,"style":8930},[1242,8929],"delimcenter","top:0em;",[148,8932,6850],{"className":8933},[8934,8935],"delimsizing","size2",[148,8937,2748],{"className":8938},[1242],[148,8940,6060],{"className":8941,"style":4185},[726,1064],[148,8943],{"className":8944,"style":731},[730],[148,8946,3325],{"className":8947},[735],[148,8949],{"className":8950,"style":731},[730],[148,8952,8954,8996],{"className":8953},[726],[148,8955,8957],{"className":8956},[726,6449],[148,8958,8960,8988],{"className":8959},[981,1071],[148,8961,8963,8985],{"className":8962},[985],[148,8964,8966,8974],{"className":8965,"style":6459},[989],[148,8967,8968,8971],{"style":6462},[148,8969],{"className":8970,"style":3367},[996],[148,8972,4112],{"className":8973,"style":4157},[726,1064],[148,8975,8976,8979],{"style":6471},[148,8977],{"className":8978,"style":3367},[996],[148,8980,8982],{"className":8981,"style":6479},[6478],[148,8983,6422],{"className":8984},[726],[148,8986,1095],{"className":8987},[1094],[148,8989,8991],{"className":8990},[985],[148,8992,8994],{"className":8993,"style":6492},[989],[148,8995],{},[148,8997,8999],{"className":8998},[977],[148,9000,9002,9022],{"className":9001},[981,1071],[148,9003,9005,9019],{"className":9004},[985],[148,9006,9008],{"className":9007,"style":8533},[989],[148,9009,9010,9013],{"style":8536},[148,9011],{"className":9012,"style":997},[996],[148,9014,9016],{"className":9015},[1001,1002,1003,1004],[148,9017,6169],{"className":9018,"style":2774},[726,1064,1004],[148,9020,1095],{"className":9021},[1094],[148,9023,9025],{"className":9024},[985],[148,9026,9028],{"className":9027,"style":1102},[989],[148,9029],{},[148,9031,2748],{"className":9032},[1242],[148,9034,6055],{"className":9035},[726,1064],[148,9037,2757],{"className":9038},[807],[148,9040,9042,9045],{"className":9041},[807],[148,9043,2757],{"className":9044},[807],[148,9046,9048],{"className":9047},[977],[148,9049,9051],{"className":9050},[981],[148,9052,9054],{"className":9053},[985],[148,9055,9057],{"className":9056,"style":963},[989],[148,9058,9059,9062],{"style":992},[148,9060],{"className":9061,"style":997},[996],[148,9063,9065],{"className":9064},[1001,1002,1003,1004],[148,9066,163],{"className":9067},[726,1004],[148,9069,9071],{"className":9070,"style":8930},[807,8929],[148,9072,6870],{"className":9073},[8934,8935],[148,9075],{"className":9076,"style":815},[730],[148,9078,777],{"className":9079},[819],[148,9081],{"className":9082,"style":815},[730],[148,9084,9086,9090,9448,9451,9454],{"className":9085},[717],[148,9087],{"className":9088,"style":9089},[721],"height:3.3744em;vertical-align:-2.0204em;",[148,9091,9093],{"className":9092},[1675,8711],[148,9094,9096,9439],{"className":9095},[981,1071],[148,9097,9099,9436],{"className":9098},[985],[148,9100,9103,9154],{"className":9101,"style":9102},[989],"height:1.354em;",[148,9104,9106,9110],{"style":9105},"top:-1.3336em;",[148,9107],{"className":9108,"style":9109},[996],"height:3.354em;",[148,9111,9113],{"className":9112},[1001,1002,1003,1004],[148,9114,9116],{"className":9115},[726,1004],[148,9117,9119,9126],{"className":9118},[726,1004],[148,9120,9122],{"className":9121},[726,5620,1004],[148,9123,8768],{"className":9124},[726,9125,1004],"cyrillic_fallback",[148,9127,9129],{"className":9128},[977],[148,9130,9132],{"className":9131},[981],[148,9133,9135],{"className":9134},[985],[148,9136,9139],{"className":9137,"style":9138},[989],"height:0.7463em;",[148,9140,9142,9146],{"style":9141},"top:-2.786em;margin-right:0.0714em;",[148,9143],{"className":9144,"style":9145},[996],"height:2.5em;",[148,9147,9151],{"className":9148},[1001,9149,9150,1004],"reset-size3","size1",[148,9152,163],{"className":9153},[726,1004],[148,9155,9157,9160],{"style":9156},"top:-3.354em;",[148,9158],{"className":9159,"style":9109},[996],[148,9161,9163],{"className":9162},[1675,8711],[148,9164,9166,9427],{"className":9165},[981,1071],[148,9167,9169,9424],{"className":9168},[985],[148,9170,9172,9222],{"className":9171,"style":9102},[989],[148,9173,9177,9180],{"className":9174,"style":9176},[9175],"svg-align","top:-2.056em;",[148,9178],{"className":9179,"style":9109},[996],[148,9181,9185,9202,9212],{"className":9182,"style":9184},[9183],"stretchy","height:0.548em;min-width:1.6em;",[148,9186,9190],{"className":9187,"style":9189},[9188],"brace-left","height:0.548em;",[9191,9192,9198],"svg",{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9197},"http:\u002F\u002Fwww.w3.org\u002F2000\u002Fsvg","400em","0.548em","0 0 400000 548","xMinYMin slice",[9199,9200],"path",{"d":9201},"M0 6l6-6h17c12.688 0 19.313.3 20 1 4 4 7.313 8.3 10 13\n 35.313 51.3 80.813 93.8 136.5 127.5 55.688 33.7 117.188 55.8 184.5 66.5.688\n 0 2 .3 4 1 18.688 2.7 76 4.3 172 5h399450v120H429l-6-1c-124.688-8-235-61.7\n-331-161C60.687 138.7 32.312 99.3 7 54L0 41V6z",[148,9203,9206],{"className":9204,"style":9189},[9205],"brace-center",[9191,9207,9209],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9208},"xMidYMin slice",[9199,9210],{"d":9211},"M199572 214\nc100.7 8.3 195.3 44 280 108 55.3 42 101.7 93 139 153l9 14c2.7-4 5.7-8.7 9-14\n 53.3-86.7 123.7-153 211-199 66.7-36 137.3-56.3 212-62h199568v120H200432c-178.3\n 11.7-311.7 78.3-403 201-6 8-9.7 12-11 12-.7.7-6.7 1-18 1s-17.3-.3-18-1c-1.3 0\n-5-4-11-12-44.7-59.3-101.3-106.3-170-141s-145.3-54.3-229-60H0V214z",[148,9213,9216],{"className":9214,"style":9189},[9215],"brace-right",[9191,9217,9219],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9218},"xMaxYMin slice",[9199,9220],{"d":9221},"M399994 0l6 6v35l-6 11c-56 104-135.3 181.3-238 232-57.3\n 28.7-117 45-179 50H-300V214h399897c43.3-7 81-15 113-26 100.7-33 179.7-91 237\n-174 2.7-5 6-9 10-13 .7-1 7.3-1 20-1h17z",[148,9223,9224,9227],{"style":9156},[148,9225],{"className":9226,"style":9109},[996],[148,9228,9230],{"className":9229},[726],[148,9231,9233,9400],{"className":9232},[1675],[148,9234,9236,9242,9282,9285,9364,9367,9370,9373,9376,9379,9382,9385,9388,9391,9394],{"className":9235},[1675],[148,9237,9239],{"className":9238,"style":8930},[1242,8929],[148,9240,2748],{"className":9241},[8934,8935],[148,9243,9245,9248],{"className":9244},[726],[148,9246,5777],{"className":9247},[726,7309],[148,9249,9251],{"className":9250},[977],[148,9252,9254,9274],{"className":9253},[981,1071],[148,9255,9257,9271],{"className":9256},[985],[148,9258,9260],{"className":9259,"style":8533},[989],[148,9261,9262,9265],{"style":1081},[148,9263],{"className":9264,"style":997},[996],[148,9266,9268],{"className":9267},[1001,1002,1003,1004],[148,9269,6169],{"className":9270,"style":2774},[726,1064,1004],[148,9272,1095],{"className":9273},[1094],[148,9275,9277],{"className":9276},[985],[148,9278,9280],{"className":9279,"style":1102},[989],[148,9281],{},[148,9283,6850],{"className":9284},[1242],[148,9286,9288,9330],{"className":9287},[726],[148,9289,9291],{"className":9290},[726,6449],[148,9292,9294,9322],{"className":9293},[981,1071],[148,9295,9297,9319],{"className":9296},[985],[148,9298,9300,9308],{"className":9299,"style":6459},[989],[148,9301,9302,9305],{"style":6462},[148,9303],{"className":9304,"style":3367},[996],[148,9306,4112],{"className":9307,"style":4157},[726,1064],[148,9309,9310,9313],{"style":6471},[148,9311],{"className":9312,"style":3367},[996],[148,9314,9316],{"className":9315,"style":6479},[6478],[148,9317,6422],{"className":9318},[726],[148,9320,1095],{"className":9321},[1094],[148,9323,9325],{"className":9324},[985],[148,9326,9328],{"className":9327,"style":6492},[989],[148,9329],{},[148,9331,9333],{"className":9332},[977],[148,9334,9336,9356],{"className":9335},[981,1071],[148,9337,9339,9353],{"className":9338},[985],[148,9340,9342],{"className":9341,"style":8533},[989],[148,9343,9344,9347],{"style":8536},[148,9345],{"className":9346,"style":997},[996],[148,9348,9350],{"className":9349},[1001,1002,1003,1004],[148,9351,6169],{"className":9352,"style":2774},[726,1064,1004],[148,9354,1095],{"className":9355},[1094],[148,9357,9359],{"className":9358},[985],[148,9360,9362],{"className":9361,"style":1102},[989],[148,9363],{},[148,9365,2748],{"className":9366},[1242],[148,9368,6055],{"className":9369},[726,1064],[148,9371,7017],{"className":9372},[807],[148,9374],{"className":9375,"style":731},[730],[148,9377,3325],{"className":9378},[735],[148,9380],{"className":9381,"style":731},[730],[148,9383,4112],{"className":9384,"style":4157},[726,1064],[148,9386,2748],{"className":9387},[1242],[148,9389,6055],{"className":9390},[726,1064],[148,9392,2757],{"className":9393},[807],[148,9395,9397],{"className":9396,"style":8930},[807,8929],[148,9398,2757],{"className":9399},[8934,8935],[148,9401,9403],{"className":9402},[977],[148,9404,9406],{"className":9405},[981],[148,9407,9409],{"className":9408},[985],[148,9410,9412],{"className":9411,"style":9102},[989],[148,9413,9415,9418],{"style":9414},"top:-3.6029em;margin-right:0.05em;",[148,9416],{"className":9417,"style":997},[996],[148,9419,9421],{"className":9420},[1001,1002,1003,1004],[148,9422,163],{"className":9423},[726,1004],[148,9425,1095],{"className":9426},[1094],[148,9428,9430],{"className":9429},[985],[148,9431,9434],{"className":9432,"style":9433},[989],"height:1.298em;",[148,9435],{},[148,9437,1095],{"className":9438},[1094],[148,9440,9442],{"className":9441},[985],[148,9443,9446],{"className":9444,"style":9445},[989],"height:2.0204em;",[148,9447],{},[148,9449],{"className":9450,"style":731},[730],[148,9452,2605],{"className":9453},[735],[148,9455],{"className":9456,"style":731},[730],[148,9458,9460,9464,9896,9899,9902],{"className":9459},[717],[148,9461],{"className":9462,"style":9463},[721],"height:3.2702em;vertical-align:-2.1202em;",[148,9465,9467],{"className":9466},[1675,8711],[148,9468,9470,9887],{"className":9469},[981,1071],[148,9471,9473,9884],{"className":9472},[985],[148,9474,9477,9496],{"className":9475,"style":9476},[989],"height:1.15em;",[148,9478,9480,9484],{"style":9479},"top:-1.1659em;",[148,9481],{"className":9482,"style":9483},[996],"height:3.15em;",[148,9485,9487],{"className":9486},[1001,1002,1003,1004],[148,9488,9490],{"className":9489},[726,1004],[148,9491,9493],{"className":9492},[726,5620,1004],[148,9494,8847],{"className":9495},[726,9125,1004],[148,9497,9499,9502],{"style":9498},"top:-3.15em;",[148,9500],{"className":9501,"style":9483},[996],[148,9503,9505],{"className":9504},[1675,8711],[148,9506,9508,9876],{"className":9507},[981,1071],[148,9509,9511,9873],{"className":9510},[985],[148,9512,9514,9545],{"className":9513,"style":9476},[989],[148,9515,9518,9521],{"className":9516,"style":9517},[9175],"top:-1.852em;",[148,9519],{"className":9520,"style":9483},[996],[148,9522,9524,9531,9538],{"className":9523,"style":9184},[9183],[148,9525,9527],{"className":9526,"style":9189},[9188],[9191,9528,9529],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9197},[9199,9530],{"d":9201},[148,9532,9534],{"className":9533,"style":9189},[9205],[9191,9535,9536],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9208},[9199,9537],{"d":9211},[148,9539,9541],{"className":9540,"style":9189},[9215],[9191,9542,9543],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9218},[9199,9544],{"d":9221},[148,9546,9547,9550],{"style":9498},[148,9548],{"className":9549,"style":9483},[996],[148,9551,9553,9593,9596],{"className":9552},[726],[148,9554,9556,9559],{"className":9555},[726],[148,9557,5777],{"className":9558},[726,7309],[148,9560,9562],{"className":9561},[977],[148,9563,9565,9585],{"className":9564},[981,1071],[148,9566,9568,9582],{"className":9567},[985],[148,9569,9571],{"className":9570,"style":8533},[989],[148,9572,9573,9576],{"style":1081},[148,9574],{"className":9575,"style":997},[996],[148,9577,9579],{"className":9578},[1001,1002,1003,1004],[148,9580,6169],{"className":9581,"style":2774},[726,1064,1004],[148,9583,1095],{"className":9584},[1094],[148,9586,9588],{"className":9587},[985],[148,9589,9591],{"className":9590,"style":1102},[989],[148,9592],{},[148,9594],{"className":9595,"style":835},[730],[148,9597,9599,9605,9608,9687,9690,9693,9696,9699,9702,9705,9745,9748,9827,9830,9833,9836,9867],{"className":9598},[1675],[148,9600,9602],{"className":9601,"style":8930},[1242,8929],[148,9603,6850],{"className":9604},[8934,8935],[148,9606,2748],{"className":9607},[1242],[148,9609,9611,9653],{"className":9610},[726],[148,9612,9614],{"className":9613},[726,6449],[148,9615,9617,9645],{"className":9616},[981,1071],[148,9618,9620,9642],{"className":9619},[985],[148,9621,9623,9631],{"className":9622,"style":6459},[989],[148,9624,9625,9628],{"style":6462},[148,9626],{"className":9627,"style":3367},[996],[148,9629,4112],{"className":9630,"style":4157},[726,1064],[148,9632,9633,9636],{"style":6471},[148,9634],{"className":9635,"style":3367},[996],[148,9637,9639],{"className":9638,"style":6479},[6478],[148,9640,6422],{"className":9641},[726],[148,9643,1095],{"className":9644},[1094],[148,9646,9648],{"className":9647},[985],[148,9649,9651],{"className":9650,"style":6492},[989],[148,9652],{},[148,9654,9656],{"className":9655},[977],[148,9657,9659,9679],{"className":9658},[981,1071],[148,9660,9662,9676],{"className":9661},[985],[148,9663,9665],{"className":9664,"style":8533},[989],[148,9666,9667,9670],{"style":8536},[148,9668],{"className":9669,"style":997},[996],[148,9671,9673],{"className":9672},[1001,1002,1003,1004],[148,9674,6169],{"className":9675,"style":2774},[726,1064,1004],[148,9677,1095],{"className":9678},[1094],[148,9680,9682],{"className":9681},[985],[148,9683,9685],{"className":9684,"style":1102},[989],[148,9686],{},[148,9688,2748],{"className":9689},[1242],[148,9691,6055],{"className":9692},[726,1064],[148,9694,2757],{"className":9695},[807],[148,9697],{"className":9698,"style":731},[730],[148,9700,3325],{"className":9701},[735],[148,9703],{"className":9704,"style":731},[730],[148,9706,9708,9711],{"className":9707},[726],[148,9709,5777],{"className":9710},[726,7309],[148,9712,9714],{"className":9713},[977],[148,9715,9717,9737],{"className":9716},[981,1071],[148,9718,9720,9734],{"className":9719},[985],[148,9721,9723],{"className":9722,"style":8533},[989],[148,9724,9725,9728],{"style":1081},[148,9726],{"className":9727,"style":997},[996],[148,9729,9731],{"className":9730},[1001,1002,1003,1004],[148,9732,6169],{"className":9733,"style":2774},[726,1064,1004],[148,9735,1095],{"className":9736},[1094],[148,9738,9740],{"className":9739},[985],[148,9741,9743],{"className":9742,"style":1102},[989],[148,9744],{},[148,9746,6850],{"className":9747},[1242],[148,9749,9751,9793],{"className":9750},[726],[148,9752,9754],{"className":9753},[726,6449],[148,9755,9757,9785],{"className":9756},[981,1071],[148,9758,9760,9782],{"className":9759},[985],[148,9761,9763,9771],{"className":9762,"style":6459},[989],[148,9764,9765,9768],{"style":6462},[148,9766],{"className":9767,"style":3367},[996],[148,9769,4112],{"className":9770,"style":4157},[726,1064],[148,9772,9773,9776],{"style":6471},[148,9774],{"className":9775,"style":3367},[996],[148,9777,9779],{"className":9778,"style":6479},[6478],[148,9780,6422],{"className":9781},[726],[148,9783,1095],{"className":9784},[1094],[148,9786,9788],{"className":9787},[985],[148,9789,9791],{"className":9790,"style":6492},[989],[148,9792],{},[148,9794,9796],{"className":9795},[977],[148,9797,9799,9819],{"className":9798},[981,1071],[148,9800,9802,9816],{"className":9801},[985],[148,9803,9805],{"className":9804,"style":8533},[989],[148,9806,9807,9810],{"style":8536},[148,9808],{"className":9809,"style":997},[996],[148,9811,9813],{"className":9812},[1001,1002,1003,1004],[148,9814,6169],{"className":9815,"style":2774},[726,1064,1004],[148,9817,1095],{"className":9818},[1094],[148,9820,9822],{"className":9821},[985],[148,9823,9825],{"className":9824,"style":1102},[989],[148,9826],{},[148,9828,2748],{"className":9829},[1242],[148,9831,6055],{"className":9832},[726,1064],[148,9834,7017],{"className":9835},[807],[148,9837,9839,9842],{"className":9838},[807],[148,9840,2757],{"className":9841},[807],[148,9843,9845],{"className":9844},[977],[148,9846,9848],{"className":9847},[981],[148,9849,9851],{"className":9850},[985],[148,9852,9855],{"className":9853,"style":9854},[989],"height:0.8641em;",[148,9856,9858,9861],{"style":9857},"top:-3.113em;margin-right:0.05em;",[148,9859],{"className":9860,"style":997},[996],[148,9862,9864],{"className":9863},[1001,1002,1003,1004],[148,9865,163],{"className":9866},[726,1004],[148,9868,9870],{"className":9869,"style":8930},[807,8929],[148,9871,6870],{"className":9872},[8934,8935],[148,9874,1095],{"className":9875},[1094],[148,9877,9879],{"className":9878},[985],[148,9880,9882],{"className":9881,"style":9433},[989],[148,9883],{},[148,9885,1095],{"className":9886},[1094],[148,9888,9890],{"className":9889},[985],[148,9891,9894],{"className":9892,"style":9893},[989],"height:2.1202em;",[148,9895],{},[148,9897],{"className":9898,"style":731},[730],[148,9900,2605],{"className":9901},[735],[148,9903],{"className":9904,"style":731},[730],[148,9906,9908,9912,10051,10054],{"className":9907},[717],[148,9909],{"className":9910,"style":9911},[721],"height:2.1496em;vertical-align:-1.2855em;",[148,9913,9915],{"className":9914},[1675,8711],[148,9916,9918,10042],{"className":9917},[981,1071],[148,9919,9921,10039],{"className":9920},[985],[148,9922,9924,9942],{"className":9923,"style":9854},[989],[148,9925,9927,9930],{"style":9926},"top:-1.8506em;",[148,9928],{"className":9929,"style":3367},[996],[148,9931,9933],{"className":9932},[1001,1002,1003,1004],[148,9934,9936],{"className":9935},[726,1004],[148,9937,9939],{"className":9938},[726,5620,1004],[148,9940,8864],{"className":9941},[726,9125,1004],[148,9943,9944,9947],{"style":6462},[148,9945],{"className":9946,"style":3367},[996],[148,9948,9950],{"className":9949},[1675,8711],[148,9951,9953,10030],{"className":9952},[981,1071],[148,9954,9956,10027],{"className":9955},[985],[148,9957,9959,9990],{"className":9958,"style":9854},[989],[148,9960,9963,9966],{"className":9961,"style":9962},[9175],"top:-2.352em;",[148,9964],{"className":9965,"style":3367},[996],[148,9967,9969,9976,9983],{"className":9968,"style":9184},[9183],[148,9970,9972],{"className":9971,"style":9189},[9188],[9191,9973,9974],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9197},[9199,9975],{"d":9201},[148,9977,9979],{"className":9978,"style":9189},[9205],[9191,9980,9981],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9208},[9199,9982],{"d":9211},[148,9984,9986],{"className":9985,"style":9189},[9215],[9191,9987,9988],{"xmlns":9193,"width":9194,"height":9195,"viewBox":9196,"preserveAspectRatio":9218},[9199,9989],{"d":9221},[148,9991,9992,9995],{"style":6462},[148,9993],{"className":9994,"style":3367},[996],[148,9996,9998],{"className":9997},[726],[148,9999,10001,10004],{"className":10000},[726],[148,10002,8391],{"className":10003,"style":4185},[726,1064],[148,10005,10007],{"className":10006},[977],[148,10008,10010],{"className":10009},[981],[148,10011,10013],{"className":10012},[985],[148,10014,10016],{"className":10015,"style":9854},[989],[148,10017,10018,10021],{"style":9857},[148,10019],{"className":10020,"style":997},[996],[148,10022,10024],{"className":10023},[1001,1002,1003,1004],[148,10025,163],{"className":10026},[726,1004],[148,10028,1095],{"className":10029},[1094],[148,10031,10033],{"className":10032},[985],[148,10034,10037],{"className":10035,"style":10036},[989],"height:0.648em;",[148,10038],{},[148,10040,1095],{"className":10041},[1094],[148,10043,10045],{"className":10044},[985],[148,10046,10049],{"className":10047,"style":10048},[989],"height:1.2855em;",[148,10050],{},[148,10052],{"className":10053,"style":835},[730],[148,10055,26],{"className":10056},[726],[85,10058,10059,10060,297,10063,5554,10066,10073],{},"Эта декомпозиция, известная как ",[294,10061,10062],{},"разложение на смещение и разброс",[92,10064,10065],{},"bias-variance decomposition",[140,10067,10069],{"className":10068},[143],[22,10070,10071],{"href":236},[148,10072,239],{},", даёт принципиальную картину источников ошибки.",[85,10075,10076,297,10079,10082,10083,297,10086,10089],{},[294,10077,10078],{},"Смещение",[92,10080,10081],{},"bias",") — систематическое отклонение средних предсказаний модели от истинной зависимости. Высокое смещение возникает, когда модель слишком проста для данных: линейная регрессия на нелинейной зависимости даст низкое смещение в линейных областях и высокое — на нелинейных участках. Это ",[294,10084,10085],{},"недообучение",[92,10087,10088],{},"underfitting",") — модель не способна воспроизвести структуру данных даже при их избытке.",[85,10091,10092,297,10095,10098,10099,10127,10128,297,10131,10134],{},[294,10093,10094],{},"Разброс",[92,10096,10097],{},"variance",") — чувствительность модели к составу обучающей выборки. Высокий разброс означает, что при небольшом изменении ",[148,10100,10102,10115],{"className":10101},[680],[148,10103,10105],{"className":10104},[684],[686,10106,10107],{"xmlns":688},[690,10108,10109,10113],{},[693,10110,10111],{},[769,10112,6169],{},[705,10114,6169],{"encoding":707},[148,10116,10118],{"className":10117,"ariaHidden":713},[712],[148,10119,10121,10124],{"className":10120},[717],[148,10122],{"className":10123,"style":1344},[721],[148,10125,6169],{"className":10126,"style":2774},[726,1064]," модель меняется сильно. Это ",[294,10129,10130],{},"переобучение",[92,10132,10133],{},"overfitting",") — модель запоминает обучающие примеры, в том числе их случайные особенности и шум, и теряет способность обобщать.",[85,10136,10137,191,10140,10198,10199,10227,10228,10256],{},[294,10138,10139],{},"Шум",[148,10141,10143,10160],{"className":10142},[680],[148,10144,10146],{"className":10145},[684],[686,10147,10148],{"xmlns":688},[690,10149,10150,10158],{},[693,10151,10152],{},[921,10153,10154,10156],{},[769,10155,8391],{},[696,10157,163],{},[705,10159,8396],{"encoding":707},[148,10161,10163],{"className":10162,"ariaHidden":713},[712],[148,10164,10166,10169],{"className":10165},[717],[148,10167],{"className":10168,"style":963},[721],[148,10170,10172,10175],{"className":10171},[726],[148,10173,8391],{"className":10174,"style":4185},[726,1064],[148,10176,10178],{"className":10177},[977],[148,10179,10181],{"className":10180},[981],[148,10182,10184],{"className":10183},[985],[148,10185,10187],{"className":10186,"style":963},[989],[148,10188,10189,10192],{"style":992},[148,10190],{"className":10191,"style":997},[996],[148,10193,10195],{"className":10194},[1001,1002,1003,1004],[148,10196,163],{"className":10197},[726,1004]," — неустранимая часть ошибки, обусловленная случайностью данных. Никакая модель не может предсказать ",[148,10200,10202,10215],{"className":10201},[680],[148,10203,10205],{"className":10204},[684],[686,10206,10207],{"xmlns":688},[690,10208,10209,10213],{},[693,10210,10211],{},[769,10212,6060],{},[705,10214,6060],{"encoding":707},[148,10216,10218],{"className":10217,"ariaHidden":713},[712],[148,10219,10221,10224],{"className":10220},[717],[148,10222],{"className":10223,"style":1579},[721],[148,10225,6060],{"className":10226,"style":4185},[726,1064]," точнее, чем позволяет случайная компонента ",[148,10229,10231,10244],{"className":10230},[680],[148,10232,10234],{"className":10233},[684],[686,10235,10236],{"xmlns":688},[690,10237,10238,10242],{},[693,10239,10240],{},[769,10241,8284],{},[705,10243,8361],{"encoding":707},[148,10245,10247],{"className":10246,"ariaHidden":713},[712],[148,10248,10250,10253],{"className":10249},[717],[148,10251],{"className":10252,"style":2537},[721],[148,10254,8284],{"className":10255},[726,1064],"; задача — приблизиться к этой границе, а не пытаться её преодолеть.",[85,10258,10259],{},"С точки зрения сложности модели смещение и разброс ведут себя противоположно. Слишком простая модель имеет высокое смещение и низкий разброс; слишком сложная — низкое смещение, но высокий разброс. Тестовая ошибка как сумма этих компонент имеет минимум при некоторой промежуточной сложности — это знаменитая «U-образная» зависимость, лежащая в основе всей методологии регуляризации.",[362,10261,364,10262,364,10266],{},[366,10263],{"src":10264,"alt":10265},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Fbias_variance_tradeoff.svg","Компромисс смещения и разброса: зависимость ошибки от сложности модели",[370,10267,10265],{},[85,10269,10270,10271,297,10274,5554,10277,10284,10285,10361,10362,3157,10499,10543,10544,10573,10574,10625,10626,10654,10655,10683],{},"Практический способ управлять этим компромиссом — ",[294,10272,10273],{},"регуляризация",[92,10275,10276],{},"regularization",[140,10278,10280],{"className":10279},[143],[22,10281,10282],{"href":197},[148,10283,200],{},". К минимизируемому функционалу добавляется штраф за сложность модели, например за величину её параметров: вместо ",[148,10286,10288,10312],{"className":10287},[680],[148,10289,10291],{"className":10290},[684],[686,10292,10293],{"xmlns":688},[690,10294,10295,10309],{},[693,10296,10297,10303,10305,10307],{},[6416,10298,10299,10301],{"accent":713},[769,10300,7214],{},[699,10302,6422],{},[699,10304,2748],{"stretchy":766},[769,10306,4112],{},[699,10308,2757],{"stretchy":766},[705,10310,10311],{"encoding":707},"\\hat{R}(f)",[148,10313,10315],{"className":10314,"ariaHidden":713},[712],[148,10316,10318,10321,10352,10355,10358],{"className":10317},[717],[148,10319],{"className":10320,"style":7485},[721],[148,10322,10324],{"className":10323},[726,6449],[148,10325,10327],{"className":10326},[981],[148,10328,10330],{"className":10329},[985],[148,10331,10333,10341],{"className":10332,"style":7498},[989],[148,10334,10335,10338],{"style":6462},[148,10336],{"className":10337,"style":3367},[996],[148,10339,7214],{"className":10340,"style":7277},[726,1064],[148,10342,10343,10346],{"style":7509},[148,10344],{"className":10345,"style":3367},[996],[148,10347,10349],{"className":10348,"style":7516},[6478],[148,10350,6422],{"className":10351},[726],[148,10353,2748],{"className":10354},[1242],[148,10356,4112],{"className":10357,"style":4157},[726,1064],[148,10359,2757],{"className":10360},[807]," оптимизируется ",[148,10363,10365,10405],{"className":10364},[680],[148,10366,10368],{"className":10367},[684],[686,10369,10370],{"xmlns":688},[690,10371,10372,10402],{},[693,10373,10374,10380,10382,10384,10386,10388,10391,10393,10396,10398,10400],{},[6416,10375,10376,10378],{"accent":713},[769,10377,7214],{},[699,10379,6422],{},[699,10381,2748],{"stretchy":766},[769,10383,4112],{},[699,10385,2757],{"stretchy":766},[699,10387,2605],{},[769,10389,10390],{},"λ",[699,10392,3675],{},[769,10394,10395],{"mathvariant":771},"Ω",[699,10397,2748],{"stretchy":766},[769,10399,4112],{},[699,10401,2757],{"stretchy":766},[705,10403,10404],{"encoding":707},"\\hat{R}(f) + \\lambda \\cdot \\Omega(f)",[148,10406,10408,10463,10481],{"className":10407,"ariaHidden":713},[712],[148,10409,10411,10414,10445,10448,10451,10454,10457,10460],{"className":10410},[717],[148,10412],{"className":10413,"style":7485},[721],[148,10415,10417],{"className":10416},[726,6449],[148,10418,10420],{"className":10419},[981],[148,10421,10423],{"className":10422},[985],[148,10424,10426,10434],{"className":10425,"style":7498},[989],[148,10427,10428,10431],{"style":6462},[148,10429],{"className":10430,"style":3367},[996],[148,10432,7214],{"className":10433,"style":7277},[726,1064],[148,10435,10436,10439],{"style":7509},[148,10437],{"className":10438,"style":3367},[996],[148,10440,10442],{"className":10441,"style":7516},[6478],[148,10443,6422],{"className":10444},[726],[148,10446,2748],{"className":10447},[1242],[148,10449,4112],{"className":10450,"style":4157},[726,1064],[148,10452,2757],{"className":10453},[807],[148,10455],{"className":10456,"style":731},[730],[148,10458,2605],{"className":10459},[735],[148,10461],{"className":10462,"style":731},[730],[148,10464,10466,10469,10472,10475,10478],{"className":10465},[717],[148,10467],{"className":10468,"style":2415},[721],[148,10470,10390],{"className":10471},[726,1064],[148,10473],{"className":10474,"style":731},[730],[148,10476,3675],{"className":10477},[735],[148,10479],{"className":10480,"style":731},[730],[148,10482,10484,10487,10490,10493,10496],{"className":10483},[717],[148,10485],{"className":10486,"style":800},[721],[148,10488,10395],{"className":10489},[726],[148,10491,2748],{"className":10492},[1242],[148,10494,4112],{"className":10495,"style":4157},[726,1064],[148,10497,2757],{"className":10498},[807],[148,10500,10502,10522],{"className":10501},[680],[148,10503,10505],{"className":10504},[684],[686,10506,10507],{"xmlns":688},[690,10508,10509,10519],{},[693,10510,10511,10513,10515,10517],{},[769,10512,10395],{"mathvariant":771},[699,10514,2748],{"stretchy":766},[769,10516,4112],{},[699,10518,2757],{"stretchy":766},[705,10520,10521],{"encoding":707},"\\Omega(f)",[148,10523,10525],{"className":10524,"ariaHidden":713},[712],[148,10526,10528,10531,10534,10537,10540],{"className":10527},[717],[148,10529],{"className":10530,"style":800},[721],[148,10532,10395],{"className":10533},[726],[148,10535,2748],{"className":10536},[1242],[148,10538,4112],{"className":10539,"style":4157},[726,1064],[148,10541,2757],{"className":10542},[807]," — мера сложности (сумма квадратов коэффициентов в ridge, сумма модулей в lasso, число параметров в информационных критериях). Коэффициент ",[148,10545,10547,10561],{"className":10546},[680],[148,10548,10550],{"className":10549},[684],[686,10551,10552],{"xmlns":688},[690,10553,10554,10558],{},[693,10555,10556],{},[769,10557,10390],{},[705,10559,10560],{"encoding":707},"\\lambda",[148,10562,10564],{"className":10563,"ariaHidden":713},[712],[148,10565,10567,10570],{"className":10566},[717],[148,10568],{"className":10569,"style":2415},[721],[148,10571,10390],{"className":10572},[726,1064]," балансирует подгонку и сложность: при ",[148,10575,10577,10595],{"className":10576},[680],[148,10578,10580],{"className":10579},[684],[686,10581,10582],{"xmlns":688},[690,10583,10584,10592],{},[693,10585,10586,10588,10590],{},[769,10587,10390],{},[699,10589,777],{},[696,10591,973],{},[705,10593,10594],{"encoding":707},"\\lambda = 0",[148,10596,10598,10616],{"className":10597,"ariaHidden":713},[712],[148,10599,10601,10604,10607,10610,10613],{"className":10600},[717],[148,10602],{"className":10603,"style":2415},[721],[148,10605,10390],{"className":10606},[726,1064],[148,10608],{"className":10609,"style":815},[730],[148,10611,777],{"className":10612},[819],[148,10614],{"className":10615,"style":815},[730],[148,10617,10619,10622],{"className":10618},[717],[148,10620],{"className":10621,"style":745},[721],[148,10623,973],{"className":10624},[726]," регуляризации нет, при больших ",[148,10627,10629,10642],{"className":10628},[680],[148,10630,10632],{"className":10631},[684],[686,10633,10634],{"xmlns":688},[690,10635,10636,10640],{},[693,10637,10638],{},[769,10639,10390],{},[705,10641,10560],{"encoding":707},[148,10643,10645],{"className":10644,"ariaHidden":713},[712],[148,10646,10648,10651],{"className":10647},[717],[148,10649],{"className":10650,"style":2415},[721],[148,10652,10390],{"className":10653},[726,1064]," модель «зажата». Подбор ",[148,10656,10658,10671],{"className":10657},[680],[148,10659,10661],{"className":10660},[684],[686,10662,10663],{"xmlns":688},[690,10664,10665,10669],{},[693,10666,10667],{},[769,10668,10390],{},[705,10670,10560],{"encoding":707},[148,10672,10674],{"className":10673,"ariaHidden":713},[712],[148,10675,10677,10680],{"className":10676},[717],[148,10678],{"className":10679,"style":2415},[721],[148,10681,10390],{"className":10682},[726,1064]," — отдельная задача, решаемая обычно через валидационную выборку или кросс-валидацию. Конкретные регуляризованные модели мы рассмотрим в теме 5.",[85,10685,10686,10687,297,10690,5554,10693,10700],{},"Стоит оговориться, что классическая U-образная картина — это идеализация. На современных глубоких сетях с миллионами и миллиардами параметров наблюдается явление ",[294,10688,10689],{},"двойного спуска",[92,10691,10692],{},"double descent",[140,10694,10696],{"className":10695},[143],[22,10697,10698],{"href":246},[148,10699,249],{},": при дальнейшем увеличении сложности после первого минимума ошибка снова падает. Объяснение этого феномена выходит за рамки темы; для нас важно, что классический компромисс смещения и разброса — рабочая модель для большинства практических задач, но не универсальный закон.",[10,10702,10704],{"id":10703},"построение-базовой-модели","Построение базовой модели",[128,10706,10708],{"id":10707},"понятие-baseline","Понятие baseline",[85,10710,10711,10712,297,10715,10718,10719,10722],{},"Прежде чем браться за сложные модели — градиентный бустинг, глубокие сети, ансамбли — в задаче машинного обучения строят ",[294,10713,10714],{},"базовую модель",[92,10716,10717],{},"baseline","). Это простейшая стратегия предсказания, не предполагающая обучения как такового или обучения тривиального. Её роль — задать ",[294,10720,10721],{},"точку отсчёта",": любая более сложная модель должна давать качество существенно лучше базового, иначе её использование не оправдано.",[85,10724,10725,10726,10729],{},"Простейшие стратегии baseline зависят от типа задачи. В классификации стандартный выбор — предсказание мажоритарного класса (англ. ",[92,10727,10728],{},"most frequent","): всем объектам тестовой выборки приписывается тот класс, который чаще всего встречается в обучающей. Альтернатива — стратифицированный случайный выбор, при котором класс назначается с вероятностью, пропорциональной его доле. В регрессии аналог — предсказание среднего (или медианы) целевой переменной обучающей выборки.",[85,10731,10732],{},"Эти стратегии выглядят примитивно, но именно их простота делает их полезными. Если построенная классификация на медицинских данных даёт 95% accuracy, а baseline-стратегия «всем здоров» даёт 94% (поскольку класс «болен» встречается у 6% пациентов), то реальный вклад модели — 1 процентный пункт; и тогда уместно спросить, стоит ли он усилий по обучению, сопровождению и валидации. Без baseline это сравнение невозможно: показатель «95% точности» сам по себе ни о чём не говорит.",[362,10734,364,10735,364,10739],{},[366,10736],{"src":10737,"alt":10738},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Fbaseline_role.svg","Baseline как точка отсчёта: метрики моделей в сравнении с базовой стратегией",[370,10740,10738],{},[85,10742,10743,10744,10747,10748,10755],{},"Помимо тривиального baseline, полезно строить и ",[294,10745,10746],{},"разумный baseline"," — простую модель, реалистично пригодную к использованию. В классификации это часто логистическая регрессия на сырых или слабо обработанных признаках; в регрессии — линейная регрессия. Если градиентный бустинг даёт 0.92 ROC AUC, а логистическая регрессия — 0.90, прирост качества от перехода к сложной модели надо взвешивать с её стоимостью: обучение бустинга дольше, интерпретируемость хуже, риск переобучения выше. Этот разговор — сколько мы готовы платить за процент точности — содержательнее любого спора об «лучшей модели вообще». На него прямо указывает классический обзор практических уроков машинного обучения ",[140,10749,10751],{"className":10750},[143],[22,10752,10753],{"href":262},[148,10754,265],{},", где правило «попробуй простое прежде сложного» названо одним из самых стабильных.",[85,10757,10758],{},"Критерии перехода от baseline к более сложным методам — это разница метрик, превышающая шум их оценки. Если baseline даёт accuracy 0.85 ± 0.02 (среднее ± стандартное отклонение по кросс-валидации), а более сложная модель — 0.86 ± 0.02, то их доверительные интервалы перекрываются и переход неоправдан; если 0.92 ± 0.02 — переход осмыслен. Методам корректной оценки доверительных интервалов и сравнения моделей посвящена тема 7.",[128,10760,10762],{"id":10761},"связь-с-подготовкой-данных","Связь с подготовкой данных",[85,10764,10765],{},"В курсе «Введение в анализ данных» (ВвАД) обсуждались методы подготовки признакового пространства: очистка от пропусков, обработка выбросов, кодирование категориальных признаков, масштабирование. Эта работа — фундамент машинного обучения: качество модели определяется качеством признаков не меньше, чем выбором алгоритма.",[85,10767,10768,10769,10772],{},"Принцип «мусор на входе — мусор на выходе» (англ. ",[92,10770,10771],{},"garbage in, garbage out",") применим к машинному обучению с двойной силой. Алгоритм не способен компенсировать неинформативные признаки или системные ошибки в разметке — он лишь подберёт параметры, максимально согласующиеся с тем, что ему дали. Если в разметке систематически путаются два класса, модель воспроизведёт эту путаницу. Если важный для задачи признак не зафиксирован, никакая глубокая сеть его не вычислит из доступных.",[85,10774,10775,10776,10783],{},"Практический вывод — на начальных этапах проекта машинного обучения время, потраченное на разведку данных, проверку разметки и инженерию признаков, оплачивается лучше, чем время, потраченное на подбор архитектур. Эту мысль регулярно повторяет практическая литература по ML ",[140,10777,10779],{"className":10778},[143],[22,10780,10781],{"href":275},[148,10782,278],{},", и она же отражена в правиле «80% работы дата-сайентиста — это подготовка данных».",[85,10785,10786],{},"В лабораторной работе по этой теме мы воспользуемся датасетом, подготовленным в курсе ВвАД, и построим на нём базовую модель. Никакой сложной алгоритмики — задача в том, чтобы корректно разделить данные, выбрать осмысленную метрику, посчитать baseline-стратегию и зафиксировать результат как точку отсчёта для всех последующих экспериментов.",[10,10788,560],{"id":559},[562,10790,10792,10795,10798,10801,10804,10807,10810,10813,10816,10819],{"className":10791},[565],[18,10793,10794],{"id":568},"Mitchell T. M. Machine Learning. — McGraw-Hill, 1997.",[18,10796,10797],{"id":572},"Samuel A. L. Some Studies in Machine Learning Using the Game of Checkers. — IBM Journal of Research and Development, 1959, С. 210–229, DOI: 10.1147\u002Frd.33.0210.",[18,10799,10800],{"id":576},"Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — Springer, 2009, DOI: 10.1007\u002F978-0-387-84858-7.",[18,10802,10803],{"id":580},"Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.",[18,10805,10806],{"id":584},"Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. — MIT Press, 2018.",[18,10808,10809],{"id":588},"Kaufman S., Rosset S., Perlich C., Stitelman O. Leakage in Data Mining: Formulation, Detection, and Avoidance. — ACM Transactions on Knowledge Discovery from Data, 2012, С. 15:1–15:21, DOI: 10.1145\u002F2382577.2382579.",[18,10811,10812],{"id":592},"Geman S., Bienenstock É., Doursat R. Neural Networks and the Bias\u002FVariance Dilemma. — Neural Computation, 1992, С. 1–58, DOI: 10.1162\u002Fneco.1992.4.1.1.",[18,10814,10815],{"id":596},"Belkin M., Hsu D., Ma S., Mandal S. Reconciling Modern Machine-Learning Practice and the Classical Bias-Variance Trade-off. — Proceedings of the National Academy of Sciences, 2019, С. 15849–15854, DOI: 10.1073\u002Fpnas.1903070116.",[18,10817,10818],{"id":600},"Domingos P. A Few Useful Things to Know About Machine Learning. — Communications of the ACM, 2012, С. 78–87, DOI: 10.1145\u002F2347736.2347755.",[18,10820,10821],{"id":604},"Kuhn M., Johnson K. Feature Engineering and Selection: A Practical Approach for Predictive Models. — Chapman and Hall\u002FCRC, 2019, DOI: 10.1201\u002F9781315108230.",{"title":35,"searchDepth":36,"depth":36,"links":10823},[10824,10828,10832,10836],{"id":5746,"depth":36,"text":5747,"children":10825},[10826,10827],{"id":5750,"depth":631,"text":5751},{"id":7851,"depth":631,"text":7852},{"id":8117,"depth":36,"text":8118,"children":10829},[10830,10831],{"id":8121,"depth":631,"text":8122},{"id":8248,"depth":631,"text":8249},{"id":10703,"depth":36,"text":10704,"children":10833},[10834,10835],{"id":10707,"depth":631,"text":10708},{"id":10761,"depth":631,"text":10762},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-03-content",{"title":5732,"description":5740},"courses\u002Faidt-iot-mii\u002Ftopic-03-content","topic-03","UnDH88JsNKSni1b9fafJIcNAhxt_usNQn7K8VKZz_sc",{"id":10844,"title":10845,"body":10846,"course_slug":39,"description":10853,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":22815,"navigation":44,"path":22816,"section":106,"seo":22817,"stem":22818,"topic_number":22819,"topic_slug":22820,"__hash__":22821},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-04-content.md","Тема 4. Классификация",{"type":7,"value":10847,"toc":22800},[10848,10851,10854,10886,10890,10894,11844,11964,11972,12300,12432,12436,12440,12458,12776,12973,13788,13797,13864,14431,14550,14935,15254,15258,15412,15536,16390,16900,16903,17129,17291,17323,17327,17524,17527,18438,18470,18490,18493,18497,18528,19424,19433,20159,21219,21407,21411,21415,21425,21486,21524,21533,21740,21960,21970,22189,22441,22676,22693,22762,22765,22767],[81,10849,10845],{"id":10850},"тема-4-классификация",[85,10852,10853],{},"В теме 3 мы построили общий каркас обучения с учителем: выборка, функция потерь, разделение данных, оценка качества и baseline. Теперь применим этот каркас к первому конкретному семейству задач — классификации. Это та область, с которой исторически началось машинное обучение как практическая инженерная дисциплина: фильтрация спама, распознавание рукописных цифр, медицинская диагностика, кредитный скоринг. Все эти задачи сводятся к одной формальной постановке — приписать объекту одну из конечного числа меток.",[85,10855,10856,10857,10885],{},"В рамках темы мы разберём четыре опорных алгоритма: логистическую регрессию, метод ",[148,10858,10860,10873],{"className":10859},[680],[148,10861,10863],{"className":10862},[684],[686,10864,10865],{"xmlns":688},[690,10866,10867,10871],{},[693,10868,10869],{},[769,10870,2572],{},[705,10872,2572],{"encoding":707},[148,10874,10876],{"className":10875,"ariaHidden":713},[712],[148,10877,10879,10882],{"className":10878},[717],[148,10880],{"className":10881,"style":2415},[721],[148,10883,2572],{"className":10884,"style":2587},[726,1064]," ближайших соседей, деревья решений и метод опорных векторов. Они выбраны не как «самые лучшие», а как методически взаимодополняющие — каждый воплощает отдельный принцип построения классификатора. На сравнительном примере мы увидим, чем они различаются, и научимся выбирать метрику качества, адекватную задаче.",[10,10887,10889],{"id":10888},"задача-классификации","Задача классификации",[128,10891,10893],{"id":10892},"постановка-задачи","Постановка задачи",[85,10895,10896,10897,3157,11131,11253,11254,11323,11324,11498,11499,11550,11551,297,11554,11557,11558,11610,11611,11673,11674,11726,11727,297,11730,11733,11734,11737,11738,11766,11767,11737,11770,11843],{},"Сохраняя обозначения темы 3, рассмотрим обучающую выборку ",[148,10898,10900,10949],{"className":10899},[680],[148,10901,10903],{"className":10902},[684],[686,10904,10905],{"xmlns":688},[690,10906,10907,10947],{},[693,10908,10909,10911,10913,10915,10917,10923,10925,10931,10933],{},[769,10910,6169],{},[699,10912,777],{},[699,10914,6174],{"stretchy":766},[699,10916,2748],{"stretchy":766},[1038,10918,10919,10921],{},[769,10920,6055],{},[769,10922,6183],{},[699,10924,1205],{"separator":713},[1038,10926,10927,10929],{},[769,10928,6060],{},[769,10930,6183],{},[699,10932,2757],{"stretchy":766},[6195,10934,10935,10937,10945],{},[699,10936,6199],{"stretchy":766},[693,10938,10939,10941,10943],{},[769,10940,6183],{},[699,10942,777],{},[696,10944,150],{},[769,10946,1566],{},[705,10948,6212],{"encoding":707},[148,10950,10952,10970],{"className":10951,"ariaHidden":713},[712],[148,10953,10955,10958,10961,10964,10967],{"className":10954},[717],[148,10956],{"className":10957,"style":1344},[721],[148,10959,6169],{"className":10960,"style":2774},[726,1064],[148,10962],{"className":10963,"style":815},[730],[148,10965,777],{"className":10966},[819],[148,10968],{"className":10969,"style":815},[730],[148,10971,10973,10976,10979,11019,11022,11025,11065,11068],{"className":10972},[717],[148,10974],{"className":10975,"style":6240},[721],[148,10977,6244],{"className":10978},[1242],[148,10980,10982,10985],{"className":10981},[726],[148,10983,6055],{"className":10984},[726,1064],[148,10986,10988],{"className":10987},[977],[148,10989,10991,11011],{"className":10990},[981,1071],[148,10992,10994,11008],{"className":10993},[985],[148,10995,10997],{"className":10996,"style":6263},[989],[148,10998,10999,11002],{"style":1081},[148,11000],{"className":11001,"style":997},[996],[148,11003,11005],{"className":11004},[1001,1002,1003,1004],[148,11006,6183],{"className":11007},[726,1064,1004],[148,11009,1095],{"className":11010},[1094],[148,11012,11014],{"className":11013},[985],[148,11015,11017],{"className":11016,"style":1102},[989],[148,11018],{},[148,11020,1205],{"className":11021},[1250],[148,11023],{"className":11024,"style":835},[730],[148,11026,11028,11031],{"className":11027},[726],[148,11029,6060],{"className":11030,"style":4185},[726,1064],[148,11032,11034],{"className":11033},[977],[148,11035,11037,11057],{"className":11036},[981,1071],[148,11038,11040,11054],{"className":11039},[985],[148,11041,11043],{"className":11042,"style":6263},[989],[148,11044,11045,11048],{"style":6312},[148,11046],{"className":11047,"style":997},[996],[148,11049,11051],{"className":11050},[1001,1002,1003,1004],[148,11052,6183],{"className":11053},[726,1064,1004],[148,11055,1095],{"className":11056},[1094],[148,11058,11060],{"className":11059},[985],[148,11061,11063],{"className":11062,"style":1102},[989],[148,11064],{},[148,11066,2757],{"className":11067},[807],[148,11069,11071,11074],{"className":11070},[807],[148,11072,6199],{"className":11073},[807],[148,11075,11077],{"className":11076},[977],[148,11078,11080,11123],{"className":11079},[981,1071],[148,11081,11083,11120],{"className":11082},[985],[148,11084,11086,11106],{"className":11085,"style":6354},[989],[148,11087,11088,11091],{"style":6357},[148,11089],{"className":11090,"style":997},[996],[148,11092,11094],{"className":11093},[1001,1002,1003,1004],[148,11095,11097,11100,11103],{"className":11096},[726,1004],[148,11098,6183],{"className":11099},[726,1064,1004],[148,11101,777],{"className":11102},[819,1004],[148,11104,150],{"className":11105},[726,1004],[148,11107,11108,11111],{"style":992},[148,11109],{"className":11110,"style":997},[996],[148,11112,11114],{"className":11113},[1001,1002,1003,1004],[148,11115,11117],{"className":11116},[726,1004],[148,11118,1566],{"className":11119},[726,1064,1004],[148,11121,1095],{"className":11122},[1094],[148,11124,11126],{"className":11125},[985],[148,11127,11129],{"className":11128,"style":6399},[989],[148,11130],{},[148,11132,11134,11160],{"className":11133},[680],[148,11135,11137],{"className":11136},[684],[686,11138,11139],{"xmlns":688},[690,11140,11141,11157],{},[693,11142,11143,11149,11151],{},[1038,11144,11145,11147],{},[769,11146,6055],{},[769,11148,6183],{},[699,11150,1369],{},[921,11152,11153,11155],{},[769,11154,7214],{"mathvariant":6847},[769,11156,2437],{},[705,11158,11159],{"encoding":707},"x_i \\in \\mathbb{R}^d",[148,11161,11163,11218],{"className":11162,"ariaHidden":713},[712],[148,11164,11166,11169,11209,11212,11215],{"className":11165},[717],[148,11167],{"className":11168,"style":1384},[721],[148,11170,11172,11175],{"className":11171},[726],[148,11173,6055],{"className":11174},[726,1064],[148,11176,11178],{"className":11177},[977],[148,11179,11181,11201],{"className":11180},[981,1071],[148,11182,11184,11198],{"className":11183},[985],[148,11185,11187],{"className":11186,"style":6263},[989],[148,11188,11189,11192],{"style":1081},[148,11190],{"className":11191,"style":997},[996],[148,11193,11195],{"className":11194},[1001,1002,1003,1004],[148,11196,6183],{"className":11197},[726,1064,1004],[148,11199,1095],{"className":11200},[1094],[148,11202,11204],{"className":11203},[985],[148,11205,11207],{"className":11206,"style":1102},[989],[148,11208],{},[148,11210],{"className":11211,"style":815},[730],[148,11213,1369],{"className":11214},[819],[148,11216],{"className":11217,"style":815},[730],[148,11219,11221,11224],{"className":11220},[717],[148,11222],{"className":11223,"style":2796},[721],[148,11225,11227,11230],{"className":11226},[726],[148,11228,7214],{"className":11229},[726,7309],[148,11231,11233],{"className":11232},[977],[148,11234,11236],{"className":11235},[981],[148,11237,11239],{"className":11238},[985],[148,11240,11242],{"className":11241,"style":2796},[989],[148,11243,11244,11247],{"style":992},[148,11245],{"className":11246,"style":997},[996],[148,11248,11250],{"className":11249},[1001,1002,1003,1004],[148,11251,2437],{"className":11252},[726,1064,1004]," — вектор признаков объекта, а ответ ",[148,11255,11257,11274],{"className":11256},[680],[148,11258,11260],{"className":11259},[684],[686,11261,11262],{"xmlns":688},[690,11263,11264,11272],{},[693,11265,11266],{},[1038,11267,11268,11270],{},[769,11269,6060],{},[769,11271,6183],{},[705,11273,8040],{"encoding":707},[148,11275,11277],{"className":11276,"ariaHidden":713},[712],[148,11278,11280,11283],{"className":11279},[717],[148,11281],{"className":11282,"style":1579},[721],[148,11284,11286,11289],{"className":11285},[726],[148,11287,6060],{"className":11288,"style":4185},[726,1064],[148,11290,11292],{"className":11291},[977],[148,11293,11295,11315],{"className":11294},[981,1071],[148,11296,11298,11312],{"className":11297},[985],[148,11299,11301],{"className":11300,"style":6263},[989],[148,11302,11303,11306],{"style":6312},[148,11304],{"className":11305,"style":997},[996],[148,11307,11309],{"className":11308},[1001,1002,1003,1004],[148,11310,6183],{"className":11311},[726,1064,1004],[148,11313,1095],{"className":11314},[1094],[148,11316,11318],{"className":11317},[985],[148,11319,11321],{"className":11320,"style":1102},[989],[148,11322],{}," принимает значения из конечного множества меток ",[148,11325,11327,11366],{"className":11326},[680],[148,11328,11330],{"className":11329},[684],[686,11331,11332],{"xmlns":688},[690,11333,11334,11363],{},[693,11335,11336,11338,11340,11342,11348,11350,11352,11354,11361],{},[769,11337,6018],{"mathvariant":5984},[699,11339,777],{},[699,11341,6174],{"stretchy":766},[1038,11343,11344,11346],{},[769,11345,4801],{},[696,11347,150],{},[699,11349,1205],{"separator":713},[699,11351,1557],{},[699,11353,1205],{"separator":713},[1038,11355,11356,11358],{},[769,11357,4801],{},[769,11359,11360],{},"K",[699,11362,6199],{"stretchy":766},[705,11364,11365],{"encoding":707},"\\mathcal{Y} = \\{c_1, \\ldots, c_K\\}",[148,11367,11369,11387],{"className":11368,"ariaHidden":713},[712],[148,11370,11372,11375,11378,11381,11384],{"className":11371},[717],[148,11373],{"className":11374,"style":6031},[721],[148,11376,6018],{"className":11377,"style":6035},[726,6001],[148,11379],{"className":11380,"style":815},[730],[148,11382,777],{"className":11383},[819],[148,11385],{"className":11386,"style":815},[730],[148,11388,11390,11393,11396,11436,11439,11442,11445,11448,11451,11454,11495],{"className":11389},[717],[148,11391],{"className":11392,"style":800},[721],[148,11394,6174],{"className":11395},[1242],[148,11397,11399,11402],{"className":11398},[726],[148,11400,4801],{"className":11401},[726,1064],[148,11403,11405],{"className":11404},[977],[148,11406,11408,11428],{"className":11407},[981,1071],[148,11409,11411,11425],{"className":11410},[985],[148,11412,11414],{"className":11413,"style":1078},[989],[148,11415,11416,11419],{"style":1081},[148,11417],{"className":11418,"style":997},[996],[148,11420,11422],{"className":11421},[1001,1002,1003,1004],[148,11423,150],{"className":11424},[726,1004],[148,11426,1095],{"className":11427},[1094],[148,11429,11431],{"className":11430},[985],[148,11432,11434],{"className":11433,"style":1102},[989],[148,11435],{},[148,11437,1205],{"className":11438},[1250],[148,11440],{"className":11441,"style":835},[730],[148,11443,1557],{"className":11444},[1675],[148,11446],{"className":11447,"style":835},[730],[148,11449,1205],{"className":11450},[1250],[148,11452],{"className":11453,"style":835},[730],[148,11455,11457,11460],{"className":11456},[726],[148,11458,4801],{"className":11459},[726,1064],[148,11461,11463],{"className":11462},[977],[148,11464,11466,11487],{"className":11465},[981,1071],[148,11467,11469,11484],{"className":11468},[985],[148,11470,11472],{"className":11471,"style":8533},[989],[148,11473,11474,11477],{"style":1081},[148,11475],{"className":11476,"style":997},[996],[148,11478,11480],{"className":11479},[1001,1002,1003,1004],[148,11481,11360],{"className":11482,"style":11483},[726,1064,1004],"margin-right:0.0715em;",[148,11485,1095],{"className":11486},[1094],[148,11488,11490],{"className":11489},[985],[148,11491,11493],{"className":11492,"style":1102},[989],[148,11494],{},[148,11496,6199],{"className":11497},[807],". Если ",[148,11500,11502,11520],{"className":11501},[680],[148,11503,11505],{"className":11504},[684],[686,11506,11507],{"xmlns":688},[690,11508,11509,11517],{},[693,11510,11511,11513,11515],{},[769,11512,11360],{},[699,11514,777],{},[696,11516,163],{},[705,11518,11519],{"encoding":707},"K = 2",[148,11521,11523,11541],{"className":11522,"ariaHidden":713},[712],[148,11524,11526,11529,11532,11535,11538],{"className":11525},[717],[148,11527],{"className":11528,"style":1344},[721],[148,11530,11360],{"className":11531,"style":11483},[726,1064],[148,11533],{"className":11534,"style":815},[730],[148,11536,777],{"className":11537},[819],[148,11539],{"className":11540,"style":815},[730],[148,11542,11544,11547],{"className":11543},[717],[148,11545],{"className":11546,"style":745},[721],[148,11548,163],{"className":11549},[726],", говорят о ",[294,11552,11553],{},"бинарной классификации",[92,11555,11556],{},"binary classification",") — две метки, обычно обозначаемые ",[148,11559,11561,11583],{"className":11560},[680],[148,11562,11564],{"className":11563},[684],[686,11565,11566],{"xmlns":688},[690,11567,11568,11580],{},[693,11569,11570,11572,11574,11576,11578],{},[699,11571,6174],{"stretchy":766},[696,11573,973],{},[699,11575,1205],{"separator":713},[696,11577,150],{},[699,11579,6199],{"stretchy":766},[705,11581,11582],{"encoding":707},"\\{0, 1\\}",[148,11584,11586],{"className":11585,"ariaHidden":713},[712],[148,11587,11589,11592,11595,11598,11601,11604,11607],{"className":11588},[717],[148,11590],{"className":11591,"style":800},[721],[148,11593,6174],{"className":11594},[1242],[148,11596,973],{"className":11597},[726],[148,11599,1205],{"className":11600},[1250],[148,11602],{"className":11603,"style":835},[730],[148,11605,150],{"className":11606},[726],[148,11608,6199],{"className":11609},[807]," или ",[148,11612,11614,11640],{"className":11613},[680],[148,11615,11617],{"className":11616},[684],[686,11618,11619],{"xmlns":688},[690,11620,11621,11637],{},[693,11622,11623,11625,11627,11629,11631,11633,11635],{},[699,11624,6174],{"stretchy":766},[699,11626,3325],{},[696,11628,150],{},[699,11630,1205],{"separator":713},[699,11632,2605],{},[696,11634,150],{},[699,11636,6199],{"stretchy":766},[705,11638,11639],{"encoding":707},"\\{-1, +1\\}",[148,11641,11643],{"className":11642,"ariaHidden":713},[712],[148,11644,11646,11649,11652,11655,11658,11661,11664,11667,11670],{"className":11645},[717],[148,11647],{"className":11648,"style":800},[721],[148,11650,6174],{"className":11651},[1242],[148,11653,3325],{"className":11654},[726],[148,11656,150],{"className":11657},[726],[148,11659,1205],{"className":11660},[1250],[148,11662],{"className":11663,"style":835},[730],[148,11665,2605],{"className":11666},[726],[148,11668,150],{"className":11669},[726],[148,11671,6199],{"className":11672},[807],"; при ",[148,11675,11677,11695],{"className":11676},[680],[148,11678,11680],{"className":11679},[684],[686,11681,11682],{"xmlns":688},[690,11683,11684,11692],{},[693,11685,11686,11688,11690],{},[769,11687,11360],{},[699,11689,3235],{},[696,11691,163],{},[705,11693,11694],{"encoding":707},"K > 2",[148,11696,11698,11717],{"className":11697,"ariaHidden":713},[712],[148,11699,11701,11705,11708,11711,11714],{"className":11700},[717],[148,11702],{"className":11703,"style":11704},[721],"height:0.7224em;vertical-align:-0.0391em;",[148,11706,11360],{"className":11707,"style":11483},[726,1064],[148,11709],{"className":11710,"style":815},[730],[148,11712,3235],{"className":11713},[819],[148,11715],{"className":11716,"style":815},[730],[148,11718,11720,11723],{"className":11719},[717],[148,11721],{"className":11722,"style":745},[721],[148,11724,163],{"className":11725},[726]," задача называется ",[294,11728,11729],{},"многоклассовой",[92,11731,11732],{},"multiclass classification","). Бинарный случай содержательно богаче, чем кажется: к нему сводится множество практических задач — «отказ \u002F одобрение», «болен \u002F здоров», «мошенничество \u002F норма». Многие алгоритмы изначально формулируются для бинарного случая, а многоклассовая постановка получается обёртками: «один против всех» (англ. ",[92,11735,11736],{},"one-vs-rest",") обучает ",[148,11739,11741,11754],{"className":11740},[680],[148,11742,11744],{"className":11743},[684],[686,11745,11746],{"xmlns":688},[690,11747,11748,11752],{},[693,11749,11750],{},[769,11751,11360],{},[705,11753,11360],{"encoding":707},[148,11755,11757],{"className":11756,"ariaHidden":713},[712],[148,11758,11760,11763],{"className":11759},[717],[148,11761],{"className":11762,"style":1344},[721],[148,11764,11360],{"className":11765,"style":11483},[726,1064]," бинарных моделей, каждая отделяет свой класс от остальных; «один против одного» (англ. ",[92,11768,11769],{},"one-vs-one",[148,11771,11773,11801],{"className":11772},[680],[148,11774,11776],{"className":11775},[684],[686,11777,11778],{"xmlns":688},[690,11779,11780,11798],{},[693,11781,11782,11784,11786,11788,11790,11792,11794,11796],{},[769,11783,11360],{},[699,11785,2748],{"stretchy":766},[769,11787,11360],{},[699,11789,3325],{},[696,11791,150],{},[699,11793,2757],{"stretchy":766},[769,11795,772],{"mathvariant":771},[696,11797,163],{},[705,11799,11800],{"encoding":707},"K(K-1)\u002F2",[148,11802,11804,11828],{"className":11803,"ariaHidden":713},[712],[148,11805,11807,11810,11813,11816,11819,11822,11825],{"className":11806},[717],[148,11808],{"className":11809,"style":800},[721],[148,11811,11360],{"className":11812,"style":11483},[726,1064],[148,11814,2748],{"className":11815},[1242],[148,11817,11360],{"className":11818,"style":11483},[726,1064],[148,11820],{"className":11821,"style":731},[730],[148,11823,3325],{"className":11824},[735],[148,11826],{"className":11827,"style":731},[730],[148,11829,11831,11834,11837,11840],{"className":11830},[717],[148,11832],{"className":11833,"style":800},[721],[148,11835,150],{"className":11836},[726],[148,11838,2757],{"className":11839},[807],[148,11841,811],{"className":11842},[726]," попарных классификаторов и агрегирует их голоса.",[85,11845,11846,11847,297,11850,11853,11854,11882,11883,11934,11935,11963],{},"Геометрически работа классификатора — это разбиение признакового пространства на области, каждая из которых отвечает за свой класс. Граница между областями называется ",[294,11848,11849],{},"разделяющей поверхностью",[92,11851,11852],{},"decision boundary","). В двумерном случае она — кривая на плоскости; в ",[148,11855,11857,11870],{"className":11856},[680],[148,11858,11860],{"className":11859},[684],[686,11861,11862],{"xmlns":688},[690,11863,11864,11868],{},[693,11865,11866],{},[769,11867,2437],{},[705,11869,2437],{"encoding":707},[148,11871,11873],{"className":11872,"ariaHidden":713},[712],[148,11874,11876,11879],{"className":11875},[717],[148,11877],{"className":11878,"style":2415},[721],[148,11880,2437],{"className":11881},[726,1064],"-мерном — поверхность размерности ",[148,11884,11886,11904],{"className":11885},[680],[148,11887,11889],{"className":11888},[684],[686,11890,11891],{"xmlns":688},[690,11892,11893,11901],{},[693,11894,11895,11897,11899],{},[769,11896,2437],{},[699,11898,3325],{},[696,11900,150],{},[705,11902,11903],{"encoding":707},"d-1",[148,11905,11907,11925],{"className":11906,"ariaHidden":713},[712],[148,11908,11910,11913,11916,11919,11922],{"className":11909},[717],[148,11911],{"className":11912,"style":2620},[721],[148,11914,2437],{"className":11915},[726,1064],[148,11917],{"className":11918,"style":731},[730],[148,11920,3325],{"className":11921},[735],[148,11923],{"className":11924,"style":731},[730],[148,11926,11928,11931],{"className":11927},[717],[148,11929],{"className":11930,"style":745},[721],[148,11932,150],{"className":11933},[726],". Форма этой поверхности — главный различительный признак алгоритмов классификации: у логистической регрессии и линейного SVM она линейна, у ",[148,11936,11938,11951],{"className":11937},[680],[148,11939,11941],{"className":11940},[684],[686,11942,11943],{"xmlns":688},[690,11944,11945,11949],{},[693,11946,11947],{},[769,11948,2572],{},[705,11950,2572],{"encoding":707},[148,11952,11954],{"className":11953,"ariaHidden":713},[712],[148,11955,11957,11960],{"className":11956},[717],[148,11958],{"className":11959,"style":2415},[721],[148,11961,2572],{"className":11962,"style":2587},[726,1064],"-NN и деревьев — кусочно-постоянна, у SVM с ядром или нейронной сети — произвольно гладкая.",[362,11965,364,11966,364,11970],{},[366,11967],{"src":11968,"alt":11969},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Fdecision_boundary_classifiers.svg","Разделяющие поверхности четырёх классификаторов на одной и той же двумерной выборке",[370,11971,11969],{},[85,11973,11974,11975,297,11978,11981,11982,12145,12146,12299],{},"Помимо самой метки, классификатор часто выдаёт ",[294,11976,11977],{},"апостериорную вероятность",[92,11979,11980],{},"posterior probability",") — оценку ",[148,11983,11985,12022],{"className":11984},[680],[148,11986,11988],{"className":11987},[684],[686,11989,11990],{"xmlns":688},[690,11991,11992,12019],{},[693,11993,11994,12000,12002,12004,12006,12012,12015,12017],{},[6416,11995,11996,11998],{"accent":713},[769,11997,5838],{},[699,11999,6422],{},[699,12001,2748],{"stretchy":766},[769,12003,6060],{},[699,12005,777],{},[1038,12007,12008,12010],{},[769,12009,4801],{},[769,12011,2572],{},[699,12013,12014],{},"∣",[769,12016,6055],{},[699,12018,2757],{"stretchy":766},[705,12020,12021],{"encoding":707},"\\hat{P}(y = c_k \\mid x)",[148,12023,12025,12077,12133],{"className":12024,"ariaHidden":713},[712],[148,12026,12028,12031,12062,12065,12068,12071,12074],{"className":12027},[717],[148,12029],{"className":12030,"style":7485},[721],[148,12032,12034],{"className":12033},[726,6449],[148,12035,12037],{"className":12036},[981],[148,12038,12040],{"className":12039},[985],[148,12041,12043,12051],{"className":12042,"style":7498},[989],[148,12044,12045,12048],{"style":6462},[148,12046],{"className":12047,"style":3367},[996],[148,12049,5838],{"className":12050,"style":5822},[726,1064],[148,12052,12053,12056],{"style":7509},[148,12054],{"className":12055,"style":3367},[996],[148,12057,12059],{"className":12058,"style":7516},[6478],[148,12060,6422],{"className":12061},[726],[148,12063,2748],{"className":12064},[1242],[148,12066,6060],{"className":12067,"style":4185},[726,1064],[148,12069],{"className":12070,"style":815},[730],[148,12072,777],{"className":12073},[819],[148,12075],{"className":12076,"style":815},[730],[148,12078,12080,12083,12124,12127,12130],{"className":12079},[717],[148,12081],{"className":12082,"style":800},[721],[148,12084,12086,12089],{"className":12085},[726],[148,12087,4801],{"className":12088},[726,1064],[148,12090,12092],{"className":12091},[977],[148,12093,12095,12116],{"className":12094},[981,1071],[148,12096,12098,12113],{"className":12097},[985],[148,12099,12102],{"className":12100,"style":12101},[989],"height:0.3361em;",[148,12103,12104,12107],{"style":1081},[148,12105],{"className":12106,"style":997},[996],[148,12108,12110],{"className":12109},[1001,1002,1003,1004],[148,12111,2572],{"className":12112,"style":2587},[726,1064,1004],[148,12114,1095],{"className":12115},[1094],[148,12117,12119],{"className":12118},[985],[148,12120,12122],{"className":12121,"style":1102},[989],[148,12123],{},[148,12125],{"className":12126,"style":815},[730],[148,12128,12014],{"className":12129},[819],[148,12131],{"className":12132,"style":815},[730],[148,12134,12136,12139,12142],{"className":12135},[717],[148,12137],{"className":12138,"style":800},[721],[148,12140,6055],{"className":12141},[726,1064],[148,12143,2757],{"className":12144},[807],". Эта величина отвечает на более информативный вопрос, чем просто метка: «насколько модель уверена в своём ответе». Из вероятности легко получить метку — взяв класс с максимальным значением; из метки получить вероятность нельзя. На вероятностных выходах построены пороговые правила (применять модель только при ",[148,12147,12149,12186],{"className":12148},[680],[148,12150,12152],{"className":12151},[684],[686,12153,12154],{"xmlns":688},[690,12155,12156,12183],{},[693,12157,12158,12164,12166,12168,12170,12172,12174,12176,12178,12180],{},[6416,12159,12160,12162],{"accent":713},[769,12161,5838],{},[699,12163,6422],{},[699,12165,2748],{"stretchy":766},[769,12167,6060],{},[699,12169,777],{},[696,12171,150],{},[699,12173,12014],{},[769,12175,6055],{},[699,12177,2757],{"stretchy":766},[699,12179,3235],{},[696,12181,12182],{},"0,8",[705,12184,12185],{"encoding":707},"\\hat{P}(y = 1 \\mid x) > 0{,}8",[148,12187,12189,12241,12259,12280],{"className":12188,"ariaHidden":713},[712],[148,12190,12192,12195,12226,12229,12232,12235,12238],{"className":12191},[717],[148,12193],{"className":12194,"style":7485},[721],[148,12196,12198],{"className":12197},[726,6449],[148,12199,12201],{"className":12200},[981],[148,12202,12204],{"className":12203},[985],[148,12205,12207,12215],{"className":12206,"style":7498},[989],[148,12208,12209,12212],{"style":6462},[148,12210],{"className":12211,"style":3367},[996],[148,12213,5838],{"className":12214,"style":5822},[726,1064],[148,12216,12217,12220],{"style":7509},[148,12218],{"className":12219,"style":3367},[996],[148,12221,12223],{"className":12222,"style":7516},[6478],[148,12224,6422],{"className":12225},[726],[148,12227,2748],{"className":12228},[1242],[148,12230,6060],{"className":12231,"style":4185},[726,1064],[148,12233],{"className":12234,"style":815},[730],[148,12236,777],{"className":12237},[819],[148,12239],{"className":12240,"style":815},[730],[148,12242,12244,12247,12250,12253,12256],{"className":12243},[717],[148,12245],{"className":12246,"style":800},[721],[148,12248,150],{"className":12249},[726],[148,12251],{"className":12252,"style":815},[730],[148,12254,12014],{"className":12255},[819],[148,12257],{"className":12258,"style":815},[730],[148,12260,12262,12265,12268,12271,12274,12277],{"className":12261},[717],[148,12263],{"className":12264,"style":800},[721],[148,12266,6055],{"className":12267},[726,1064],[148,12269,2757],{"className":12270},[807],[148,12272],{"className":12273,"style":815},[730],[148,12275,3235],{"className":12276},[819],[148,12278],{"className":12279,"style":815},[730],[148,12281,12283,12287,12290,12296],{"className":12282},[717],[148,12284],{"className":12285,"style":12286},[721],"height:0.8389em;vertical-align:-0.1944em;",[148,12288,973],{"className":12289},[726],[148,12291,12293],{"className":12292},[726],[148,12294,1205],{"className":12295},[1250],[148,12297,249],{"className":12298},[726],"), вычисление ожидаемой полезности при разных стоимостях ошибок, методы калибровки и большая часть метрик качества бинарной классификации.",[85,12301,12302,12303,12423,12424,12431],{},"Не все алгоритмы дают вероятностные оценки естественным образом. Логистическая регрессия по построению выдаёт ",[148,12304,12306,12338],{"className":12305},[680],[148,12307,12309],{"className":12308},[684],[686,12310,12311],{"xmlns":688},[690,12312,12313,12335],{},[693,12314,12315,12321,12323,12325,12327,12329,12331,12333],{},[6416,12316,12317,12319],{"accent":713},[769,12318,5838],{},[699,12320,6422],{},[699,12322,2748],{"stretchy":766},[769,12324,6060],{},[699,12326,777],{},[696,12328,150],{},[699,12330,12014],{},[769,12332,6055],{},[699,12334,2757],{"stretchy":766},[705,12336,12337],{"encoding":707},"\\hat{P}(y = 1 \\mid x)",[148,12339,12341,12393,12411],{"className":12340,"ariaHidden":713},[712],[148,12342,12344,12347,12378,12381,12384,12387,12390],{"className":12343},[717],[148,12345],{"className":12346,"style":7485},[721],[148,12348,12350],{"className":12349},[726,6449],[148,12351,12353],{"className":12352},[981],[148,12354,12356],{"className":12355},[985],[148,12357,12359,12367],{"className":12358,"style":7498},[989],[148,12360,12361,12364],{"style":6462},[148,12362],{"className":12363,"style":3367},[996],[148,12365,5838],{"className":12366,"style":5822},[726,1064],[148,12368,12369,12372],{"style":7509},[148,12370],{"className":12371,"style":3367},[996],[148,12373,12375],{"className":12374,"style":7516},[6478],[148,12376,6422],{"className":12377},[726],[148,12379,2748],{"className":12380},[1242],[148,12382,6060],{"className":12383,"style":4185},[726,1064],[148,12385],{"className":12386,"style":815},[730],[148,12388,777],{"className":12389},[819],[148,12391],{"className":12392,"style":815},[730],[148,12394,12396,12399,12402,12405,12408],{"className":12395},[717],[148,12397],{"className":12398,"style":800},[721],[148,12400,150],{"className":12401},[726],[148,12403],{"className":12404,"style":815},[730],[148,12406,12014],{"className":12407},[819],[148,12409],{"className":12410,"style":815},[730],[148,12412,12414,12417,12420],{"className":12413},[717],[148,12415],{"className":12416,"style":800},[721],[148,12418,6055],{"className":12419},[726,1064],[148,12421,2757],{"className":12422},[807],", наивный байесовский классификатор — тоже, но SVM в исходной формулировке возвращает только знак расстояния до разделяющей плоскости; для перехода к вероятностям применяется отдельная процедура калибровки ",[140,12425,12427],{"className":12426},[143],[22,12428,12429],{"href":146},[148,12430,150],{},". Эту разницу между «решающим» и «вероятностным» классификатором мы ещё используем при разговоре про метрики.",[10,12433,12435],{"id":12434},"основные-алгоритмы-классификации","Основные алгоритмы классификации",[128,12437,12439],{"id":12438},"логистическая-регрессия","Логистическая регрессия",[85,12441,12442,12443,297,12446,12449,12450,12457],{},"Несмотря на название, ",[294,12444,12445],{},"логистическая регрессия",[92,12447,12448],{},"logistic regression",") — алгоритм классификации, а не регрессии. Историческая инверсия восходит к работам Дэвида Кокса ",[140,12451,12453],{"className":12452},[143],[22,12454,12455],{"href":160},[148,12456,163],{},", предложившего этот метод для анализа бинарных исходов задолго до того, как машинное обучение оформилось как отдельная дисциплина.",[85,12459,12460,12461,3157,12575,12657,12658,12710,12711,12739,12740,12768,12769,297,12772,12775],{},"Идея простая. Сначала строится линейная комбинация признаков ",[148,12462,12464,12495],{"className":12463},[680],[148,12465,12467],{"className":12466},[684],[686,12468,12469],{"xmlns":688},[690,12470,12471,12492],{},[693,12472,12473,12476,12478,12486,12488,12490],{},[769,12474,12475],{},"z",[699,12477,777],{},[921,12479,12480,12483],{},[769,12481,12482],{},"w",[769,12484,12485],{"mathvariant":771},"⊤",[769,12487,6055],{},[699,12489,2605],{},[769,12491,2403],{},[705,12493,12494],{"encoding":707},"z = w^\\top x + b",[148,12496,12498,12517,12566],{"className":12497,"ariaHidden":713},[712],[148,12499,12501,12504,12508,12511,12514],{"className":12500},[717],[148,12502],{"className":12503,"style":2537},[721],[148,12505,12475],{"className":12506,"style":12507},[726,1064],"margin-right:0.044em;",[148,12509],{"className":12510,"style":815},[730],[148,12512,777],{"className":12513},[819],[148,12515],{"className":12516,"style":815},[730],[148,12518,12520,12524,12554,12557,12560,12563],{"className":12519},[717],[148,12521],{"className":12522,"style":12523},[721],"height:0.9324em;vertical-align:-0.0833em;",[148,12525,12527,12531],{"className":12526},[726],[148,12528,12482],{"className":12529,"style":12530},[726,1064],"margin-right:0.0269em;",[148,12532,12534],{"className":12533},[977],[148,12535,12537],{"className":12536},[981],[148,12538,12540],{"className":12539},[985],[148,12541,12543],{"className":12542,"style":2796},[989],[148,12544,12545,12548],{"style":992},[148,12546],{"className":12547,"style":997},[996],[148,12549,12551],{"className":12550},[1001,1002,1003,1004],[148,12552,12485],{"className":12553},[726,1004],[148,12555,6055],{"className":12556},[726,1064],[148,12558],{"className":12559,"style":731},[730],[148,12561,2605],{"className":12562},[735],[148,12564],{"className":12565,"style":731},[730],[148,12567,12569,12572],{"className":12568},[717],[148,12570],{"className":12571,"style":2415},[721],[148,12573,2403],{"className":12574},[726,1064],[148,12576,12578,12600],{"className":12577},[680],[148,12579,12581],{"className":12580},[684],[686,12582,12583],{"xmlns":688},[690,12584,12585,12597],{},[693,12586,12587,12589,12591],{},[769,12588,12482],{},[699,12590,1369],{},[921,12592,12593,12595],{},[769,12594,7214],{"mathvariant":6847},[769,12596,2437],{},[705,12598,12599],{"encoding":707},"w \\in \\mathbb{R}^d",[148,12601,12603,12622],{"className":12602,"ariaHidden":713},[712],[148,12604,12606,12610,12613,12616,12619],{"className":12605},[717],[148,12607],{"className":12608,"style":12609},[721],"height:0.5782em;vertical-align:-0.0391em;",[148,12611,12482],{"className":12612,"style":12530},[726,1064],[148,12614],{"className":12615,"style":815},[730],[148,12617,1369],{"className":12618},[819],[148,12620],{"className":12621,"style":815},[730],[148,12623,12625,12628],{"className":12624},[717],[148,12626],{"className":12627,"style":2796},[721],[148,12629,12631,12634],{"className":12630},[726],[148,12632,7214],{"className":12633},[726,7309],[148,12635,12637],{"className":12636},[977],[148,12638,12640],{"className":12639},[981],[148,12641,12643],{"className":12642},[985],[148,12644,12646],{"className":12645,"style":2796},[989],[148,12647,12648,12651],{"style":992},[148,12649],{"className":12650,"style":997},[996],[148,12652,12654],{"className":12653},[1001,1002,1003,1004],[148,12655,2437],{"className":12656},[726,1064,1004]," — вектор весов, ",[148,12659,12661,12679],{"className":12660},[680],[148,12662,12664],{"className":12663},[684],[686,12665,12666],{"xmlns":688},[690,12667,12668,12676],{},[693,12669,12670,12672,12674],{},[769,12671,2403],{},[699,12673,1369],{},[769,12675,7214],{"mathvariant":6847},[705,12677,12678],{"encoding":707},"b \\in \\mathbb{R}",[148,12680,12682,12700],{"className":12681,"ariaHidden":713},[712],[148,12683,12685,12688,12691,12694,12697],{"className":12684},[717],[148,12686],{"className":12687,"style":3250},[721],[148,12689,2403],{"className":12690},[726,1064],[148,12692],{"className":12693,"style":815},[730],[148,12695,1369],{"className":12696},[819],[148,12698],{"className":12699,"style":815},[730],[148,12701,12703,12707],{"className":12702},[717],[148,12704],{"className":12705,"style":12706},[721],"height:0.6889em;",[148,12708,7214],{"className":12709},[726,7309]," — смещение. Величина ",[148,12712,12714,12727],{"className":12713},[680],[148,12715,12717],{"className":12716},[684],[686,12718,12719],{"xmlns":688},[690,12720,12721,12725],{},[693,12722,12723],{},[769,12724,12475],{},[705,12726,12475],{"encoding":707},[148,12728,12730],{"className":12729,"ariaHidden":713},[712],[148,12731,12733,12736],{"className":12732},[717],[148,12734],{"className":12735,"style":2537},[721],[148,12737,12475],{"className":12738,"style":12507},[726,1064]," может принимать любые вещественные значения и сама по себе не интерпретируется как вероятность. Чтобы получить вероятность принадлежности к классу 1, ",[148,12741,12743,12756],{"className":12742},[680],[148,12744,12746],{"className":12745},[684],[686,12747,12748],{"xmlns":688},[690,12749,12750,12754],{},[693,12751,12752],{},[769,12753,12475],{},[705,12755,12475],{"encoding":707},[148,12757,12759],{"className":12758,"ariaHidden":713},[712],[148,12760,12762,12765],{"className":12761},[717],[148,12763],{"className":12764,"style":2537},[721],[148,12766,12475],{"className":12767,"style":12507},[726,1064]," пропускается через ",[294,12770,12771],{},"сигмоиду",[92,12773,12774],{},"sigmoid",") — функцию",[85,12777,12778],{},[148,12779,12781,12826],{"className":12780},[680],[148,12782,12784],{"className":12783},[684],[686,12785,12786],{"xmlns":688},[690,12787,12788,12823],{},[693,12789,12790,12792,12794,12796,12798,12800,12821],{},[769,12791,8391],{},[699,12793,2748],{"stretchy":766},[769,12795,12475],{},[699,12797,2757],{"stretchy":766},[699,12799,777],{},[3315,12801,12802,12804],{},[696,12803,150],{},[693,12805,12806,12808,12810],{},[696,12807,150],{},[699,12809,2605],{},[921,12811,12812,12815],{},[769,12813,12814],{},"e",[693,12816,12817,12819],{},[699,12818,3325],{},[769,12820,12475],{},[769,12822,26],{"mathvariant":771},[705,12824,12825],{"encoding":707},"\\sigma(z) = \\frac{1}{1 + e^{-z}}.",[148,12827,12829,12856],{"className":12828,"ariaHidden":713},[712],[148,12830,12832,12835,12838,12841,12844,12847,12850,12853],{"className":12831},[717],[148,12833],{"className":12834,"style":800},[721],[148,12836,8391],{"className":12837,"style":4185},[726,1064],[148,12839,2748],{"className":12840},[1242],[148,12842,12475],{"className":12843,"style":12507},[726,1064],[148,12845,2757],{"className":12846},[807],[148,12848],{"className":12849,"style":815},[730],[148,12851,777],{"className":12852},[819],[148,12854],{"className":12855,"style":815},[730],[148,12857,12859,12863,12970],{"className":12858},[717],[148,12860],{"className":12861,"style":12862},[721],"height:1.2484em;vertical-align:-0.4033em;",[148,12864,12866,12869,12967],{"className":12865},[726],[148,12867],{"className":12868},[1242,3347],[148,12870,12872],{"className":12871},[3315],[148,12873,12875,12959],{"className":12874},[981,1071],[148,12876,12878,12956],{"className":12877},[985],[148,12879,12881,12934,12942],{"className":12880,"style":7563},[989],[148,12882,12883,12886],{"style":3363},[148,12884],{"className":12885,"style":3367},[996],[148,12887,12889],{"className":12888},[1001,1002,1003,1004],[148,12890,12892,12895,12898],{"className":12891},[726,1004],[148,12893,150],{"className":12894},[726,1004],[148,12896,2605],{"className":12897},[735,1004],[148,12899,12901,12904],{"className":12900},[726,1004],[148,12902,12814],{"className":12903},[726,1064,1004],[148,12905,12907],{"className":12906},[977],[148,12908,12910],{"className":12909},[981],[148,12911,12913],{"className":12912},[985],[148,12914,12917],{"className":12915,"style":12916},[989],"height:0.7027em;",[148,12918,12919,12922],{"style":9141},[148,12920],{"className":12921,"style":9145},[996],[148,12923,12925],{"className":12924},[1001,9149,9150,1004],[148,12926,12928,12931],{"className":12927},[726,1004],[148,12929,3325],{"className":12930},[726,1004],[148,12932,12475],{"className":12933,"style":12507},[726,1064,1004],[148,12935,12936,12939],{"style":3385},[148,12937],{"className":12938,"style":3367},[996],[148,12940],{"className":12941,"style":3393},[3392],[148,12943,12944,12947],{"style":3396},[148,12945],{"className":12946,"style":3367},[996],[148,12948,12950],{"className":12949},[1001,1002,1003,1004],[148,12951,12953],{"className":12952},[726,1004],[148,12954,150],{"className":12955},[726,1004],[148,12957,1095],{"className":12958},[1094],[148,12960,12962],{"className":12961},[985],[148,12963,12965],{"className":12964,"style":3418},[989],[148,12966],{},[148,12968],{"className":12969},[807,3347],[148,12971,26],{"className":12972},[726],[85,12974,12975,12976,13005,13006,13058,13059,13126,13127,13341,13342,5166,13437,13569,13570,13678,13679,13787],{},"Сигмоида монотонно возрастает на ",[148,12977,12979,12993],{"className":12978},[680],[148,12980,12982],{"className":12981},[684],[686,12983,12984],{"xmlns":688},[690,12985,12986,12990],{},[693,12987,12988],{},[769,12989,7214],{"mathvariant":6847},[705,12991,12992],{"encoding":707},"\\mathbb{R}",[148,12994,12996],{"className":12995,"ariaHidden":713},[712],[148,12997,12999,13002],{"className":12998},[717],[148,13000],{"className":13001,"style":12706},[721],[148,13003,7214],{"className":13004},[726,7309],", принимает значения в интервале ",[148,13007,13009,13031],{"className":13008},[680],[148,13010,13012],{"className":13011},[684],[686,13013,13014],{"xmlns":688},[690,13015,13016,13028],{},[693,13017,13018,13020,13022,13024,13026],{},[699,13019,2748],{"stretchy":766},[696,13021,973],{},[699,13023,1205],{"separator":713},[696,13025,150],{},[699,13027,2757],{"stretchy":766},[705,13029,13030],{"encoding":707},"(0, 1)",[148,13032,13034],{"className":13033,"ariaHidden":713},[712],[148,13035,13037,13040,13043,13046,13049,13052,13055],{"className":13036},[717],[148,13038],{"className":13039,"style":800},[721],[148,13041,2748],{"className":13042},[1242],[148,13044,973],{"className":13045},[726],[148,13047,1205],{"className":13048},[1250],[148,13050],{"className":13051,"style":835},[730],[148,13053,150],{"className":13054},[726],[148,13056,2757],{"className":13057},[807]," и симметрична относительно точки ",[148,13060,13062,13087],{"className":13061},[680],[148,13063,13065],{"className":13064},[684],[686,13066,13067],{"xmlns":688},[690,13068,13069,13084],{},[693,13070,13071,13073,13075,13077,13079,13082],{},[699,13072,2748],{"stretchy":766},[696,13074,973],{},[699,13076,1205],{"separator":713},[782,13078,784],{},[696,13080,13081],{},"0,5",[699,13083,2757],{"stretchy":766},[705,13085,13086],{"encoding":707},"(0,\\, 0{,}5)",[148,13088,13090],{"className":13089,"ariaHidden":713},[712],[148,13091,13093,13096,13099,13102,13105,13108,13111,13114,13120,13123],{"className":13092},[717],[148,13094],{"className":13095,"style":800},[721],[148,13097,2748],{"className":13098},[1242],[148,13100,973],{"className":13101},[726],[148,13103,1205],{"className":13104},[1250],[148,13106],{"className":13107,"style":835},[730],[148,13109],{"className":13110,"style":835},[730],[148,13112,973],{"className":13113},[726],[148,13115,13117],{"className":13116},[726],[148,13118,1205],{"className":13119},[1250],[148,13121,213],{"className":13122},[726],[148,13124,2757],{"className":13125},[807],". Получаем вероятностную модель: ",[148,13128,13130,13182],{"className":13129},[680],[148,13131,13133],{"className":13132},[684],[686,13134,13135],{"xmlns":688},[690,13136,13137,13179],{},[693,13138,13139,13145,13147,13149,13151,13153,13155,13157,13159,13161,13163,13165,13171,13173,13175,13177],{},[6416,13140,13141,13143],{"accent":713},[769,13142,5838],{},[699,13144,6422],{},[699,13146,2748],{"stretchy":766},[769,13148,6060],{},[699,13150,777],{},[696,13152,150],{},[699,13154,12014],{},[769,13156,6055],{},[699,13158,2757],{"stretchy":766},[699,13160,777],{},[769,13162,8391],{},[699,13164,2748],{"stretchy":766},[921,13166,13167,13169],{},[769,13168,12482],{},[769,13170,12485],{"mathvariant":771},[769,13172,6055],{},[699,13174,2605],{},[769,13176,2403],{},[699,13178,2757],{"stretchy":766},[705,13180,13181],{"encoding":707},"\\hat{P}(y = 1 \\mid x) = \\sigma(w^\\top x + b)",[148,13183,13185,13237,13255,13276,13329],{"className":13184,"ariaHidden":713},[712],[148,13186,13188,13191,13222,13225,13228,13231,13234],{"className":13187},[717],[148,13189],{"className":13190,"style":7485},[721],[148,13192,13194],{"className":13193},[726,6449],[148,13195,13197],{"className":13196},[981],[148,13198,13200],{"className":13199},[985],[148,13201,13203,13211],{"className":13202,"style":7498},[989],[148,13204,13205,13208],{"style":6462},[148,13206],{"className":13207,"style":3367},[996],[148,13209,5838],{"className":13210,"style":5822},[726,1064],[148,13212,13213,13216],{"style":7509},[148,13214],{"className":13215,"style":3367},[996],[148,13217,13219],{"className":13218,"style":7516},[6478],[148,13220,6422],{"className":13221},[726],[148,13223,2748],{"className":13224},[1242],[148,13226,6060],{"className":13227,"style":4185},[726,1064],[148,13229],{"className":13230,"style":815},[730],[148,13232,777],{"className":13233},[819],[148,13235],{"className":13236,"style":815},[730],[148,13238,13240,13243,13246,13249,13252],{"className":13239},[717],[148,13241],{"className":13242,"style":800},[721],[148,13244,150],{"className":13245},[726],[148,13247],{"className":13248,"style":815},[730],[148,13250,12014],{"className":13251},[819],[148,13253],{"className":13254,"style":815},[730],[148,13256,13258,13261,13264,13267,13270,13273],{"className":13257},[717],[148,13259],{"className":13260,"style":800},[721],[148,13262,6055],{"className":13263},[726,1064],[148,13265,2757],{"className":13266},[807],[148,13268],{"className":13269,"style":815},[730],[148,13271,777],{"className":13272},[819],[148,13274],{"className":13275,"style":815},[730],[148,13277,13279,13282,13285,13288,13317,13320,13323,13326],{"className":13278},[717],[148,13280],{"className":13281,"style":2770},[721],[148,13283,8391],{"className":13284,"style":4185},[726,1064],[148,13286,2748],{"className":13287},[1242],[148,13289,13291,13294],{"className":13290},[726],[148,13292,12482],{"className":13293,"style":12530},[726,1064],[148,13295,13297],{"className":13296},[977],[148,13298,13300],{"className":13299},[981],[148,13301,13303],{"className":13302},[985],[148,13304,13306],{"className":13305,"style":2796},[989],[148,13307,13308,13311],{"style":992},[148,13309],{"className":13310,"style":997},[996],[148,13312,13314],{"className":13313},[1001,1002,1003,1004],[148,13315,12485],{"className":13316},[726,1004],[148,13318,6055],{"className":13319},[726,1064],[148,13321],{"className":13322,"style":731},[730],[148,13324,2605],{"className":13325},[735],[148,13327],{"className":13328,"style":731},[730],[148,13330,13332,13335,13338],{"className":13331},[717],[148,13333],{"className":13334,"style":800},[721],[148,13336,2403],{"className":13337},[726,1064],[148,13339,2757],{"className":13340},[807],". Решающее правило очевидно: ",[148,13343,13345,13367],{"className":13344},[680],[148,13346,13348],{"className":13347},[684],[686,13349,13350],{"xmlns":688},[690,13351,13352,13364],{},[693,13353,13354,13360,13362],{},[6416,13355,13356,13358],{"accent":713},[769,13357,6060],{},[699,13359,6422],{},[699,13361,777],{},[696,13363,150],{},[705,13365,13366],{"encoding":707},"\\hat{y} = 1",[148,13368,13370,13428],{"className":13369,"ariaHidden":713},[712],[148,13371,13373,13376,13419,13422,13425],{"className":13372},[717],[148,13374],{"className":13375,"style":6934},[721],[148,13377,13379],{"className":13378},[726,6449],[148,13380,13382,13411],{"className":13381},[981,1071],[148,13383,13385,13408],{"className":13384},[985],[148,13386,13388,13396],{"className":13387,"style":2415},[989],[148,13389,13390,13393],{"style":6462},[148,13391],{"className":13392,"style":3367},[996],[148,13394,6060],{"className":13395,"style":4185},[726,1064],[148,13397,13398,13401],{"style":6462},[148,13399],{"className":13400,"style":3367},[996],[148,13402,13405],{"className":13403,"style":13404},[6478],"left:-0.1944em;",[148,13406,6422],{"className":13407},[726],[148,13409,1095],{"className":13410},[1094],[148,13412,13414],{"className":13413},[985],[148,13415,13417],{"className":13416,"style":6492},[989],[148,13418],{},[148,13420],{"className":13421,"style":815},[730],[148,13423,777],{"className":13424},[819],[148,13426],{"className":13427,"style":815},[730],[148,13429,13431,13434],{"className":13430},[717],[148,13432],{"className":13433,"style":745},[721],[148,13435,150],{"className":13436},[726],[148,13438,13440,13474],{"className":13439},[680],[148,13441,13443],{"className":13442},[684],[686,13444,13445],{"xmlns":688},[690,13446,13447,13471],{},[693,13448,13449,13451,13453,13459,13461,13463,13465,13467,13469],{},[769,13450,8391],{},[699,13452,2748],{"stretchy":766},[921,13454,13455,13457],{},[769,13456,12482],{},[769,13458,12485],{"mathvariant":771},[769,13460,6055],{},[699,13462,2605],{},[769,13464,2403],{},[699,13466,2757],{"stretchy":766},[699,13468,3235],{},[696,13470,13081],{},[705,13472,13473],{"encoding":707},"\\sigma(w^\\top x + b) > 0{,}5",[148,13475,13477,13530,13551],{"className":13476,"ariaHidden":713},[712],[148,13478,13480,13483,13486,13489,13518,13521,13524,13527],{"className":13479},[717],[148,13481],{"className":13482,"style":2770},[721],[148,13484,8391],{"className":13485,"style":4185},[726,1064],[148,13487,2748],{"className":13488},[1242],[148,13490,13492,13495],{"className":13491},[726],[148,13493,12482],{"className":13494,"style":12530},[726,1064],[148,13496,13498],{"className":13497},[977],[148,13499,13501],{"className":13500},[981],[148,13502,13504],{"className":13503},[985],[148,13505,13507],{"className":13506,"style":2796},[989],[148,13508,13509,13512],{"style":992},[148,13510],{"className":13511,"style":997},[996],[148,13513,13515],{"className":13514},[1001,1002,1003,1004],[148,13516,12485],{"className":13517},[726,1004],[148,13519,6055],{"className":13520},[726,1064],[148,13522],{"className":13523,"style":731},[730],[148,13525,2605],{"className":13526},[735],[148,13528],{"className":13529,"style":731},[730],[148,13531,13533,13536,13539,13542,13545,13548],{"className":13532},[717],[148,13534],{"className":13535,"style":800},[721],[148,13537,2403],{"className":13538},[726,1064],[148,13540,2757],{"className":13541},[807],[148,13543],{"className":13544,"style":815},[730],[148,13546,3235],{"className":13547},[819],[148,13549],{"className":13550,"style":815},[730],[148,13552,13554,13557,13560,13566],{"className":13553},[717],[148,13555],{"className":13556,"style":12286},[721],[148,13558,973],{"className":13559},[726],[148,13561,13563],{"className":13562},[726],[148,13564,1205],{"className":13565},[1250],[148,13567,213],{"className":13568},[726],", то есть если ",[148,13571,13573,13601],{"className":13572},[680],[148,13574,13576],{"className":13575},[684],[686,13577,13578],{"xmlns":688},[690,13579,13580,13598],{},[693,13581,13582,13588,13590,13592,13594,13596],{},[921,13583,13584,13586],{},[769,13585,12482],{},[769,13587,12485],{"mathvariant":771},[769,13589,6055],{},[699,13591,2605],{},[769,13593,2403],{},[699,13595,3235],{},[696,13597,973],{},[705,13599,13600],{"encoding":707},"w^\\top x + b > 0",[148,13602,13604,13651,13669],{"className":13603,"ariaHidden":713},[712],[148,13605,13607,13610,13639,13642,13645,13648],{"className":13606},[717],[148,13608],{"className":13609,"style":12523},[721],[148,13611,13613,13616],{"className":13612},[726],[148,13614,12482],{"className":13615,"style":12530},[726,1064],[148,13617,13619],{"className":13618},[977],[148,13620,13622],{"className":13621},[981],[148,13623,13625],{"className":13624},[985],[148,13626,13628],{"className":13627,"style":2796},[989],[148,13629,13630,13633],{"style":992},[148,13631],{"className":13632,"style":997},[996],[148,13634,13636],{"className":13635},[1001,1002,1003,1004],[148,13637,12485],{"className":13638},[726,1004],[148,13640,6055],{"className":13641},[726,1064],[148,13643],{"className":13644,"style":731},[730],[148,13646,2605],{"className":13647},[735],[148,13649],{"className":13650,"style":731},[730],[148,13652,13654,13657,13660,13663,13666],{"className":13653},[717],[148,13655],{"className":13656,"style":3250},[721],[148,13658,2403],{"className":13659},[726,1064],[148,13661],{"className":13662,"style":815},[730],[148,13664,3235],{"className":13665},[819],[148,13667],{"className":13668,"style":815},[730],[148,13670,13672,13675],{"className":13671},[717],[148,13673],{"className":13674,"style":745},[721],[148,13676,973],{"className":13677},[726],". Разделяющая поверхность — гиперплоскость ",[148,13680,13682,13710],{"className":13681},[680],[148,13683,13685],{"className":13684},[684],[686,13686,13687],{"xmlns":688},[690,13688,13689,13707],{},[693,13690,13691,13697,13699,13701,13703,13705],{},[921,13692,13693,13695],{},[769,13694,12482],{},[769,13696,12485],{"mathvariant":771},[769,13698,6055],{},[699,13700,2605],{},[769,13702,2403],{},[699,13704,777],{},[696,13706,973],{},[705,13708,13709],{"encoding":707},"w^\\top x + b = 0",[148,13711,13713,13760,13778],{"className":13712,"ariaHidden":713},[712],[148,13714,13716,13719,13748,13751,13754,13757],{"className":13715},[717],[148,13717],{"className":13718,"style":12523},[721],[148,13720,13722,13725],{"className":13721},[726],[148,13723,12482],{"className":13724,"style":12530},[726,1064],[148,13726,13728],{"className":13727},[977],[148,13729,13731],{"className":13730},[981],[148,13732,13734],{"className":13733},[985],[148,13735,13737],{"className":13736,"style":2796},[989],[148,13738,13739,13742],{"style":992},[148,13740],{"className":13741,"style":997},[996],[148,13743,13745],{"className":13744},[1001,1002,1003,1004],[148,13746,12485],{"className":13747},[726,1004],[148,13749,6055],{"className":13750},[726,1064],[148,13752],{"className":13753,"style":731},[730],[148,13755,2605],{"className":13756},[735],[148,13758],{"className":13759,"style":731},[730],[148,13761,13763,13766,13769,13772,13775],{"className":13762},[717],[148,13764],{"className":13765,"style":2415},[721],[148,13767,2403],{"className":13768},[726,1064],[148,13770],{"className":13771,"style":815},[730],[148,13773,777],{"className":13774},[819],[148,13776],{"className":13777,"style":815},[730],[148,13779,13781,13784],{"className":13780},[717],[148,13782],{"className":13783,"style":745},[721],[148,13785,973],{"className":13786},[726],"; за это логистическую регрессию относят к линейным классификаторам.",[362,13789,364,13790,364,13794],{},[366,13791],{"src":13792,"alt":13793},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Flogistic_sigmoid.svg","Сигмоида и логистическое решающее правило",[370,13795,13796],{},"Сигмоида преобразует линейную комбинацию признаков в апостериорную вероятность класса",[85,13798,13799,13800,13852,13853,297,13856,13859,13860,13863],{},"Обучение сводится к подбору ",[148,13801,13803,13825],{"className":13802},[680],[148,13804,13806],{"className":13805},[684],[686,13807,13808],{"xmlns":688},[690,13809,13810,13822],{},[693,13811,13812,13814,13816,13818,13820],{},[699,13813,2748],{"stretchy":766},[769,13815,12482],{},[699,13817,1205],{"separator":713},[769,13819,2403],{},[699,13821,2757],{"stretchy":766},[705,13823,13824],{"encoding":707},"(w, b)",[148,13826,13828],{"className":13827,"ariaHidden":713},[712],[148,13829,13831,13834,13837,13840,13843,13846,13849],{"className":13830},[717],[148,13832],{"className":13833,"style":800},[721],[148,13835,2748],{"className":13836},[1242],[148,13838,12482],{"className":13839,"style":12530},[726,1064],[148,13841,1205],{"className":13842},[1250],[148,13844],{"className":13845,"style":835},[730],[148,13847,2403],{"className":13848},[726,1064],[148,13850,2757],{"className":13851},[807],", минимизирующих ",[294,13854,13855],{},"функцию логарифмических потерь",[92,13857,13858],{},"log loss",", или ",[92,13861,13862],{},"cross-entropy loss","):",[85,13865,13866],{},[148,13867,13869,13989],{"className":13868},[680],[148,13870,13872],{"className":13871},[684],[686,13873,13874],{"xmlns":688},[690,13875,13876,13986],{},[693,13877,13878,13880,13882,13884,13886,13888,13890,13892,13894,13900,13914,13984],{},[769,13879,6728],{"mathvariant":5984},[699,13881,2748],{"stretchy":766},[769,13883,12482],{},[699,13885,1205],{"separator":713},[769,13887,2403],{},[699,13889,2757],{"stretchy":766},[699,13891,777],{},[699,13893,3325],{},[3315,13895,13896,13898],{},[696,13897,150],{},[769,13899,1566],{},[6195,13901,13902,13904,13912],{},[699,13903,7436],{},[693,13905,13906,13908,13910],{},[769,13907,6183],{},[699,13909,777],{},[696,13911,150],{},[769,13913,1566],{},[693,13915,13916,13918,13924,13927,13930,13932,13934,13940,13942,13944,13946,13948,13950,13956,13958,13960,13962,13964,13966,13968,13970,13972,13978,13980,13982],{},[699,13917,6850],{"fence":713},[1038,13919,13920,13922],{},[769,13921,6060],{},[769,13923,6183],{},[769,13925,13926],{},"log",[699,13928,13929],{},"⁡",[769,13931,8391],{},[699,13933,2748],{"stretchy":766},[1038,13935,13936,13938],{},[769,13937,12475],{},[769,13939,6183],{},[699,13941,2757],{"stretchy":766},[699,13943,2605],{},[699,13945,2748],{"stretchy":766},[696,13947,150],{},[699,13949,3325],{},[1038,13951,13952,13954],{},[769,13953,6060],{},[769,13955,6183],{},[699,13957,2757],{"stretchy":766},[769,13959,13926],{},[699,13961,13929],{},[699,13963,2748],{"stretchy":766},[696,13965,150],{},[699,13967,3325],{},[769,13969,8391],{},[699,13971,2748],{"stretchy":766},[1038,13973,13974,13976],{},[769,13975,12475],{},[769,13977,6183],{},[699,13979,2757],{"stretchy":766},[699,13981,2757],{"stretchy":766},[699,13983,6870],{"fence":713},[769,13985,26],{"mathvariant":771},[705,13987,13988],{"encoding":707},"\\mathcal{L}(w, b) = -\\frac{1}{n} \\sum_{i=1}^{n} \\left[ y_i \\log \\sigma(z_i) + (1 - y_i) \\log (1 - \\sigma(z_i)) \\right].",[148,13990,13992,14028],{"className":13991,"ariaHidden":713},[712],[148,13993,13995,13998,14001,14004,14007,14010,14013,14016,14019,14022,14025],{"className":13994},[717],[148,13996],{"className":13997,"style":800},[721],[148,13999,6728],{"className":14000},[726,6001],[148,14002,2748],{"className":14003},[1242],[148,14005,12482],{"className":14006,"style":12530},[726,1064],[148,14008,1205],{"className":14009},[1250],[148,14011],{"className":14012,"style":835},[730],[148,14014,2403],{"className":14015},[726,1064],[148,14017,2757],{"className":14018},[807],[148,14020],{"className":14021,"style":815},[730],[148,14023,777],{"className":14024},[819],[148,14026],{"className":14027,"style":815},[730],[148,14029,14031,14034,14037,14105,14108,14171,14174,14425,14428],{"className":14030},[717],[148,14032],{"className":14033,"style":7544},[721],[148,14035,3325],{"className":14036},[726],[148,14038,14040,14043,14102],{"className":14039},[726],[148,14041],{"className":14042},[1242,3347],[148,14044,14046],{"className":14045},[3315],[148,14047,14049,14094],{"className":14048},[981,1071],[148,14050,14052,14091],{"className":14051},[985],[148,14053,14055,14069,14077],{"className":14054,"style":7563},[989],[148,14056,14057,14060],{"style":3363},[148,14058],{"className":14059,"style":3367},[996],[148,14061,14063],{"className":14062},[1001,1002,1003,1004],[148,14064,14066],{"className":14065},[726,1004],[148,14067,1566],{"className":14068},[726,1064,1004],[148,14070,14071,14074],{"style":3385},[148,14072],{"className":14073,"style":3367},[996],[148,14075],{"className":14076,"style":3393},[3392],[148,14078,14079,14082],{"style":3396},[148,14080],{"className":14081,"style":3367},[996],[148,14083,14085],{"className":14084},[1001,1002,1003,1004],[148,14086,14088],{"className":14087},[726,1004],[148,14089,150],{"className":14090},[726,1004],[148,14092,1095],{"className":14093},[1094],[148,14095,14097],{"className":14096},[985],[148,14098,14100],{"className":14099,"style":7609},[989],[148,14101],{},[148,14103],{"className":14104},[807,3347],[148,14106],{"className":14107,"style":835},[730],[148,14109,14111,14114],{"className":14110},[7621],[148,14112,7436],{"className":14113,"style":7627},[7621,7625,7626],[148,14115,14117],{"className":14116},[977],[148,14118,14120,14163],{"className":14119},[981,1071],[148,14121,14123,14160],{"className":14122},[985],[148,14124,14126,14146],{"className":14125,"style":7640},[989],[148,14127,14128,14131],{"style":7643},[148,14129],{"className":14130,"style":997},[996],[148,14132,14134],{"className":14133},[1001,1002,1003,1004],[148,14135,14137,14140,14143],{"className":14136},[726,1004],[148,14138,6183],{"className":14139},[726,1064,1004],[148,14141,777],{"className":14142},[819,1004],[148,14144,150],{"className":14145},[726,1004],[148,14147,14148,14151],{"style":7664},[148,14149],{"className":14150,"style":997},[996],[148,14152,14154],{"className":14153},[1001,1002,1003,1004],[148,14155,14157],{"className":14156},[726,1004],[148,14158,1566],{"className":14159},[726,1064,1004],[148,14161,1095],{"className":14162},[1094],[148,14164,14166],{"className":14165},[985],[148,14167,14169],{"className":14168,"style":7686},[989],[148,14170],{},[148,14172],{"className":14173,"style":835},[730],[148,14175,14177,14180,14220,14223,14230,14233,14236,14239,14280,14283,14286,14289,14292,14295,14298,14301,14304,14307,14347,14350,14353,14358,14361,14364,14367,14370,14373,14376,14379,14419,14422],{"className":14176},[1675],[148,14178,6850],{"className":14179,"style":8930},[1242,8929],[148,14181,14183,14186],{"className":14182},[726],[148,14184,6060],{"className":14185,"style":4185},[726,1064],[148,14187,14189],{"className":14188},[977],[148,14190,14192,14212],{"className":14191},[981,1071],[148,14193,14195,14209],{"className":14194},[985],[148,14196,14198],{"className":14197,"style":6263},[989],[148,14199,14200,14203],{"style":6312},[148,14201],{"className":14202,"style":997},[996],[148,14204,14206],{"className":14205},[1001,1002,1003,1004],[148,14207,6183],{"className":14208},[726,1064,1004],[148,14210,1095],{"className":14211},[1094],[148,14213,14215],{"className":14214},[985],[148,14216,14218],{"className":14217,"style":1102},[989],[148,14219],{},[148,14221],{"className":14222,"style":835},[730],[148,14224,14226,14227],{"className":14225},[7621],"lo",[148,14228,4123],{"style":14229},"margin-right:0.0139em;",[148,14231],{"className":14232,"style":835},[730],[148,14234,8391],{"className":14235,"style":4185},[726,1064],[148,14237,2748],{"className":14238},[1242],[148,14240,14242,14245],{"className":14241},[726],[148,14243,12475],{"className":14244,"style":12507},[726,1064],[148,14246,14248],{"className":14247},[977],[148,14249,14251,14272],{"className":14250},[981,1071],[148,14252,14254,14269],{"className":14253},[985],[148,14255,14257],{"className":14256,"style":6263},[989],[148,14258,14260,14263],{"style":14259},"top:-2.55em;margin-left:-0.044em;margin-right:0.05em;",[148,14261],{"className":14262,"style":997},[996],[148,14264,14266],{"className":14265},[1001,1002,1003,1004],[148,14267,6183],{"className":14268},[726,1064,1004],[148,14270,1095],{"className":14271},[1094],[148,14273,14275],{"className":14274},[985],[148,14276,14278],{"className":14277,"style":1102},[989],[148,14279],{},[148,14281,2757],{"className":14282},[807],[148,14284],{"className":14285,"style":731},[730],[148,14287,2605],{"className":14288},[735],[148,14290],{"className":14291,"style":731},[730],[148,14293,2748],{"className":14294},[1242],[148,14296,150],{"className":14297},[726],[148,14299],{"className":14300,"style":731},[730],[148,14302,3325],{"className":14303},[735],[148,14305],{"className":14306,"style":731},[730],[148,14308,14310,14313],{"className":14309},[726],[148,14311,6060],{"className":14312,"style":4185},[726,1064],[148,14314,14316],{"className":14315},[977],[148,14317,14319,14339],{"className":14318},[981,1071],[148,14320,14322,14336],{"className":14321},[985],[148,14323,14325],{"className":14324,"style":6263},[989],[148,14326,14327,14330],{"style":6312},[148,14328],{"className":14329,"style":997},[996],[148,14331,14333],{"className":14332},[1001,1002,1003,1004],[148,14334,6183],{"className":14335},[726,1064,1004],[148,14337,1095],{"className":14338},[1094],[148,14340,14342],{"className":14341},[985],[148,14343,14345],{"className":14344,"style":1102},[989],[148,14346],{},[148,14348,2757],{"className":14349},[807],[148,14351],{"className":14352,"style":835},[730],[148,14354,14226,14356],{"className":14355},[7621],[148,14357,4123],{"style":14229},[148,14359,2748],{"className":14360},[1242],[148,14362,150],{"className":14363},[726],[148,14365],{"className":14366,"style":731},[730],[148,14368,3325],{"className":14369},[735],[148,14371],{"className":14372,"style":731},[730],[148,14374,8391],{"className":14375,"style":4185},[726,1064],[148,14377,2748],{"className":14378},[1242],[148,14380,14382,14385],{"className":14381},[726],[148,14383,12475],{"className":14384,"style":12507},[726,1064],[148,14386,14388],{"className":14387},[977],[148,14389,14391,14411],{"className":14390},[981,1071],[148,14392,14394,14408],{"className":14393},[985],[148,14395,14397],{"className":14396,"style":6263},[989],[148,14398,14399,14402],{"style":14259},[148,14400],{"className":14401,"style":997},[996],[148,14403,14405],{"className":14404},[1001,1002,1003,1004],[148,14406,6183],{"className":14407},[726,1064,1004],[148,14409,1095],{"className":14410},[1094],[148,14412,14414],{"className":14413},[985],[148,14415,14417],{"className":14416,"style":1102},[989],[148,14418],{},[148,14420,6827],{"className":14421},[807],[148,14423,6870],{"className":14424,"style":8930},[807,8929],[148,14426],{"className":14427,"style":835},[730],[148,14429,26],{"className":14430},[726],[85,14432,14433,14434,14519,14520,14549],{},"Эта функция эквивалентна максимизации правдоподобия в предположении, что метки — независимые реализации Бернулли с параметром ",[148,14435,14437,14461],{"className":14436},[680],[148,14438,14440],{"className":14439},[684],[686,14441,14442],{"xmlns":688},[690,14443,14444,14458],{},[693,14445,14446,14448,14450,14456],{},[769,14447,8391],{},[699,14449,2748],{"stretchy":766},[1038,14451,14452,14454],{},[769,14453,12475],{},[769,14455,6183],{},[699,14457,2757],{"stretchy":766},[705,14459,14460],{"encoding":707},"\\sigma(z_i)",[148,14462,14464],{"className":14463,"ariaHidden":713},[712],[148,14465,14467,14470,14473,14476,14516],{"className":14466},[717],[148,14468],{"className":14469,"style":800},[721],[148,14471,8391],{"className":14472,"style":4185},[726,1064],[148,14474,2748],{"className":14475},[1242],[148,14477,14479,14482],{"className":14478},[726],[148,14480,12475],{"className":14481,"style":12507},[726,1064],[148,14483,14485],{"className":14484},[977],[148,14486,14488,14508],{"className":14487},[981,1071],[148,14489,14491,14505],{"className":14490},[985],[148,14492,14494],{"className":14493,"style":6263},[989],[148,14495,14496,14499],{"style":14259},[148,14497],{"className":14498,"style":997},[996],[148,14500,14502],{"className":14501},[1001,1002,1003,1004],[148,14503,6183],{"className":14504},[726,1064,1004],[148,14506,1095],{"className":14507},[1094],[148,14509,14511],{"className":14510},[985],[148,14512,14514],{"className":14513,"style":1102},[989],[148,14515],{},[148,14517,2757],{"className":14518},[807],". У неё есть свойство, важное практически: ",[148,14521,14523,14537],{"className":14522},[680],[148,14524,14526],{"className":14525},[684],[686,14527,14528],{"xmlns":688},[690,14529,14530,14534],{},[693,14531,14532],{},[769,14533,6728],{"mathvariant":5984},[705,14535,14536],{"encoding":707},"\\mathcal{L}",[148,14538,14540],{"className":14539,"ariaHidden":713},[712],[148,14541,14543,14546],{"className":14542},[717],[148,14544],{"className":14545,"style":1344},[721],[148,14547,6728],{"className":14548},[726,6001]," выпукла по параметрам, значит у задачи единственный глобальный минимум, и градиентный спуск гарантированно к нему сходится. Это резко контрастирует с нейронными сетями, где задача невыпуклая и оптимизация может застрять в локальном минимуме.",[85,14551,14552,14553,14624,14625,14701,14702,14624,14772,14857,14858,14927,14928,26],{},"К функции потерь добавляют регуляризующий член — обычно ",[148,14554,14556,14574],{"className":14555},[680],[148,14557,14559],{"className":14558},[684],[686,14560,14561],{"xmlns":688},[690,14562,14563,14571],{},[693,14564,14565],{},[1038,14566,14567,14569],{},[769,14568,6728],{},[696,14570,163],{},[705,14572,14573],{"encoding":707},"L_2",[148,14575,14577],{"className":14576,"ariaHidden":713},[712],[148,14578,14580,14584],{"className":14579},[717],[148,14581],{"className":14582,"style":14583},[721],"height:0.8333em;vertical-align:-0.15em;",[148,14585,14587,14590],{"className":14586},[726],[148,14588,6728],{"className":14589},[726,1064],[148,14591,14593],{"className":14592},[977],[148,14594,14596,14616],{"className":14595},[981,1071],[148,14597,14599,14613],{"className":14598},[985],[148,14600,14602],{"className":14601,"style":1078},[989],[148,14603,14604,14607],{"style":1081},[148,14605],{"className":14606,"style":997},[996],[148,14608,14610],{"className":14609},[1001,1002,1003,1004],[148,14611,163],{"className":14612},[726,1004],[148,14614,1095],{"className":14615},[1094],[148,14617,14619],{"className":14618},[985],[148,14620,14622],{"className":14621,"style":1102},[989],[148,14623],{},"-норму ",[148,14626,14628,14653],{"className":14627},[680],[148,14629,14631],{"className":14630},[684],[686,14632,14633],{"xmlns":688},[690,14634,14635,14650],{},[693,14636,14637,14639,14642,14644],{},[769,14638,10390],{},[769,14640,14641],{"mathvariant":771},"∥",[769,14643,12482],{},[921,14645,14646,14648],{},[769,14647,14641],{"mathvariant":771},[696,14649,163],{},[705,14651,14652],{"encoding":707},"\\lambda \\|w\\|^2",[148,14654,14656],{"className":14655,"ariaHidden":713},[712],[148,14657,14659,14663,14666,14669,14672],{"className":14658},[717],[148,14660],{"className":14661,"style":14662},[721],"height:1.0641em;vertical-align:-0.25em;",[148,14664,10390],{"className":14665},[726,1064],[148,14667,14641],{"className":14668},[726],[148,14670,12482],{"className":14671,"style":12530},[726,1064],[148,14673,14675,14678],{"className":14674},[726],[148,14676,14641],{"className":14677},[726],[148,14679,14681],{"className":14680},[977],[148,14682,14684],{"className":14683},[981],[148,14685,14687],{"className":14686},[985],[148,14688,14690],{"className":14689,"style":963},[989],[148,14691,14692,14695],{"style":992},[148,14693],{"className":14694,"style":997},[996],[148,14696,14698],{"className":14697},[1001,1002,1003,1004],[148,14699,163],{"className":14700},[726,1004]," (ridge) или ",[148,14703,14705,14723],{"className":14704},[680],[148,14706,14708],{"className":14707},[684],[686,14709,14710],{"xmlns":688},[690,14711,14712,14720],{},[693,14713,14714],{},[1038,14715,14716,14718],{},[769,14717,6728],{},[696,14719,150],{},[705,14721,14722],{"encoding":707},"L_1",[148,14724,14726],{"className":14725,"ariaHidden":713},[712],[148,14727,14729,14732],{"className":14728},[717],[148,14730],{"className":14731,"style":14583},[721],[148,14733,14735,14738],{"className":14734},[726],[148,14736,6728],{"className":14737},[726,1064],[148,14739,14741],{"className":14740},[977],[148,14742,14744,14764],{"className":14743},[981,1071],[148,14745,14747,14761],{"className":14746},[985],[148,14748,14750],{"className":14749,"style":1078},[989],[148,14751,14752,14755],{"style":1081},[148,14753],{"className":14754,"style":997},[996],[148,14756,14758],{"className":14757},[1001,1002,1003,1004],[148,14759,150],{"className":14760},[726,1004],[148,14762,1095],{"className":14763},[1094],[148,14765,14767],{"className":14766},[985],[148,14768,14770],{"className":14769,"style":1102},[989],[148,14771],{},[148,14773,14775,14799],{"className":14774},[680],[148,14776,14778],{"className":14777},[684],[686,14779,14780],{"xmlns":688},[690,14781,14782,14796],{},[693,14783,14784,14786,14788,14790],{},[769,14785,10390],{},[769,14787,14641],{"mathvariant":771},[769,14789,12482],{},[1038,14791,14792,14794],{},[769,14793,14641],{"mathvariant":771},[696,14795,150],{},[705,14797,14798],{"encoding":707},"\\lambda \\|w\\|_1",[148,14800,14802],{"className":14801,"ariaHidden":713},[712],[148,14803,14805,14808,14811,14814,14817],{"className":14804},[717],[148,14806],{"className":14807,"style":800},[721],[148,14809,10390],{"className":14810},[726,1064],[148,14812,14641],{"className":14813},[726],[148,14815,12482],{"className":14816,"style":12530},[726,1064],[148,14818,14820,14823],{"className":14819},[726],[148,14821,14641],{"className":14822},[726],[148,14824,14826],{"className":14825},[977],[148,14827,14829,14849],{"className":14828},[981,1071],[148,14830,14832,14846],{"className":14831},[985],[148,14833,14835],{"className":14834,"style":1078},[989],[148,14836,14837,14840],{"style":1081},[148,14838],{"className":14839,"style":997},[996],[148,14841,14843],{"className":14842},[1001,1002,1003,1004],[148,14844,150],{"className":14845},[726,1004],[148,14847,1095],{"className":14848},[1094],[148,14850,14852],{"className":14851},[985],[148,14853,14855],{"className":14854,"style":1102},[989],[148,14856],{}," (lasso). Первый штрафует большие веса, не давая модели перенастроиться на шум; второй обнуляет малозначимые признаки и работает как встроенный отбор. Реализация в scikit-learn по умолчанию использует ",[148,14859,14861,14878],{"className":14860},[680],[148,14862,14864],{"className":14863},[684],[686,14865,14866],{"xmlns":688},[690,14867,14868,14876],{},[693,14869,14870],{},[1038,14871,14872,14874],{},[769,14873,6728],{},[696,14875,163],{},[705,14877,14573],{"encoding":707},[148,14879,14881],{"className":14880,"ariaHidden":713},[712],[148,14882,14884,14887],{"className":14883},[717],[148,14885],{"className":14886,"style":14583},[721],[148,14888,14890,14893],{"className":14889},[726],[148,14891,6728],{"className":14892},[726,1064],[148,14894,14896],{"className":14895},[977],[148,14897,14899,14919],{"className":14898},[981,1071],[148,14900,14902,14916],{"className":14901},[985],[148,14903,14905],{"className":14904,"style":1078},[989],[148,14906,14907,14910],{"style":1081},[148,14908],{"className":14909,"style":997},[996],[148,14911,14913],{"className":14912},[1001,1002,1003,1004],[148,14914,163],{"className":14915},[726,1004],[148,14917,1095],{"className":14918},[1094],[148,14920,14922],{"className":14921},[985],[148,14923,14925],{"className":14924,"style":1102},[989],[148,14926],{},", что для большинства задач — разумный старт ",[140,14929,14931],{"className":14930},[143],[22,14932,14933],{"href":176},[148,14934,179],{},[85,14936,14937,14938,15013,15014,15084,15085,15136,15137,15253],{},"Сильные стороны логистической регрессии — интерпретируемость (знак и величина ",[148,14939,14941,14960],{"className":14940},[680],[148,14942,14944],{"className":14943},[684],[686,14945,14946],{"xmlns":688},[690,14947,14948,14957],{},[693,14949,14950],{},[1038,14951,14952,14954],{},[769,14953,12482],{},[769,14955,14956],{},"j",[705,14958,14959],{"encoding":707},"w_j",[148,14961,14963],{"className":14962,"ariaHidden":713},[712],[148,14964,14966,14970],{"className":14965},[717],[148,14967],{"className":14968,"style":14969},[721],"height:0.7167em;vertical-align:-0.2861em;",[148,14971,14973,14976],{"className":14972},[726],[148,14974,12482],{"className":14975,"style":12530},[726,1064],[148,14977,14979],{"className":14978},[977],[148,14980,14982,15004],{"className":14981},[981,1071],[148,14983,14985,15001],{"className":14984},[985],[148,14986,14988],{"className":14987,"style":6263},[989],[148,14989,14991,14994],{"style":14990},"top:-2.55em;margin-left:-0.0269em;margin-right:0.05em;",[148,14992],{"className":14993,"style":997},[996],[148,14995,14997],{"className":14996},[1001,1002,1003,1004],[148,14998,14956],{"className":14999,"style":15000},[726,1064,1004],"margin-right:0.0572em;",[148,15002,1095],{"className":15003},[1094],[148,15005,15007],{"className":15006},[985],[148,15008,15011],{"className":15009,"style":15010},[989],"height:0.2861em;",[148,15012],{}," говорят, в какую сторону и насколько признак ",[148,15015,15017,15035],{"className":15016},[680],[148,15018,15020],{"className":15019},[684],[686,15021,15022],{"xmlns":688},[690,15023,15024,15032],{},[693,15025,15026],{},[1038,15027,15028,15030],{},[769,15029,6055],{},[769,15031,14956],{},[705,15033,15034],{"encoding":707},"x_j",[148,15036,15038],{"className":15037,"ariaHidden":713},[712],[148,15039,15041,15044],{"className":15040},[717],[148,15042],{"className":15043,"style":14969},[721],[148,15045,15047,15050],{"className":15046},[726],[148,15048,6055],{"className":15049},[726,1064],[148,15051,15053],{"className":15052},[977],[148,15054,15056,15076],{"className":15055},[981,1071],[148,15057,15059,15073],{"className":15058},[985],[148,15060,15062],{"className":15061,"style":6263},[989],[148,15063,15064,15067],{"style":1081},[148,15065],{"className":15066,"style":997},[996],[148,15068,15070],{"className":15069},[1001,1002,1003,1004],[148,15071,14956],{"className":15072,"style":15000},[726,1064,1004],[148,15074,1095],{"className":15075},[1094],[148,15077,15079],{"className":15078},[985],[148,15080,15082],{"className":15081,"style":15010},[989],[148,15083],{}," влияет на класс 1), вычислительная дешевизна, устойчивость к небольшому шуму в данных. Главное ограничение — линейность: если истинная разделяющая поверхность нелинейна, никакая настройка ",[148,15086,15088,15109],{"className":15087},[680],[148,15089,15091],{"className":15090},[684],[686,15092,15093],{"xmlns":688},[690,15094,15095,15107],{},[693,15096,15097,15099,15101,15103,15105],{},[699,15098,2748],{"stretchy":766},[769,15100,12482],{},[699,15102,1205],{"separator":713},[769,15104,2403],{},[699,15106,2757],{"stretchy":766},[705,15108,13824],{"encoding":707},[148,15110,15112],{"className":15111,"ariaHidden":713},[712],[148,15113,15115,15118,15121,15124,15127,15130,15133],{"className":15114},[717],[148,15116],{"className":15117,"style":800},[721],[148,15119,2748],{"className":15120},[1242],[148,15122,12482],{"className":15123,"style":12530},[726,1064],[148,15125,1205],{"className":15126},[1250],[148,15128],{"className":15129,"style":835},[730],[148,15131,2403],{"className":15132},[726,1064],[148,15134,2757],{"className":15135},[807]," не даст хорошего качества. Частичный обход — переход к расширенному признаковому пространству: добавление квадратичных или взаимодействующих признаков ",[148,15138,15140,15164],{"className":15139},[680],[148,15141,15143],{"className":15142},[684],[686,15144,15145],{"xmlns":688},[690,15146,15147,15161],{},[693,15148,15149,15155],{},[1038,15150,15151,15153],{},[769,15152,6055],{},[769,15154,14956],{},[1038,15156,15157,15159],{},[769,15158,6055],{},[769,15160,2572],{},[705,15162,15163],{"encoding":707},"x_j x_k",[148,15165,15167],{"className":15166,"ariaHidden":713},[712],[148,15168,15170,15173,15213],{"className":15169},[717],[148,15171],{"className":15172,"style":14969},[721],[148,15174,15176,15179],{"className":15175},[726],[148,15177,6055],{"className":15178},[726,1064],[148,15180,15182],{"className":15181},[977],[148,15183,15185,15205],{"className":15184},[981,1071],[148,15186,15188,15202],{"className":15187},[985],[148,15189,15191],{"className":15190,"style":6263},[989],[148,15192,15193,15196],{"style":1081},[148,15194],{"className":15195,"style":997},[996],[148,15197,15199],{"className":15198},[1001,1002,1003,1004],[148,15200,14956],{"className":15201,"style":15000},[726,1064,1004],[148,15203,1095],{"className":15204},[1094],[148,15206,15208],{"className":15207},[985],[148,15209,15211],{"className":15210,"style":15010},[989],[148,15212],{},[148,15214,15216,15219],{"className":15215},[726],[148,15217,6055],{"className":15218},[726,1064],[148,15220,15222],{"className":15221},[977],[148,15223,15225,15245],{"className":15224},[981,1071],[148,15226,15228,15242],{"className":15227},[985],[148,15229,15231],{"className":15230,"style":12101},[989],[148,15232,15233,15236],{"style":1081},[148,15234],{"className":15235,"style":997},[996],[148,15237,15239],{"className":15238},[1001,1002,1003,1004],[148,15240,2572],{"className":15241,"style":2587},[726,1064,1004],[148,15243,1095],{"className":15244},[1094],[148,15246,15248],{"className":15247},[985],[148,15249,15251],{"className":15250,"style":1102},[989],[148,15252],{},", полиномиальных преобразований, индикаторов категорий. Тогда модель остаётся линейной в новом пространстве, но нелинейна в исходном — приём, идейно близкий ядровому трюку, к которому мы вернёмся в разговоре про SVM.",[128,15255,15257],{"id":15256},"метод-k-ближайших-соседей-knn","Метод k ближайших соседей (kNN)",[85,15259,15260,297,15292,15295,15296,15324,15325,15353,15354,15382,15383,15411],{},[294,15261,15262,15263,15291],{},"Метод ",[148,15264,15266,15279],{"className":15265},[680],[148,15267,15269],{"className":15268},[684],[686,15270,15271],{"xmlns":688},[690,15272,15273,15277],{},[693,15274,15275],{},[769,15276,2572],{},[705,15278,2572],{"encoding":707},[148,15280,15282],{"className":15281,"ariaHidden":713},[712],[148,15283,15285,15288],{"className":15284},[717],[148,15286],{"className":15287,"style":2415},[721],[148,15289,2572],{"className":15290,"style":2587},[726,1064]," ближайших соседей",[92,15293,15294],{},"k-nearest neighbors, kNN",") — едва ли не самый прозрачный по логике алгоритм классификации. Чтобы определить класс нового объекта ",[148,15297,15299,15312],{"className":15298},[680],[148,15300,15302],{"className":15301},[684],[686,15303,15304],{"xmlns":688},[690,15305,15306,15310],{},[693,15307,15308],{},[769,15309,6055],{},[705,15311,6055],{"encoding":707},[148,15313,15315],{"className":15314,"ariaHidden":713},[712],[148,15316,15318,15321],{"className":15317},[717],[148,15319],{"className":15320,"style":2537},[721],[148,15322,6055],{"className":15323},[726,1064],", мы находим в обучающей выборке ",[148,15326,15328,15341],{"className":15327},[680],[148,15329,15331],{"className":15330},[684],[686,15332,15333],{"xmlns":688},[690,15334,15335,15339],{},[693,15336,15337],{},[769,15338,2572],{},[705,15340,2572],{"encoding":707},[148,15342,15344],{"className":15343,"ariaHidden":713},[712],[148,15345,15347,15350],{"className":15346},[717],[148,15348],{"className":15349,"style":2415},[721],[148,15351,2572],{"className":15352,"style":2587},[726,1064]," объектов, ближайших к ",[148,15355,15357,15370],{"className":15356},[680],[148,15358,15360],{"className":15359},[684],[686,15361,15362],{"xmlns":688},[690,15363,15364,15368],{},[693,15365,15366],{},[769,15367,6055],{},[705,15369,6055],{"encoding":707},[148,15371,15373],{"className":15372,"ariaHidden":713},[712],[148,15374,15376,15379],{"className":15375},[717],[148,15377],{"className":15378,"style":2537},[721],[148,15380,6055],{"className":15381},[726,1064]," по выбранной метрике, и приписываем ",[148,15384,15386,15399],{"className":15385},[680],[148,15387,15389],{"className":15388},[684],[686,15390,15391],{"xmlns":688},[690,15392,15393,15397],{},[693,15394,15395],{},[769,15396,6055],{},[705,15398,6055],{"encoding":707},[148,15400,15402],{"className":15401,"ariaHidden":713},[712],[148,15403,15405,15408],{"className":15404},[717],[148,15406],{"className":15407,"style":2537},[721],[148,15409,6055],{"className":15410},[726,1064]," тот класс, который встречается среди соседей чаще. В случае равенства голосов используется одно из соглашений: ближайший сосед, наименьший класс, случайный выбор.",[85,15413,15414,15415,15422,15423,15430,15431,15482,15483,15535],{},"Метод предложен Фиксом и Ходжесом ещё в 1951 году ",[140,15416,15418],{"className":15417},[143],[22,15419,15420],{"href":197},[148,15421,200],{},", а классический результат об асимптотических свойствах принадлежит Ковер и Харт ",[140,15424,15426],{"className":15425},[143],[22,15427,15428],{"href":210},[148,15429,213],{},": ошибка одного ближайшего соседа (",[148,15432,15434,15452],{"className":15433},[680],[148,15435,15437],{"className":15436},[684],[686,15438,15439],{"xmlns":688},[690,15440,15441,15449],{},[693,15442,15443,15445,15447],{},[769,15444,2572],{},[699,15446,777],{},[696,15448,150],{},[705,15450,15451],{"encoding":707},"k = 1",[148,15453,15455,15473],{"className":15454,"ariaHidden":713},[712],[148,15456,15458,15461,15464,15467,15470],{"className":15457},[717],[148,15459],{"className":15460,"style":2415},[721],[148,15462,2572],{"className":15463,"style":2587},[726,1064],[148,15465],{"className":15466,"style":815},[730],[148,15468,777],{"className":15469},[819],[148,15471],{"className":15472,"style":815},[730],[148,15474,15476,15479],{"className":15475},[717],[148,15477],{"className":15478,"style":745},[721],[148,15480,150],{"className":15481},[726],") при ",[148,15484,15486,15505],{"className":15485},[680],[148,15487,15489],{"className":15488},[684],[686,15490,15491],{"xmlns":688},[690,15492,15493,15502],{},[693,15494,15495,15497,15499],{},[769,15496,1566],{},[699,15498,6430],{},[769,15500,15501],{"mathvariant":771},"∞",[705,15503,15504],{"encoding":707},"n \\to \\infty",[148,15506,15508,15526],{"className":15507,"ariaHidden":713},[712],[148,15509,15511,15514,15517,15520,15523],{"className":15510},[717],[148,15512],{"className":15513,"style":2537},[721],[148,15515,1566],{"className":15516},[726,1064],[148,15518],{"className":15519,"style":815},[730],[148,15521,6430],{"className":15522},[819],[148,15524],{"className":15525,"style":815},[730],[148,15527,15529,15532],{"className":15528},[717],[148,15530],{"className":15531,"style":2537},[721],[148,15533,15501],{"className":15534},[726]," не превосходит удвоенной байесовской ошибки. Для метода без обучения и без модели в обычном смысле слова — результат удивительно сильный.",[85,15537,15538,15539,15596,15597,15979,15980,16191,16192,16303,16304,16332,16333,6560,16361,16389],{},"Формально решающее правило записывается так. Зафиксируем метрику расстояния ",[148,15540,15542,15566],{"className":15541},[680],[148,15543,15545],{"className":15544},[684],[686,15546,15547],{"xmlns":688},[690,15548,15549,15563],{},[693,15550,15551,15553,15555,15557,15559,15561],{},[769,15552,2437],{},[699,15554,2748],{"stretchy":766},[699,15556,3675],{},[699,15558,1205],{"separator":713},[699,15560,3675],{},[699,15562,2757],{"stretchy":766},[705,15564,15565],{"encoding":707},"d(\\cdot, \\cdot)",[148,15567,15569],{"className":15568,"ariaHidden":713},[712],[148,15570,15572,15575,15578,15581,15584,15587,15590,15593],{"className":15571},[717],[148,15573],{"className":15574,"style":800},[721],[148,15576,2437],{"className":15577},[726,1064],[148,15579,2748],{"className":15580},[1242],[148,15582,3675],{"className":15583},[726],[148,15585,1205],{"className":15586},[1250],[148,15588],{"className":15589,"style":835},[730],[148,15591,3675],{"className":15592},[726],[148,15594,2757],{"className":15595},[807]," — обычно евклидову ",[148,15598,15600,15665],{"className":15599},[680],[148,15601,15603],{"className":15602},[684],[686,15604,15605],{"xmlns":688},[690,15606,15607,15662],{},[693,15608,15609,15611,15613,15615,15617,15623,15625,15627],{},[769,15610,2437],{},[699,15612,2748],{"stretchy":766},[769,15614,6055],{},[699,15616,1205],{"separator":713},[921,15618,15619,15621],{},[769,15620,6055],{},[699,15622,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[699,15624,2757],{"stretchy":766},[699,15626,777],{},[15628,15629,15630],"msqrt",{},[693,15631,15632,15638,15640,15646,15648,15656],{},[1038,15633,15634,15636],{},[699,15635,7436],{},[769,15637,14956],{},[699,15639,2748],{"stretchy":766},[1038,15641,15642,15644],{},[769,15643,6055],{},[769,15645,14956],{},[699,15647,3325],{},[6195,15649,15650,15652,15654],{},[769,15651,6055],{},[769,15653,14956],{},[699,15655,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[921,15657,15658,15660],{},[699,15659,2757],{"stretchy":766},[696,15661,163],{},[705,15663,15664],{"encoding":707},"d(x, x') = \\sqrt{\\sum_j (x_j - x'_j)^2}",[148,15666,15668,15733],{"className":15667,"ariaHidden":713},[712],[148,15669,15671,15674,15677,15680,15683,15686,15689,15721,15724,15727,15730],{"className":15670},[717],[148,15672],{"className":15673,"style":4873},[721],[148,15675,2437],{"className":15676},[726,1064],[148,15678,2748],{"className":15679},[1242],[148,15681,6055],{"className":15682},[726,1064],[148,15684,1205],{"className":15685},[1250],[148,15687],{"className":15688,"style":835},[730],[148,15690,15692,15695],{"className":15691},[726],[148,15693,6055],{"className":15694},[726,1064],[148,15696,15698],{"className":15697},[977],[148,15699,15701],{"className":15700},[981],[148,15702,15704],{"className":15703},[985],[148,15705,15707],{"className":15706,"style":4714},[989],[148,15708,15709,15712],{"style":992},[148,15710],{"className":15711,"style":997},[996],[148,15713,15715],{"className":15714},[1001,1002,1003,1004],[148,15716,15718],{"className":15717},[726,1004],[148,15719,4701],{"className":15720},[726,1004],[148,15722,2757],{"className":15723},[807],[148,15725],{"className":15726,"style":815},[730],[148,15728,777],{"className":15729},[819],[148,15731],{"className":15732,"style":815},[730],[148,15734,15736,15740],{"className":15735},[717],[148,15737],{"className":15738,"style":15739},[721],"height:1.84em;vertical-align:-0.6979em;",[148,15741,15744],{"className":15742},[726,15743],"sqrt",[148,15745,15747,15970],{"className":15746},[981,1071],[148,15748,15750,15967],{"className":15749},[985],[148,15751,15754,15949],{"className":15752,"style":15753},[989],"height:1.1421em;",[148,15755,15758,15762],{"className":15756,"style":15757},[9175],"top:-3.8em;",[148,15759],{"className":15760,"style":15761},[996],"height:3.8em;",[148,15763,15766,15808,15811,15851,15854,15857,15860,15918],{"className":15764,"style":15765},[726],"padding-left:1em;",[148,15767,15769,15772],{"className":15768},[7621],[148,15770,7436],{"className":15771,"style":7627},[7621,7625,7626],[148,15773,15775],{"className":15774},[977],[148,15776,15778,15799],{"className":15777},[981,1071],[148,15779,15781,15796],{"className":15780},[985],[148,15782,15785],{"className":15783,"style":15784},[989],"height:0.162em;",[148,15786,15787,15790],{"style":7643},[148,15788],{"className":15789,"style":997},[996],[148,15791,15793],{"className":15792},[1001,1002,1003,1004],[148,15794,14956],{"className":15795,"style":15000},[726,1064,1004],[148,15797,1095],{"className":15798},[1094],[148,15800,15802],{"className":15801},[985],[148,15803,15806],{"className":15804,"style":15805},[989],"height:0.4358em;",[148,15807],{},[148,15809,2748],{"className":15810},[1242],[148,15812,15814,15817],{"className":15813},[726],[148,15815,6055],{"className":15816},[726,1064],[148,15818,15820],{"className":15819},[977],[148,15821,15823,15843],{"className":15822},[981,1071],[148,15824,15826,15840],{"className":15825},[985],[148,15827,15829],{"className":15828,"style":6263},[989],[148,15830,15831,15834],{"style":1081},[148,15832],{"className":15833,"style":997},[996],[148,15835,15837],{"className":15836},[1001,1002,1003,1004],[148,15838,14956],{"className":15839,"style":15000},[726,1064,1004],[148,15841,1095],{"className":15842},[1094],[148,15844,15846],{"className":15845},[985],[148,15847,15849],{"className":15848,"style":15010},[989],[148,15850],{},[148,15852],{"className":15853,"style":731},[730],[148,15855,3325],{"className":15856},[735],[148,15858],{"className":15859,"style":731},[730],[148,15861,15863,15866],{"className":15862},[726],[148,15864,6055],{"className":15865},[726,1064],[148,15867,15869],{"className":15868},[977],[148,15870,15872,15909],{"className":15871},[981,1071],[148,15873,15875,15906],{"className":15874},[985],[148,15876,15879,15891],{"className":15877,"style":15878},[989],"height:0.7337em;",[148,15880,15882,15885],{"style":15881},"top:-2.4231em;margin-left:0em;margin-right:0.05em;",[148,15883],{"className":15884,"style":997},[996],[148,15886,15888],{"className":15887},[1001,1002,1003,1004],[148,15889,14956],{"className":15890,"style":15000},[726,1064,1004],[148,15892,15894,15897],{"style":15893},"top:-3.0448em;margin-right:0.05em;",[148,15895],{"className":15896,"style":997},[996],[148,15898,15900],{"className":15899},[1001,1002,1003,1004],[148,15901,15903],{"className":15902},[726,1004],[148,15904,4701],{"className":15905},[726,1004],[148,15907,1095],{"className":15908},[1094],[148,15910,15912],{"className":15911},[985],[148,15913,15916],{"className":15914,"style":15915},[989],"height:0.413em;",[148,15917],{},[148,15919,15921,15924],{"className":15920},[807],[148,15922,2757],{"className":15923},[807],[148,15925,15927],{"className":15926},[977],[148,15928,15930],{"className":15929},[981],[148,15931,15933],{"className":15932},[985],[148,15934,15937],{"className":15935,"style":15936},[989],"height:0.7401em;",[148,15938,15940,15943],{"style":15939},"top:-2.989em;margin-right:0.05em;",[148,15941],{"className":15942,"style":997},[996],[148,15944,15946],{"className":15945},[1001,1002,1003,1004],[148,15947,163],{"className":15948},[726,1004],[148,15950,15952,15955],{"style":15951},"top:-3.1021em;",[148,15953],{"className":15954,"style":15761},[996],[148,15956,15960],{"className":15957,"style":15959},[15958],"hide-tail","min-width:1.02em;height:1.88em;",[9191,15961,15964],{"xmlns":9193,"width":9194,"height":15962,"viewBox":15963,"preserveAspectRatio":9197},"1.88em","0 0 400000 1944",[9199,15965],{"d":15966},"M983 90\nl0 -0\nc4,-6.7,10,-10,18,-10 H400000v40\nH1013.1s-83.4,268,-264.1,840c-180.7,572,-277,876.3,-289,913c-4.7,4.7,-12.7,7,-24,7\ns-12,0,-12,0c-1.3,-3.3,-3.7,-11.7,-7,-25c-35.3,-125.3,-106.7,-373.3,-214,-744\nc-10,12,-21,25,-33,39s-32,39,-32,39c-6,-5.3,-15,-14,-27,-26s25,-30,25,-30\nc26.7,-32.7,52,-63,76,-91s52,-60,52,-60s208,722,208,722\nc56,-175.3,126.3,-397.3,211,-666c84.7,-268.7,153.8,-488.2,207.5,-658.5\nc53.7,-170.3,84.5,-266.8,92.5,-289.5z\nM1001 80h400000v40h-400000z",[148,15968,1095],{"className":15969},[1094],[148,15971,15973],{"className":15972},[985],[148,15974,15977],{"className":15975,"style":15976},[989],"height:0.6979em;",[148,15978],{},", иногда манхэттенскую ",[148,15981,15983,16021],{"className":15982},[680],[148,15984,15986],{"className":15985},[684],[686,15987,15988],{"xmlns":688},[690,15989,15990,16018],{},[693,15991,15992,15998,16000,16006,16008,16016],{},[1038,15993,15994,15996],{},[699,15995,7436],{},[769,15997,14956],{},[769,15999,12014],{"mathvariant":771},[1038,16001,16002,16004],{},[769,16003,6055],{},[769,16005,14956],{},[699,16007,3325],{},[6195,16009,16010,16012,16014],{},[769,16011,6055],{},[769,16013,14956],{},[699,16015,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[769,16017,12014],{"mathvariant":771},[705,16019,16020],{"encoding":707},"\\sum_j |x_j - x'_j|",[148,16022,16024,16126],{"className":16023,"ariaHidden":713},[712],[148,16025,16027,16031,16071,16074,16077,16117,16120,16123],{"className":16026},[717],[148,16028],{"className":16029,"style":16030},[721],"height:1.1858em;vertical-align:-0.4358em;",[148,16032,16034,16037],{"className":16033},[7621],[148,16035,7436],{"className":16036,"style":7627},[7621,7625,7626],[148,16038,16040],{"className":16039},[977],[148,16041,16043,16063],{"className":16042},[981,1071],[148,16044,16046,16060],{"className":16045},[985],[148,16047,16049],{"className":16048,"style":15784},[989],[148,16050,16051,16054],{"style":7643},[148,16052],{"className":16053,"style":997},[996],[148,16055,16057],{"className":16056},[1001,1002,1003,1004],[148,16058,14956],{"className":16059,"style":15000},[726,1064,1004],[148,16061,1095],{"className":16062},[1094],[148,16064,16066],{"className":16065},[985],[148,16067,16069],{"className":16068,"style":15805},[989],[148,16070],{},[148,16072],{"className":16073,"style":835},[730],[148,16075,12014],{"className":16076},[726],[148,16078,16080,16083],{"className":16079},[726],[148,16081,6055],{"className":16082},[726,1064],[148,16084,16086],{"className":16085},[977],[148,16087,16089,16109],{"className":16088},[981,1071],[148,16090,16092,16106],{"className":16091},[985],[148,16093,16095],{"className":16094,"style":6263},[989],[148,16096,16097,16100],{"style":1081},[148,16098],{"className":16099,"style":997},[996],[148,16101,16103],{"className":16102},[1001,1002,1003,1004],[148,16104,14956],{"className":16105,"style":15000},[726,1064,1004],[148,16107,1095],{"className":16108},[1094],[148,16110,16112],{"className":16111},[985],[148,16113,16115],{"className":16114,"style":15010},[989],[148,16116],{},[148,16118],{"className":16119,"style":731},[730],[148,16121,3325],{"className":16122},[735],[148,16124],{"className":16125,"style":731},[730],[148,16127,16129,16133,16188],{"className":16128},[717],[148,16130],{"className":16131,"style":16132},[721],"height:1.1467em;vertical-align:-0.3948em;",[148,16134,16136,16139],{"className":16135},[726],[148,16137,6055],{"className":16138},[726,1064],[148,16140,16142],{"className":16141},[977],[148,16143,16145,16179],{"className":16144},[981,1071],[148,16146,16148,16176],{"className":16147},[985],[148,16149,16151,16162],{"className":16150,"style":4714},[989],[148,16152,16153,16156],{"style":6357},[148,16154],{"className":16155,"style":997},[996],[148,16157,16159],{"className":16158},[1001,1002,1003,1004],[148,16160,14956],{"className":16161,"style":15000},[726,1064,1004],[148,16163,16164,16167],{"style":992},[148,16165],{"className":16166,"style":997},[996],[148,16168,16170],{"className":16169},[1001,1002,1003,1004],[148,16171,16173],{"className":16172},[726,1004],[148,16174,4701],{"className":16175},[726,1004],[148,16177,1095],{"className":16178},[1094],[148,16180,16182],{"className":16181},[985],[148,16183,16186],{"className":16184,"style":16185},[989],"height:0.3948em;",[148,16187],{},[148,16189,12014],{"className":16190},[726]," или косинусную для разреженных текстовых признаков. Пусть ",[148,16193,16195,16225],{"className":16194},[680],[148,16196,16198],{"className":16197},[684],[686,16199,16200],{"xmlns":688},[690,16201,16202,16222],{},[693,16203,16204,16211,16213,16215,16217,16220],{},[1038,16205,16206,16209],{},[769,16207,16208],{},"N",[769,16210,2572],{},[699,16212,2748],{"stretchy":766},[769,16214,6055],{},[699,16216,2757],{"stretchy":766},[699,16218,16219],{},"⊂",[769,16221,6169],{},[705,16223,16224],{"encoding":707},"N_k(x) \\subset D",[148,16226,16228,16294],{"className":16227,"ariaHidden":713},[712],[148,16229,16231,16234,16276,16279,16282,16285,16288,16291],{"className":16230},[717],[148,16232],{"className":16233,"style":800},[721],[148,16235,16237,16241],{"className":16236},[726],[148,16238,16208],{"className":16239,"style":16240},[726,1064],"margin-right:0.109em;",[148,16242,16244],{"className":16243},[977],[148,16245,16247,16268],{"className":16246},[981,1071],[148,16248,16250,16265],{"className":16249},[985],[148,16251,16253],{"className":16252,"style":12101},[989],[148,16254,16256,16259],{"style":16255},"top:-2.55em;margin-left:-0.109em;margin-right:0.05em;",[148,16257],{"className":16258,"style":997},[996],[148,16260,16262],{"className":16261},[1001,1002,1003,1004],[148,16263,2572],{"className":16264,"style":2587},[726,1064,1004],[148,16266,1095],{"className":16267},[1094],[148,16269,16271],{"className":16270},[985],[148,16272,16274],{"className":16273,"style":1102},[989],[148,16275],{},[148,16277,2748],{"className":16278},[1242],[148,16280,6055],{"className":16281},[726,1064],[148,16283,2757],{"className":16284},[807],[148,16286],{"className":16287,"style":815},[730],[148,16289,16219],{"className":16290},[819],[148,16292],{"className":16293,"style":815},[730],[148,16295,16297,16300],{"className":16296},[717],[148,16298],{"className":16299,"style":1344},[721],[148,16301,6169],{"className":16302,"style":2774},[726,1064]," — множество ",[148,16305,16307,16320],{"className":16306},[680],[148,16308,16310],{"className":16309},[684],[686,16311,16312],{"xmlns":688},[690,16313,16314,16318],{},[693,16315,16316],{},[769,16317,2572],{},[705,16319,2572],{"encoding":707},[148,16321,16323],{"className":16322,"ariaHidden":713},[712],[148,16324,16326,16329],{"className":16325},[717],[148,16327],{"className":16328,"style":2415},[721],[148,16330,2572],{"className":16331,"style":2587},[726,1064]," объектов обучающей выборки, ближайших к ",[148,16334,16336,16349],{"className":16335},[680],[148,16337,16339],{"className":16338},[684],[686,16340,16341],{"xmlns":688},[690,16342,16343,16347],{},[693,16344,16345],{},[769,16346,6055],{},[705,16348,6055],{"encoding":707},[148,16350,16352],{"className":16351,"ariaHidden":713},[712],[148,16353,16355,16358],{"className":16354},[717],[148,16356],{"className":16357,"style":2537},[721],[148,16359,6055],{"className":16360},[726,1064],[148,16362,16364,16377],{"className":16363},[680],[148,16365,16367],{"className":16366},[684],[686,16368,16369],{"xmlns":688},[690,16370,16371,16375],{},[693,16372,16373],{},[769,16374,2437],{},[705,16376,2437],{"encoding":707},[148,16378,16380],{"className":16379,"ariaHidden":713},[712],[148,16381,16383,16386],{"className":16382},[717],[148,16384],{"className":16385,"style":2415},[721],[148,16387,2437],{"className":16388},[726,1064],". Тогда",[85,16391,16392],{},[148,16393,16395,16499],{"className":16394},[680],[148,16396,16398],{"className":16397},[684],[686,16399,16400],{"xmlns":688},[690,16401,16402,16496],{},[693,16403,16404,16410,16412,16414,16416,16418,16421,16423,16440,16478,16480,16482,16488,16490,16492,16494],{},[6416,16405,16406,16408],{"accent":713},[769,16407,6060],{},[699,16409,6422],{},[699,16411,2748],{"stretchy":766},[769,16413,6055],{},[699,16415,2757],{"stretchy":766},[699,16417,777],{},[769,16419,16420],{},"arg",[699,16422,13929],{},[1038,16424,16425,16432],{},[693,16426,16427,16430],{},[769,16428,16429],{},"max",[699,16431,13929],{},[693,16433,16434,16436,16438],{},[769,16435,4801],{},[699,16437,1369],{},[769,16439,6018],{"mathvariant":5984},[1038,16441,16442,16444],{},[699,16443,7436],{},[693,16445,16446,16448,16454,16456,16462,16464,16466,16472,16474,16476],{},[699,16447,2748],{"stretchy":766},[1038,16449,16450,16452],{},[769,16451,6055],{},[769,16453,6183],{},[699,16455,1205],{"separator":713},[1038,16457,16458,16460],{},[769,16459,6060],{},[769,16461,6183],{},[699,16463,2757],{"stretchy":766},[699,16465,1369],{},[1038,16467,16468,16470],{},[769,16469,16208],{},[769,16471,2572],{},[699,16473,2748],{"stretchy":766},[769,16475,6055],{},[699,16477,2757],{"stretchy":766},[696,16479,150],{"mathvariant":6847},[699,16481,6850],{"stretchy":766},[1038,16483,16484,16486],{},[769,16485,6060],{},[769,16487,6183],{},[699,16489,777],{},[769,16491,4801],{},[699,16493,6870],{"stretchy":766},[769,16495,26],{"mathvariant":771},[705,16497,16498],{"encoding":707},"\\hat{y}(x) = \\arg\\max_{c \\in \\mathcal{Y}} \\sum_{(x_i, y_i) \\in N_k(x)} \\mathbb{1}[y_i = c].",[148,16500,16502,16568,16885],{"className":16501,"ariaHidden":713},[712],[148,16503,16505,16508,16550,16553,16556,16559,16562,16565],{"className":16504},[717],[148,16506],{"className":16507,"style":800},[721],[148,16509,16511],{"className":16510},[726,6449],[148,16512,16514,16542],{"className":16513},[981,1071],[148,16515,16517,16539],{"className":16516},[985],[148,16518,16520,16528],{"className":16519,"style":2415},[989],[148,16521,16522,16525],{"style":6462},[148,16523],{"className":16524,"style":3367},[996],[148,16526,6060],{"className":16527,"style":4185},[726,1064],[148,16529,16530,16533],{"style":6462},[148,16531],{"className":16532,"style":3367},[996],[148,16534,16536],{"className":16535,"style":13404},[6478],[148,16537,6422],{"className":16538},[726],[148,16540,1095],{"className":16541},[1094],[148,16543,16545],{"className":16544},[985],[148,16546,16548],{"className":16547,"style":6492},[989],[148,16549],{},[148,16551,2748],{"className":16552},[1242],[148,16554,6055],{"className":16555},[726,1064],[148,16557,2757],{"className":16558},[807],[148,16560],{"className":16561,"style":815},[730],[148,16563,777],{"className":16564},[819],[148,16566],{"className":16567,"style":815},[730],[148,16569,16571,16575,16581,16584,16635,16638,16827,16830,16833,16836,16876,16879,16882],{"className":16570},[717],[148,16572],{"className":16573,"style":16574},[721],"height:1.2247em;vertical-align:-0.4747em;",[148,16576,16578,16579],{"className":16577},[7621],"ar",[148,16580,4123],{"style":14229},[148,16582],{"className":16583,"style":835},[730],[148,16585,16587,16590],{"className":16586},[7621],[148,16588,16429],{"className":16589},[7621],[148,16591,16593],{"className":16592},[977],[148,16594,16596,16626],{"className":16595},[981,1071],[148,16597,16599,16623],{"className":16598},[985],[148,16600,16602],{"className":16601,"style":8533},[989],[148,16603,16605,16608],{"style":16604},"top:-2.55em;margin-right:0.05em;",[148,16606],{"className":16607,"style":997},[996],[148,16609,16611],{"className":16610},[1001,1002,1003,1004],[148,16612,16614,16617,16620],{"className":16613},[726,1004],[148,16615,4801],{"className":16616},[726,1064,1004],[148,16618,1369],{"className":16619},[819,1004],[148,16621,6018],{"className":16622,"style":6035},[726,6001,1004],[148,16624,1095],{"className":16625},[1094],[148,16627,16629],{"className":16628},[985],[148,16630,16633],{"className":16631,"style":16632},[989],"height:0.2181em;",[148,16634],{},[148,16636],{"className":16637,"style":835},[730],[148,16639,16641,16644],{"className":16640},[7621],[148,16642,7436],{"className":16643,"style":7627},[7621,7625,7626],[148,16645,16647],{"className":16646},[977],[148,16648,16650,16818],{"className":16649},[981,1071],[148,16651,16653,16815],{"className":16652},[985],[148,16654,16657],{"className":16655,"style":16656},[989],"height:0.2253em;",[148,16658,16659,16662],{"style":7643},[148,16660],{"className":16661,"style":997},[996],[148,16663,16665],{"className":16664},[1001,1002,1003,1004],[148,16666,16668,16671,16714,16717,16758,16761,16764,16806,16809,16812],{"className":16667},[726,1004],[148,16669,2748],{"className":16670},[1242,1004],[148,16672,16674,16677],{"className":16673},[726,1004],[148,16675,6055],{"className":16676},[726,1064,1004],[148,16678,16680],{"className":16679},[977],[148,16681,16683,16705],{"className":16682},[981,1071],[148,16684,16686,16702],{"className":16685},[985],[148,16687,16690],{"className":16688,"style":16689},[989],"height:0.3281em;",[148,16691,16693,16696],{"style":16692},"top:-2.357em;margin-left:0em;margin-right:0.0714em;",[148,16694],{"className":16695,"style":9145},[996],[148,16697,16699],{"className":16698},[1001,9149,9150,1004],[148,16700,6183],{"className":16701},[726,1064,1004],[148,16703,1095],{"className":16704},[1094],[148,16706,16708],{"className":16707},[985],[148,16709,16712],{"className":16710,"style":16711},[989],"height:0.143em;",[148,16713],{},[148,16715,1205],{"className":16716},[1250,1004],[148,16718,16720,16723],{"className":16719},[726,1004],[148,16721,6060],{"className":16722,"style":4185},[726,1064,1004],[148,16724,16726],{"className":16725},[977],[148,16727,16729,16750],{"className":16728},[981,1071],[148,16730,16732,16747],{"className":16731},[985],[148,16733,16735],{"className":16734,"style":16689},[989],[148,16736,16738,16741],{"style":16737},"top:-2.357em;margin-left:-0.0359em;margin-right:0.0714em;",[148,16739],{"className":16740,"style":9145},[996],[148,16742,16744],{"className":16743},[1001,9149,9150,1004],[148,16745,6183],{"className":16746},[726,1064,1004],[148,16748,1095],{"className":16749},[1094],[148,16751,16753],{"className":16752},[985],[148,16754,16756],{"className":16755,"style":16711},[989],[148,16757],{},[148,16759,2757],{"className":16760},[807,1004],[148,16762,1369],{"className":16763},[819,1004],[148,16765,16767,16770],{"className":16766},[726,1004],[148,16768,16208],{"className":16769,"style":16240},[726,1064,1004],[148,16771,16773],{"className":16772},[977],[148,16774,16776,16797],{"className":16775},[981,1071],[148,16777,16779,16794],{"className":16778},[985],[148,16780,16782],{"className":16781,"style":7322},[989],[148,16783,16785,16788],{"style":16784},"top:-2.3488em;margin-left:-0.109em;margin-right:0.0714em;",[148,16786],{"className":16787,"style":9145},[996],[148,16789,16791],{"className":16790},[1001,9149,9150,1004],[148,16792,2572],{"className":16793,"style":2587},[726,1064,1004],[148,16795,1095],{"className":16796},[1094],[148,16798,16800],{"className":16799},[985],[148,16801,16804],{"className":16802,"style":16803},[989],"height:0.1512em;",[148,16805],{},[148,16807,2748],{"className":16808},[1242,1004],[148,16810,6055],{"className":16811},[726,1064,1004],[148,16813,2757],{"className":16814},[807,1004],[148,16816,1095],{"className":16817},[1094],[148,16819,16821],{"className":16820},[985],[148,16822,16825],{"className":16823,"style":16824},[989],"height:0.4747em;",[148,16826],{},[148,16828],{"className":16829,"style":835},[730],[148,16831,150],{"className":16832},[726],[148,16834,6850],{"className":16835},[1242],[148,16837,16839,16842],{"className":16838},[726],[148,16840,6060],{"className":16841,"style":4185},[726,1064],[148,16843,16845],{"className":16844},[977],[148,16846,16848,16868],{"className":16847},[981,1071],[148,16849,16851,16865],{"className":16850},[985],[148,16852,16854],{"className":16853,"style":6263},[989],[148,16855,16856,16859],{"style":6312},[148,16857],{"className":16858,"style":997},[996],[148,16860,16862],{"className":16861},[1001,1002,1003,1004],[148,16863,6183],{"className":16864},[726,1064,1004],[148,16866,1095],{"className":16867},[1094],[148,16869,16871],{"className":16870},[985],[148,16872,16874],{"className":16873,"style":1102},[989],[148,16875],{},[148,16877],{"className":16878,"style":815},[730],[148,16880,777],{"className":16881},[819],[148,16883],{"className":16884,"style":815},[730],[148,16886,16888,16891,16894,16897],{"className":16887},[717],[148,16889],{"className":16890,"style":800},[721],[148,16892,4801],{"className":16893},[726,1064],[148,16895,6870],{"className":16896},[807],[148,16898,26],{"className":16899},[726],[85,16901,16902],{},"Голосование можно сделать взвешенным: вес соседа обратно пропорционален расстоянию, тогда более близкие объекты влияют сильнее.",[85,16904,16905,16906,16934,16935,16985,16986,17014,17015,17043,17044,17128],{},"Выбор ",[148,16907,16909,16922],{"className":16908},[680],[148,16910,16912],{"className":16911},[684],[686,16913,16914],{"xmlns":688},[690,16915,16916,16920],{},[693,16917,16918],{},[769,16919,2572],{},[705,16921,2572],{"encoding":707},[148,16923,16925],{"className":16924,"ariaHidden":713},[712],[148,16926,16928,16931],{"className":16927},[717],[148,16929],{"className":16930,"style":2415},[721],[148,16932,2572],{"className":16933,"style":2587},[726,1064]," — главный гиперпараметр. При ",[148,16936,16938,16955],{"className":16937},[680],[148,16939,16941],{"className":16940},[684],[686,16942,16943],{"xmlns":688},[690,16944,16945,16953],{},[693,16946,16947,16949,16951],{},[769,16948,2572],{},[699,16950,777],{},[696,16952,150],{},[705,16954,15451],{"encoding":707},[148,16956,16958,16976],{"className":16957,"ariaHidden":713},[712],[148,16959,16961,16964,16967,16970,16973],{"className":16960},[717],[148,16962],{"className":16963,"style":2415},[721],[148,16965,2572],{"className":16966,"style":2587},[726,1064],[148,16968],{"className":16969,"style":815},[730],[148,16971,777],{"className":16972},[819],[148,16974],{"className":16975,"style":815},[730],[148,16977,16979,16982],{"className":16978},[717],[148,16980],{"className":16981,"style":745},[721],[148,16983,150],{"className":16984},[726]," модель идеально подгоняется под обучающую выборку (нулевая ошибка обучения), но крайне чувствительна к шуму: один ошибочно размеченный объект меняет класс целой окрестности. С ростом ",[148,16987,16989,17002],{"className":16988},[680],[148,16990,16992],{"className":16991},[684],[686,16993,16994],{"xmlns":688},[690,16995,16996,17000],{},[693,16997,16998],{},[769,16999,2572],{},[705,17001,2572],{"encoding":707},[148,17003,17005],{"className":17004,"ariaHidden":713},[712],[148,17006,17008,17011],{"className":17007},[717],[148,17009],{"className":17010,"style":2415},[721],[148,17012,2572],{"className":17013,"style":2587},[726,1064]," граница становится глаже, а модель — устойчивее к шуму, но рискует размыть малочисленные классы. Типичные значения — от ",[148,17016,17018,17031],{"className":17017},[680],[148,17019,17021],{"className":17020},[684],[686,17022,17023],{"xmlns":688},[690,17024,17025,17029],{},[693,17026,17027],{},[696,17028,179],{},[705,17030,179],{"encoding":707},[148,17032,17034],{"className":17033,"ariaHidden":713},[712],[148,17035,17037,17040],{"className":17036},[717],[148,17038],{"className":17039,"style":745},[721],[148,17041,179],{"className":17042},[726]," до ",[148,17045,17047,17063],{"className":17046},[680],[148,17048,17050],{"className":17049},[684],[686,17051,17052],{"xmlns":688},[690,17053,17054,17060],{},[693,17055,17056],{},[15628,17057,17058],{},[769,17059,1566],{},[705,17061,17062],{"encoding":707},"\\sqrt{n}",[148,17064,17066],{"className":17065,"ariaHidden":713},[712],[148,17067,17069,17073],{"className":17068},[717],[148,17070],{"className":17071,"style":17072},[721],"height:1.04em;vertical-align:-0.2397em;",[148,17074,17076],{"className":17075},[726,15743],[148,17077,17079,17119],{"className":17078},[981,1071],[148,17080,17082,17116],{"className":17081},[985],[148,17083,17086,17099],{"className":17084,"style":17085},[989],"height:0.8003em;",[148,17087,17089,17092],{"className":17088,"style":6462},[9175],[148,17090],{"className":17091,"style":3367},[996],[148,17093,17096],{"className":17094,"style":17095},[726],"padding-left:0.833em;",[148,17097,1566],{"className":17098},[726,1064],[148,17100,17102,17105],{"style":17101},"top:-2.7603em;",[148,17103],{"className":17104,"style":3367},[996],[148,17106,17109],{"className":17107,"style":17108},[15958],"min-width:0.853em;height:1.08em;",[9191,17110,17113],{"xmlns":9193,"width":9194,"height":17111,"viewBox":17112,"preserveAspectRatio":9197},"1.08em","0 0 400000 1080",[9199,17114],{"d":17115},"M95,702\nc-2.7,0,-7.17,-2.7,-13.5,-8c-5.8,-5.3,-9.5,-10,-9.5,-14\nc0,-2,0.3,-3.3,1,-4c1.3,-2.7,23.83,-20.7,67.5,-54\nc44.2,-33.3,65.8,-50.3,66.5,-51c1.3,-1.3,3,-2,5,-2c4.7,0,8.7,3.3,12,10\ns173,378,173,378c0.7,0,35.3,-71,104,-213c68.7,-142,137.5,-285,206.5,-429\nc69,-144,104.5,-217.7,106.5,-221\nl0 -0\nc5.3,-9.3,12,-14,20,-14\nH400000v40H845.2724\ns-225.272,467,-225.272,467s-235,486,-235,486c-2.7,4.7,-9,7,-19,7\nc-6,0,-10,-1,-12,-3s-194,-422,-194,-422s-65,47,-65,47z\nM834 80h400000v40h-400000z",[148,17117,1095],{"className":17118},[1094],[148,17120,17122],{"className":17121},[985],[148,17123,17126],{"className":17124,"style":17125},[989],"height:0.2397em;",[148,17127],{},"; конкретный выбор — через валидационную выборку или кросс-валидацию (тема 7).",[85,17130,17131,17132,297,17135,17138,17139,17142,17143,17172,17173,17201,17202,17172,17243,17283,17284,297,17287,17290],{},"Метод имеет два неустранимых ограничения. Первое — ",[294,17133,17134],{},"проклятие размерности",[92,17136,17137],{},"curse of dimensionality","): в пространствах высокой размерности расстояния между точками концентрируются вокруг общего среднего, и понятие «ближайший» теряет содержательный смысл. На датасете из миллиона изображений в исходных пиксельных признаках kNN работает плохо, и здесь нужна предварительная редукция размерности (тема 6) или обучение представлений. Второе — ",[294,17140,17141],{},"чувствительность к масштабу признаков",": евклидова метрика суммирует квадраты разностей по всем координатам, и признак с большим разбросом подавляет признак с малым. Если возраст измерен в годах (",[148,17144,17146,17160],{"className":17145},[680],[148,17147,17149],{"className":17148},[684],[686,17150,17151],{"xmlns":688},[690,17152,17153,17158],{},[693,17154,17155],{},[696,17156,17157],{},"20",[705,17159,17157],{"encoding":707},[148,17161,17163],{"className":17162,"ariaHidden":713},[712],[148,17164,17166,17169],{"className":17165},[717],[148,17167],{"className":17168,"style":745},[721],[148,17170,17157],{"className":17171},[726],"–",[148,17174,17176,17189],{"className":17175},[680],[148,17177,17179],{"className":17178},[684],[686,17180,17181],{"xmlns":688},[690,17182,17183,17187],{},[693,17184,17185],{},[696,17186,2985],{},[705,17188,2985],{"encoding":707},[148,17190,17192],{"className":17191,"ariaHidden":713},[712],[148,17193,17195,17198],{"className":17194},[717],[148,17196],{"className":17197,"style":745},[721],[148,17199,2985],{"className":17200},[726],"), а зарплата — в рублях (",[148,17203,17205,17225],{"className":17204},[680],[148,17206,17208],{"className":17207},[684],[686,17209,17210],{"xmlns":688},[690,17211,17212,17222],{},[693,17213,17214,17217,17219],{},[696,17215,17216],{},"30",[782,17218,784],{},[696,17220,17221],{},"000",[705,17223,17224],{"encoding":707},"30\\,000",[148,17226,17228],{"className":17227,"ariaHidden":713},[712],[148,17229,17231,17234,17237,17240],{"className":17230},[717],[148,17232],{"className":17233,"style":745},[721],[148,17235,17216],{"className":17236},[726],[148,17238],{"className":17239,"style":835},[730],[148,17241,17221],{"className":17242},[726],[148,17244,17246,17265],{"className":17245},[680],[148,17247,17249],{"className":17248},[684],[686,17250,17251],{"xmlns":688},[690,17252,17253,17262],{},[693,17254,17255,17258,17260],{},[696,17256,17257],{},"300",[782,17259,784],{},[696,17261,17221],{},[705,17263,17264],{"encoding":707},"300\\,000",[148,17266,17268],{"className":17267,"ariaHidden":713},[712],[148,17269,17271,17274,17277,17280],{"className":17270},[717],[148,17272],{"className":17273,"style":745},[721],[148,17275,17257],{"className":17276},[726],[148,17278],{"className":17279,"style":835},[730],[148,17281,17221],{"className":17282},[726],"), второй полностью определит расстояние. Стандартное лекарство — ",[294,17285,17286],{},"масштабирование",[92,17288,17289],{},"standardization",") каждого признака к нулевому среднему и единичной дисперсии, выполненное до обучения и применённое к тестовым данным с теми же статистиками (см. тему 3 про утечку через нормализацию).",[85,17292,17293,17294,17322],{},"Платой за простоту обучения становится дороговизна предсказания: чтобы классифицировать один новый объект, нужно вычислить расстояние до всех ",[148,17295,17297,17310],{"className":17296},[680],[148,17298,17300],{"className":17299},[684],[686,17301,17302],{"xmlns":688},[690,17303,17304,17308],{},[693,17305,17306],{},[769,17307,1566],{},[705,17309,1566],{"encoding":707},[148,17311,17313],{"className":17312,"ariaHidden":713},[712],[148,17314,17316,17319],{"className":17315},[717],[148,17317],{"className":17318,"style":2537},[721],[148,17320,1566],{"className":17321},[726,1064]," обучающих точек. На больших выборках это требует структур пространственного индексирования — KD-деревьев, ball-деревьев, локально-чувствительного хеширования; в библиотеке scikit-learn они реализованы и автоматически выбираются по размеру данных.",[128,17324,17326],{"id":17325},"деревья-решений","Деревья решений",[85,17328,17329,297,17332,17335,17336,17429,17430,17523],{},[294,17330,17331],{},"Дерево решений",[92,17333,17334],{},"decision tree",") задаёт классификатор как иерархию вложенных условий на признаках. Каждый внутренний узел дерева содержит условие вида «",[148,17337,17339,17361],{"className":17338},[680],[148,17340,17342],{"className":17341},[684],[686,17343,17344],{"xmlns":688},[690,17345,17346,17358],{},[693,17347,17348,17354,17356],{},[1038,17349,17350,17352],{},[769,17351,6055],{},[769,17353,14956],{},[699,17355,2469],{},[769,17357,8209],{},[705,17359,17360],{"encoding":707},"x_j \\leq t",[148,17362,17364,17420],{"className":17363,"ariaHidden":713},[712],[148,17365,17367,17371,17411,17414,17417],{"className":17366},[717],[148,17368],{"className":17369,"style":17370},[721],"height:0.9221em;vertical-align:-0.2861em;",[148,17372,17374,17377],{"className":17373},[726],[148,17375,6055],{"className":17376},[726,1064],[148,17378,17380],{"className":17379},[977],[148,17381,17383,17403],{"className":17382},[981,1071],[148,17384,17386,17400],{"className":17385},[985],[148,17387,17389],{"className":17388,"style":6263},[989],[148,17390,17391,17394],{"style":1081},[148,17392],{"className":17393,"style":997},[996],[148,17395,17397],{"className":17396},[1001,1002,1003,1004],[148,17398,14956],{"className":17399,"style":15000},[726,1064,1004],[148,17401,1095],{"className":17402},[1094],[148,17404,17406],{"className":17405},[985],[148,17407,17409],{"className":17408,"style":15010},[989],[148,17410],{},[148,17412],{"className":17413,"style":815},[730],[148,17415,2469],{"className":17416},[819],[148,17418],{"className":17419,"style":815},[730],[148,17421,17423,17426],{"className":17422},[717],[148,17424],{"className":17425,"style":8221},[721],[148,17427,8209],{"className":17428},[726,1064],"» (для непрерывных признаков) или «",[148,17431,17433,17455],{"className":17432},[680],[148,17434,17436],{"className":17435},[684],[686,17437,17438],{"xmlns":688},[690,17439,17440,17452],{},[693,17441,17442,17448,17450],{},[1038,17443,17444,17446],{},[769,17445,6055],{},[769,17447,14956],{},[699,17449,1369],{},[769,17451,1202],{},[705,17453,17454],{"encoding":707},"x_j \\in S",[148,17456,17458,17514],{"className":17457,"ariaHidden":713},[712],[148,17459,17461,17465,17505,17508,17511],{"className":17460},[717],[148,17462],{"className":17463,"style":17464},[721],"height:0.8252em;vertical-align:-0.2861em;",[148,17466,17468,17471],{"className":17467},[726],[148,17469,6055],{"className":17470},[726,1064],[148,17472,17474],{"className":17473},[977],[148,17475,17477,17497],{"className":17476},[981,1071],[148,17478,17480,17494],{"className":17479},[985],[148,17481,17483],{"className":17482,"style":6263},[989],[148,17484,17485,17488],{"style":1081},[148,17486],{"className":17487,"style":997},[996],[148,17489,17491],{"className":17490},[1001,1002,1003,1004],[148,17492,14956],{"className":17493,"style":15000},[726,1064,1004],[148,17495,1095],{"className":17496},[1094],[148,17498,17500],{"className":17499},[985],[148,17501,17503],{"className":17502,"style":15010},[989],[148,17504],{},[148,17506],{"className":17507,"style":815},[730],[148,17509,1369],{"className":17510},[819],[148,17512],{"className":17513,"style":815},[730],[148,17515,17517,17520],{"className":17516},[717],[148,17518],{"className":17519,"style":1344},[721],[148,17521,1202],{"className":17522,"style":1246},[726,1064],"» (для категориальных). От узла идут две ветви — «истинно» и «ложно»; в каждом листе записан класс или распределение вероятностей по классам. Чтобы предсказать класс нового объекта, мы спускаемся от корня к листу, на каждом шаге выбирая ветвь по условию.",[85,17525,17526],{},"Геометрически дерево разбивает признаковое пространство на прямоугольники, оси которых параллельны осям координат, и каждому прямоугольнику приписывает класс. Это даёт характерную «ступенчатую» границу решения, заметную на сравнительной иллюстрации в начале темы.",[85,17528,17529,17530,17559,17560,17588,17589,297,17592,17595,17596,17624,17625,17653,17654,17724,17725,18111,18112,18140,18141,297,18144,18147,18148,18421,18422,18429,18430,18437],{},"Алгоритм построения — жадный и рекурсивный. На каждом шаге для текущего узла перебираются все пары «признак ",[148,17531,17533,17546],{"className":17532},[680],[148,17534,17536],{"className":17535},[684],[686,17537,17538],{"xmlns":688},[690,17539,17540,17544],{},[693,17541,17542],{},[769,17543,14956],{},[705,17545,14956],{"encoding":707},[148,17547,17549],{"className":17548,"ariaHidden":713},[712],[148,17550,17552,17556],{"className":17551},[717],[148,17553],{"className":17554,"style":17555},[721],"height:0.854em;vertical-align:-0.1944em;",[148,17557,14956],{"className":17558,"style":15000},[726,1064],", порог ",[148,17561,17563,17576],{"className":17562},[680],[148,17564,17566],{"className":17565},[684],[686,17567,17568],{"xmlns":688},[690,17569,17570,17574],{},[693,17571,17572],{},[769,17573,8209],{},[705,17575,8209],{"encoding":707},[148,17577,17579],{"className":17578,"ariaHidden":713},[712],[148,17580,17582,17585],{"className":17581},[717],[148,17583],{"className":17584,"style":8221},[721],[148,17586,8209],{"className":17587},[726,1064],"», и выбирается та, что максимально «улучшает» однородность дочерних узлов. Степень однородности измеряется одним из критериев. ",[294,17590,17591],{},"Индекс Джини",[92,17593,17594],{},"Gini impurity",") для узла ",[148,17597,17599,17612],{"className":17598},[680],[148,17600,17602],{"className":17601},[684],[686,17603,17604],{"xmlns":688},[690,17605,17606,17610],{},[693,17607,17608],{},[769,17609,1202],{},[705,17611,1202],{"encoding":707},[148,17613,17615],{"className":17614,"ariaHidden":713},[712],[148,17616,17618,17621],{"className":17617},[717],[148,17619],{"className":17620,"style":1344},[721],[148,17622,1202],{"className":17623,"style":1246},[726,1064],", в котором доля объектов класса ",[148,17626,17628,17641],{"className":17627},[680],[148,17629,17631],{"className":17630},[684],[686,17632,17633],{"xmlns":688},[690,17634,17635,17639],{},[693,17636,17637],{},[769,17638,4801],{},[705,17640,4801],{"encoding":707},[148,17642,17644],{"className":17643,"ariaHidden":713},[712],[148,17645,17647,17650],{"className":17646},[717],[148,17648],{"className":17649,"style":2537},[721],[148,17651,4801],{"className":17652},[726,1064]," равна ",[148,17655,17657,17675],{"className":17656},[680],[148,17658,17660],{"className":17659},[684],[686,17661,17662],{"xmlns":688},[690,17663,17664,17672],{},[693,17665,17666],{},[1038,17667,17668,17670],{},[769,17669,85],{},[769,17671,4801],{},[705,17673,17674],{"encoding":707},"p_c",[148,17676,17678],{"className":17677,"ariaHidden":713},[712],[148,17679,17681,17684],{"className":17680},[717],[148,17682],{"className":17683,"style":1579},[721],[148,17685,17687,17690],{"className":17686},[726],[148,17688,85],{"className":17689},[726,1064],[148,17691,17693],{"className":17692},[977],[148,17694,17696,17716],{"className":17695},[981,1071],[148,17697,17699,17713],{"className":17698},[985],[148,17700,17702],{"className":17701,"style":1703},[989],[148,17703,17704,17707],{"style":1081},[148,17705],{"className":17706,"style":997},[996],[148,17708,17710],{"className":17709},[1001,1002,1003,1004],[148,17711,4801],{"className":17712},[726,1064,1004],[148,17714,1095],{"className":17715},[1094],[148,17717,17719],{"className":17718},[985],[148,17720,17722],{"className":17721,"style":1102},[989],[148,17723],{},", определяется как ",[148,17726,17728,17796],{"className":17727},[680],[148,17729,17731],{"className":17730},[684],[686,17732,17733],{"xmlns":688},[690,17734,17735,17793],{},[693,17736,17737,17739,17741,17743,17745,17747,17753,17759,17761,17763,17765,17771,17773,17775,17777,17779,17785],{},[769,17738,1221],{},[699,17740,2748],{"stretchy":766},[769,17742,1202],{},[699,17744,2757],{"stretchy":766},[699,17746,777],{},[1038,17748,17749,17751],{},[699,17750,7436],{},[769,17752,4801],{},[1038,17754,17755,17757],{},[769,17756,85],{},[769,17758,4801],{},[699,17760,2748],{"stretchy":766},[696,17762,150],{},[699,17764,3325],{},[1038,17766,17767,17769],{},[769,17768,85],{},[769,17770,4801],{},[699,17772,2757],{"stretchy":766},[699,17774,777],{},[696,17776,150],{},[699,17778,3325],{},[1038,17780,17781,17783],{},[699,17782,7436],{},[769,17784,4801],{},[6195,17786,17787,17789,17791],{},[769,17788,85],{},[769,17790,4801],{},[696,17792,163],{},[705,17794,17795],{"encoding":707},"G(S) = \\sum_c p_c (1 - p_c) = 1 - \\sum_c p_c^2",[148,17797,17799,17826,17932,17990,18008],{"className":17798,"ariaHidden":713},[712],[148,17800,17802,17805,17808,17811,17814,17817,17820,17823],{"className":17801},[717],[148,17803],{"className":17804,"style":800},[721],[148,17806,1221],{"className":17807},[726,1064],[148,17809,2748],{"className":17810},[1242],[148,17812,1202],{"className":17813,"style":1246},[726,1064],[148,17815,2757],{"className":17816},[807],[148,17818],{"className":17819,"style":815},[730],[148,17821,777],{"className":17822},[819],[148,17824],{"className":17825,"style":815},[730],[148,17827,17829,17833,17874,17877,17917,17920,17923,17926,17929],{"className":17828},[717],[148,17830],{"className":17831,"style":17832},[721],"height:1.0497em;vertical-align:-0.2997em;",[148,17834,17836,17839],{"className":17835},[7621],[148,17837,7436],{"className":17838,"style":7627},[7621,7625,7626],[148,17840,17842],{"className":17841},[977],[148,17843,17845,17866],{"className":17844},[981,1071],[148,17846,17848,17863],{"className":17847},[985],[148,17849,17852],{"className":17850,"style":17851},[989],"height:0.0017em;",[148,17853,17854,17857],{"style":7643},[148,17855],{"className":17856,"style":997},[996],[148,17858,17860],{"className":17859},[1001,1002,1003,1004],[148,17861,4801],{"className":17862},[726,1064,1004],[148,17864,1095],{"className":17865},[1094],[148,17867,17869],{"className":17868},[985],[148,17870,17872],{"className":17871,"style":7686},[989],[148,17873],{},[148,17875],{"className":17876,"style":835},[730],[148,17878,17880,17883],{"className":17879},[726],[148,17881,85],{"className":17882},[726,1064],[148,17884,17886],{"className":17885},[977],[148,17887,17889,17909],{"className":17888},[981,1071],[148,17890,17892,17906],{"className":17891},[985],[148,17893,17895],{"className":17894,"style":1703},[989],[148,17896,17897,17900],{"style":1081},[148,17898],{"className":17899,"style":997},[996],[148,17901,17903],{"className":17902},[1001,1002,1003,1004],[148,17904,4801],{"className":17905},[726,1064,1004],[148,17907,1095],{"className":17908},[1094],[148,17910,17912],{"className":17911},[985],[148,17913,17915],{"className":17914,"style":1102},[989],[148,17916],{},[148,17918,2748],{"className":17919},[1242],[148,17921,150],{"className":17922},[726],[148,17924],{"className":17925,"style":731},[730],[148,17927,3325],{"className":17928},[735],[148,17930],{"className":17931,"style":731},[730],[148,17933,17935,17938,17978,17981,17984,17987],{"className":17934},[717],[148,17936],{"className":17937,"style":800},[721],[148,17939,17941,17944],{"className":17940},[726],[148,17942,85],{"className":17943},[726,1064],[148,17945,17947],{"className":17946},[977],[148,17948,17950,17970],{"className":17949},[981,1071],[148,17951,17953,17967],{"className":17952},[985],[148,17954,17956],{"className":17955,"style":1703},[989],[148,17957,17958,17961],{"style":1081},[148,17959],{"className":17960,"style":997},[996],[148,17962,17964],{"className":17963},[1001,1002,1003,1004],[148,17965,4801],{"className":17966},[726,1064,1004],[148,17968,1095],{"className":17969},[1094],[148,17971,17973],{"className":17972},[985],[148,17974,17976],{"className":17975,"style":1102},[989],[148,17977],{},[148,17979,2757],{"className":17980},[807],[148,17982],{"className":17983,"style":815},[730],[148,17985,777],{"className":17986},[819],[148,17988],{"className":17989,"style":815},[730],[148,17991,17993,17996,17999,18002,18005],{"className":17992},[717],[148,17994],{"className":17995,"style":722},[721],[148,17997,150],{"className":17998},[726],[148,18000],{"className":18001,"style":731},[730],[148,18003,3325],{"className":18004},[735],[148,18006],{"className":18007,"style":731},[730],[148,18009,18011,18015,18055,18058],{"className":18010},[717],[148,18012],{"className":18013,"style":18014},[721],"height:1.1138em;vertical-align:-0.2997em;",[148,18016,18018,18021],{"className":18017},[7621],[148,18019,7436],{"className":18020,"style":7627},[7621,7625,7626],[148,18022,18024],{"className":18023},[977],[148,18025,18027,18047],{"className":18026},[981,1071],[148,18028,18030,18044],{"className":18029},[985],[148,18031,18033],{"className":18032,"style":17851},[989],[148,18034,18035,18038],{"style":7643},[148,18036],{"className":18037,"style":997},[996],[148,18039,18041],{"className":18040},[1001,1002,1003,1004],[148,18042,4801],{"className":18043},[726,1064,1004],[148,18045,1095],{"className":18046},[1094],[148,18048,18050],{"className":18049},[985],[148,18051,18053],{"className":18052,"style":7686},[989],[148,18054],{},[148,18056],{"className":18057,"style":835},[730],[148,18059,18061,18064],{"className":18060},[726],[148,18062,85],{"className":18063},[726,1064],[148,18065,18067],{"className":18066},[977],[148,18068,18070,18102],{"className":18069},[981,1071],[148,18071,18073,18099],{"className":18072},[985],[148,18074,18076,18088],{"className":18075,"style":963},[989],[148,18077,18079,18082],{"style":18078},"top:-2.453em;margin-left:0em;margin-right:0.05em;",[148,18080],{"className":18081,"style":997},[996],[148,18083,18085],{"className":18084},[1001,1002,1003,1004],[148,18086,4801],{"className":18087},[726,1064,1004],[148,18089,18090,18093],{"style":992},[148,18091],{"className":18092,"style":997},[996],[148,18094,18096],{"className":18095},[1001,1002,1003,1004],[148,18097,163],{"className":18098},[726,1004],[148,18100,1095],{"className":18101},[1094],[148,18103,18105],{"className":18104},[985],[148,18106,18109],{"className":18107,"style":18108},[989],"height:0.247em;",[148,18110],{}," и принимает значение ",[148,18113,18115,18128],{"className":18114},[680],[148,18116,18118],{"className":18117},[684],[686,18119,18120],{"xmlns":688},[690,18121,18122,18126],{},[693,18123,18124],{},[696,18125,973],{},[705,18127,973],{"encoding":707},[148,18129,18131],{"className":18130,"ariaHidden":713},[712],[148,18132,18134,18137],{"className":18133},[717],[148,18135],{"className":18136,"style":745},[721],[148,18138,973],{"className":18139},[726]," для чистого узла. ",[294,18142,18143],{},"Энтропия",[92,18145,18146],{},"entropy",") задаётся формулой ",[148,18149,18151,18204],{"className":18150},[680],[148,18152,18154],{"className":18153},[684],[686,18155,18156],{"xmlns":688},[690,18157,18158,18201],{},[693,18159,18160,18163,18165,18167,18169,18171,18173,18179,18185,18195],{},[769,18161,18162],{},"H",[699,18164,2748],{"stretchy":766},[769,18166,1202],{},[699,18168,2757],{"stretchy":766},[699,18170,777],{},[699,18172,3325],{},[1038,18174,18175,18177],{},[699,18176,7436],{},[769,18178,4801],{},[1038,18180,18181,18183],{},[769,18182,85],{},[769,18184,4801],{},[1038,18186,18187,18193],{},[693,18188,18189,18191],{},[769,18190,13926],{},[699,18192,13929],{},[696,18194,163],{},[1038,18196,18197,18199],{},[769,18198,85],{},[769,18200,4801],{},[705,18202,18203],{"encoding":707},"H(S) = -\\sum_c p_c \\log_2 p_c",[148,18205,18207,18235],{"className":18206,"ariaHidden":713},[712],[148,18208,18210,18213,18217,18220,18223,18226,18229,18232],{"className":18209},[717],[148,18211],{"className":18212,"style":800},[721],[148,18214,18162],{"className":18215,"style":18216},[726,1064],"margin-right:0.0813em;",[148,18218,2748],{"className":18219},[1242],[148,18221,1202],{"className":18222,"style":1246},[726,1064],[148,18224,2757],{"className":18225},[807],[148,18227],{"className":18228,"style":815},[730],[148,18230,777],{"className":18231},[819],[148,18233],{"className":18234,"style":815},[730],[148,18236,18238,18241,18244,18247,18287,18290,18330,18333,18378,18381],{"className":18237},[717],[148,18239],{"className":18240,"style":17832},[721],[148,18242,3325],{"className":18243},[726],[148,18245],{"className":18246,"style":835},[730],[148,18248,18250,18253],{"className":18249},[7621],[148,18251,7436],{"className":18252,"style":7627},[7621,7625,7626],[148,18254,18256],{"className":18255},[977],[148,18257,18259,18279],{"className":18258},[981,1071],[148,18260,18262,18276],{"className":18261},[985],[148,18263,18265],{"className":18264,"style":17851},[989],[148,18266,18267,18270],{"style":7643},[148,18268],{"className":18269,"style":997},[996],[148,18271,18273],{"className":18272},[1001,1002,1003,1004],[148,18274,4801],{"className":18275},[726,1064,1004],[148,18277,1095],{"className":18278},[1094],[148,18280,18282],{"className":18281},[985],[148,18283,18285],{"className":18284,"style":7686},[989],[148,18286],{},[148,18288],{"className":18289,"style":835},[730],[148,18291,18293,18296],{"className":18292},[726],[148,18294,85],{"className":18295},[726,1064],[148,18297,18299],{"className":18298},[977],[148,18300,18302,18322],{"className":18301},[981,1071],[148,18303,18305,18319],{"className":18304},[985],[148,18306,18308],{"className":18307,"style":1703},[989],[148,18309,18310,18313],{"style":1081},[148,18311],{"className":18312,"style":997},[996],[148,18314,18316],{"className":18315},[1001,1002,1003,1004],[148,18317,4801],{"className":18318},[726,1064,1004],[148,18320,1095],{"className":18321},[1094],[148,18323,18325],{"className":18324},[985],[148,18326,18328],{"className":18327,"style":1102},[989],[148,18329],{},[148,18331],{"className":18332,"style":835},[730],[148,18334,18336,18341],{"className":18335},[7621],[148,18337,14226,18339],{"className":18338},[7621],[148,18340,4123],{"style":14229},[148,18342,18344],{"className":18343},[977],[148,18345,18347,18369],{"className":18346},[981,1071],[148,18348,18350,18366],{"className":18349},[985],[148,18351,18354],{"className":18352,"style":18353},[989],"height:0.207em;",[148,18355,18357,18360],{"style":18356},"top:-2.4559em;margin-right:0.05em;",[148,18358],{"className":18359,"style":997},[996],[148,18361,18363],{"className":18362},[1001,1002,1003,1004],[148,18364,163],{"className":18365},[726,1004],[148,18367,1095],{"className":18368},[1094],[148,18370,18372],{"className":18371},[985],[148,18373,18376],{"className":18374,"style":18375},[989],"height:0.2441em;",[148,18377],{},[148,18379],{"className":18380,"style":835},[730],[148,18382,18384,18387],{"className":18383},[726],[148,18385,85],{"className":18386},[726,1064],[148,18388,18390],{"className":18389},[977],[148,18391,18393,18413],{"className":18392},[981,1071],[148,18394,18396,18410],{"className":18395},[985],[148,18397,18399],{"className":18398,"style":1703},[989],[148,18400,18401,18404],{"style":1081},[148,18402],{"className":18403,"style":997},[996],[148,18405,18407],{"className":18406},[1001,1002,1003,1004],[148,18408,4801],{"className":18409},[726,1064,1004],[148,18411,1095],{"className":18412},[1094],[148,18414,18416],{"className":18415},[985],[148,18417,18419],{"className":18418,"style":1102},[989],[148,18420],{}," и тоже минимальна, когда все объекты узла принадлежат одному классу. Информационный выигрыш разбиения — взвешенная разность исходного критерия и средневзвешенного критерия в потомках. На практике различия между Джини и энтропией невелики, обе ведут к похожим деревьям; CART ",[140,18423,18425],{"className":18424},[143],[22,18426,18427],{"href":223},[148,18428,226],{}," использует Джини, C4.5\u002FID3 ",[140,18431,18433],{"className":18432},[143],[22,18434,18435],{"href":236},[148,18436,239],{}," — энтропию.",[85,18439,18440,18441,18469],{},"Жадное построение продолжается, пока не выполнится одно из условий остановки: лист стал чистым, число объектов в узле меньше порога, достигнута максимальная глубина. Без этих ограничений дерево разрастается до тех пор, пока каждому обучающему объекту не достанется собственный лист — модель идеально подгоняется под обучающую выборку и катастрофически переобучается. Это явная иллюстрация компромисса смещения и разброса (тема 3) на одном алгоритме: при глубине ",[148,18442,18444,18457],{"className":18443},[680],[148,18445,18447],{"className":18446},[684],[686,18448,18449],{"xmlns":688},[690,18450,18451,18455],{},[693,18452,18453],{},[696,18454,150],{},[705,18456,150],{"encoding":707},[148,18458,18460],{"className":18459,"ariaHidden":713},[712],[148,18461,18463,18466],{"className":18462},[717],[148,18464],{"className":18465,"style":745},[721],[148,18467,150],{"className":18468},[726]," — высокое смещение, при неограниченной глубине — высокий разброс.",[85,18471,18472,18473,297,18476,18479,18480,297,18483,18486,18487,1181],{},"Управление сложностью реализуется двумя способами. ",[294,18474,18475],{},"Предупреждение роста",[92,18477,18478],{},"pre-pruning",") ограничивает дерево заранее: максимальная глубина, минимальное число объектов в листе, минимальное улучшение критерия для разрешения сплита. ",[294,18481,18482],{},"Обрезка",[92,18484,18485],{},"post-pruning",") сначала строит дерево до конца, а затем удаляет ветви, не дающие выигрыша на отложенной выборке; типичный вариант — обрезка с штрафом за число листьев (англ. ",[92,18488,18489],{},"cost-complexity pruning",[85,18491,18492],{},"Деревья решений интерпретируемы — по обученному дереву читается набор правил вида «если возраст > 30 и доход > 50000, то одобрить». Они работают с категориальными признаками без предварительного кодирования, нечувствительны к масштабу (на пороги не влияет, измерять ли зарплату в рублях или в копейках), естественно обрабатывают пропуски через специальные сплиты. Тем не менее одиночное дерево редко даёт хорошее качество в реальных задачах: оно неустойчиво — небольшое изменение обучающей выборки порождает дерево совсем другой структуры; ступенчатая граница плохо приближает гладкие функции; полностью раскрытое дерево переобучается. Эти ограничения снимаются ансамблевыми методами — случайным лесом и градиентным бустингом, — которые мы разберём в теме 7.",[128,18494,18496],{"id":18495},"метод-опорных-векторов-svm","Метод опорных векторов (SVM)",[85,18498,18499,297,18502,18505,18506,18513,18514,297,18517,18520,18521,297,18524,18527],{},[294,18500,18501],{},"Метод опорных векторов",[92,18503,18504],{},"support vector machine, SVM","), предложенный Кортес и Вапником в середине 1990-х ",[140,18507,18509],{"className":18508},[143],[22,18510,18511],{"href":246},[148,18512,249],{},", — алгоритм, в котором геометрия задачи поставлена в центр. Идея в следующем. Если две группы точек линейно разделимы, между ними существует не одна, а целое семейство разделяющих прямых; SVM выбирает ту, что максимально удалена от ближайших точек обоих классов. Это ",[294,18515,18516],{},"гиперплоскость максимального зазора",[92,18518,18519],{},"maximum-margin hyperplane","), а ближайшие к ней объекты обучающей выборки — ",[294,18522,18523],{},"опорные векторы",[92,18525,18526],{},"support vectors","), которые целиком определяют положение разделяющей плоскости.",[85,18529,18530,18531,18657,18658,18709,18710,18853,18854,4509,19059,19088,19089,19196,19197,19308,19309,19353,19354,19423],{},"Формально, для бинарной задачи с метками ",[148,18532,18534,18568],{"className":18533},[680],[148,18535,18537],{"className":18536},[684],[686,18538,18539],{"xmlns":688},[690,18540,18541,18565],{},[693,18542,18543,18549,18551,18553,18555,18557,18559,18561,18563],{},[1038,18544,18545,18547],{},[769,18546,6060],{},[769,18548,6183],{},[699,18550,1369],{},[699,18552,6174],{"stretchy":766},[699,18554,3325],{},[696,18556,150],{},[699,18558,1205],{"separator":713},[699,18560,2605],{},[696,18562,150],{},[699,18564,6199],{"stretchy":766},[705,18566,18567],{"encoding":707},"y_i \\in \\{-1, +1\\}",[148,18569,18571,18627],{"className":18570,"ariaHidden":713},[712],[148,18572,18574,18578,18618,18621,18624],{"className":18573},[717],[148,18575],{"className":18576,"style":18577},[721],"height:0.7335em;vertical-align:-0.1944em;",[148,18579,18581,18584],{"className":18580},[726],[148,18582,6060],{"className":18583,"style":4185},[726,1064],[148,18585,18587],{"className":18586},[977],[148,18588,18590,18610],{"className":18589},[981,1071],[148,18591,18593,18607],{"className":18592},[985],[148,18594,18596],{"className":18595,"style":6263},[989],[148,18597,18598,18601],{"style":6312},[148,18599],{"className":18600,"style":997},[996],[148,18602,18604],{"className":18603},[1001,1002,1003,1004],[148,18605,6183],{"className":18606},[726,1064,1004],[148,18608,1095],{"className":18609},[1094],[148,18611,18613],{"className":18612},[985],[148,18614,18616],{"className":18615,"style":1102},[989],[148,18617],{},[148,18619],{"className":18620,"style":815},[730],[148,18622,1369],{"className":18623},[819],[148,18625],{"className":18626,"style":815},[730],[148,18628,18630,18633,18636,18639,18642,18645,18648,18651,18654],{"className":18629},[717],[148,18631],{"className":18632,"style":800},[721],[148,18634,6174],{"className":18635},[1242],[148,18637,3325],{"className":18638},[726],[148,18640,150],{"className":18641},[726],[148,18643,1205],{"className":18644},[1250],[148,18646],{"className":18647,"style":835},[730],[148,18649,2605],{"className":18650},[726],[148,18652,150],{"className":18653},[726],[148,18655,6199],{"className":18656},[807]," ищется ",[148,18659,18661,18682],{"className":18660},[680],[148,18662,18664],{"className":18663},[684],[686,18665,18666],{"xmlns":688},[690,18667,18668,18680],{},[693,18669,18670,18672,18674,18676,18678],{},[699,18671,2748],{"stretchy":766},[769,18673,12482],{},[699,18675,1205],{"separator":713},[769,18677,2403],{},[699,18679,2757],{"stretchy":766},[705,18681,13824],{"encoding":707},[148,18683,18685],{"className":18684,"ariaHidden":713},[712],[148,18686,18688,18691,18694,18697,18700,18703,18706],{"className":18687},[717],[148,18689],{"className":18690,"style":800},[721],[148,18692,2748],{"className":18693},[1242],[148,18695,12482],{"className":18696,"style":12530},[726,1064],[148,18698,1205],{"className":18699},[1250],[148,18701],{"className":18702,"style":835},[730],[148,18704,2403],{"className":18705},[726,1064],[148,18707,2757],{"className":18708},[807],", минимизирующее ",[148,18711,18713,18741],{"className":18712},[680],[148,18714,18716],{"className":18715},[684],[686,18717,18718],{"xmlns":688},[690,18719,18720,18738],{},[693,18721,18722,18728,18730,18732],{},[3315,18723,18724,18726],{},[696,18725,150],{},[696,18727,163],{},[769,18729,14641],{"mathvariant":771},[769,18731,12482],{},[921,18733,18734,18736],{},[769,18735,14641],{"mathvariant":771},[696,18737,163],{},[705,18739,18740],{"encoding":707},"\\frac{1}{2} \\|w\\|^2",[148,18742,18744],{"className":18743,"ariaHidden":713},[712],[148,18745,18747,18750,18818,18821,18824],{"className":18746},[717],[148,18748],{"className":18749,"style":7544},[721],[148,18751,18753,18756,18815],{"className":18752},[726],[148,18754],{"className":18755},[1242,3347],[148,18757,18759],{"className":18758},[3315],[148,18760,18762,18807],{"className":18761},[981,1071],[148,18763,18765,18804],{"className":18764},[985],[148,18766,18768,18782,18790],{"className":18767,"style":7563},[989],[148,18769,18770,18773],{"style":3363},[148,18771],{"className":18772,"style":3367},[996],[148,18774,18776],{"className":18775},[1001,1002,1003,1004],[148,18777,18779],{"className":18778},[726,1004],[148,18780,163],{"className":18781},[726,1004],[148,18783,18784,18787],{"style":3385},[148,18785],{"className":18786,"style":3367},[996],[148,18788],{"className":18789,"style":3393},[3392],[148,18791,18792,18795],{"style":3396},[148,18793],{"className":18794,"style":3367},[996],[148,18796,18798],{"className":18797},[1001,1002,1003,1004],[148,18799,18801],{"className":18800},[726,1004],[148,18802,150],{"className":18803},[726,1004],[148,18805,1095],{"className":18806},[1094],[148,18808,18810],{"className":18809},[985],[148,18811,18813],{"className":18812,"style":7609},[989],[148,18814],{},[148,18816],{"className":18817},[807,3347],[148,18819,14641],{"className":18820},[726],[148,18822,12482],{"className":18823,"style":12530},[726,1064],[148,18825,18827,18830],{"className":18826},[726],[148,18828,14641],{"className":18829},[726],[148,18831,18833],{"className":18832},[977],[148,18834,18836],{"className":18835},[981],[148,18837,18839],{"className":18838},[985],[148,18840,18842],{"className":18841,"style":963},[989],[148,18843,18844,18847],{"style":992},[148,18845],{"className":18846,"style":997},[996],[148,18848,18850],{"className":18849},[1001,1002,1003,1004],[148,18851,163],{"className":18852},[726,1004]," при условиях ",[148,18855,18857,18899],{"className":18856},[680],[148,18858,18860],{"className":18859},[684],[686,18861,18862],{"xmlns":688},[690,18863,18864,18896],{},[693,18865,18866,18872,18874,18880,18886,18888,18890,18892,18894],{},[1038,18867,18868,18870],{},[769,18869,6060],{},[769,18871,6183],{},[699,18873,2748],{"stretchy":766},[921,18875,18876,18878],{},[769,18877,12482],{},[769,18879,12485],{"mathvariant":771},[1038,18881,18882,18884],{},[769,18883,6055],{},[769,18885,6183],{},[699,18887,2605],{},[769,18889,2403],{},[699,18891,2757],{"stretchy":766},[699,18893,5193],{},[696,18895,150],{},[705,18897,18898],{"encoding":707},"y_i (w^\\top x_i + b) \\geq 1",[148,18900,18902,19029,19050],{"className":18901,"ariaHidden":713},[712],[148,18903,18905,18908,18948,18951,18980,19020,19023,19026],{"className":18904},[717],[148,18906],{"className":18907,"style":2770},[721],[148,18909,18911,18914],{"className":18910},[726],[148,18912,6060],{"className":18913,"style":4185},[726,1064],[148,18915,18917],{"className":18916},[977],[148,18918,18920,18940],{"className":18919},[981,1071],[148,18921,18923,18937],{"className":18922},[985],[148,18924,18926],{"className":18925,"style":6263},[989],[148,18927,18928,18931],{"style":6312},[148,18929],{"className":18930,"style":997},[996],[148,18932,18934],{"className":18933},[1001,1002,1003,1004],[148,18935,6183],{"className":18936},[726,1064,1004],[148,18938,1095],{"className":18939},[1094],[148,18941,18943],{"className":18942},[985],[148,18944,18946],{"className":18945,"style":1102},[989],[148,18947],{},[148,18949,2748],{"className":18950},[1242],[148,18952,18954,18957],{"className":18953},[726],[148,18955,12482],{"className":18956,"style":12530},[726,1064],[148,18958,18960],{"className":18959},[977],[148,18961,18963],{"className":18962},[981],[148,18964,18966],{"className":18965},[985],[148,18967,18969],{"className":18968,"style":2796},[989],[148,18970,18971,18974],{"style":992},[148,18972],{"className":18973,"style":997},[996],[148,18975,18977],{"className":18976},[1001,1002,1003,1004],[148,18978,12485],{"className":18979},[726,1004],[148,18981,18983,18986],{"className":18982},[726],[148,18984,6055],{"className":18985},[726,1064],[148,18987,18989],{"className":18988},[977],[148,18990,18992,19012],{"className":18991},[981,1071],[148,18993,18995,19009],{"className":18994},[985],[148,18996,18998],{"className":18997,"style":6263},[989],[148,18999,19000,19003],{"style":1081},[148,19001],{"className":19002,"style":997},[996],[148,19004,19006],{"className":19005},[1001,1002,1003,1004],[148,19007,6183],{"className":19008},[726,1064,1004],[148,19010,1095],{"className":19011},[1094],[148,19013,19015],{"className":19014},[985],[148,19016,19018],{"className":19017,"style":1102},[989],[148,19019],{},[148,19021],{"className":19022,"style":731},[730],[148,19024,2605],{"className":19025},[735],[148,19027],{"className":19028,"style":731},[730],[148,19030,19032,19035,19038,19041,19044,19047],{"className":19031},[717],[148,19033],{"className":19034,"style":800},[721],[148,19036,2403],{"className":19037},[726,1064],[148,19039,2757],{"className":19040},[807],[148,19042],{"className":19043,"style":815},[730],[148,19045,5193],{"className":19046},[819],[148,19048],{"className":19049,"style":815},[730],[148,19051,19053,19056],{"className":19052},[717],[148,19054],{"className":19055,"style":745},[721],[148,19057,150],{"className":19058},[726],[148,19060,19062,19075],{"className":19061},[680],[148,19063,19065],{"className":19064},[684],[686,19066,19067],{"xmlns":688},[690,19068,19069,19073],{},[693,19070,19071],{},[769,19072,6183],{},[705,19074,6183],{"encoding":707},[148,19076,19078],{"className":19077,"ariaHidden":713},[712],[148,19079,19081,19085],{"className":19080},[717],[148,19082],{"className":19083,"style":19084},[721],"height:0.6595em;",[148,19086,6183],{"className":19087},[726,1064],". Расстояние от точки до плоскости ",[148,19090,19092,19119],{"className":19091},[680],[148,19093,19095],{"className":19094},[684],[686,19096,19097],{"xmlns":688},[690,19098,19099,19117],{},[693,19100,19101,19107,19109,19111,19113,19115],{},[921,19102,19103,19105],{},[769,19104,12482],{},[769,19106,12485],{"mathvariant":771},[769,19108,6055],{},[699,19110,2605],{},[769,19112,2403],{},[699,19114,777],{},[696,19116,973],{},[705,19118,13709],{"encoding":707},[148,19120,19122,19169,19187],{"className":19121,"ariaHidden":713},[712],[148,19123,19125,19128,19157,19160,19163,19166],{"className":19124},[717],[148,19126],{"className":19127,"style":12523},[721],[148,19129,19131,19134],{"className":19130},[726],[148,19132,12482],{"className":19133,"style":12530},[726,1064],[148,19135,19137],{"className":19136},[977],[148,19138,19140],{"className":19139},[981],[148,19141,19143],{"className":19142},[985],[148,19144,19146],{"className":19145,"style":2796},[989],[148,19147,19148,19151],{"style":992},[148,19149],{"className":19150,"style":997},[996],[148,19152,19154],{"className":19153},[1001,1002,1003,1004],[148,19155,12485],{"className":19156},[726,1004],[148,19158,6055],{"className":19159},[726,1064],[148,19161],{"className":19162,"style":731},[730],[148,19164,2605],{"className":19165},[735],[148,19167],{"className":19168,"style":731},[730],[148,19170,19172,19175,19178,19181,19184],{"className":19171},[717],[148,19173],{"className":19174,"style":2415},[721],[148,19176,2403],{"className":19177},[726,1064],[148,19179],{"className":19180,"style":815},[730],[148,19182,777],{"className":19183},[819],[148,19185],{"className":19186,"style":815},[730],[148,19188,19190,19193],{"className":19189},[717],[148,19191],{"className":19192,"style":745},[721],[148,19194,973],{"className":19195},[726]," равно ",[148,19198,19200,19236],{"className":19199},[680],[148,19201,19203],{"className":19202},[684],[686,19204,19205],{"xmlns":688},[690,19206,19207,19233],{},[693,19208,19209,19211,19217,19219,19221,19223,19225,19227,19229,19231],{},[769,19210,12014],{"mathvariant":771},[921,19212,19213,19215],{},[769,19214,12482],{},[769,19216,12485],{"mathvariant":771},[769,19218,6055],{},[699,19220,2605],{},[769,19222,2403],{},[769,19224,12014],{"mathvariant":771},[769,19226,772],{"mathvariant":771},[769,19228,14641],{"mathvariant":771},[769,19230,12482],{},[769,19232,14641],{"mathvariant":771},[705,19234,19235],{"encoding":707},"|w^\\top x + b| \u002F \\|w\\|",[148,19237,19239,19289],{"className":19238,"ariaHidden":713},[712],[148,19240,19242,19245,19248,19277,19280,19283,19286],{"className":19241},[717],[148,19243],{"className":19244,"style":2770},[721],[148,19246,12014],{"className":19247},[726],[148,19249,19251,19254],{"className":19250},[726],[148,19252,12482],{"className":19253,"style":12530},[726,1064],[148,19255,19257],{"className":19256},[977],[148,19258,19260],{"className":19259},[981],[148,19261,19263],{"className":19262},[985],[148,19264,19266],{"className":19265,"style":2796},[989],[148,19267,19268,19271],{"style":992},[148,19269],{"className":19270,"style":997},[996],[148,19272,19274],{"className":19273},[1001,1002,1003,1004],[148,19275,12485],{"className":19276},[726,1004],[148,19278,6055],{"className":19279},[726,1064],[148,19281],{"className":19282,"style":731},[730],[148,19284,2605],{"className":19285},[735],[148,19287],{"className":19288,"style":731},[730],[148,19290,19292,19295,19298,19302,19305],{"className":19291},[717],[148,19293],{"className":19294,"style":800},[721],[148,19296,2403],{"className":19297},[726,1064],[148,19299,19301],{"className":19300},[726],"∣\u002F∥",[148,19303,12482],{"className":19304,"style":12530},[726,1064],[148,19306,14641],{"className":19307},[726],", ширина зазора — ",[148,19310,19312,19334],{"className":19311},[680],[148,19313,19315],{"className":19314},[684],[686,19316,19317],{"xmlns":688},[690,19318,19319,19331],{},[693,19320,19321,19323,19325,19327,19329],{},[696,19322,163],{},[769,19324,772],{"mathvariant":771},[769,19326,14641],{"mathvariant":771},[769,19328,12482],{},[769,19330,14641],{"mathvariant":771},[705,19332,19333],{"encoding":707},"2 \u002F \\|w\\|",[148,19335,19337],{"className":19336,"ariaHidden":713},[712],[148,19338,19340,19343,19347,19350],{"className":19339},[717],[148,19341],{"className":19342,"style":800},[721],[148,19344,19346],{"className":19345},[726],"2\u002F∥",[148,19348,12482],{"className":19349,"style":12530},[726,1064],[148,19351,14641],{"className":19352},[726],", и минимизация ",[148,19355,19357,19379],{"className":19356},[680],[148,19358,19360],{"className":19359},[684],[686,19361,19362],{"xmlns":688},[690,19363,19364,19376],{},[693,19365,19366,19368,19370],{},[769,19367,14641],{"mathvariant":771},[769,19369,12482],{},[921,19371,19372,19374],{},[769,19373,14641],{"mathvariant":771},[696,19375,163],{},[705,19377,19378],{"encoding":707},"\\|w\\|^2",[148,19380,19382],{"className":19381,"ariaHidden":713},[712],[148,19383,19385,19388,19391,19394],{"className":19384},[717],[148,19386],{"className":19387,"style":14662},[721],[148,19389,14641],{"className":19390},[726],[148,19392,12482],{"className":19393,"style":12530},[726,1064],[148,19395,19397,19400],{"className":19396},[726],[148,19398,14641],{"className":19399},[726],[148,19401,19403],{"className":19402},[977],[148,19404,19406],{"className":19405},[981],[148,19407,19409],{"className":19408},[985],[148,19410,19412],{"className":19411,"style":963},[989],[148,19413,19414,19417],{"style":992},[148,19415],{"className":19416,"style":997},[996],[148,19418,19420],{"className":19419},[1001,1002,1003,1004],[148,19421,163],{"className":19422},[726,1004]," соответствует максимизации зазора. Оптимизация выпуклая (квадратичное программирование), решение единственно.",[362,19425,364,19426,364,19430],{},[366,19427],{"src":19428,"alt":19429},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Fsvm_margin.svg","Максимальный зазор и опорные векторы",[370,19431,19432],{},"SVM выбирает гиперплоскость с наибольшим зазором между классами; положение определяют только опорные векторы",[85,19434,19435,19436,297,19439,19442,19443,19710,19711,382,19979,20071,20072,20100,20101,20129,20130,20158],{},"Если данные не разделимы линейно (а реальные данные практически никогда не разделимы), вводят ",[294,19437,19438],{},"мягкий зазор",[92,19440,19441],{},"soft margin",") — штраф за нарушение условий: задача переписывается как минимизация ",[148,19444,19446,19492],{"className":19445},[680],[148,19447,19449],{"className":19448},[684],[686,19450,19451],{"xmlns":688},[690,19452,19453,19489],{},[693,19454,19455,19461,19463,19465,19471,19473,19476,19482],{},[3315,19456,19457,19459],{},[696,19458,150],{},[696,19460,163],{},[769,19462,14641],{"mathvariant":771},[769,19464,12482],{},[921,19466,19467,19469],{},[769,19468,14641],{"mathvariant":771},[696,19470,163],{},[699,19472,2605],{},[769,19474,19475],{},"C",[1038,19477,19478,19480],{},[699,19479,7436],{},[769,19481,6183],{},[1038,19483,19484,19487],{},[769,19485,19486],{},"ξ",[769,19488,6183],{},[705,19490,19491],{"encoding":707},"\\frac{1}{2} \\|w\\|^2 + C \\sum_i \\xi_i",[148,19493,19495,19613],{"className":19494,"ariaHidden":713},[712],[148,19496,19498,19501,19569,19572,19575,19604,19607,19610],{"className":19497},[717],[148,19499],{"className":19500,"style":7544},[721],[148,19502,19504,19507,19566],{"className":19503},[726],[148,19505],{"className":19506},[1242,3347],[148,19508,19510],{"className":19509},[3315],[148,19511,19513,19558],{"className":19512},[981,1071],[148,19514,19516,19555],{"className":19515},[985],[148,19517,19519,19533,19541],{"className":19518,"style":7563},[989],[148,19520,19521,19524],{"style":3363},[148,19522],{"className":19523,"style":3367},[996],[148,19525,19527],{"className":19526},[1001,1002,1003,1004],[148,19528,19530],{"className":19529},[726,1004],[148,19531,163],{"className":19532},[726,1004],[148,19534,19535,19538],{"style":3385},[148,19536],{"className":19537,"style":3367},[996],[148,19539],{"className":19540,"style":3393},[3392],[148,19542,19543,19546],{"style":3396},[148,19544],{"className":19545,"style":3367},[996],[148,19547,19549],{"className":19548},[1001,1002,1003,1004],[148,19550,19552],{"className":19551},[726,1004],[148,19553,150],{"className":19554},[726,1004],[148,19556,1095],{"className":19557},[1094],[148,19559,19561],{"className":19560},[985],[148,19562,19564],{"className":19563,"style":7609},[989],[148,19565],{},[148,19567],{"className":19568},[807,3347],[148,19570,14641],{"className":19571},[726],[148,19573,12482],{"className":19574,"style":12530},[726,1064],[148,19576,19578,19581],{"className":19577},[726],[148,19579,14641],{"className":19580},[726],[148,19582,19584],{"className":19583},[977],[148,19585,19587],{"className":19586},[981],[148,19588,19590],{"className":19589},[985],[148,19591,19593],{"className":19592,"style":963},[989],[148,19594,19595,19598],{"style":992},[148,19596],{"className":19597,"style":997},[996],[148,19599,19601],{"className":19600},[1001,1002,1003,1004],[148,19602,163],{"className":19603},[726,1004],[148,19605],{"className":19606,"style":731},[730],[148,19608,2605],{"className":19609},[735],[148,19611],{"className":19612,"style":731},[730],[148,19614,19616,19619,19622,19625,19665,19668],{"className":19615},[717],[148,19617],{"className":19618,"style":17832},[721],[148,19620,19475],{"className":19621,"style":11483},[726,1064],[148,19623],{"className":19624,"style":835},[730],[148,19626,19628,19631],{"className":19627},[7621],[148,19629,7436],{"className":19630,"style":7627},[7621,7625,7626],[148,19632,19634],{"className":19633},[977],[148,19635,19637,19657],{"className":19636},[981,1071],[148,19638,19640,19654],{"className":19639},[985],[148,19641,19643],{"className":19642,"style":15784},[989],[148,19644,19645,19648],{"style":7643},[148,19646],{"className":19647,"style":997},[996],[148,19649,19651],{"className":19650},[1001,1002,1003,1004],[148,19652,6183],{"className":19653},[726,1064,1004],[148,19655,1095],{"className":19656},[1094],[148,19658,19660],{"className":19659},[985],[148,19661,19663],{"className":19662,"style":7686},[989],[148,19664],{},[148,19666],{"className":19667,"style":835},[730],[148,19669,19671,19675],{"className":19670},[726],[148,19672,19486],{"className":19673,"style":19674},[726,1064],"margin-right:0.046em;",[148,19676,19678],{"className":19677},[977],[148,19679,19681,19702],{"className":19680},[981,1071],[148,19682,19684,19699],{"className":19683},[985],[148,19685,19687],{"className":19686,"style":6263},[989],[148,19688,19690,19693],{"style":19689},"top:-2.55em;margin-left:-0.046em;margin-right:0.05em;",[148,19691],{"className":19692,"style":997},[996],[148,19694,19696],{"className":19695},[1001,1002,1003,1004],[148,19697,6183],{"className":19698},[726,1064,1004],[148,19700,1095],{"className":19701},[1094],[148,19703,19705],{"className":19704},[985],[148,19706,19708],{"className":19707,"style":1102},[989],[148,19709],{}," при ",[148,19712,19714,19764],{"className":19713},[680],[148,19715,19717],{"className":19716},[684],[686,19718,19719],{"xmlns":688},[690,19720,19721,19761],{},[693,19722,19723,19729,19731,19737,19743,19745,19747,19749,19751,19753,19755],{},[1038,19724,19725,19727],{},[769,19726,6060],{},[769,19728,6183],{},[699,19730,2748],{"stretchy":766},[921,19732,19733,19735],{},[769,19734,12482],{},[769,19736,12485],{"mathvariant":771},[1038,19738,19739,19741],{},[769,19740,6055],{},[769,19742,6183],{},[699,19744,2605],{},[769,19746,2403],{},[699,19748,2757],{"stretchy":766},[699,19750,5193],{},[696,19752,150],{},[699,19754,3325],{},[1038,19756,19757,19759],{},[769,19758,19486],{},[769,19760,6183],{},[705,19762,19763],{"encoding":707},"y_i (w^\\top x_i + b) \\geq 1 - \\xi_i",[148,19765,19767,19894,19915,19933],{"className":19766,"ariaHidden":713},[712],[148,19768,19770,19773,19813,19816,19845,19885,19888,19891],{"className":19769},[717],[148,19771],{"className":19772,"style":2770},[721],[148,19774,19776,19779],{"className":19775},[726],[148,19777,6060],{"className":19778,"style":4185},[726,1064],[148,19780,19782],{"className":19781},[977],[148,19783,19785,19805],{"className":19784},[981,1071],[148,19786,19788,19802],{"className":19787},[985],[148,19789,19791],{"className":19790,"style":6263},[989],[148,19792,19793,19796],{"style":6312},[148,19794],{"className":19795,"style":997},[996],[148,19797,19799],{"className":19798},[1001,1002,1003,1004],[148,19800,6183],{"className":19801},[726,1064,1004],[148,19803,1095],{"className":19804},[1094],[148,19806,19808],{"className":19807},[985],[148,19809,19811],{"className":19810,"style":1102},[989],[148,19812],{},[148,19814,2748],{"className":19815},[1242],[148,19817,19819,19822],{"className":19818},[726],[148,19820,12482],{"className":19821,"style":12530},[726,1064],[148,19823,19825],{"className":19824},[977],[148,19826,19828],{"className":19827},[981],[148,19829,19831],{"className":19830},[985],[148,19832,19834],{"className":19833,"style":2796},[989],[148,19835,19836,19839],{"style":992},[148,19837],{"className":19838,"style":997},[996],[148,19840,19842],{"className":19841},[1001,1002,1003,1004],[148,19843,12485],{"className":19844},[726,1004],[148,19846,19848,19851],{"className":19847},[726],[148,19849,6055],{"className":19850},[726,1064],[148,19852,19854],{"className":19853},[977],[148,19855,19857,19877],{"className":19856},[981,1071],[148,19858,19860,19874],{"className":19859},[985],[148,19861,19863],{"className":19862,"style":6263},[989],[148,19864,19865,19868],{"style":1081},[148,19866],{"className":19867,"style":997},[996],[148,19869,19871],{"className":19870},[1001,1002,1003,1004],[148,19872,6183],{"className":19873},[726,1064,1004],[148,19875,1095],{"className":19876},[1094],[148,19878,19880],{"className":19879},[985],[148,19881,19883],{"className":19882,"style":1102},[989],[148,19884],{},[148,19886],{"className":19887,"style":731},[730],[148,19889,2605],{"className":19890},[735],[148,19892],{"className":19893,"style":731},[730],[148,19895,19897,19900,19903,19906,19909,19912],{"className":19896},[717],[148,19898],{"className":19899,"style":800},[721],[148,19901,2403],{"className":19902},[726,1064],[148,19904,2757],{"className":19905},[807],[148,19907],{"className":19908,"style":815},[730],[148,19910,5193],{"className":19911},[819],[148,19913],{"className":19914,"style":815},[730],[148,19916,19918,19921,19924,19927,19930],{"className":19917},[717],[148,19919],{"className":19920,"style":722},[721],[148,19922,150],{"className":19923},[726],[148,19925],{"className":19926,"style":731},[730],[148,19928,3325],{"className":19929},[735],[148,19931],{"className":19932,"style":731},[730],[148,19934,19936,19939],{"className":19935},[717],[148,19937],{"className":19938,"style":6934},[721],[148,19940,19942,19945],{"className":19941},[726],[148,19943,19486],{"className":19944,"style":19674},[726,1064],[148,19946,19948],{"className":19947},[977],[148,19949,19951,19971],{"className":19950},[981,1071],[148,19952,19954,19968],{"className":19953},[985],[148,19955,19957],{"className":19956,"style":6263},[989],[148,19958,19959,19962],{"style":19689},[148,19960],{"className":19961,"style":997},[996],[148,19963,19965],{"className":19964},[1001,1002,1003,1004],[148,19966,6183],{"className":19967},[726,1064,1004],[148,19969,1095],{"className":19970},[1094],[148,19972,19974],{"className":19973},[985],[148,19975,19977],{"className":19976,"style":1102},[989],[148,19978],{},[148,19980,19982,20004],{"className":19981},[680],[148,19983,19985],{"className":19984},[684],[686,19986,19987],{"xmlns":688},[690,19988,19989,20001],{},[693,19990,19991,19997,19999],{},[1038,19992,19993,19995],{},[769,19994,19486],{},[769,19996,6183],{},[699,19998,5193],{},[696,20000,973],{},[705,20002,20003],{"encoding":707},"\\xi_i \\geq 0",[148,20005,20007,20062],{"className":20006,"ariaHidden":713},[712],[148,20008,20010,20013,20053,20056,20059],{"className":20009},[717],[148,20011],{"className":20012,"style":6934},[721],[148,20014,20016,20019],{"className":20015},[726],[148,20017,19486],{"className":20018,"style":19674},[726,1064],[148,20020,20022],{"className":20021},[977],[148,20023,20025,20045],{"className":20024},[981,1071],[148,20026,20028,20042],{"className":20027},[985],[148,20029,20031],{"className":20030,"style":6263},[989],[148,20032,20033,20036],{"style":19689},[148,20034],{"className":20035,"style":997},[996],[148,20037,20039],{"className":20038},[1001,1002,1003,1004],[148,20040,6183],{"className":20041},[726,1064,1004],[148,20043,1095],{"className":20044},[1094],[148,20046,20048],{"className":20047},[985],[148,20049,20051],{"className":20050,"style":1102},[989],[148,20052],{},[148,20054],{"className":20055,"style":815},[730],[148,20057,5193],{"className":20058},[819],[148,20060],{"className":20061,"style":815},[730],[148,20063,20065,20068],{"className":20064},[717],[148,20066],{"className":20067,"style":745},[721],[148,20069,973],{"className":20070},[726],". Параметр ",[148,20073,20075,20088],{"className":20074},[680],[148,20076,20078],{"className":20077},[684],[686,20079,20080],{"xmlns":688},[690,20081,20082,20086],{},[693,20083,20084],{},[769,20085,19475],{},[705,20087,19475],{"encoding":707},[148,20089,20091],{"className":20090,"ariaHidden":713},[712],[148,20092,20094,20097],{"className":20093},[717],[148,20095],{"className":20096,"style":1344},[721],[148,20098,19475],{"className":20099,"style":11483},[726,1064]," балансирует ширину зазора и допустимый объём нарушений: большое ",[148,20102,20104,20117],{"className":20103},[680],[148,20105,20107],{"className":20106},[684],[686,20108,20109],{"xmlns":688},[690,20110,20111,20115],{},[693,20112,20113],{},[769,20114,19475],{},[705,20116,19475],{"encoding":707},[148,20118,20120],{"className":20119,"ariaHidden":713},[712],[148,20121,20123,20126],{"className":20122},[717],[148,20124],{"className":20125,"style":1344},[721],[148,20127,19475],{"className":20128,"style":11483},[726,1064]," — узкий зазор, мало ошибок; малое ",[148,20131,20133,20146],{"className":20132},[680],[148,20134,20136],{"className":20135},[684],[686,20137,20138],{"xmlns":688},[690,20139,20140,20144],{},[693,20141,20142],{},[769,20143,19475],{},[705,20145,19475],{"encoding":707},[148,20147,20149],{"className":20148,"ariaHidden":713},[712],[148,20150,20152,20155],{"className":20151},[717],[148,20153],{"className":20154,"style":1344},[721],[148,20156,19475],{"className":20157,"style":11483},[726,1064]," — широкий зазор, нарушения допускаются.",[85,20160,20161,20162,297,20165,20168,20169,20304,20305,20600,20601,20630,20631,20659,20660,20688,20689,389,20917,297,20920,5554,20923,21160,21161,389,21189,21218],{},"Для нелинейных границ применяется ",[294,20163,20164],{},"ядровой трюк",[92,20166,20167],{},"kernel trick","). Алгоритм формально работает с признаковым пространством через скалярные произведения ",[148,20170,20172,20202],{"className":20171},[680],[148,20173,20175],{"className":20174},[684],[686,20176,20177],{"xmlns":688},[690,20178,20179,20199],{},[693,20180,20181,20183,20189,20191,20197],{},[699,20182,1199],{"stretchy":766},[1038,20184,20185,20187],{},[769,20186,6055],{},[769,20188,6183],{},[699,20190,1205],{"separator":713},[1038,20192,20193,20195],{},[769,20194,6055],{},[769,20196,14956],{},[699,20198,1224],{"stretchy":766},[705,20200,20201],{"encoding":707},"\\langle x_i, x_j \\rangle",[148,20203,20205],{"className":20204,"ariaHidden":713},[712],[148,20206,20208,20212,20215,20255,20258,20261,20301],{"className":20207},[717],[148,20209],{"className":20210,"style":20211},[721],"height:1.0361em;vertical-align:-0.2861em;",[148,20213,1199],{"className":20214},[1242],[148,20216,20218,20221],{"className":20217},[726],[148,20219,6055],{"className":20220},[726,1064],[148,20222,20224],{"className":20223},[977],[148,20225,20227,20247],{"className":20226},[981,1071],[148,20228,20230,20244],{"className":20229},[985],[148,20231,20233],{"className":20232,"style":6263},[989],[148,20234,20235,20238],{"style":1081},[148,20236],{"className":20237,"style":997},[996],[148,20239,20241],{"className":20240},[1001,1002,1003,1004],[148,20242,6183],{"className":20243},[726,1064,1004],[148,20245,1095],{"className":20246},[1094],[148,20248,20250],{"className":20249},[985],[148,20251,20253],{"className":20252,"style":1102},[989],[148,20254],{},[148,20256,1205],{"className":20257},[1250],[148,20259],{"className":20260,"style":835},[730],[148,20262,20264,20267],{"className":20263},[726],[148,20265,6055],{"className":20266},[726,1064],[148,20268,20270],{"className":20269},[977],[148,20271,20273,20293],{"className":20272},[981,1071],[148,20274,20276,20290],{"className":20275},[985],[148,20277,20279],{"className":20278,"style":6263},[989],[148,20280,20281,20284],{"style":1081},[148,20282],{"className":20283,"style":997},[996],[148,20285,20287],{"className":20286},[1001,1002,1003,1004],[148,20288,14956],{"className":20289,"style":15000},[726,1064,1004],[148,20291,1095],{"className":20292},[1094],[148,20294,20296],{"className":20295},[985],[148,20297,20299],{"className":20298,"style":15010},[989],[148,20300],{},[148,20302,1224],{"className":20303},[807],"; если заменить их функцией ядра ",[148,20306,20308,20373],{"className":20307},[680],[148,20309,20311],{"className":20310},[684],[686,20312,20313],{"xmlns":688},[690,20314,20315,20370],{},[693,20316,20317,20319,20321,20327,20329,20335,20337,20339,20341,20344,20346,20352,20354,20356,20358,20360,20366,20368],{},[769,20318,11360],{},[699,20320,2748],{"stretchy":766},[1038,20322,20323,20325],{},[769,20324,6055],{},[769,20326,6183],{},[699,20328,1205],{"separator":713},[1038,20330,20331,20333],{},[769,20332,6055],{},[769,20334,14956],{},[699,20336,2757],{"stretchy":766},[699,20338,777],{},[699,20340,1199],{"stretchy":766},[769,20342,20343],{},"φ",[699,20345,2748],{"stretchy":766},[1038,20347,20348,20350],{},[769,20349,6055],{},[769,20351,6183],{},[699,20353,2757],{"stretchy":766},[699,20355,1205],{"separator":713},[769,20357,20343],{},[699,20359,2748],{"stretchy":766},[1038,20361,20362,20364],{},[769,20363,6055],{},[769,20365,14956],{},[699,20367,2757],{"stretchy":766},[699,20369,1224],{"stretchy":766},[705,20371,20372],{"encoding":707},"K(x_i, x_j) = \\langle \\varphi(x_i), \\varphi(x_j) \\rangle",[148,20374,20376,20486],{"className":20375,"ariaHidden":713},[712],[148,20377,20379,20382,20385,20388,20428,20431,20434,20474,20477,20480,20483],{"className":20378},[717],[148,20380],{"className":20381,"style":20211},[721],[148,20383,11360],{"className":20384,"style":11483},[726,1064],[148,20386,2748],{"className":20387},[1242],[148,20389,20391,20394],{"className":20390},[726],[148,20392,6055],{"className":20393},[726,1064],[148,20395,20397],{"className":20396},[977],[148,20398,20400,20420],{"className":20399},[981,1071],[148,20401,20403,20417],{"className":20402},[985],[148,20404,20406],{"className":20405,"style":6263},[989],[148,20407,20408,20411],{"style":1081},[148,20409],{"className":20410,"style":997},[996],[148,20412,20414],{"className":20413},[1001,1002,1003,1004],[148,20415,6183],{"className":20416},[726,1064,1004],[148,20418,1095],{"className":20419},[1094],[148,20421,20423],{"className":20422},[985],[148,20424,20426],{"className":20425,"style":1102},[989],[148,20427],{},[148,20429,1205],{"className":20430},[1250],[148,20432],{"className":20433,"style":835},[730],[148,20435,20437,20440],{"className":20436},[726],[148,20438,6055],{"className":20439},[726,1064],[148,20441,20443],{"className":20442},[977],[148,20444,20446,20466],{"className":20445},[981,1071],[148,20447,20449,20463],{"className":20448},[985],[148,20450,20452],{"className":20451,"style":6263},[989],[148,20453,20454,20457],{"style":1081},[148,20455],{"className":20456,"style":997},[996],[148,20458,20460],{"className":20459},[1001,1002,1003,1004],[148,20461,14956],{"className":20462,"style":15000},[726,1064,1004],[148,20464,1095],{"className":20465},[1094],[148,20467,20469],{"className":20468},[985],[148,20470,20472],{"className":20471,"style":15010},[989],[148,20473],{},[148,20475,2757],{"className":20476},[807],[148,20478],{"className":20479,"style":815},[730],[148,20481,777],{"className":20482},[819],[148,20484],{"className":20485,"style":815},[730],[148,20487,20489,20492,20495,20498,20501,20541,20544,20547,20550,20553,20556,20596],{"className":20488},[717],[148,20490],{"className":20491,"style":20211},[721],[148,20493,1199],{"className":20494},[1242],[148,20496,20343],{"className":20497},[726,1064],[148,20499,2748],{"className":20500},[1242],[148,20502,20504,20507],{"className":20503},[726],[148,20505,6055],{"className":20506},[726,1064],[148,20508,20510],{"className":20509},[977],[148,20511,20513,20533],{"className":20512},[981,1071],[148,20514,20516,20530],{"className":20515},[985],[148,20517,20519],{"className":20518,"style":6263},[989],[148,20520,20521,20524],{"style":1081},[148,20522],{"className":20523,"style":997},[996],[148,20525,20527],{"className":20526},[1001,1002,1003,1004],[148,20528,6183],{"className":20529},[726,1064,1004],[148,20531,1095],{"className":20532},[1094],[148,20534,20536],{"className":20535},[985],[148,20537,20539],{"className":20538,"style":1102},[989],[148,20540],{},[148,20542,2757],{"className":20543},[807],[148,20545,1205],{"className":20546},[1250],[148,20548],{"className":20549,"style":835},[730],[148,20551,20343],{"className":20552},[726,1064],[148,20554,2748],{"className":20555},[1242],[148,20557,20559,20562],{"className":20558},[726],[148,20560,6055],{"className":20561},[726,1064],[148,20563,20565],{"className":20564},[977],[148,20566,20568,20588],{"className":20567},[981,1071],[148,20569,20571,20585],{"className":20570},[985],[148,20572,20574],{"className":20573,"style":6263},[989],[148,20575,20576,20579],{"style":1081},[148,20577],{"className":20578,"style":997},[996],[148,20580,20582],{"className":20581},[1001,1002,1003,1004],[148,20583,14956],{"className":20584,"style":15000},[726,1064,1004],[148,20586,1095],{"className":20587},[1094],[148,20589,20591],{"className":20590},[985],[148,20592,20594],{"className":20593,"style":15010},[989],[148,20595],{},[148,20597,20599],{"className":20598},[807],")⟩",", соответствующей какому-то нелинейному отображению ",[148,20602,20604,20618],{"className":20603},[680],[148,20605,20607],{"className":20606},[684],[686,20608,20609],{"xmlns":688},[690,20610,20611,20615],{},[693,20612,20613],{},[769,20614,20343],{},[705,20616,20617],{"encoding":707},"\\varphi",[148,20619,20621],{"className":20620,"ariaHidden":713},[712],[148,20622,20624,20627],{"className":20623},[717],[148,20625],{"className":20626,"style":1579},[721],[148,20628,20343],{"className":20629},[726,1064]," в более многомерное пространство, мы получим линейный классификатор в этом новом пространстве — а в исходном он окажется нелинейным. Главное, что само ",[148,20632,20634,20647],{"className":20633},[680],[148,20635,20637],{"className":20636},[684],[686,20638,20639],{"xmlns":688},[690,20640,20641,20645],{},[693,20642,20643],{},[769,20644,20343],{},[705,20646,20617],{"encoding":707},[148,20648,20650],{"className":20649,"ariaHidden":713},[712],[148,20651,20653,20656],{"className":20652},[717],[148,20654],{"className":20655,"style":1579},[721],[148,20657,20343],{"className":20658},[726,1064]," вычислять не приходится: достаточно знать функцию ",[148,20661,20663,20676],{"className":20662},[680],[148,20664,20666],{"className":20665},[684],[686,20667,20668],{"xmlns":688},[690,20669,20670,20674],{},[693,20671,20672],{},[769,20673,11360],{},[705,20675,11360],{"encoding":707},[148,20677,20679],{"className":20678,"ariaHidden":713},[712],[148,20680,20682,20685],{"className":20681},[717],[148,20683],{"className":20684,"style":1344},[721],[148,20686,11360],{"className":20687,"style":11483},[726,1064],". Наиболее популярны полиномиальное ядро ",[148,20690,20692,20748],{"className":20691},[680],[148,20693,20695],{"className":20694},[684],[686,20696,20697],{"xmlns":688},[690,20698,20699,20745],{},[693,20700,20701,20703,20705,20707,20709,20715,20717,20719,20721,20723,20725,20727,20733,20735,20737,20739],{},[769,20702,11360],{},[699,20704,2748],{"stretchy":766},[769,20706,6055],{},[699,20708,1205],{"separator":713},[921,20710,20711,20713],{},[769,20712,6055],{},[699,20714,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[699,20716,2757],{"stretchy":766},[699,20718,777],{},[699,20720,2748],{"stretchy":766},[699,20722,1199],{"stretchy":766},[769,20724,6055],{},[699,20726,1205],{"separator":713},[921,20728,20729,20731],{},[769,20730,6055],{},[699,20732,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[699,20734,1224],{"stretchy":766},[699,20736,2605],{},[696,20738,150],{},[921,20740,20741,20743],{},[699,20742,2757],{"stretchy":766},[769,20744,85],{},[705,20746,20747],{"encoding":707},"K(x, x') = (\\langle x, x' \\rangle + 1)^p",[148,20749,20751,20816,20879],{"className":20750,"ariaHidden":713},[712],[148,20752,20754,20757,20760,20763,20766,20769,20772,20804,20807,20810,20813],{"className":20753},[717],[148,20755],{"className":20756,"style":4873},[721],[148,20758,11360],{"className":20759,"style":11483},[726,1064],[148,20761,2748],{"className":20762},[1242],[148,20764,6055],{"className":20765},[726,1064],[148,20767,1205],{"className":20768},[1250],[148,20770],{"className":20771,"style":835},[730],[148,20773,20775,20778],{"className":20774},[726],[148,20776,6055],{"className":20777},[726,1064],[148,20779,20781],{"className":20780},[977],[148,20782,20784],{"className":20783},[981],[148,20785,20787],{"className":20786},[985],[148,20788,20790],{"className":20789,"style":4714},[989],[148,20791,20792,20795],{"style":992},[148,20793],{"className":20794,"style":997},[996],[148,20796,20798],{"className":20797},[1001,1002,1003,1004],[148,20799,20801],{"className":20800},[726,1004],[148,20802,4701],{"className":20803},[726,1004],[148,20805,2757],{"className":20806},[807],[148,20808],{"className":20809,"style":815},[730],[148,20811,777],{"className":20812},[819],[148,20814],{"className":20815,"style":815},[730],[148,20817,20819,20822,20826,20829,20832,20835,20867,20870,20873,20876],{"className":20818},[717],[148,20820],{"className":20821,"style":4873},[721],[148,20823,20825],{"className":20824},[1242],"(⟨",[148,20827,6055],{"className":20828},[726,1064],[148,20830,1205],{"className":20831},[1250],[148,20833],{"className":20834,"style":835},[730],[148,20836,20838,20841],{"className":20837},[726],[148,20839,6055],{"className":20840},[726,1064],[148,20842,20844],{"className":20843},[977],[148,20845,20847],{"className":20846},[981],[148,20848,20850],{"className":20849},[985],[148,20851,20853],{"className":20852,"style":4714},[989],[148,20854,20855,20858],{"style":992},[148,20856],{"className":20857,"style":997},[996],[148,20859,20861],{"className":20860},[1001,1002,1003,1004],[148,20862,20864],{"className":20863},[726,1004],[148,20865,4701],{"className":20866},[726,1004],[148,20868,1224],{"className":20869},[807],[148,20871],{"className":20872,"style":731},[730],[148,20874,2605],{"className":20875},[735],[148,20877],{"className":20878,"style":731},[730],[148,20880,20882,20885,20888],{"className":20881},[717],[148,20883],{"className":20884,"style":800},[721],[148,20886,150],{"className":20887},[726],[148,20889,20891,20894],{"className":20890},[807],[148,20892,2757],{"className":20893},[807],[148,20895,20897],{"className":20896},[977],[148,20898,20900],{"className":20899},[981],[148,20901,20903],{"className":20902},[985],[148,20904,20906],{"className":20905,"style":6354},[989],[148,20907,20908,20911],{"style":992},[148,20909],{"className":20910,"style":997},[996],[148,20912,20914],{"className":20913},[1001,1002,1003,1004],[148,20915,85],{"className":20916},[726,1064,1004],[294,20918,20919],{},"радиально-базисное ядро",[92,20921,20922],{},"radial basis function, RBF",[148,20924,20926,20988],{"className":20925},[680],[148,20927,20929],{"className":20928},[684],[686,20930,20931],{"xmlns":688},[690,20932,20933,20985],{},[693,20934,20935,20937,20939,20941,20943,20949,20951,20953,20956,20958,20960,20962,20965,20967,20969,20971,20977,20983],{},[769,20936,11360],{},[699,20938,2748],{"stretchy":766},[769,20940,6055],{},[699,20942,1205],{"separator":713},[921,20944,20945,20947],{},[769,20946,6055],{},[699,20948,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[699,20950,2757],{"stretchy":766},[699,20952,777],{},[769,20954,20955],{},"exp",[699,20957,13929],{},[699,20959,2748],{"stretchy":766},[699,20961,3325],{},[769,20963,20964],{},"γ",[769,20966,14641],{"mathvariant":771},[769,20968,6055],{},[699,20970,3325],{},[921,20972,20973,20975],{},[769,20974,6055],{},[699,20976,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[921,20978,20979,20981],{},[769,20980,14641],{"mathvariant":771},[696,20982,163],{},[699,20984,2757],{"stretchy":766},[705,20986,20987],{"encoding":707},"K(x, x') = \\exp(-\\gamma \\|x - x'\\|^2)",[148,20989,20991,21056,21090],{"className":20990,"ariaHidden":713},[712],[148,20992,20994,20997,21000,21003,21006,21009,21012,21044,21047,21050,21053],{"className":20993},[717],[148,20995],{"className":20996,"style":4873},[721],[148,20998,11360],{"className":20999,"style":11483},[726,1064],[148,21001,2748],{"className":21002},[1242],[148,21004,6055],{"className":21005},[726,1064],[148,21007,1205],{"className":21008},[1250],[148,21010],{"className":21011,"style":835},[730],[148,21013,21015,21018],{"className":21014},[726],[148,21016,6055],{"className":21017},[726,1064],[148,21019,21021],{"className":21020},[977],[148,21022,21024],{"className":21023},[981],[148,21025,21027],{"className":21026},[985],[148,21028,21030],{"className":21029,"style":4714},[989],[148,21031,21032,21035],{"style":992},[148,21033],{"className":21034,"style":997},[996],[148,21036,21038],{"className":21037},[1001,1002,1003,1004],[148,21039,21041],{"className":21040},[726,1004],[148,21042,4701],{"className":21043},[726,1004],[148,21045,2757],{"className":21046},[807],[148,21048],{"className":21049,"style":815},[730],[148,21051,777],{"className":21052},[819],[148,21054],{"className":21055,"style":815},[730],[148,21057,21059,21062,21065,21068,21071,21075,21078,21081,21084,21087],{"className":21058},[717],[148,21060],{"className":21061,"style":800},[721],[148,21063,20955],{"className":21064},[7621],[148,21066,2748],{"className":21067},[1242],[148,21069,3325],{"className":21070},[726],[148,21072,20964],{"className":21073,"style":21074},[726,1064],"margin-right:0.0556em;",[148,21076,14641],{"className":21077},[726],[148,21079,6055],{"className":21080},[726,1064],[148,21082],{"className":21083,"style":731},[730],[148,21085,3325],{"className":21086},[735],[148,21088],{"className":21089,"style":731},[730],[148,21091,21093,21096,21128,21157],{"className":21092},[717],[148,21094],{"className":21095,"style":14662},[721],[148,21097,21099,21102],{"className":21098},[726],[148,21100,6055],{"className":21101},[726,1064],[148,21103,21105],{"className":21104},[977],[148,21106,21108],{"className":21107},[981],[148,21109,21111],{"className":21110},[985],[148,21112,21114],{"className":21113,"style":4714},[989],[148,21115,21116,21119],{"style":992},[148,21117],{"className":21118,"style":997},[996],[148,21120,21122],{"className":21121},[1001,1002,1003,1004],[148,21123,21125],{"className":21124},[726,1004],[148,21126,4701],{"className":21127},[726,1004],[148,21129,21131,21134],{"className":21130},[726],[148,21132,14641],{"className":21133},[726],[148,21135,21137],{"className":21136},[977],[148,21138,21140],{"className":21139},[981],[148,21141,21143],{"className":21142},[985],[148,21144,21146],{"className":21145,"style":963},[989],[148,21147,21148,21151],{"style":992},[148,21149],{"className":21150,"style":997},[996],[148,21152,21154],{"className":21153},[1001,1002,1003,1004],[148,21155,163],{"className":21156},[726,1004],[148,21158,2757],{"className":21159},[807],". RBF-ядро универсально и для большинства задач даёт сильный baseline, но его выбор означает два гиперпараметра одновременно — ",[148,21162,21164,21177],{"className":21163},[680],[148,21165,21167],{"className":21166},[684],[686,21168,21169],{"xmlns":688},[690,21170,21171,21175],{},[693,21172,21173],{},[769,21174,19475],{},[705,21176,19475],{"encoding":707},[148,21178,21180],{"className":21179,"ariaHidden":713},[712],[148,21181,21183,21186],{"className":21182},[717],[148,21184],{"className":21185,"style":1344},[721],[148,21187,19475],{"className":21188,"style":11483},[726,1064],[148,21190,21192,21206],{"className":21191},[680],[148,21193,21195],{"className":21194},[684],[686,21196,21197],{"xmlns":688},[690,21198,21199,21203],{},[693,21200,21201],{},[769,21202,20964],{},[705,21204,21205],{"encoding":707},"\\gamma",[148,21207,21209],{"className":21208,"ariaHidden":713},[712],[148,21210,21212,21215],{"className":21211},[717],[148,21213],{"className":21214,"style":1579},[721],[148,21216,20964],{"className":21217,"style":21074},[726,1064],", — которые нужно подбирать совместно.",[85,21220,21221,21222,21273,21274,21302,21303,21377,21378,21406],{},"Сильные стороны SVM — теоретически обоснованный принцип максимума зазора, эффективность в пространствах высокой размерности (когда ",[148,21223,21225,21243],{"className":21224},[680],[148,21226,21228],{"className":21227},[684],[686,21229,21230],{"xmlns":688},[690,21231,21232,21240],{},[693,21233,21234,21236,21238],{},[769,21235,2437],{},[699,21237,3235],{},[769,21239,1566],{},[705,21241,21242],{"encoding":707},"d > n",[148,21244,21246,21264],{"className":21245,"ariaHidden":713},[712],[148,21247,21249,21252,21255,21258,21261],{"className":21248},[717],[148,21250],{"className":21251,"style":3250},[721],[148,21253,2437],{"className":21254},[726,1064],[148,21256],{"className":21257,"style":815},[730],[148,21259,3235],{"className":21260},[819],[148,21262],{"className":21263,"style":815},[730],[148,21265,21267,21270],{"className":21266},[717],[148,21268],{"className":21269,"style":2537},[721],[148,21271,1566],{"className":21272},[726,1064],"), способность работать с нелинейными границами через ядра. Слабости — плохая масштабируемость на больших ",[148,21275,21277,21290],{"className":21276},[680],[148,21278,21280],{"className":21279},[684],[686,21281,21282],{"xmlns":688},[690,21283,21284,21288],{},[693,21285,21286],{},[769,21287,1566],{},[705,21289,1566],{"encoding":707},[148,21291,21293],{"className":21292,"ariaHidden":713},[712],[148,21294,21296,21299],{"className":21295},[717],[148,21297],{"className":21298,"style":2537},[721],[148,21300,1566],{"className":21301},[726,1064]," (квадратичная программа решается за ",[148,21304,21306,21330],{"className":21305},[680],[148,21307,21309],{"className":21308},[684],[686,21310,21311],{"xmlns":688},[690,21312,21313,21327],{},[693,21314,21315,21317,21319,21325],{},[769,21316,2745],{},[699,21318,2748],{"stretchy":766},[921,21320,21321,21323],{},[769,21322,1566],{},[696,21324,163],{},[699,21326,2757],{"stretchy":766},[705,21328,21329],{"encoding":707},"O(n^2)",[148,21331,21333],{"className":21332,"ariaHidden":713},[712],[148,21334,21336,21339,21342,21345,21374],{"className":21335},[717],[148,21337],{"className":21338,"style":14662},[721],[148,21340,2745],{"className":21341,"style":2774},[726,1064],[148,21343,2748],{"className":21344},[1242],[148,21346,21348,21351],{"className":21347},[726],[148,21349,1566],{"className":21350},[726,1064],[148,21352,21354],{"className":21353},[977],[148,21355,21357],{"className":21356},[981],[148,21358,21360],{"className":21359},[985],[148,21361,21363],{"className":21362,"style":963},[989],[148,21364,21365,21368],{"style":992},[148,21366],{"className":21367,"style":997},[996],[148,21369,21371],{"className":21370},[1001,1002,1003,1004],[148,21372,163],{"className":21373},[726,1004],[148,21375,2757],{"className":21376},[807]," или хуже), отсутствие вероятностных выходов в исходной формулировке, чувствительность к подбору ",[148,21379,21381,21394],{"className":21380},[680],[148,21382,21384],{"className":21383},[684],[686,21385,21386],{"xmlns":688},[690,21387,21388,21392],{},[693,21389,21390],{},[769,21391,19475],{},[705,21393,19475],{"encoding":707},[148,21395,21397],{"className":21396,"ariaHidden":713},[712],[148,21398,21400,21403],{"className":21399},[717],[148,21401],{"className":21402,"style":1344},[721],[148,21404,19475],{"className":21405,"style":11483},[726,1064]," и параметров ядра. На современных датасетах с миллионами объектов SVM встречается реже, чем в 2000-е, уступая место градиентному бустингу и нейронным сетям; но как методологически строгий алгоритм с прозрачной геометрией он остаётся важной частью курса.",[10,21408,21410],{"id":21409},"метрики-качества-классификации","Метрики качества классификации",[128,21412,21414],{"id":21413},"основные-метрики","Основные метрики",[85,21416,21417,21418,297,21421,21424],{},"Задача оценки качества классификатора кажется тривиальной — посчитать долю правильных ответов — но на практике именно здесь чаще всего ошибаются. Доля правильных ответов, или ",[294,21419,21420],{},"точность распознавания",[92,21422,21423],{},"accuracy","), на несбалансированных данных вводит в заблуждение, а в задачах с разной стоимостью ошибок просто не отвечает на вопрос заказчика. Обратимся к основной структуре, на которой строятся все метрики бинарной классификации.",[85,21426,21427,297,21430,21433,21434,21485],{},[294,21428,21429],{},"Матрица ошибок",[92,21431,21432],{},"confusion matrix",") сравнивает истинные метки и предсказания модели и сводит их в таблицу ",[148,21435,21437,21455],{"className":21436},[680],[148,21438,21440],{"className":21439},[684],[686,21441,21442],{"xmlns":688},[690,21443,21444,21452],{},[693,21445,21446,21448,21450],{},[696,21447,163],{},[699,21449,701],{},[696,21451,163],{},[705,21453,21454],{"encoding":707},"2 \\times 2",[148,21456,21458,21476],{"className":21457,"ariaHidden":713},[712],[148,21459,21461,21464,21467,21470,21473],{"className":21460},[717],[148,21462],{"className":21463,"style":722},[721],[148,21465,163],{"className":21466},[726],[148,21468],{"className":21469,"style":731},[730],[148,21471,701],{"className":21472},[735],[148,21474],{"className":21475,"style":731},[730],[148,21477,21479,21482],{"className":21478},[717],[148,21480],{"className":21481,"style":745},[721],[148,21483,163],{"className":21484},[726],". Для класса 1 как «положительного» (это всегда соглашение) принято обозначать четыре ячейки:",[15,21487,21488,21497,21506,21515],{},[18,21489,21490,297,21493,21496],{},[294,21491,21492],{},"TP",[92,21494,21495],{},"true positives",") — объекты класса 1, предсказанные как 1;",[18,21498,21499,297,21502,21505],{},[294,21500,21501],{},"TN",[92,21503,21504],{},"true negatives",") — объекты класса 0, предсказанные как 0;",[18,21507,21508,297,21511,21514],{},[294,21509,21510],{},"FP",[92,21512,21513],{},"false positives",") — объекты класса 0, ошибочно предсказанные как 1 (ошибка I рода);",[18,21516,21517,297,21520,21523],{},[294,21518,21519],{},"FN",[92,21521,21522],{},"false negatives",") — объекты класса 1, ошибочно предсказанные как 0 (ошибка II рода).",[362,21525,364,21526,364,21530],{},[366,21527],{"src":21528,"alt":21529},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Fconfusion_matrix_metrics.svg","Матрица ошибок и производные метрики: precision, recall, F1",[370,21531,21532],{},"Матрица ошибок и производные от неё метрики precision, recall и F1",[85,21534,21535,21536,21739],{},"Из этих четырёх чисел собираются все остальные метрики. Точность распознавания ",[148,21537,21539,21598],{"className":21538},[680],[148,21540,21542],{"className":21541},[684],[686,21543,21544],{"xmlns":688},[690,21545,21546,21595],{},[693,21547,21548,21550,21552,21554,21556,21558,21560,21562,21564,21566,21568,21570,21572,21574,21576,21578,21580,21582,21585,21587,21589,21591,21593],{},[782,21549,21423],{},[699,21551,777],{},[699,21553,2748],{"stretchy":766},[769,21555,5807],{},[769,21557,5838],{},[699,21559,2605],{},[769,21561,5807],{},[769,21563,16208],{},[699,21565,2757],{"stretchy":766},[769,21567,772],{"mathvariant":771},[699,21569,2748],{"stretchy":766},[769,21571,5807],{},[769,21573,5838],{},[699,21575,2605],{},[769,21577,5807],{},[769,21579,16208],{},[699,21581,2605],{},[769,21583,21584],{},"F",[769,21586,5838],{},[699,21588,2605],{},[769,21590,21584],{},[769,21592,16208],{},[699,21594,2757],{"stretchy":766},[705,21596,21597],{"encoding":707},"\\text{accuracy} = (TP + TN) \u002F (TP + TN + FP + FN)",[148,21599,21601,21622,21646,21682,21703,21724],{"className":21600,"ariaHidden":713},[712],[148,21602,21604,21607,21613,21616,21619],{"className":21603},[717],[148,21605],{"className":21606,"style":1579},[721],[148,21608,21610],{"className":21609},[726,5620],[148,21611,21423],{"className":21612},[726],[148,21614],{"className":21615,"style":815},[730],[148,21617,777],{"className":21618},[819],[148,21620],{"className":21621,"style":815},[730],[148,21623,21625,21628,21631,21634,21637,21640,21643],{"className":21624},[717],[148,21626],{"className":21627,"style":800},[721],[148,21629,2748],{"className":21630},[1242],[148,21632,5807],{"className":21633,"style":5822},[726,1064],[148,21635,5838],{"className":21636,"style":5822},[726,1064],[148,21638],{"className":21639,"style":731},[730],[148,21641,2605],{"className":21642},[735],[148,21644],{"className":21645,"style":731},[730],[148,21647,21649,21652,21655,21658,21661,21664,21667,21670,21673,21676,21679],{"className":21648},[717],[148,21650],{"className":21651,"style":800},[721],[148,21653,5807],{"className":21654,"style":5822},[726,1064],[148,21656,16208],{"className":21657,"style":16240},[726,1064],[148,21659,2757],{"className":21660},[807],[148,21662,772],{"className":21663},[726],[148,21665,2748],{"className":21666},[1242],[148,21668,5807],{"className":21669,"style":5822},[726,1064],[148,21671,5838],{"className":21672,"style":5822},[726,1064],[148,21674],{"className":21675,"style":731},[730],[148,21677,2605],{"className":21678},[735],[148,21680],{"className":21681,"style":731},[730],[148,21683,21685,21688,21691,21694,21697,21700],{"className":21684},[717],[148,21686],{"className":21687,"style":6126},[721],[148,21689,5807],{"className":21690,"style":5822},[726,1064],[148,21692,16208],{"className":21693,"style":16240},[726,1064],[148,21695],{"className":21696,"style":731},[730],[148,21698,2605],{"className":21699},[735],[148,21701],{"className":21702,"style":731},[730],[148,21704,21706,21709,21712,21715,21718,21721],{"className":21705},[717],[148,21707],{"className":21708,"style":6126},[721],[148,21710,21584],{"className":21711,"style":5822},[726,1064],[148,21713,5838],{"className":21714,"style":5822},[726,1064],[148,21716],{"className":21717,"style":731},[730],[148,21719,2605],{"className":21720},[735],[148,21722],{"className":21723,"style":731},[730],[148,21725,21727,21730,21733,21736],{"className":21726},[717],[148,21728],{"className":21729,"style":800},[721],[148,21731,21584],{"className":21732,"style":5822},[726,1064],[148,21734,16208],{"className":21735,"style":16240},[726,1064],[148,21737,2757],{"className":21738},[807]," — доля правильных ответов. На сбалансированных данных она информативна; на сильно перекошенных — нет. Если в выборке 99% объектов класса 0 и 1% класса 1, тривиальный классификатор «всегда 0» даёт accuracy 99%, не различая классы вовсе. Это та же логика baseline, что обсуждалась в теме 3: метрика без контекста ни о чём не говорит.",[85,21741,21742,21743,297,21746,5554,21749,21850,21851,297,21853,13859,21856,5554,21859,21959],{},"Содержательная пара метрик — точность и полнота. ",[294,21744,21745],{},"Точность",[92,21747,21748],{},"precision",[148,21750,21752,21786],{"className":21751},[680],[148,21753,21755],{"className":21754},[684],[686,21756,21757],{"xmlns":688},[690,21758,21759,21783],{},[693,21760,21761,21763,21765,21767,21769,21771,21773,21775,21777,21779,21781],{},[699,21762,777],{},[769,21764,5807],{},[769,21766,5838],{},[769,21768,772],{"mathvariant":771},[699,21770,2748],{"stretchy":766},[769,21772,5807],{},[769,21774,5838],{},[699,21776,2605],{},[769,21778,21584],{},[769,21780,5838],{},[699,21782,2757],{"stretchy":766},[705,21784,21785],{"encoding":707},"= TP \u002F (TP + FP)",[148,21787,21789,21802,21835],{"className":21788,"ariaHidden":713},[712],[148,21790,21792,21796,21799],{"className":21791},[717],[148,21793],{"className":21794,"style":21795},[721],"height:0.3669em;",[148,21797,777],{"className":21798},[819],[148,21800],{"className":21801,"style":815},[730],[148,21803,21805,21808,21811,21814,21817,21820,21823,21826,21829,21832],{"className":21804},[717],[148,21806],{"className":21807,"style":800},[721],[148,21809,5807],{"className":21810,"style":5822},[726,1064],[148,21812,5838],{"className":21813,"style":5822},[726,1064],[148,21815,772],{"className":21816},[726],[148,21818,2748],{"className":21819},[1242],[148,21821,5807],{"className":21822,"style":5822},[726,1064],[148,21824,5838],{"className":21825,"style":5822},[726,1064],[148,21827],{"className":21828,"style":731},[730],[148,21830,2605],{"className":21831},[735],[148,21833],{"className":21834,"style":731},[730],[148,21836,21838,21841,21844,21847],{"className":21837},[717],[148,21839],{"className":21840,"style":800},[721],[148,21842,21584],{"className":21843,"style":5822},[726,1064],[148,21845,5838],{"className":21846,"style":5822},[726,1064],[148,21848,2757],{"className":21849},[807]," отвечает на вопрос «среди объектов, которые модель назвала положительными, какая доля действительно положительна?». ",[294,21852,2351],{},[92,21854,21855],{},"recall",[92,21857,21858],{},"sensitivity",[148,21860,21862,21896],{"className":21861},[680],[148,21863,21865],{"className":21864},[684],[686,21866,21867],{"xmlns":688},[690,21868,21869,21893],{},[693,21870,21871,21873,21875,21877,21879,21881,21883,21885,21887,21889,21891],{},[699,21872,777],{},[769,21874,5807],{},[769,21876,5838],{},[769,21878,772],{"mathvariant":771},[699,21880,2748],{"stretchy":766},[769,21882,5807],{},[769,21884,5838],{},[699,21886,2605],{},[769,21888,21584],{},[769,21890,16208],{},[699,21892,2757],{"stretchy":766},[705,21894,21895],{"encoding":707},"= TP \u002F (TP + FN)",[148,21897,21899,21911,21944],{"className":21898,"ariaHidden":713},[712],[148,21900,21902,21905,21908],{"className":21901},[717],[148,21903],{"className":21904,"style":21795},[721],[148,21906,777],{"className":21907},[819],[148,21909],{"className":21910,"style":815},[730],[148,21912,21914,21917,21920,21923,21926,21929,21932,21935,21938,21941],{"className":21913},[717],[148,21915],{"className":21916,"style":800},[721],[148,21918,5807],{"className":21919,"style":5822},[726,1064],[148,21921,5838],{"className":21922,"style":5822},[726,1064],[148,21924,772],{"className":21925},[726],[148,21927,2748],{"className":21928},[1242],[148,21930,5807],{"className":21931,"style":5822},[726,1064],[148,21933,5838],{"className":21934,"style":5822},[726,1064],[148,21936],{"className":21937,"style":731},[730],[148,21939,2605],{"className":21940},[735],[148,21942],{"className":21943,"style":731},[730],[148,21945,21947,21950,21953,21956],{"className":21946},[717],[148,21948],{"className":21949,"style":800},[721],[148,21951,21584],{"className":21952,"style":5822},[726,1064],[148,21954,16208],{"className":21955,"style":16240},[726,1064],[148,21957,2757],{"className":21958},[807]," — «какую долю реально положительных объектов модель нашла?». Конкуренция между ними фундаментальна: повышая порог отсечения, мы делаем модель «осторожнее» — растёт точность, падает полнота; снижая порог, ловим больше положительных за счёт большего числа ложных срабатываний.",[85,21961,21962,21963,297,21966,21969],{},"Выбор между ними диктует задача. В фильтрации спама дорого попасть письмом в папку «спам» по ошибке — ценится точность. В медицинском скрининге дорого пропустить больного — ценится полнота. В мошеннической транзакции и то и другое плохо, и приходится искать компромисс. Численный компромисс задаётся ",[294,21964,21965],{},"F1-мерой",[92,21967,21968],{},"F1 score",") — гармоническим средним точности и полноты:",[85,21971,21972],{},[148,21973,21975,22019],{"className":21974},[680],[148,21976,21978],{"className":21977},[684],[686,21979,21980],{"xmlns":688},[690,21981,21982,22016],{},[693,21983,21984,21990,21992,22014],{},[1038,21985,21986,21988],{},[769,21987,21584],{},[696,21989,150],{},[699,21991,777],{},[3315,21993,21994,22006],{},[693,21995,21996,21998,22000,22002,22004],{},[696,21997,163],{},[699,21999,3675],{},[782,22001,21748],{},[699,22003,3675],{},[782,22005,21855],{},[693,22007,22008,22010,22012],{},[782,22009,21748],{},[699,22011,2605],{},[782,22013,21855],{},[769,22015,26],{"mathvariant":771},[705,22017,22018],{"encoding":707},"F_1 = \\frac{2 \\cdot \\text{precision} \\cdot \\text{recall}}{\\text{precision} + \\text{recall}}.",[148,22020,22022,22078],{"className":22021,"ariaHidden":713},[712],[148,22023,22025,22028,22069,22072,22075],{"className":22024},[717],[148,22026],{"className":22027,"style":14583},[721],[148,22029,22031,22034],{"className":22030},[726],[148,22032,21584],{"className":22033,"style":5822},[726,1064],[148,22035,22037],{"className":22036},[977],[148,22038,22040,22061],{"className":22039},[981,1071],[148,22041,22043,22058],{"className":22042},[985],[148,22044,22046],{"className":22045,"style":1078},[989],[148,22047,22049,22052],{"style":22048},"top:-2.55em;margin-left:-0.1389em;margin-right:0.05em;",[148,22050],{"className":22051,"style":997},[996],[148,22053,22055],{"className":22054},[1001,1002,1003,1004],[148,22056,150],{"className":22057},[726,1004],[148,22059,1095],{"className":22060},[1094],[148,22062,22064],{"className":22063},[985],[148,22065,22067],{"className":22066,"style":1102},[989],[148,22068],{},[148,22070],{"className":22071,"style":815},[730],[148,22073,777],{"className":22074},[819],[148,22076],{"className":22077,"style":815},[730],[148,22079,22081,22085,22186],{"className":22080},[717],[148,22082],{"className":22083,"style":22084},[721],"height:1.4133em;vertical-align:-0.4811em;",[148,22086,22088,22091,22183],{"className":22087},[726],[148,22089],{"className":22090},[1242,3347],[148,22092,22094],{"className":22093},[3315],[148,22095,22097,22174],{"className":22096},[981,1071],[148,22098,22100,22171],{"className":22099},[985],[148,22101,22104,22130,22138],{"className":22102,"style":22103},[989],"height:0.9322em;",[148,22105,22106,22109],{"style":3363},[148,22107],{"className":22108,"style":3367},[996],[148,22110,22112],{"className":22111},[1001,1002,1003,1004],[148,22113,22115,22121,22124],{"className":22114},[726,1004],[148,22116,22118],{"className":22117},[726,5620,1004],[148,22119,21748],{"className":22120},[726,1004],[148,22122,2605],{"className":22123},[735,1004],[148,22125,22127],{"className":22126},[726,5620,1004],[148,22128,21855],{"className":22129},[726,1004],[148,22131,22132,22135],{"style":3385},[148,22133],{"className":22134,"style":3367},[996],[148,22136],{"className":22137,"style":3393},[3392],[148,22139,22141,22144],{"style":22140},"top:-3.4461em;",[148,22142],{"className":22143,"style":3367},[996],[148,22145,22147],{"className":22146},[1001,1002,1003,1004],[148,22148,22150,22153,22156,22162,22165],{"className":22149},[726,1004],[148,22151,163],{"className":22152},[726,1004],[148,22154,3675],{"className":22155},[735,1004],[148,22157,22159],{"className":22158},[726,5620,1004],[148,22160,21748],{"className":22161},[726,1004],[148,22163,3675],{"className":22164},[735,1004],[148,22166,22168],{"className":22167},[726,5620,1004],[148,22169,21855],{"className":22170},[726,1004],[148,22172,1095],{"className":22173},[1094],[148,22175,22177],{"className":22176},[985],[148,22178,22181],{"className":22179,"style":22180},[989],"height:0.4811em;",[148,22182],{},[148,22184],{"className":22185},[807,3347],[148,22187,26],{"className":22188},[726],[85,22190,22191,22192,3157,22265,22316,22317,22369,22370,22440],{},"Гармоническое среднее (а не арифметическое) выбрано потому, что оно сильно проседает, если одна из метрик мала: классификатор с точностью 0.99 и полнотой 0.01 имеет F1 ≈ 0.02, а не 0.5. Существует обобщение ",[148,22193,22195,22214],{"className":22194},[680],[148,22196,22198],{"className":22197},[684],[686,22199,22200],{"xmlns":688},[690,22201,22202,22211],{},[693,22203,22204],{},[1038,22205,22206,22208],{},[769,22207,21584],{},[769,22209,22210],{},"β",[705,22212,22213],{"encoding":707},"F_\\beta",[148,22215,22217],{"className":22216,"ariaHidden":713},[712],[148,22218,22220,22224],{"className":22219},[717],[148,22221],{"className":22222,"style":22223},[721],"height:0.9694em;vertical-align:-0.2861em;",[148,22225,22227,22230],{"className":22226},[726],[148,22228,21584],{"className":22229,"style":5822},[726,1064],[148,22231,22233],{"className":22232},[977],[148,22234,22236,22257],{"className":22235},[981,1071],[148,22237,22239,22254],{"className":22238},[985],[148,22240,22242],{"className":22241,"style":12101},[989],[148,22243,22244,22247],{"style":22048},[148,22245],{"className":22246,"style":997},[996],[148,22248,22250],{"className":22249},[1001,1002,1003,1004],[148,22251,22210],{"className":22252,"style":22253},[726,1064,1004],"margin-right:0.0528em;",[148,22255,1095],{"className":22256},[1094],[148,22258,22260],{"className":22259},[985],[148,22261,22263],{"className":22262,"style":15010},[989],[148,22264],{},[148,22266,22268,22286],{"className":22267},[680],[148,22269,22271],{"className":22270},[684],[686,22272,22273],{"xmlns":688},[690,22274,22275,22283],{},[693,22276,22277,22279,22281],{},[769,22278,22210],{},[699,22280,3235],{},[696,22282,150],{},[705,22284,22285],{"encoding":707},"\\beta > 1",[148,22287,22289,22307],{"className":22288,"ariaHidden":713},[712],[148,22290,22292,22295,22298,22301,22304],{"className":22291},[717],[148,22293],{"className":22294,"style":6934},[721],[148,22296,22210],{"className":22297,"style":22253},[726,1064],[148,22299],{"className":22300,"style":815},[730],[148,22302,3235],{"className":22303},[819],[148,22305],{"className":22306,"style":815},[730],[148,22308,22310,22313],{"className":22309},[717],[148,22311],{"className":22312,"style":745},[721],[148,22314,150],{"className":22315},[726]," повышает вес полноты, ",[148,22318,22320,22339],{"className":22319},[680],[148,22321,22323],{"className":22322},[684],[686,22324,22325],{"xmlns":688},[690,22326,22327,22336],{},[693,22328,22329,22331,22334],{},[769,22330,22210],{},[699,22332,22333],{},"\u003C",[696,22335,150],{},[705,22337,22338],{"encoding":707},"\\beta \u003C 1",[148,22340,22342,22360],{"className":22341,"ariaHidden":713},[712],[148,22343,22345,22348,22351,22354,22357],{"className":22344},[717],[148,22346],{"className":22347,"style":6934},[721],[148,22349,22210],{"className":22350,"style":22253},[726,1064],[148,22352],{"className":22353,"style":815},[730],[148,22355,22333],{"className":22356},[819],[148,22358],{"className":22359,"style":815},[730],[148,22361,22363,22366],{"className":22362},[717],[148,22364],{"className":22365,"style":745},[721],[148,22367,150],{"className":22368},[726]," — точности; на практике ",[148,22371,22373,22391],{"className":22372},[680],[148,22374,22376],{"className":22375},[684],[686,22377,22378],{"xmlns":688},[690,22379,22380,22388],{},[693,22381,22382],{},[1038,22383,22384,22386],{},[769,22385,21584],{},[696,22387,150],{},[705,22389,22390],{"encoding":707},"F_1",[148,22392,22394],{"className":22393,"ariaHidden":713},[712],[148,22395,22397,22400],{"className":22396},[717],[148,22398],{"className":22399,"style":14583},[721],[148,22401,22403,22406],{"className":22402},[726],[148,22404,21584],{"className":22405,"style":5822},[726,1064],[148,22407,22409],{"className":22408},[977],[148,22410,22412,22432],{"className":22411},[981,1071],[148,22413,22415,22429],{"className":22414},[985],[148,22416,22418],{"className":22417,"style":1078},[989],[148,22419,22420,22423],{"style":22048},[148,22421],{"className":22422,"style":997},[996],[148,22424,22426],{"className":22425},[1001,1002,1003,1004],[148,22427,150],{"className":22428},[726,1004],[148,22430,1095],{"className":22431},[1094],[148,22433,22435],{"className":22434},[985],[148,22436,22438],{"className":22437,"style":1102},[989],[148,22439],{}," — стандартный выбор.",[85,22442,22443,22444,297,22447,22450,22451,22551,22552,22660,22661,22668,22669,297,22672,22675],{},"Для классификаторов, выдающих не метку, а оценку вероятности или score, есть метрики, не зависящие от выбора порога. ",[294,22445,22446],{},"ROC-кривая",[92,22448,22449],{},"receiver operating characteristic",") строится в координатах «доля ложных срабатываний» (FPR ",[148,22452,22454,22488],{"className":22453},[680],[148,22455,22457],{"className":22456},[684],[686,22458,22459],{"xmlns":688},[690,22460,22461,22485],{},[693,22462,22463,22465,22467,22469,22471,22473,22475,22477,22479,22481,22483],{},[699,22464,777],{},[769,22466,21584],{},[769,22468,5838],{},[769,22470,772],{"mathvariant":771},[699,22472,2748],{"stretchy":766},[769,22474,21584],{},[769,22476,5838],{},[699,22478,2605],{},[769,22480,5807],{},[769,22482,16208],{},[699,22484,2757],{"stretchy":766},[705,22486,22487],{"encoding":707},"= FP \u002F (FP + TN)",[148,22489,22491,22503,22536],{"className":22490,"ariaHidden":713},[712],[148,22492,22494,22497,22500],{"className":22493},[717],[148,22495],{"className":22496,"style":21795},[721],[148,22498,777],{"className":22499},[819],[148,22501],{"className":22502,"style":815},[730],[148,22504,22506,22509,22512,22515,22518,22521,22524,22527,22530,22533],{"className":22505},[717],[148,22507],{"className":22508,"style":800},[721],[148,22510,21584],{"className":22511,"style":5822},[726,1064],[148,22513,5838],{"className":22514,"style":5822},[726,1064],[148,22516,772],{"className":22517},[726],[148,22519,2748],{"className":22520},[1242],[148,22522,21584],{"className":22523,"style":5822},[726,1064],[148,22525,5838],{"className":22526,"style":5822},[726,1064],[148,22528],{"className":22529,"style":731},[730],[148,22531,2605],{"className":22532},[735],[148,22534],{"className":22535,"style":731},[730],[148,22537,22539,22542,22545,22548],{"className":22538},[717],[148,22540],{"className":22541,"style":800},[721],[148,22543,5807],{"className":22544,"style":5822},[726,1064],[148,22546,16208],{"className":22547,"style":16240},[726,1064],[148,22549,2757],{"className":22550},[807],") по горизонтали и «доля верных обнаружений» (TPR ",[148,22553,22555,22591],{"className":22554},[680],[148,22556,22558],{"className":22557},[684],[686,22559,22560],{"xmlns":688},[690,22561,22562,22588],{},[693,22563,22564,22566,22568,22570,22572,22574,22576,22578,22580,22582,22584,22586],{},[699,22565,777],{},[769,22567,5807],{},[769,22569,5838],{},[769,22571,772],{"mathvariant":771},[699,22573,2748],{"stretchy":766},[769,22575,5807],{},[769,22577,5838],{},[699,22579,2605],{},[769,22581,21584],{},[769,22583,16208],{},[699,22585,2757],{"stretchy":766},[699,22587,777],{},[705,22589,22590],{"encoding":707},"= TP \u002F (TP + FN) =",[148,22592,22594,22606,22639],{"className":22593,"ariaHidden":713},[712],[148,22595,22597,22600,22603],{"className":22596},[717],[148,22598],{"className":22599,"style":21795},[721],[148,22601,777],{"className":22602},[819],[148,22604],{"className":22605,"style":815},[730],[148,22607,22609,22612,22615,22618,22621,22624,22627,22630,22633,22636],{"className":22608},[717],[148,22610],{"className":22611,"style":800},[721],[148,22613,5807],{"className":22614,"style":5822},[726,1064],[148,22616,5838],{"className":22617,"style":5822},[726,1064],[148,22619,772],{"className":22620},[726],[148,22622,2748],{"className":22623},[1242],[148,22625,5807],{"className":22626,"style":5822},[726,1064],[148,22628,5838],{"className":22629,"style":5822},[726,1064],[148,22631],{"className":22632,"style":731},[730],[148,22634,2605],{"className":22635},[735],[148,22637],{"className":22638,"style":731},[730],[148,22640,22642,22645,22648,22651,22654,22657],{"className":22641},[717],[148,22643],{"className":22644,"style":800},[721],[148,22646,21584],{"className":22647,"style":5822},[726,1064],[148,22649,16208],{"className":22650,"style":16240},[726,1064],[148,22652,2757],{"className":22653},[807],[148,22655],{"className":22656,"style":815},[730],[148,22658,777],{"className":22659},[819]," recall) по вертикали; точки кривой соответствуют разным порогам отсечения ",[140,22662,22664],{"className":22663},[143],[22,22665,22666],{"href":262},[148,22667,265],{},". ",[294,22670,22671],{},"AUC",[92,22673,22674],{},"area under the curve",") — площадь под этой кривой. У случайного классификатора AUC = 0.5 (диагональ), у идеального — 1.0. AUC имеет интерпретацию вероятности: для случайно взятой пары «положительный объект, отрицательный объект» это вероятность того, что классификатор присвоит положительному объекту более высокий score, чем отрицательному.",[85,22677,22678,22679,297,22682,22685,22686,26],{},"ROC-кривая удобна как метрика, не зависящая ни от порога, ни от базового распределения классов. Это же — её слабость на сильно несбалансированных данных: при доминирующем отрицательном классе даже большое число FP даёт малое изменение FPR, и AUC завышает реальное качество. В таких задачах информативнее ",[294,22680,22681],{},"PR-кривая",[92,22683,22684],{},"precision-recall curve",") в координатах «полнота — точность», а её площадь (PR-AUC, или average precision) — более честная оценка ",[140,22687,22689],{"className":22688},[143],[22,22690,22691],{"href":275},[148,22692,278],{},[85,22694,22695,22696,22747,22748,297,22751,22754,22755,297,22758,22761],{},"Для многоклассовой классификации матрица ошибок становится ",[148,22697,22699,22717],{"className":22698},[680],[148,22700,22702],{"className":22701},[684],[686,22703,22704],{"xmlns":688},[690,22705,22706,22714],{},[693,22707,22708,22710,22712],{},[769,22709,11360],{},[699,22711,701],{},[769,22713,11360],{},[705,22715,22716],{"encoding":707},"K \\times K",[148,22718,22720,22738],{"className":22719,"ariaHidden":713},[712],[148,22721,22723,22726,22729,22732,22735],{"className":22722},[717],[148,22724],{"className":22725,"style":6126},[721],[148,22727,11360],{"className":22728,"style":11483},[726,1064],[148,22730],{"className":22731,"style":731},[730],[148,22733,701],{"className":22734},[735],[148,22736],{"className":22737,"style":731},[730],[148,22739,22741,22744],{"className":22740},[717],[148,22742],{"className":22743,"style":1344},[721],[148,22745,11360],{"className":22746,"style":11483},[726,1064],", а точность и полнота рассчитываются для каждого класса отдельно. Агрегируют их либо ",[294,22749,22750],{},"макро-усреднением",[92,22752,22753],{},"macro-average",") — простое среднее метрик по классам, не зависит от размеров классов и подходит, когда все классы одинаково важны, — либо ",[294,22756,22757],{},"взвешенным усреднением",[92,22759,22760],{},"weighted average","), где вес класса пропорционален его размеру. Микро-усреднение, эквивалентное общей accuracy, тоже встречается, но содержательно мало добавляет.",[85,22763,22764],{},"Подытоживая: выбор метрики — это часть формулировки задачи, а не вспомогательный шаг. Объявить «будем оптимизировать accuracy» в задаче с 1%-ной редкостью класса — значит фактически разрешить модели не находить редкий класс вовсе. В лабораторной работе по этой теме мы сравним несколько классификаторов на одном датасете и подберём ту метрику, которая разводит модели по содержательному различию, а не по статистическому шуму.",[10,22766,560],{"id":559},[562,22768,22770,22773,22776,22779,22782,22785,22788,22791,22794,22797],{"className":22769},[565],[18,22771,22772],{"id":568},"Platt J. C. Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods. — Advances in Large Margin Classifiers, 1999, С. 61–74.",[18,22774,22775],{"id":572},"Cox D. R. The Regression Analysis of Binary Sequences. — Journal of the Royal Statistical Society. Series B (Methodological), 1958, С. 215–242, DOI: 10.1111\u002Fj.2517-6161.1958.tb00292.x.",[18,22777,22778],{"id":576},"Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay {. Scikit-learn: Machine Learning in Python. — Journal of Machine Learning Research, 2011, С. 2825–2830.",[18,22780,22781],{"id":580},"Fix E., Hodges J. L. Discriminatory Analysis. Nonparametric Discrimination: Consistency Properties. — USAF School of Aviation Medicine, Randolph Field, Texas, 1951.",[18,22783,22784],{"id":584},"Cover T. M., Hart P. E. Nearest Neighbor Pattern Classification. — IEEE Transactions on Information Theory, 1967, С. 21–27, DOI: 10.1109\u002FTIT.1967.1053964.",[18,22786,22787],{"id":588},"Breiman L., Friedman J. H., Olshen R. A., Stone C. J. Classification and Regression Trees. — Wadsworth and Brooks\u002FCole, 1984.",[18,22789,22790],{"id":592},"Quinlan J. R. Induction of Decision Trees. — Machine Learning, 1986, С. 81–106, DOI: 10.1007\u002FBF00116251.",[18,22792,22793],{"id":596},"Cortes C., Vapnik V. Support-Vector Networks. — Machine Learning, 1995, С. 273–297, DOI: 10.1007\u002FBF00994018.",[18,22795,22796],{"id":600},"Fawcett T. An Introduction to ROC Analysis. — Pattern Recognition Letters, 2006, С. 861–874, DOI: 10.1016\u002Fj.patrec.2005.10.010.",[18,22798,22799],{"id":604},"Saito T., Rehmsmeier M. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. — PLOS ONE, 2015, С. e0118432, DOI: 10.1371\u002Fjournal.pone.0118432.",{"title":35,"searchDepth":36,"depth":36,"links":22801},[22802,22805,22811,22814],{"id":10888,"depth":36,"text":10889,"children":22803},[22804],{"id":10892,"depth":631,"text":10893},{"id":12434,"depth":36,"text":12435,"children":22806},[22807,22808,22809,22810],{"id":12438,"depth":631,"text":12439},{"id":15256,"depth":631,"text":15257},{"id":17325,"depth":631,"text":17326},{"id":18495,"depth":631,"text":18496},{"id":21409,"depth":36,"text":21410,"children":22812},[22813],{"id":21413,"depth":631,"text":21414},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-04-content",{"title":10845,"description":10853},"courses\u002Faidt-iot-mii\u002Ftopic-04-content",4,"topic-04","7DOCSislotn91a8Ebh45tgggMJCVuczl9JBC7NdTnvI",{"id":22823,"title":22824,"body":22825,"course_slug":39,"description":22832,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":34760,"navigation":44,"path":34761,"section":106,"seo":34762,"stem":34763,"topic_number":34764,"topic_slug":34765,"__hash__":34766},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-05-content.md","Тема 5. Регрессия",{"type":7,"value":22826,"toc":34746},[22827,22830,22833,22836,22840,22842,23676,23679,23682,23708,23768,23772,23776,24882,26095,26879,26888,26891,26964,26970,26979,27014,27186,27196,27200,27389,27528,27534,28763,29676,30236,30245,30750,30883,31003,31012,31043,31047,31051,31054,31538,31676,32064,32445,32454,33609,33759,33821,33909,33913,33922,34195,34390,34396,34633,34642,34707,34726,34729,34731],[81,22828,22824],{"id":22829},"тема-5-регрессия",[85,22831,22832],{},"В теме 4 мы разобрали задачу классификации — предсказание меток из конечного множества. Сейчас рассмотрим зеркальный по форме, но содержательно отличающийся класс задач: предсказание непрерывной величины. Регрессия — самый изученный раздел статистического обучения; именно с неё, исторически и педагогически, начинается обучение с учителем. На её материале удобно ввести понятия, которые в более сложных моделях остаются скрытыми за инженерным аппаратом: геометрию метода наименьших квадратов, смысл регуляризации, диагностику остатков.",[85,22834,22835],{},"Курс ориентирован на инженеров интернета вещей, и регрессия здесь — рабочий инструмент. Калибровка сенсоров, восстановление пропусков в телеметрии, оценка ресурса батареи, прогноз нагрузки на канал связи — все эти задачи в простейшей постановке сводятся к регрессии. Поэтому мы пройдём её не как абстрактную статистическую процедуру, а как способ получения практически полезных предсказаний, понимая ограничения и сценарии отказа.",[10,22837,22839],{"id":22838},"задача-регрессии","Задача регрессии",[128,22841,10893],{"id":10892},[85,22843,22844,22845,3157,23058,23180,23181,23273,23274,23420,23421,23675],{},"В рамках регрессии задача обучения с учителем формулируется так. Имеется выборка ",[148,22846,22848,22894],{"className":22847},[680],[148,22849,22851],{"className":22850},[684],[686,22852,22853],{"xmlns":688},[690,22854,22855,22891],{},[693,22856,22857,22859,22861,22867,22869,22875,22877],{},[699,22858,6174],{"stretchy":766},[699,22860,2748],{"stretchy":766},[1038,22862,22863,22865],{},[769,22864,6055],{},[769,22866,6183],{},[699,22868,1205],{"separator":713},[1038,22870,22871,22873],{},[769,22872,6060],{},[769,22874,6183],{},[699,22876,2757],{"stretchy":766},[6195,22878,22879,22881,22889],{},[699,22880,6199],{"stretchy":766},[693,22882,22883,22885,22887],{},[769,22884,6183],{},[699,22886,777],{},[696,22888,150],{},[769,22890,1566],{},[705,22892,22893],{"encoding":707},"\\{(x_i, y_i)\\}_{i=1}^{n}",[148,22895,22897],{"className":22896,"ariaHidden":713},[712],[148,22898,22900,22903,22906,22946,22949,22952,22992,22995],{"className":22899},[717],[148,22901],{"className":22902,"style":6240},[721],[148,22904,6244],{"className":22905},[1242],[148,22907,22909,22912],{"className":22908},[726],[148,22910,6055],{"className":22911},[726,1064],[148,22913,22915],{"className":22914},[977],[148,22916,22918,22938],{"className":22917},[981,1071],[148,22919,22921,22935],{"className":22920},[985],[148,22922,22924],{"className":22923,"style":6263},[989],[148,22925,22926,22929],{"style":1081},[148,22927],{"className":22928,"style":997},[996],[148,22930,22932],{"className":22931},[1001,1002,1003,1004],[148,22933,6183],{"className":22934},[726,1064,1004],[148,22936,1095],{"className":22937},[1094],[148,22939,22941],{"className":22940},[985],[148,22942,22944],{"className":22943,"style":1102},[989],[148,22945],{},[148,22947,1205],{"className":22948},[1250],[148,22950],{"className":22951,"style":835},[730],[148,22953,22955,22958],{"className":22954},[726],[148,22956,6060],{"className":22957,"style":4185},[726,1064],[148,22959,22961],{"className":22960},[977],[148,22962,22964,22984],{"className":22963},[981,1071],[148,22965,22967,22981],{"className":22966},[985],[148,22968,22970],{"className":22969,"style":6263},[989],[148,22971,22972,22975],{"style":6312},[148,22973],{"className":22974,"style":997},[996],[148,22976,22978],{"className":22977},[1001,1002,1003,1004],[148,22979,6183],{"className":22980},[726,1064,1004],[148,22982,1095],{"className":22983},[1094],[148,22985,22987],{"className":22986},[985],[148,22988,22990],{"className":22989,"style":1102},[989],[148,22991],{},[148,22993,2757],{"className":22994},[807],[148,22996,22998,23001],{"className":22997},[807],[148,22999,6199],{"className":23000},[807],[148,23002,23004],{"className":23003},[977],[148,23005,23007,23050],{"className":23006},[981,1071],[148,23008,23010,23047],{"className":23009},[985],[148,23011,23013,23033],{"className":23012,"style":6354},[989],[148,23014,23015,23018],{"style":6357},[148,23016],{"className":23017,"style":997},[996],[148,23019,23021],{"className":23020},[1001,1002,1003,1004],[148,23022,23024,23027,23030],{"className":23023},[726,1004],[148,23025,6183],{"className":23026},[726,1064,1004],[148,23028,777],{"className":23029},[819,1004],[148,23031,150],{"className":23032},[726,1004],[148,23034,23035,23038],{"style":992},[148,23036],{"className":23037,"style":997},[996],[148,23039,23041],{"className":23040},[1001,1002,1003,1004],[148,23042,23044],{"className":23043},[726,1004],[148,23045,1566],{"className":23046},[726,1064,1004],[148,23048,1095],{"className":23049},[1094],[148,23051,23053],{"className":23052},[985],[148,23054,23056],{"className":23055,"style":6399},[989],[148,23057],{},[148,23059,23061,23087],{"className":23060},[680],[148,23062,23064],{"className":23063},[684],[686,23065,23066],{"xmlns":688},[690,23067,23068,23084],{},[693,23069,23070,23076,23078],{},[1038,23071,23072,23074],{},[769,23073,6055],{},[769,23075,6183],{},[699,23077,1369],{},[921,23079,23080,23082],{},[769,23081,7214],{"mathvariant":6847},[769,23083,85],{},[705,23085,23086],{"encoding":707},"x_i \\in \\mathbb{R}^p",[148,23088,23090,23145],{"className":23089,"ariaHidden":713},[712],[148,23091,23093,23096,23136,23139,23142],{"className":23092},[717],[148,23094],{"className":23095,"style":1384},[721],[148,23097,23099,23102],{"className":23098},[726],[148,23100,6055],{"className":23101},[726,1064],[148,23103,23105],{"className":23104},[977],[148,23106,23108,23128],{"className":23107},[981,1071],[148,23109,23111,23125],{"className":23110},[985],[148,23112,23114],{"className":23113,"style":6263},[989],[148,23115,23116,23119],{"style":1081},[148,23117],{"className":23118,"style":997},[996],[148,23120,23122],{"className":23121},[1001,1002,1003,1004],[148,23123,6183],{"className":23124},[726,1064,1004],[148,23126,1095],{"className":23127},[1094],[148,23129,23131],{"className":23130},[985],[148,23132,23134],{"className":23133,"style":1102},[989],[148,23135],{},[148,23137],{"className":23138,"style":815},[730],[148,23140,1369],{"className":23141},[819],[148,23143],{"className":23144,"style":815},[730],[148,23146,23148,23151],{"className":23147},[717],[148,23149],{"className":23150,"style":12706},[721],[148,23152,23154,23157],{"className":23153},[726],[148,23155,7214],{"className":23156},[726,7309],[148,23158,23160],{"className":23159},[977],[148,23161,23163],{"className":23162},[981],[148,23164,23166],{"className":23165},[985],[148,23167,23169],{"className":23168,"style":6354},[989],[148,23170,23171,23174],{"style":992},[148,23172],{"className":23173,"style":997},[996],[148,23175,23177],{"className":23176},[1001,1002,1003,1004],[148,23178,85],{"className":23179},[726,1064,1004]," — вектор признаков, а ",[148,23182,23184,23206],{"className":23183},[680],[148,23185,23187],{"className":23186},[684],[686,23188,23189],{"xmlns":688},[690,23190,23191,23203],{},[693,23192,23193,23199,23201],{},[1038,23194,23195,23197],{},[769,23196,6060],{},[769,23198,6183],{},[699,23200,1369],{},[769,23202,7214],{"mathvariant":6847},[705,23204,23205],{"encoding":707},"y_i \\in \\mathbb{R}",[148,23207,23209,23264],{"className":23208,"ariaHidden":713},[712],[148,23210,23212,23215,23255,23258,23261],{"className":23211},[717],[148,23213],{"className":23214,"style":18577},[721],[148,23216,23218,23221],{"className":23217},[726],[148,23219,6060],{"className":23220,"style":4185},[726,1064],[148,23222,23224],{"className":23223},[977],[148,23225,23227,23247],{"className":23226},[981,1071],[148,23228,23230,23244],{"className":23229},[985],[148,23231,23233],{"className":23232,"style":6263},[989],[148,23234,23235,23238],{"style":6312},[148,23236],{"className":23237,"style":997},[996],[148,23239,23241],{"className":23240},[1001,1002,1003,1004],[148,23242,6183],{"className":23243},[726,1064,1004],[148,23245,1095],{"className":23246},[1094],[148,23248,23250],{"className":23249},[985],[148,23251,23253],{"className":23252,"style":1102},[989],[148,23254],{},[148,23256],{"className":23257,"style":815},[730],[148,23259,1369],{"className":23260},[819],[148,23262],{"className":23263,"style":815},[730],[148,23265,23267,23270],{"className":23266},[717],[148,23268],{"className":23269,"style":12706},[721],[148,23271,7214],{"className":23272},[726,7309]," — наблюдаемая непрерывная величина. Требуется построить функцию ",[148,23275,23277,23307],{"className":23276},[680],[148,23278,23280],{"className":23279},[684],[686,23281,23282],{"xmlns":688},[690,23283,23284,23304],{},[693,23285,23286,23292,23294,23300,23302],{},[6416,23287,23288,23290],{"accent":713},[769,23289,4112],{},[699,23291,6422],{},[699,23293,6425],{},[921,23295,23296,23298],{},[769,23297,7214],{"mathvariant":6847},[769,23299,85],{},[699,23301,6430],{},[769,23303,7214],{"mathvariant":6847},[705,23305,23306],{"encoding":707},"\\hat{f}: \\mathbb{R}^p \\to \\mathbb{R}",[148,23308,23310,23367,23411],{"className":23309,"ariaHidden":713},[712],[148,23311,23313,23316,23358,23361,23364],{"className":23312},[717],[148,23314],{"className":23315,"style":6445},[721],[148,23317,23319],{"className":23318},[726,6449],[148,23320,23322,23350],{"className":23321},[981,1071],[148,23323,23325,23347],{"className":23324},[985],[148,23326,23328,23336],{"className":23327,"style":6459},[989],[148,23329,23330,23333],{"style":6462},[148,23331],{"className":23332,"style":3367},[996],[148,23334,4112],{"className":23335,"style":4157},[726,1064],[148,23337,23338,23341],{"style":6471},[148,23339],{"className":23340,"style":3367},[996],[148,23342,23344],{"className":23343,"style":6479},[6478],[148,23345,6422],{"className":23346},[726],[148,23348,1095],{"className":23349},[1094],[148,23351,23353],{"className":23352},[985],[148,23354,23356],{"className":23355,"style":6492},[989],[148,23357],{},[148,23359],{"className":23360,"style":815},[730],[148,23362,6425],{"className":23363},[819],[148,23365],{"className":23366,"style":815},[730],[148,23368,23370,23373,23402,23405,23408],{"className":23369},[717],[148,23371],{"className":23372,"style":12706},[721],[148,23374,23376,23379],{"className":23375},[726],[148,23377,7214],{"className":23378},[726,7309],[148,23380,23382],{"className":23381},[977],[148,23383,23385],{"className":23384},[981],[148,23386,23388],{"className":23387},[985],[148,23389,23391],{"className":23390,"style":6354},[989],[148,23392,23393,23396],{"style":992},[148,23394],{"className":23395,"style":997},[996],[148,23397,23399],{"className":23398},[1001,1002,1003,1004],[148,23400,85],{"className":23401},[726,1064,1004],[148,23403],{"className":23404,"style":815},[730],[148,23406,6430],{"className":23407},[819],[148,23409],{"className":23410,"style":815},[730],[148,23412,23414,23417],{"className":23413},[717],[148,23415],{"className":23416,"style":12706},[721],[148,23418,7214],{"className":23419},[726,7309],", минимизирующую ожидаемые потери на новых данных из того же распределения. Типичный выбор функции потерь — квадратичная ",[148,23422,23424,23484],{"className":23423},[680],[148,23425,23427],{"className":23426},[684],[686,23428,23429],{"xmlns":688},[690,23430,23431,23481],{},[693,23432,23433,23435,23437,23439,23441,23447,23449,23451,23453,23455,23457,23459,23461,23463,23469,23471,23473,23475],{},[769,23434,6728],{},[699,23436,2748],{"stretchy":766},[769,23438,6060],{},[699,23440,1205],{"separator":713},[6416,23442,23443,23445],{"accent":713},[769,23444,4112],{},[699,23446,6422],{},[699,23448,2748],{"stretchy":766},[769,23450,6055],{},[699,23452,2757],{"stretchy":766},[699,23454,2757],{"stretchy":766},[699,23456,777],{},[699,23458,2748],{"stretchy":766},[769,23460,6060],{},[699,23462,3325],{},[6416,23464,23465,23467],{"accent":713},[769,23466,4112],{},[699,23468,6422],{},[699,23470,2748],{"stretchy":766},[769,23472,6055],{},[699,23474,2757],{"stretchy":766},[921,23476,23477,23479],{},[699,23478,2757],{"stretchy":766},[696,23480,163],{},[705,23482,23483],{"encoding":707},"L(y, \\hat{f}(x)) = (y - \\hat{f}(x))^2",[148,23485,23487,23568,23589],{"className":23486,"ariaHidden":713},[712],[148,23488,23490,23493,23496,23499,23502,23505,23508,23550,23553,23556,23559,23562,23565],{"className":23489},[717],[148,23491],{"className":23492,"style":6626},[721],[148,23494,6728],{"className":23495},[726,1064],[148,23497,2748],{"className":23498},[1242],[148,23500,6060],{"className":23501,"style":4185},[726,1064],[148,23503,1205],{"className":23504},[1250],[148,23506],{"className":23507,"style":835},[730],[148,23509,23511],{"className":23510},[726,6449],[148,23512,23514,23542],{"className":23513},[981,1071],[148,23515,23517,23539],{"className":23516},[985],[148,23518,23520,23528],{"className":23519,"style":6459},[989],[148,23521,23522,23525],{"style":6462},[148,23523],{"className":23524,"style":3367},[996],[148,23526,4112],{"className":23527,"style":4157},[726,1064],[148,23529,23530,23533],{"style":6471},[148,23531],{"className":23532,"style":3367},[996],[148,23534,23536],{"className":23535,"style":6479},[6478],[148,23537,6422],{"className":23538},[726],[148,23540,1095],{"className":23541},[1094],[148,23543,23545],{"className":23544},[985],[148,23546,23548],{"className":23547,"style":6492},[989],[148,23549],{},[148,23551,2748],{"className":23552},[1242],[148,23554,6055],{"className":23555},[726,1064],[148,23557,6827],{"className":23558},[807],[148,23560],{"className":23561,"style":815},[730],[148,23563,777],{"className":23564},[819],[148,23566],{"className":23567,"style":815},[730],[148,23569,23571,23574,23577,23580,23583,23586],{"className":23570},[717],[148,23572],{"className":23573,"style":800},[721],[148,23575,2748],{"className":23576},[1242],[148,23578,6060],{"className":23579,"style":4185},[726,1064],[148,23581],{"className":23582,"style":731},[730],[148,23584,3325],{"className":23585},[735],[148,23587],{"className":23588,"style":731},[730],[148,23590,23592,23595,23637,23640,23643,23646],{"className":23591},[717],[148,23593],{"className":23594,"style":6626},[721],[148,23596,23598],{"className":23597},[726,6449],[148,23599,23601,23629],{"className":23600},[981,1071],[148,23602,23604,23626],{"className":23603},[985],[148,23605,23607,23615],{"className":23606,"style":6459},[989],[148,23608,23609,23612],{"style":6462},[148,23610],{"className":23611,"style":3367},[996],[148,23613,4112],{"className":23614,"style":4157},[726,1064],[148,23616,23617,23620],{"style":6471},[148,23618],{"className":23619,"style":3367},[996],[148,23621,23623],{"className":23622,"style":6479},[6478],[148,23624,6422],{"className":23625},[726],[148,23627,1095],{"className":23628},[1094],[148,23630,23632],{"className":23631},[985],[148,23633,23635],{"className":23634,"style":6492},[989],[148,23636],{},[148,23638,2748],{"className":23639},[1242],[148,23641,6055],{"className":23642},[726,1064],[148,23644,2757],{"className":23645},[807],[148,23647,23649,23652],{"className":23648},[807],[148,23650,2757],{"className":23651},[807],[148,23653,23655],{"className":23654},[977],[148,23656,23658],{"className":23657},[981],[148,23659,23661],{"className":23660},[985],[148,23662,23664],{"className":23663,"style":963},[989],[148,23665,23666,23669],{"style":992},[148,23667],{"className":23668,"style":997},[996],[148,23670,23672],{"className":23671},[1001,1002,1003,1004],[148,23673,163],{"className":23674},[726,1004],", чему мы посвятим основное внимание; альтернативы (абсолютная, Хьюбера) рассмотрим в разделе про метрики.",[85,23677,23678],{},"Принципиальное отличие от классификации лежит не в алгоритмическом аппарате, а в характере выходного пространства. Метка класса дискретна: между «спам» и «не спам» нет промежуточных значений, и ошибка либо есть, либо нет. Непрерывная переменная упорядочена и метризована: предсказание 102 при истинной 100 — на порядок лучше, чем 200, и именно эта градация ошибки структурирует всю задачу. Отсюда естественность квадратичной потери: она наказывает большие отклонения сильнее малых, что согласуется с практическим восприятием качества прогноза.",[85,23680,23681],{},"Часто из этой же постановки выводят и второе отличие: в классификации мы оцениваем дискретное событие, а в регрессии — числовую величину, у которой есть единицы измерения. Это влечёт прозаическое, но важное практическое следствие: метрика качества имеет тот же физический смысл, что и предсказываемая величина. Ошибка модели по температуре измеряется в градусах, по цене — в рублях, по току потребления — в миллиамперах. Возможность интерпретировать значение метрики напрямую — большое преимущество регрессии перед классификацией, где «accuracy 0.93» сама по себе ни о чём не говорит без контекста.",[85,23683,23684,23685,297,23688,23691,23692,23695,23696,23699,23700,23703,23704,23707],{},"Прикладных задач регрессии, релевантных для интернета вещей и встраиваемых систем, немало. ",[294,23686,23687],{},"Калибровка датчика",[92,23689,23690],{},"sensor calibration","): по сырым показаниям АЦП и температуре окружающей среды восстановить истинное физическое значение измеряемой величины — давления, концентрации газа, силы тока. ",[294,23693,23694],{},"Восстановление пропусков"," в потоке телеметрии: если соседние пакеты пришли, а текущий потерян, по контексту оценивается пропущенное значение. ",[294,23697,23698],{},"Прогноз срока службы"," литий-ионной батареи: по истории циклов заряда-разряда, температуре эксплуатации и текущему сопротивлению предсказать остаточную ёмкость. ",[294,23701,23702],{},"Прогноз энергопотребления"," узла на следующий час по графику активности и расписанию задач. ",[294,23705,23706],{},"Оценка ослабления сигнала"," в канале радиосвязи как функция расстояния, рельефа и плотности застройки — классическая задача планирования покрытия.",[85,23709,23710,23711,389,23739,23767],{},"Не всякая численная зависимость — задача регрессии в обсуждаемом смысле. Если связь между ",[148,23712,23714,23727],{"className":23713},[680],[148,23715,23717],{"className":23716},[684],[686,23718,23719],{"xmlns":688},[690,23720,23721,23725],{},[693,23722,23723],{},[769,23724,6055],{},[705,23726,6055],{"encoding":707},[148,23728,23730],{"className":23729,"ariaHidden":713},[712],[148,23731,23733,23736],{"className":23732},[717],[148,23734],{"className":23735,"style":2537},[721],[148,23737,6055],{"className":23738},[726,1064],[148,23740,23742,23755],{"className":23741},[680],[148,23743,23745],{"className":23744},[684],[686,23746,23747],{"xmlns":688},[690,23748,23749,23753],{},[693,23750,23751],{},[769,23752,6060],{},[705,23754,6060],{"encoding":707},[148,23756,23758],{"className":23757,"ariaHidden":713},[712],[148,23759,23761,23764],{"className":23760},[717],[148,23762],{"className":23763,"style":1579},[721],[148,23765,6060],{"className":23766,"style":4185},[726,1064]," выводится из физического закона аналитически (например, из формулы Стокса для оседающей частицы), модель строить не нужно — нужно подставить значения. Регрессия становится осмысленной, когда зависимость либо неизвестна, либо настолько сложна, что эмпирическая аппроксимация по данным дешевле и точнее, чем явная физическая модель.",[10,23769,23771],{"id":23770},"методы-регрессии","Методы регрессии",[128,23773,23775],{"id":23774},"линейная-регрессия","Линейная регрессия",[85,23777,23778,23779,24407,24408,24478,24479,24682,24683,24711,24712,24782,24783,24811,24812,24881],{},"Простейшая, и при этом самая полезная как точка отсчёта, модель регрессии — линейная. Положим\n",[148,23780,23782,23880],{"className":23781},[680],[148,23783,23785],{"className":23784},[684],[686,23786,23787],{"xmlns":688},[690,23788,23789,23877],{},[693,23790,23791,23797,23799,23801,23803,23805,23811,23813,23819,23825,23827,23833,23839,23841,23843,23845,23851,23857,23859,23865,23867,23873,23875],{},[6416,23792,23793,23795],{"accent":713},[769,23794,4112],{},[699,23796,6422],{},[699,23798,2748],{"stretchy":766},[769,23800,6055],{},[699,23802,2757],{"stretchy":766},[699,23804,777],{},[1038,23806,23807,23809],{},[769,23808,22210],{},[696,23810,973],{},[699,23812,2605],{},[1038,23814,23815,23817],{},[769,23816,22210],{},[696,23818,150],{},[1038,23820,23821,23823],{},[769,23822,6055],{},[696,23824,150],{},[699,23826,2605],{},[1038,23828,23829,23831],{},[769,23830,22210],{},[696,23832,163],{},[1038,23834,23835,23837],{},[769,23836,6055],{},[696,23838,163],{},[699,23840,2605],{},[699,23842,1557],{},[699,23844,2605],{},[1038,23846,23847,23849],{},[769,23848,22210],{},[769,23850,85],{},[1038,23852,23853,23855],{},[769,23854,6055],{},[769,23856,85],{},[699,23858,777],{},[1038,23860,23861,23863],{},[769,23862,22210],{},[696,23864,973],{},[699,23866,2605],{},[921,23868,23869,23871],{},[769,23870,6055],{},[769,23872,12485],{"mathvariant":771},[769,23874,22210],{},[769,23876,26],{"mathvariant":771},[705,23878,23879],{"encoding":707},"\\hat{f}(x) = \\beta_0 + \\beta_1 x_1 + \\beta_2 x_2 + \\ldots + \\beta_p x_p = \\beta_0 + x^\\top \\beta.",[148,23881,23883,23949,24005,24100,24195,24214,24310,24365],{"className":23882,"ariaHidden":713},[712],[148,23884,23886,23889,23931,23934,23937,23940,23943,23946],{"className":23885},[717],[148,23887],{"className":23888,"style":6626},[721],[148,23890,23892],{"className":23891},[726,6449],[148,23893,23895,23923],{"className":23894},[981,1071],[148,23896,23898,23920],{"className":23897},[985],[148,23899,23901,23909],{"className":23900,"style":6459},[989],[148,23902,23903,23906],{"style":6462},[148,23904],{"className":23905,"style":3367},[996],[148,23907,4112],{"className":23908,"style":4157},[726,1064],[148,23910,23911,23914],{"style":6471},[148,23912],{"className":23913,"style":3367},[996],[148,23915,23917],{"className":23916,"style":6479},[6478],[148,23918,6422],{"className":23919},[726],[148,23921,1095],{"className":23922},[1094],[148,23924,23926],{"className":23925},[985],[148,23927,23929],{"className":23928,"style":6492},[989],[148,23930],{},[148,23932,2748],{"className":23933},[1242],[148,23935,6055],{"className":23936},[726,1064],[148,23938,2757],{"className":23939},[807],[148,23941],{"className":23942,"style":815},[730],[148,23944,777],{"className":23945},[819],[148,23947],{"className":23948,"style":815},[730],[148,23950,23952,23955,23996,23999,24002],{"className":23951},[717],[148,23953],{"className":23954,"style":6934},[721],[148,23956,23958,23961],{"className":23957},[726],[148,23959,22210],{"className":23960,"style":22253},[726,1064],[148,23962,23964],{"className":23963},[977],[148,23965,23967,23988],{"className":23966},[981,1071],[148,23968,23970,23985],{"className":23969},[985],[148,23971,23973],{"className":23972,"style":1078},[989],[148,23974,23976,23979],{"style":23975},"top:-2.55em;margin-left:-0.0528em;margin-right:0.05em;",[148,23977],{"className":23978,"style":997},[996],[148,23980,23982],{"className":23981},[1001,1002,1003,1004],[148,23983,973],{"className":23984},[726,1004],[148,23986,1095],{"className":23987},[1094],[148,23989,23991],{"className":23990},[985],[148,23992,23994],{"className":23993,"style":1102},[989],[148,23995],{},[148,23997],{"className":23998,"style":731},[730],[148,24000,2605],{"className":24001},[735],[148,24003],{"className":24004,"style":731},[730],[148,24006,24008,24011,24051,24091,24094,24097],{"className":24007},[717],[148,24009],{"className":24010,"style":6934},[721],[148,24012,24014,24017],{"className":24013},[726],[148,24015,22210],{"className":24016,"style":22253},[726,1064],[148,24018,24020],{"className":24019},[977],[148,24021,24023,24043],{"className":24022},[981,1071],[148,24024,24026,24040],{"className":24025},[985],[148,24027,24029],{"className":24028,"style":1078},[989],[148,24030,24031,24034],{"style":23975},[148,24032],{"className":24033,"style":997},[996],[148,24035,24037],{"className":24036},[1001,1002,1003,1004],[148,24038,150],{"className":24039},[726,1004],[148,24041,1095],{"className":24042},[1094],[148,24044,24046],{"className":24045},[985],[148,24047,24049],{"className":24048,"style":1102},[989],[148,24050],{},[148,24052,24054,24057],{"className":24053},[726],[148,24055,6055],{"className":24056},[726,1064],[148,24058,24060],{"className":24059},[977],[148,24061,24063,24083],{"className":24062},[981,1071],[148,24064,24066,24080],{"className":24065},[985],[148,24067,24069],{"className":24068,"style":1078},[989],[148,24070,24071,24074],{"style":1081},[148,24072],{"className":24073,"style":997},[996],[148,24075,24077],{"className":24076},[1001,1002,1003,1004],[148,24078,150],{"className":24079},[726,1004],[148,24081,1095],{"className":24082},[1094],[148,24084,24086],{"className":24085},[985],[148,24087,24089],{"className":24088,"style":1102},[989],[148,24090],{},[148,24092],{"className":24093,"style":731},[730],[148,24095,2605],{"className":24096},[735],[148,24098],{"className":24099,"style":731},[730],[148,24101,24103,24106,24146,24186,24189,24192],{"className":24102},[717],[148,24104],{"className":24105,"style":6934},[721],[148,24107,24109,24112],{"className":24108},[726],[148,24110,22210],{"className":24111,"style":22253},[726,1064],[148,24113,24115],{"className":24114},[977],[148,24116,24118,24138],{"className":24117},[981,1071],[148,24119,24121,24135],{"className":24120},[985],[148,24122,24124],{"className":24123,"style":1078},[989],[148,24125,24126,24129],{"style":23975},[148,24127],{"className":24128,"style":997},[996],[148,24130,24132],{"className":24131},[1001,1002,1003,1004],[148,24133,163],{"className":24134},[726,1004],[148,24136,1095],{"className":24137},[1094],[148,24139,24141],{"className":24140},[985],[148,24142,24144],{"className":24143,"style":1102},[989],[148,24145],{},[148,24147,24149,24152],{"className":24148},[726],[148,24150,6055],{"className":24151},[726,1064],[148,24153,24155],{"className":24154},[977],[148,24156,24158,24178],{"className":24157},[981,1071],[148,24159,24161,24175],{"className":24160},[985],[148,24162,24164],{"className":24163,"style":1078},[989],[148,24165,24166,24169],{"style":1081},[148,24167],{"className":24168,"style":997},[996],[148,24170,24172],{"className":24171},[1001,1002,1003,1004],[148,24173,163],{"className":24174},[726,1004],[148,24176,1095],{"className":24177},[1094],[148,24179,24181],{"className":24180},[985],[148,24182,24184],{"className":24183,"style":1102},[989],[148,24185],{},[148,24187],{"className":24188,"style":731},[730],[148,24190,2605],{"className":24191},[735],[148,24193],{"className":24194,"style":731},[730],[148,24196,24198,24202,24205,24208,24211],{"className":24197},[717],[148,24199],{"className":24200,"style":24201},[721],"height:0.6667em;vertical-align:-0.0833em;",[148,24203,1557],{"className":24204},[1675],[148,24206],{"className":24207,"style":731},[730],[148,24209,2605],{"className":24210},[735],[148,24212],{"className":24213,"style":731},[730],[148,24215,24217,24221,24261,24301,24304,24307],{"className":24216},[717],[148,24218],{"className":24219,"style":24220},[721],"height:0.9805em;vertical-align:-0.2861em;",[148,24222,24224,24227],{"className":24223},[726],[148,24225,22210],{"className":24226,"style":22253},[726,1064],[148,24228,24230],{"className":24229},[977],[148,24231,24233,24253],{"className":24232},[981,1071],[148,24234,24236,24250],{"className":24235},[985],[148,24237,24239],{"className":24238,"style":1703},[989],[148,24240,24241,24244],{"style":23975},[148,24242],{"className":24243,"style":997},[996],[148,24245,24247],{"className":24246},[1001,1002,1003,1004],[148,24248,85],{"className":24249},[726,1064,1004],[148,24251,1095],{"className":24252},[1094],[148,24254,24256],{"className":24255},[985],[148,24257,24259],{"className":24258,"style":15010},[989],[148,24260],{},[148,24262,24264,24267],{"className":24263},[726],[148,24265,6055],{"className":24266},[726,1064],[148,24268,24270],{"className":24269},[977],[148,24271,24273,24293],{"className":24272},[981,1071],[148,24274,24276,24290],{"className":24275},[985],[148,24277,24279],{"className":24278,"style":1703},[989],[148,24280,24281,24284],{"style":1081},[148,24282],{"className":24283,"style":997},[996],[148,24285,24287],{"className":24286},[1001,1002,1003,1004],[148,24288,85],{"className":24289},[726,1064,1004],[148,24291,1095],{"className":24292},[1094],[148,24294,24296],{"className":24295},[985],[148,24297,24299],{"className":24298,"style":15010},[989],[148,24300],{},[148,24302],{"className":24303,"style":815},[730],[148,24305,777],{"className":24306},[819],[148,24308],{"className":24309,"style":815},[730],[148,24311,24313,24316,24356,24359,24362],{"className":24312},[717],[148,24314],{"className":24315,"style":6934},[721],[148,24317,24319,24322],{"className":24318},[726],[148,24320,22210],{"className":24321,"style":22253},[726,1064],[148,24323,24325],{"className":24324},[977],[148,24326,24328,24348],{"className":24327},[981,1071],[148,24329,24331,24345],{"className":24330},[985],[148,24332,24334],{"className":24333,"style":1078},[989],[148,24335,24336,24339],{"style":23975},[148,24337],{"className":24338,"style":997},[996],[148,24340,24342],{"className":24341},[1001,1002,1003,1004],[148,24343,973],{"className":24344},[726,1004],[148,24346,1095],{"className":24347},[1094],[148,24349,24351],{"className":24350},[985],[148,24352,24354],{"className":24353,"style":1102},[989],[148,24355],{},[148,24357],{"className":24358,"style":731},[730],[148,24360,2605],{"className":24361},[735],[148,24363],{"className":24364,"style":731},[730],[148,24366,24368,24372,24401,24404],{"className":24367},[717],[148,24369],{"className":24370,"style":24371},[721],"height:1.0435em;vertical-align:-0.1944em;",[148,24373,24375,24378],{"className":24374},[726],[148,24376,6055],{"className":24377},[726,1064],[148,24379,24381],{"className":24380},[977],[148,24382,24384],{"className":24383},[981],[148,24385,24387],{"className":24386},[985],[148,24388,24390],{"className":24389,"style":2796},[989],[148,24391,24392,24395],{"style":992},[148,24393],{"className":24394,"style":997},[996],[148,24396,24398],{"className":24397},[1001,1002,1003,1004],[148,24399,12485],{"className":24400},[726,1004],[148,24402,22210],{"className":24403,"style":22253},[726,1064],[148,24405,26],{"className":24406},[726],"\nПараметрами модели служат свободный член ",[148,24409,24411,24429],{"className":24410},[680],[148,24412,24414],{"className":24413},[684],[686,24415,24416],{"xmlns":688},[690,24417,24418,24426],{},[693,24419,24420],{},[1038,24421,24422,24424],{},[769,24423,22210],{},[696,24425,973],{},[705,24427,24428],{"encoding":707},"\\beta_0",[148,24430,24432],{"className":24431,"ariaHidden":713},[712],[148,24433,24435,24438],{"className":24434},[717],[148,24436],{"className":24437,"style":6934},[721],[148,24439,24441,24444],{"className":24440},[726],[148,24442,22210],{"className":24443,"style":22253},[726,1064],[148,24445,24447],{"className":24446},[977],[148,24448,24450,24470],{"className":24449},[981,1071],[148,24451,24453,24467],{"className":24452},[985],[148,24454,24456],{"className":24455,"style":1078},[989],[148,24457,24458,24461],{"style":23975},[148,24459],{"className":24460,"style":997},[996],[148,24462,24464],{"className":24463},[1001,1002,1003,1004],[148,24465,973],{"className":24466},[726,1004],[148,24468,1095],{"className":24469},[1094],[148,24471,24473],{"className":24472},[985],[148,24474,24476],{"className":24475,"style":1102},[989],[148,24477],{}," и вектор коэффициентов ",[148,24480,24482,24524],{"className":24481},[680],[148,24483,24485],{"className":24484},[684],[686,24486,24487],{"xmlns":688},[690,24488,24489,24521],{},[693,24490,24491,24493,24495,24497,24503,24505,24507,24509,24515],{},[769,24492,22210],{},[699,24494,777],{},[699,24496,2748],{"stretchy":766},[1038,24498,24499,24501],{},[769,24500,22210],{},[696,24502,150],{},[699,24504,1205],{"separator":713},[699,24506,1557],{},[699,24508,1205],{"separator":713},[1038,24510,24511,24513],{},[769,24512,22210],{},[769,24514,85],{},[921,24516,24517,24519],{},[699,24518,2757],{"stretchy":766},[769,24520,12485],{"mathvariant":771},[705,24522,24523],{"encoding":707},"\\beta = (\\beta_1, \\ldots, \\beta_p)^\\top",[148,24525,24527,24545],{"className":24526,"ariaHidden":713},[712],[148,24528,24530,24533,24536,24539,24542],{"className":24529},[717],[148,24531],{"className":24532,"style":6934},[721],[148,24534,22210],{"className":24535,"style":22253},[726,1064],[148,24537],{"className":24538,"style":815},[730],[148,24540,777],{"className":24541},[819],[148,24543],{"className":24544,"style":815},[730],[148,24546,24548,24552,24555,24595,24598,24601,24604,24607,24610,24613,24653],{"className":24547},[717],[148,24549],{"className":24550,"style":24551},[721],"height:1.1352em;vertical-align:-0.2861em;",[148,24553,2748],{"className":24554},[1242],[148,24556,24558,24561],{"className":24557},[726],[148,24559,22210],{"className":24560,"style":22253},[726,1064],[148,24562,24564],{"className":24563},[977],[148,24565,24567,24587],{"className":24566},[981,1071],[148,24568,24570,24584],{"className":24569},[985],[148,24571,24573],{"className":24572,"style":1078},[989],[148,24574,24575,24578],{"style":23975},[148,24576],{"className":24577,"style":997},[996],[148,24579,24581],{"className":24580},[1001,1002,1003,1004],[148,24582,150],{"className":24583},[726,1004],[148,24585,1095],{"className":24586},[1094],[148,24588,24590],{"className":24589},[985],[148,24591,24593],{"className":24592,"style":1102},[989],[148,24594],{},[148,24596,1205],{"className":24597},[1250],[148,24599],{"className":24600,"style":835},[730],[148,24602,1557],{"className":24603},[1675],[148,24605],{"className":24606,"style":835},[730],[148,24608,1205],{"className":24609},[1250],[148,24611],{"className":24612,"style":835},[730],[148,24614,24616,24619],{"className":24615},[726],[148,24617,22210],{"className":24618,"style":22253},[726,1064],[148,24620,24622],{"className":24621},[977],[148,24623,24625,24645],{"className":24624},[981,1071],[148,24626,24628,24642],{"className":24627},[985],[148,24629,24631],{"className":24630,"style":1703},[989],[148,24632,24633,24636],{"style":23975},[148,24634],{"className":24635,"style":997},[996],[148,24637,24639],{"className":24638},[1001,1002,1003,1004],[148,24640,85],{"className":24641},[726,1064,1004],[148,24643,1095],{"className":24644},[1094],[148,24646,24648],{"className":24647},[985],[148,24649,24651],{"className":24650,"style":15010},[989],[148,24652],{},[148,24654,24656,24659],{"className":24655},[807],[148,24657,2757],{"className":24658},[807],[148,24660,24662],{"className":24661},[977],[148,24663,24665],{"className":24664},[981],[148,24666,24668],{"className":24667},[985],[148,24669,24671],{"className":24670,"style":2796},[989],[148,24672,24673,24676],{"style":992},[148,24674],{"className":24675,"style":997},[996],[148,24677,24679],{"className":24678},[1001,1002,1003,1004],[148,24680,12485],{"className":24681},[726,1004],". Модель утверждает, что ожидаемое значение ",[148,24684,24686,24699],{"className":24685},[680],[148,24687,24689],{"className":24688},[684],[686,24690,24691],{"xmlns":688},[690,24692,24693,24697],{},[693,24694,24695],{},[769,24696,6060],{},[705,24698,6060],{"encoding":707},[148,24700,24702],{"className":24701,"ariaHidden":713},[712],[148,24703,24705,24708],{"className":24704},[717],[148,24706],{"className":24707,"style":1579},[721],[148,24709,6060],{"className":24710,"style":4185},[726,1064]," при фиксированных значениях признаков складывается из вкладов каждого признака, взятых с собственными весами. Эта структура — линейная комбинация — настолько проста, что коэффициенты допускают прямую интерпретацию: ",[148,24713,24715,24733],{"className":24714},[680],[148,24716,24718],{"className":24717},[684],[686,24719,24720],{"xmlns":688},[690,24721,24722,24730],{},[693,24723,24724],{},[1038,24725,24726,24728],{},[769,24727,22210],{},[769,24729,14956],{},[705,24731,24732],{"encoding":707},"\\beta_j",[148,24734,24736],{"className":24735,"ariaHidden":713},[712],[148,24737,24739,24742],{"className":24738},[717],[148,24740],{"className":24741,"style":24220},[721],[148,24743,24745,24748],{"className":24744},[726],[148,24746,22210],{"className":24747,"style":22253},[726,1064],[148,24749,24751],{"className":24750},[977],[148,24752,24754,24774],{"className":24753},[981,1071],[148,24755,24757,24771],{"className":24756},[985],[148,24758,24760],{"className":24759,"style":6263},[989],[148,24761,24762,24765],{"style":23975},[148,24763],{"className":24764,"style":997},[996],[148,24766,24768],{"className":24767},[1001,1002,1003,1004],[148,24769,14956],{"className":24770,"style":15000},[726,1064,1004],[148,24772,1095],{"className":24773},[1094],[148,24775,24777],{"className":24776},[985],[148,24778,24780],{"className":24779,"style":15010},[989],[148,24781],{}," показывает, на сколько в среднем изменится ",[148,24784,24786,24799],{"className":24785},[680],[148,24787,24789],{"className":24788},[684],[686,24790,24791],{"xmlns":688},[690,24792,24793,24797],{},[693,24794,24795],{},[769,24796,6060],{},[705,24798,6060],{"encoding":707},[148,24800,24802],{"className":24801,"ariaHidden":713},[712],[148,24803,24805,24808],{"className":24804},[717],[148,24806],{"className":24807,"style":1579},[721],[148,24809,6060],{"className":24810,"style":4185},[726,1064]," при единичном изменении ",[148,24813,24815,24832],{"className":24814},[680],[148,24816,24818],{"className":24817},[684],[686,24819,24820],{"xmlns":688},[690,24821,24822,24830],{},[693,24823,24824],{},[1038,24825,24826,24828],{},[769,24827,6055],{},[769,24829,14956],{},[705,24831,15034],{"encoding":707},[148,24833,24835],{"className":24834,"ariaHidden":713},[712],[148,24836,24838,24841],{"className":24837},[717],[148,24839],{"className":24840,"style":14969},[721],[148,24842,24844,24847],{"className":24843},[726],[148,24845,6055],{"className":24846},[726,1064],[148,24848,24850],{"className":24849},[977],[148,24851,24853,24873],{"className":24852},[981,1071],[148,24854,24856,24870],{"className":24855},[985],[148,24857,24859],{"className":24858,"style":6263},[989],[148,24860,24861,24864],{"style":1081},[148,24862],{"className":24863,"style":997},[996],[148,24865,24867],{"className":24866},[1001,1002,1003,1004],[148,24868,14956],{"className":24869,"style":15000},[726,1064,1004],[148,24871,1095],{"className":24872},[1094],[148,24874,24876],{"className":24875},[985],[148,24877,24879],{"className":24878,"style":15010},[989],[148,24880],{}," при неизменных остальных признаках.",[85,24883,24884,24885,297,24888,24891,24892,25284,25285,25403,25404,25485,25486,25608,25609,25638,25639,191,25642,25768,25769,25833,25834,26058,26059,382,26062,26065,26066,26094],{},"Подбор коэффициентов осуществляется ",[294,24886,24887],{},"методом наименьших квадратов",[92,24889,24890],{},"ordinary least squares, OLS","): минимизируется сумма квадратов отклонений предсказаний от наблюдений\n",[148,24893,24895,24975],{"className":24894},[680],[148,24896,24898],{"className":24897},[684],[686,24899,24900],{"xmlns":688},[690,24901,24902,24972],{},[693,24903,24904,24912,24914,24916,24918,24920,24934,24970],{},[693,24905,24906,24908,24910],{},[769,24907,7214],{"mathvariant":771},[769,24909,1202],{"mathvariant":771},[769,24911,1202],{"mathvariant":771},[699,24913,2748],{"stretchy":766},[769,24915,22210],{},[699,24917,2757],{"stretchy":766},[699,24919,777],{},[6195,24921,24922,24924,24932],{},[699,24923,7436],{},[693,24925,24926,24928,24930],{},[769,24927,6183],{},[699,24929,777],{},[696,24931,150],{},[769,24933,1566],{},[921,24935,24936,24968],{},[693,24937,24938,24940,24946,24948,24954,24956,24964,24966],{},[699,24939,2748],{"fence":713},[1038,24941,24942,24944],{},[769,24943,6060],{},[769,24945,6183],{},[699,24947,3325],{},[1038,24949,24950,24952],{},[769,24951,22210],{},[696,24953,973],{},[699,24955,3325],{},[6195,24957,24958,24960,24962],{},[769,24959,6055],{},[769,24961,6183],{},[769,24963,12485],{"mathvariant":771},[769,24965,22210],{},[699,24967,2757],{"fence":713},[696,24969,163],{},[769,24971,26],{"mathvariant":771},[705,24973,24974],{"encoding":707},"\\mathrm{RSS}(\\beta) = \\sum_{i=1}^{n} \\left(y_i - \\beta_0 - x_i^\\top \\beta\\right)^2.",[148,24976,24978,25010],{"className":24977,"ariaHidden":713},[712],[148,24979,24981,24984,24992,24995,24998,25001,25004,25007],{"className":24980},[717],[148,24982],{"className":24983,"style":800},[721],[148,24985,24987],{"className":24986},[726],[148,24988,24991],{"className":24989},[726,24990],"mathrm","RSS",[148,24993,2748],{"className":24994},[1242],[148,24996,22210],{"className":24997,"style":22253},[726,1064],[148,24999,2757],{"className":25000},[807],[148,25002],{"className":25003,"style":815},[730],[148,25005,777],{"className":25006},[819],[148,25008],{"className":25009,"style":815},[730],[148,25011,25013,25017,25080,25083,25278,25281],{"className":25012},[717],[148,25014],{"className":25015,"style":25016},[721],"height:1.404em;vertical-align:-0.35em;",[148,25018,25020,25023],{"className":25019},[7621],[148,25021,7436],{"className":25022,"style":7627},[7621,7625,7626],[148,25024,25026],{"className":25025},[977],[148,25027,25029,25072],{"className":25028},[981,1071],[148,25030,25032,25069],{"className":25031},[985],[148,25033,25035,25055],{"className":25034,"style":7640},[989],[148,25036,25037,25040],{"style":7643},[148,25038],{"className":25039,"style":997},[996],[148,25041,25043],{"className":25042},[1001,1002,1003,1004],[148,25044,25046,25049,25052],{"className":25045},[726,1004],[148,25047,6183],{"className":25048},[726,1064,1004],[148,25050,777],{"className":25051},[819,1004],[148,25053,150],{"className":25054},[726,1004],[148,25056,25057,25060],{"style":7664},[148,25058],{"className":25059,"style":997},[996],[148,25061,25063],{"className":25062},[1001,1002,1003,1004],[148,25064,25066],{"className":25065},[726,1004],[148,25067,1566],{"className":25068},[726,1064,1004],[148,25070,1095],{"className":25071},[1094],[148,25073,25075],{"className":25074},[985],[148,25076,25078],{"className":25077,"style":7686},[989],[148,25079],{},[148,25081],{"className":25082,"style":835},[730],[148,25084,25086,25253],{"className":25085},[1675],[148,25087,25089,25095,25135,25138,25141,25144,25184,25187,25190,25193,25244,25247],{"className":25088},[1675],[148,25090,25092],{"className":25091,"style":8930},[1242,8929],[148,25093,2748],{"className":25094},[8934,9150],[148,25096,25098,25101],{"className":25097},[726],[148,25099,6060],{"className":25100,"style":4185},[726,1064],[148,25102,25104],{"className":25103},[977],[148,25105,25107,25127],{"className":25106},[981,1071],[148,25108,25110,25124],{"className":25109},[985],[148,25111,25113],{"className":25112,"style":6263},[989],[148,25114,25115,25118],{"style":6312},[148,25116],{"className":25117,"style":997},[996],[148,25119,25121],{"className":25120},[1001,1002,1003,1004],[148,25122,6183],{"className":25123},[726,1064,1004],[148,25125,1095],{"className":25126},[1094],[148,25128,25130],{"className":25129},[985],[148,25131,25133],{"className":25132,"style":1102},[989],[148,25134],{},[148,25136],{"className":25137,"style":731},[730],[148,25139,3325],{"className":25140},[735],[148,25142],{"className":25143,"style":731},[730],[148,25145,25147,25150],{"className":25146},[726],[148,25148,22210],{"className":25149,"style":22253},[726,1064],[148,25151,25153],{"className":25152},[977],[148,25154,25156,25176],{"className":25155},[981,1071],[148,25157,25159,25173],{"className":25158},[985],[148,25160,25162],{"className":25161,"style":1078},[989],[148,25163,25164,25167],{"style":23975},[148,25165],{"className":25166,"style":997},[996],[148,25168,25170],{"className":25169},[1001,1002,1003,1004],[148,25171,973],{"className":25172},[726,1004],[148,25174,1095],{"className":25175},[1094],[148,25177,25179],{"className":25178},[985],[148,25180,25182],{"className":25181,"style":1102},[989],[148,25183],{},[148,25185],{"className":25186,"style":731},[730],[148,25188,3325],{"className":25189},[735],[148,25191],{"className":25192,"style":731},[730],[148,25194,25196,25199],{"className":25195},[726],[148,25197,6055],{"className":25198},[726,1064],[148,25200,25202],{"className":25201},[977],[148,25203,25205,25236],{"className":25204},[981,1071],[148,25206,25208,25233],{"className":25207},[985],[148,25209,25211,25222],{"className":25210,"style":2796},[989],[148,25212,25213,25216],{"style":6357},[148,25214],{"className":25215,"style":997},[996],[148,25217,25219],{"className":25218},[1001,1002,1003,1004],[148,25220,6183],{"className":25221},[726,1064,1004],[148,25223,25224,25227],{"style":992},[148,25225],{"className":25226,"style":997},[996],[148,25228,25230],{"className":25229},[1001,1002,1003,1004],[148,25231,12485],{"className":25232},[726,1004],[148,25234,1095],{"className":25235},[1094],[148,25237,25239],{"className":25238},[985],[148,25240,25242],{"className":25241,"style":6399},[989],[148,25243],{},[148,25245,22210],{"className":25246,"style":22253},[726,1064],[148,25248,25250],{"className":25249,"style":8930},[807,8929],[148,25251,2757],{"className":25252},[8934,9150],[148,25254,25256],{"className":25255},[977],[148,25257,25259],{"className":25258},[981],[148,25260,25262],{"className":25261},[985],[148,25263,25266],{"className":25264,"style":25265},[989],"height:1.054em;",[148,25267,25269,25272],{"style":25268},"top:-3.3029em;margin-right:0.05em;",[148,25270],{"className":25271,"style":997},[996],[148,25273,25275],{"className":25274},[1001,1002,1003,1004],[148,25276,163],{"className":25277},[726,1004],[148,25279],{"className":25280,"style":835},[730],[148,25282,26],{"className":25283},[726],"\nЕсли ввести расширенную матрицу признаков ",[148,25286,25288,25324],{"className":25287},[680],[148,25289,25291],{"className":25290},[684],[686,25292,25293],{"xmlns":688},[690,25294,25295,25321],{},[693,25296,25297,25299,25301],{},[769,25298,5985],{},[699,25300,1369],{},[921,25302,25303,25305],{},[769,25304,7214],{"mathvariant":6847},[693,25306,25307,25309,25311,25313,25315,25317,25319],{},[769,25308,1566],{},[699,25310,701],{},[699,25312,2748],{"stretchy":766},[769,25314,85],{},[699,25316,2605],{},[696,25318,150],{},[699,25320,2757],{"stretchy":766},[705,25322,25323],{"encoding":707},"X \\in \\mathbb{R}^{n \\times (p+1)}",[148,25325,25327,25346],{"className":25326,"ariaHidden":713},[712],[148,25328,25330,25333,25337,25340,25343],{"className":25329},[717],[148,25331],{"className":25332,"style":11704},[721],[148,25334,5985],{"className":25335,"style":25336},[726,1064],"margin-right:0.0785em;",[148,25338],{"className":25339,"style":815},[730],[148,25341,1369],{"className":25342},[819],[148,25344],{"className":25345,"style":815},[730],[148,25347,25349,25353],{"className":25348},[717],[148,25350],{"className":25351,"style":25352},[721],"height:0.888em;",[148,25354,25356,25359],{"className":25355},[726],[148,25357,7214],{"className":25358},[726,7309],[148,25360,25362],{"className":25361},[977],[148,25363,25365],{"className":25364},[981],[148,25366,25368],{"className":25367},[985],[148,25369,25371],{"className":25370,"style":25352},[989],[148,25372,25373,25376],{"style":992},[148,25374],{"className":25375,"style":997},[996],[148,25377,25379],{"className":25378},[1001,1002,1003,1004],[148,25380,25382,25385,25388,25391,25394,25397,25400],{"className":25381},[726,1004],[148,25383,1566],{"className":25384},[726,1064,1004],[148,25386,701],{"className":25387},[735,1004],[148,25389,2748],{"className":25390},[1242,1004],[148,25392,85],{"className":25393},[726,1064,1004],[148,25395,2605],{"className":25396},[735,1004],[148,25398,150],{"className":25399},[726,1004],[148,25401,2757],{"className":25402},[807,1004],", в первом столбце которой стоят единицы (для свободного члена), и вектор откликов ",[148,25405,25407,25429],{"className":25406},[680],[148,25408,25410],{"className":25409},[684],[686,25411,25412],{"xmlns":688},[690,25413,25414,25426],{},[693,25415,25416,25418,25420],{},[769,25417,6060],{},[699,25419,1369],{},[921,25421,25422,25424],{},[769,25423,7214],{"mathvariant":6847},[769,25425,1566],{},[705,25427,25428],{"encoding":707},"y \\in \\mathbb{R}^n",[148,25430,25432,25450],{"className":25431,"ariaHidden":713},[712],[148,25433,25435,25438,25441,25444,25447],{"className":25434},[717],[148,25436],{"className":25437,"style":18577},[721],[148,25439,6060],{"className":25440,"style":4185},[726,1064],[148,25442],{"className":25443,"style":815},[730],[148,25445,1369],{"className":25446},[819],[148,25448],{"className":25449,"style":815},[730],[148,25451,25453,25456],{"className":25452},[717],[148,25454],{"className":25455,"style":12706},[721],[148,25457,25459,25462],{"className":25458},[726],[148,25460,7214],{"className":25461},[726,7309],[148,25463,25465],{"className":25464},[977],[148,25466,25468],{"className":25467},[981],[148,25469,25471],{"className":25470},[985],[148,25472,25474],{"className":25473,"style":6354},[989],[148,25475,25476,25479],{"style":992},[148,25477],{"className":25478,"style":997},[996],[148,25480,25482],{"className":25481},[1001,1002,1003,1004],[148,25483,1566],{"className":25484},[726,1064,1004],", задача принимает компактный вид ",[148,25487,25489,25524],{"className":25488},[680],[148,25490,25492],{"className":25491},[684],[686,25493,25494],{"xmlns":688},[690,25495,25496,25521],{},[693,25497,25498,25500,25502,25504,25506,25508,25514,25516,25519],{},[769,25499,14641],{"mathvariant":771},[769,25501,6060],{},[699,25503,3325],{},[769,25505,5985],{},[769,25507,22210],{},[921,25509,25510,25512],{},[769,25511,14641],{"mathvariant":771},[696,25513,163],{},[699,25515,6430],{},[769,25517,25518],{},"min",[699,25520,13929],{},[705,25522,25523],{"encoding":707},"\\|y - X\\beta\\|^2 \\to \\min",[148,25525,25527,25548,25598],{"className":25526,"ariaHidden":713},[712],[148,25528,25530,25533,25536,25539,25542,25545],{"className":25529},[717],[148,25531],{"className":25532,"style":800},[721],[148,25534,14641],{"className":25535},[726],[148,25537,6060],{"className":25538,"style":4185},[726,1064],[148,25540],{"className":25541,"style":731},[730],[148,25543,3325],{"className":25544},[735],[148,25546],{"className":25547,"style":731},[730],[148,25549,25551,25554,25557,25560,25589,25592,25595],{"className":25550},[717],[148,25552],{"className":25553,"style":14662},[721],[148,25555,5985],{"className":25556,"style":25336},[726,1064],[148,25558,22210],{"className":25559,"style":22253},[726,1064],[148,25561,25563,25566],{"className":25562},[726],[148,25564,14641],{"className":25565},[726],[148,25567,25569],{"className":25568},[977],[148,25570,25572],{"className":25571},[981],[148,25573,25575],{"className":25574},[985],[148,25576,25578],{"className":25577,"style":963},[989],[148,25579,25580,25583],{"style":992},[148,25581],{"className":25582,"style":997},[996],[148,25584,25586],{"className":25585},[1001,1002,1003,1004],[148,25587,163],{"className":25588},[726,1004],[148,25590],{"className":25591,"style":815},[730],[148,25593,6430],{"className":25594},[819],[148,25596],{"className":25597,"style":815},[730],[148,25599,25601,25605],{"className":25600},[717],[148,25602],{"className":25603,"style":25604},[721],"height:0.6679em;",[148,25606,25518],{"className":25607},[7621],". Дифференцируя по ",[148,25610,25612,25626],{"className":25611},[680],[148,25613,25615],{"className":25614},[684],[686,25616,25617],{"xmlns":688},[690,25618,25619,25623],{},[693,25620,25621],{},[769,25622,22210],{},[705,25624,25625],{"encoding":707},"\\beta",[148,25627,25629],{"className":25628,"ariaHidden":713},[712],[148,25630,25632,25635],{"className":25631},[717],[148,25633],{"className":25634,"style":6934},[721],[148,25636,22210],{"className":25637,"style":22253},[726,1064]," и приравнивая нулю, получаем ",[294,25640,25641],{},"нормальные уравнения",[148,25643,25645,25677],{"className":25644},[680],[148,25646,25648],{"className":25647},[684],[686,25649,25650],{"xmlns":688},[690,25651,25652,25674],{},[693,25653,25654,25660,25662,25664,25666,25672],{},[921,25655,25656,25658],{},[769,25657,5985],{},[769,25659,12485],{"mathvariant":771},[769,25661,5985],{},[769,25663,22210],{},[699,25665,777],{},[921,25667,25668,25670],{},[769,25669,5985],{},[769,25671,12485],{"mathvariant":771},[769,25673,6060],{},[705,25675,25676],{"encoding":707},"X^\\top X \\beta = X^\\top y",[148,25678,25680,25730],{"className":25679,"ariaHidden":713},[712],[148,25681,25683,25686,25715,25718,25721,25724,25727],{"className":25682},[717],[148,25684],{"className":25685,"style":24371},[721],[148,25687,25689,25692],{"className":25688},[726],[148,25690,5985],{"className":25691,"style":25336},[726,1064],[148,25693,25695],{"className":25694},[977],[148,25696,25698],{"className":25697},[981],[148,25699,25701],{"className":25700},[985],[148,25702,25704],{"className":25703,"style":2796},[989],[148,25705,25706,25709],{"style":992},[148,25707],{"className":25708,"style":997},[996],[148,25710,25712],{"className":25711},[1001,1002,1003,1004],[148,25713,12485],{"className":25714},[726,1004],[148,25716,5985],{"className":25717,"style":25336},[726,1064],[148,25719,22210],{"className":25720,"style":22253},[726,1064],[148,25722],{"className":25723,"style":815},[730],[148,25725,777],{"className":25726},[819],[148,25728],{"className":25729,"style":815},[730],[148,25731,25733,25736,25765],{"className":25732},[717],[148,25734],{"className":25735,"style":24371},[721],[148,25737,25739,25742],{"className":25738},[726],[148,25740,5985],{"className":25741,"style":25336},[726,1064],[148,25743,25745],{"className":25744},[977],[148,25746,25748],{"className":25747},[981],[148,25749,25751],{"className":25750},[985],[148,25752,25754],{"className":25753,"style":2796},[989],[148,25755,25756,25759],{"style":992},[148,25757],{"className":25758,"style":997},[996],[148,25760,25762],{"className":25761},[1001,1002,1003,1004],[148,25763,12485],{"className":25764},[726,1004],[148,25766,6060],{"className":25767,"style":4185},[726,1064],", а при невырожденности ",[148,25770,25772,25792],{"className":25771},[680],[148,25773,25775],{"className":25774},[684],[686,25776,25777],{"xmlns":688},[690,25778,25779,25789],{},[693,25780,25781,25787],{},[921,25782,25783,25785],{},[769,25784,5985],{},[769,25786,12485],{"mathvariant":771},[769,25788,5985],{},[705,25790,25791],{"encoding":707},"X^\\top X",[148,25793,25795],{"className":25794,"ariaHidden":713},[712],[148,25796,25798,25801,25830],{"className":25797},[717],[148,25799],{"className":25800,"style":2796},[721],[148,25802,25804,25807],{"className":25803},[726],[148,25805,5985],{"className":25806,"style":25336},[726,1064],[148,25808,25810],{"className":25809},[977],[148,25811,25813],{"className":25812},[981],[148,25814,25816],{"className":25815},[985],[148,25817,25819],{"className":25818,"style":2796},[989],[148,25820,25821,25824],{"style":992},[148,25822],{"className":25823,"style":997},[996],[148,25825,25827],{"className":25826},[1001,1002,1003,1004],[148,25828,12485],{"className":25829},[726,1004],[148,25831,5985],{"className":25832,"style":25336},[726,1064]," — замкнутую формулу\n",[148,25835,25837,25887],{"className":25836},[680],[148,25838,25840],{"className":25839},[684],[686,25841,25842],{"xmlns":688},[690,25843,25844,25884],{},[693,25845,25846,25852,25854,25856,25862,25864,25874,25880,25882],{},[6416,25847,25848,25850],{"accent":713},[769,25849,22210],{},[699,25851,6422],{},[699,25853,777],{},[699,25855,2748],{"stretchy":766},[921,25857,25858,25860],{},[769,25859,5985],{},[769,25861,12485],{"mathvariant":771},[769,25863,5985],{},[921,25865,25866,25868],{},[699,25867,2757],{"stretchy":766},[693,25869,25870,25872],{},[699,25871,3325],{},[696,25873,150],{},[921,25875,25876,25878],{},[769,25877,5985],{},[769,25879,12485],{"mathvariant":771},[769,25881,6060],{},[769,25883,26],{"mathvariant":771},[705,25885,25886],{"encoding":707},"\\hat{\\beta} = (X^\\top X)^{-1} X^\\top y.",[148,25888,25890,25947],{"className":25889,"ariaHidden":713},[712],[148,25891,25893,25896,25938,25941,25944],{"className":25892},[717],[148,25894],{"className":25895,"style":6445},[721],[148,25897,25899],{"className":25898},[726,6449],[148,25900,25902,25930],{"className":25901},[981,1071],[148,25903,25905,25927],{"className":25904},[985],[148,25906,25908,25916],{"className":25907,"style":6459},[989],[148,25909,25910,25913],{"style":6462},[148,25911],{"className":25912,"style":3367},[996],[148,25914,22210],{"className":25915,"style":22253},[726,1064],[148,25917,25918,25921],{"style":6471},[148,25919],{"className":25920,"style":3367},[996],[148,25922,25924],{"className":25923,"style":7516},[6478],[148,25925,6422],{"className":25926},[726],[148,25928,1095],{"className":25929},[1094],[148,25931,25933],{"className":25932},[985],[148,25934,25936],{"className":25935,"style":6492},[989],[148,25937],{},[148,25939],{"className":25940,"style":815},[730],[148,25942,777],{"className":25943},[819],[148,25945],{"className":25946,"style":815},[730],[148,25948,25950,25953,25956,25985,25988,26023,26052,26055],{"className":25949},[717],[148,25951],{"className":25952,"style":2770},[721],[148,25954,2748],{"className":25955},[1242],[148,25957,25959,25962],{"className":25958},[726],[148,25960,5985],{"className":25961,"style":25336},[726,1064],[148,25963,25965],{"className":25964},[977],[148,25966,25968],{"className":25967},[981],[148,25969,25971],{"className":25970},[985],[148,25972,25974],{"className":25973,"style":2796},[989],[148,25975,25976,25979],{"style":992},[148,25977],{"className":25978,"style":997},[996],[148,25980,25982],{"className":25981},[1001,1002,1003,1004],[148,25983,12485],{"className":25984},[726,1004],[148,25986,5985],{"className":25987,"style":25336},[726,1064],[148,25989,25991,25994],{"className":25990},[807],[148,25992,2757],{"className":25993},[807],[148,25995,25997],{"className":25996},[977],[148,25998,26000],{"className":25999},[981],[148,26001,26003],{"className":26002},[985],[148,26004,26006],{"className":26005,"style":963},[989],[148,26007,26008,26011],{"style":992},[148,26009],{"className":26010,"style":997},[996],[148,26012,26014],{"className":26013},[1001,1002,1003,1004],[148,26015,26017,26020],{"className":26016},[726,1004],[148,26018,3325],{"className":26019},[726,1004],[148,26021,150],{"className":26022},[726,1004],[148,26024,26026,26029],{"className":26025},[726],[148,26027,5985],{"className":26028,"style":25336},[726,1064],[148,26030,26032],{"className":26031},[977],[148,26033,26035],{"className":26034},[981],[148,26036,26038],{"className":26037},[985],[148,26039,26041],{"className":26040,"style":2796},[989],[148,26042,26043,26046],{"style":992},[148,26044],{"className":26045,"style":997},[996],[148,26047,26049],{"className":26048},[1001,1002,1003,1004],[148,26050,12485],{"className":26051},[726,1004],[148,26053,6060],{"className":26054,"style":4185},[726,1064],[148,26056,26],{"className":26057},[726],"\nСуществование явного решения отличает OLS от подавляющего большинства методов машинного обучения, где параметры подбираются итеративно. Это не означает, что в реальных библиотеках формула применяется напрямую: численно устойчивые реализации (в ",[5622,26060,26061],{},"scikit-learn",[5622,26063,26064],{},"statsmodels",") опираются на QR- или SVD-разложение матрицы ",[148,26067,26069,26082],{"className":26068},[680],[148,26070,26072],{"className":26071},[684],[686,26073,26074],{"xmlns":688},[690,26075,26076,26080],{},[693,26077,26078],{},[769,26079,5985],{},[705,26081,5985],{"encoding":707},[148,26083,26085],{"className":26084,"ariaHidden":713},[712],[148,26086,26088,26091],{"className":26087},[717],[148,26089],{"className":26090,"style":1344},[721],[148,26092,5985],{"className":26093,"style":25336},[726,1064],", что позволяет избежать обращения возможно плохо обусловленной матрицы.",[85,26096,26097,26098,26126,26127,26186,26187,26215,26216,26358,26359,26387,26388,26506,26507,26535,26536,26743,26744,26878],{},"Геометрическая интерпретация даёт ещё один взгляд на ту же задачу. Столбцы матрицы ",[148,26099,26101,26114],{"className":26100},[680],[148,26102,26104],{"className":26103},[684],[686,26105,26106],{"xmlns":688},[690,26107,26108,26112],{},[693,26109,26110],{},[769,26111,5985],{},[705,26113,5985],{"encoding":707},[148,26115,26117],{"className":26116,"ariaHidden":713},[712],[148,26118,26120,26123],{"className":26119},[717],[148,26121],{"className":26122,"style":1344},[721],[148,26124,5985],{"className":26125,"style":25336},[726,1064]," порождают подпространство в ",[148,26128,26130,26148],{"className":26129},[680],[148,26131,26133],{"className":26132},[684],[686,26134,26135],{"xmlns":688},[690,26136,26137,26145],{},[693,26138,26139],{},[921,26140,26141,26143],{},[769,26142,7214],{"mathvariant":6847},[769,26144,1566],{},[705,26146,26147],{"encoding":707},"\\mathbb{R}^n",[148,26149,26151],{"className":26150,"ariaHidden":713},[712],[148,26152,26154,26157],{"className":26153},[717],[148,26155],{"className":26156,"style":12706},[721],[148,26158,26160,26163],{"className":26159},[726],[148,26161,7214],{"className":26162},[726,7309],[148,26164,26166],{"className":26165},[977],[148,26167,26169],{"className":26168},[981],[148,26170,26172],{"className":26171},[985],[148,26173,26175],{"className":26174,"style":6354},[989],[148,26176,26177,26180],{"style":992},[148,26178],{"className":26179,"style":997},[996],[148,26181,26183],{"className":26182},[1001,1002,1003,1004],[148,26184,1566],{"className":26185},[726,1064,1004]," — линейные комбинации признаков. Метод наименьших квадратов проецирует вектор откликов ",[148,26188,26190,26203],{"className":26189},[680],[148,26191,26193],{"className":26192},[684],[686,26194,26195],{"xmlns":688},[690,26196,26197,26201],{},[693,26198,26199],{},[769,26200,6060],{},[705,26202,6060],{"encoding":707},[148,26204,26206],{"className":26205,"ariaHidden":713},[712],[148,26207,26209,26212],{"className":26208},[717],[148,26210],{"className":26211,"style":1579},[721],[148,26213,6060],{"className":26214,"style":4185},[726,1064]," на это подпространство; предсказание ",[148,26217,26219,26247],{"className":26218},[680],[148,26220,26222],{"className":26221},[684],[686,26223,26224],{"xmlns":688},[690,26225,26226,26244],{},[693,26227,26228,26234,26236,26238],{},[6416,26229,26230,26232],{"accent":713},[769,26231,6060],{},[699,26233,6422],{},[699,26235,777],{},[769,26237,5985],{},[6416,26239,26240,26242],{"accent":713},[769,26241,22210],{},[699,26243,6422],{},[705,26245,26246],{"encoding":707},"\\hat{y} = X\\hat{\\beta}",[148,26248,26250,26307],{"className":26249,"ariaHidden":713},[712],[148,26251,26253,26256,26298,26301,26304],{"className":26252},[717],[148,26254],{"className":26255,"style":6934},[721],[148,26257,26259],{"className":26258},[726,6449],[148,26260,26262,26290],{"className":26261},[981,1071],[148,26263,26265,26287],{"className":26264},[985],[148,26266,26268,26276],{"className":26267,"style":2415},[989],[148,26269,26270,26273],{"style":6462},[148,26271],{"className":26272,"style":3367},[996],[148,26274,6060],{"className":26275,"style":4185},[726,1064],[148,26277,26278,26281],{"style":6462},[148,26279],{"className":26280,"style":3367},[996],[148,26282,26284],{"className":26283,"style":13404},[6478],[148,26285,6422],{"className":26286},[726],[148,26288,1095],{"className":26289},[1094],[148,26291,26293],{"className":26292},[985],[148,26294,26296],{"className":26295,"style":6492},[989],[148,26297],{},[148,26299],{"className":26300,"style":815},[730],[148,26302,777],{"className":26303},[819],[148,26305],{"className":26306,"style":815},[730],[148,26308,26310,26313,26316],{"className":26309},[717],[148,26311],{"className":26312,"style":6445},[721],[148,26314,5985],{"className":26315,"style":25336},[726,1064],[148,26317,26319],{"className":26318},[726,6449],[148,26320,26322,26350],{"className":26321},[981,1071],[148,26323,26325,26347],{"className":26324},[985],[148,26326,26328,26336],{"className":26327,"style":6459},[989],[148,26329,26330,26333],{"style":6462},[148,26331],{"className":26332,"style":3367},[996],[148,26334,22210],{"className":26335,"style":22253},[726,1064],[148,26337,26338,26341],{"style":6471},[148,26339],{"className":26340,"style":3367},[996],[148,26342,26344],{"className":26343,"style":7516},[6478],[148,26345,6422],{"className":26346},[726],[148,26348,1095],{"className":26349},[1094],[148,26351,26353],{"className":26352},[985],[148,26354,26356],{"className":26355,"style":6492},[989],[148,26357],{}," — ближайшая к ",[148,26360,26362,26375],{"className":26361},[680],[148,26363,26365],{"className":26364},[684],[686,26366,26367],{"xmlns":688},[690,26368,26369,26373],{},[693,26370,26371],{},[769,26372,6060],{},[705,26374,6060],{"encoding":707},[148,26376,26378],{"className":26377,"ariaHidden":713},[712],[148,26379,26381,26384],{"className":26380},[717],[148,26382],{"className":26383,"style":1579},[721],[148,26385,6060],{"className":26386,"style":4185},[726,1064]," точка подпространства в евклидовой метрике, а вектор остатков ",[148,26389,26391,26418],{"className":26390},[680],[148,26392,26394],{"className":26393},[684],[686,26395,26396],{"xmlns":688},[690,26397,26398,26415],{},[693,26399,26400,26403,26405,26407,26409],{},[769,26401,26402],{},"r",[699,26404,777],{},[769,26406,6060],{},[699,26408,3325],{},[6416,26410,26411,26413],{"accent":713},[769,26412,6060],{},[699,26414,6422],{},[705,26416,26417],{"encoding":707},"r = y - \\hat{y}",[148,26419,26421,26439,26458],{"className":26420,"ariaHidden":713},[712],[148,26422,26424,26427,26430,26433,26436],{"className":26423},[717],[148,26425],{"className":26426,"style":2537},[721],[148,26428,26402],{"className":26429,"style":2774},[726,1064],[148,26431],{"className":26432,"style":815},[730],[148,26434,777],{"className":26435},[819],[148,26437],{"className":26438,"style":815},[730],[148,26440,26442,26446,26449,26452,26455],{"className":26441},[717],[148,26443],{"className":26444,"style":26445},[721],"height:0.7778em;vertical-align:-0.1944em;",[148,26447,6060],{"className":26448,"style":4185},[726,1064],[148,26450],{"className":26451,"style":731},[730],[148,26453,3325],{"className":26454},[735],[148,26456],{"className":26457,"style":731},[730],[148,26459,26461,26464],{"className":26460},[717],[148,26462],{"className":26463,"style":6934},[721],[148,26465,26467],{"className":26466},[726,6449],[148,26468,26470,26498],{"className":26469},[981,1071],[148,26471,26473,26495],{"className":26472},[985],[148,26474,26476,26484],{"className":26475,"style":2415},[989],[148,26477,26478,26481],{"style":6462},[148,26479],{"className":26480,"style":3367},[996],[148,26482,6060],{"className":26483,"style":4185},[726,1064],[148,26485,26486,26489],{"style":6462},[148,26487],{"className":26488,"style":3367},[996],[148,26490,26492],{"className":26491,"style":13404},[6478],[148,26493,6422],{"className":26494},[726],[148,26496,1095],{"className":26497},[1094],[148,26499,26501],{"className":26500},[985],[148,26502,26504],{"className":26503,"style":6492},[989],[148,26505],{}," ортогонален всем столбцам ",[148,26508,26510,26523],{"className":26509},[680],[148,26511,26513],{"className":26512},[684],[686,26514,26515],{"xmlns":688},[690,26516,26517,26521],{},[693,26518,26519],{},[769,26520,5985],{},[705,26522,5985],{"encoding":707},[148,26524,26526],{"className":26525,"ariaHidden":713},[712],[148,26527,26529,26532],{"className":26528},[717],[148,26530],{"className":26531,"style":1344},[721],[148,26533,5985],{"className":26534,"style":25336},[726,1064],". В пространстве признаков (другая, более привычная картина) гиперплоскость ",[148,26537,26539,26581],{"className":26538},[680],[148,26540,26542],{"className":26541},[684],[686,26543,26544],{"xmlns":688},[690,26545,26546,26578],{},[693,26547,26548,26554,26556,26558,26560,26562,26568,26570,26576],{},[6416,26549,26550,26552],{"accent":713},[769,26551,4112],{},[699,26553,6422],{},[699,26555,2748],{"stretchy":766},[769,26557,6055],{},[699,26559,2757],{"stretchy":766},[699,26561,777],{},[1038,26563,26564,26566],{},[769,26565,22210],{},[696,26567,973],{},[699,26569,2605],{},[921,26571,26572,26574],{},[769,26573,6055],{},[769,26575,12485],{"mathvariant":771},[769,26577,22210],{},[705,26579,26580],{"encoding":707},"\\hat{f}(x) = \\beta_0 + x^\\top \\beta",[148,26582,26584,26650,26705],{"className":26583,"ariaHidden":713},[712],[148,26585,26587,26590,26632,26635,26638,26641,26644,26647],{"className":26586},[717],[148,26588],{"className":26589,"style":6626},[721],[148,26591,26593],{"className":26592},[726,6449],[148,26594,26596,26624],{"className":26595},[981,1071],[148,26597,26599,26621],{"className":26598},[985],[148,26600,26602,26610],{"className":26601,"style":6459},[989],[148,26603,26604,26607],{"style":6462},[148,26605],{"className":26606,"style":3367},[996],[148,26608,4112],{"className":26609,"style":4157},[726,1064],[148,26611,26612,26615],{"style":6471},[148,26613],{"className":26614,"style":3367},[996],[148,26616,26618],{"className":26617,"style":6479},[6478],[148,26619,6422],{"className":26620},[726],[148,26622,1095],{"className":26623},[1094],[148,26625,26627],{"className":26626},[985],[148,26628,26630],{"className":26629,"style":6492},[989],[148,26631],{},[148,26633,2748],{"className":26634},[1242],[148,26636,6055],{"className":26637},[726,1064],[148,26639,2757],{"className":26640},[807],[148,26642],{"className":26643,"style":815},[730],[148,26645,777],{"className":26646},[819],[148,26648],{"className":26649,"style":815},[730],[148,26651,26653,26656,26696,26699,26702],{"className":26652},[717],[148,26654],{"className":26655,"style":6934},[721],[148,26657,26659,26662],{"className":26658},[726],[148,26660,22210],{"className":26661,"style":22253},[726,1064],[148,26663,26665],{"className":26664},[977],[148,26666,26668,26688],{"className":26667},[981,1071],[148,26669,26671,26685],{"className":26670},[985],[148,26672,26674],{"className":26673,"style":1078},[989],[148,26675,26676,26679],{"style":23975},[148,26677],{"className":26678,"style":997},[996],[148,26680,26682],{"className":26681},[1001,1002,1003,1004],[148,26683,973],{"className":26684},[726,1004],[148,26686,1095],{"className":26687},[1094],[148,26689,26691],{"className":26690},[985],[148,26692,26694],{"className":26693,"style":1102},[989],[148,26695],{},[148,26697],{"className":26698,"style":731},[730],[148,26700,2605],{"className":26701},[735],[148,26703],{"className":26704,"style":731},[730],[148,26706,26708,26711,26740],{"className":26707},[717],[148,26709],{"className":26710,"style":24371},[721],[148,26712,26714,26717],{"className":26713},[726],[148,26715,6055],{"className":26716},[726,1064],[148,26718,26720],{"className":26719},[977],[148,26721,26723],{"className":26722},[981],[148,26724,26726],{"className":26725},[985],[148,26727,26729],{"className":26728,"style":2796},[989],[148,26730,26731,26734],{"style":992},[148,26732],{"className":26733,"style":997},[996],[148,26735,26737],{"className":26736},[1001,1002,1003,1004],[148,26738,12485],{"className":26739},[726,1004],[148,26741,22210],{"className":26742,"style":22253},[726,1064]," проходит сквозь облако точек ",[148,26745,26747,26777],{"className":26746},[680],[148,26748,26750],{"className":26749},[684],[686,26751,26752],{"xmlns":688},[690,26753,26754,26774],{},[693,26755,26756,26758,26764,26766,26772],{},[699,26757,2748],{"stretchy":766},[1038,26759,26760,26762],{},[769,26761,6055],{},[769,26763,6183],{},[699,26765,1205],{"separator":713},[1038,26767,26768,26770],{},[769,26769,6060],{},[769,26771,6183],{},[699,26773,2757],{"stretchy":766},[705,26775,26776],{"encoding":707},"(x_i, y_i)",[148,26778,26780],{"className":26779,"ariaHidden":713},[712],[148,26781,26783,26786,26789,26829,26832,26835,26875],{"className":26782},[717],[148,26784],{"className":26785,"style":800},[721],[148,26787,2748],{"className":26788},[1242],[148,26790,26792,26795],{"className":26791},[726],[148,26793,6055],{"className":26794},[726,1064],[148,26796,26798],{"className":26797},[977],[148,26799,26801,26821],{"className":26800},[981,1071],[148,26802,26804,26818],{"className":26803},[985],[148,26805,26807],{"className":26806,"style":6263},[989],[148,26808,26809,26812],{"style":1081},[148,26810],{"className":26811,"style":997},[996],[148,26813,26815],{"className":26814},[1001,1002,1003,1004],[148,26816,6183],{"className":26817},[726,1064,1004],[148,26819,1095],{"className":26820},[1094],[148,26822,26824],{"className":26823},[985],[148,26825,26827],{"className":26826,"style":1102},[989],[148,26828],{},[148,26830,1205],{"className":26831},[1250],[148,26833],{"className":26834,"style":835},[730],[148,26836,26838,26841],{"className":26837},[726],[148,26839,6060],{"className":26840,"style":4185},[726,1064],[148,26842,26844],{"className":26843},[977],[148,26845,26847,26867],{"className":26846},[981,1071],[148,26848,26850,26864],{"className":26849},[985],[148,26851,26853],{"className":26852,"style":6263},[989],[148,26854,26855,26858],{"style":6312},[148,26856],{"className":26857,"style":997},[996],[148,26859,26861],{"className":26860},[1001,1002,1003,1004],[148,26862,6183],{"className":26863},[726,1064,1004],[148,26865,1095],{"className":26866},[1094],[148,26868,26870],{"className":26869},[985],[148,26871,26873],{"className":26872,"style":1102},[989],[148,26874],{},[148,26876,2757],{"className":26877},[807]," так, чтобы суммарный квадрат вертикальных отклонений был минимален. Иллюстрация для одномерного случая показана ниже.",[362,26880,364,26881,364,26885],{},[366,26882],{"src":26883,"alt":26884},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Flinear_regression_fit.svg","Линейная регрессия: облако точек, OLS-прямая и вертикальные остатки",[370,26886,26887],{},"Метод наименьших квадратов в одномерном случае: прямая минимизирует сумму квадратов вертикальных отклонений от точек выборки",[85,26889,26890],{},"За простотой линейной модели стоит набор теоретических допущений, выполнение которых превращает OLS в оптимальную оценку (теорема Гаусса—Маркова), а нарушение — в источник систематических ошибок. Перечислим их и обозначим практические последствия.",[85,26892,26893,26896,26897,26963],{},[294,26894,26895],{},"Линейность связи"," — само ядро модели: предполагается, что условное среднее ",[148,26898,26900,26924],{"className":26899},[680],[148,26901,26903],{"className":26902},[684],[686,26904,26905],{"xmlns":688},[690,26906,26907,26921],{},[693,26908,26909,26911,26913,26915,26917,26919],{},[769,26910,5777],{"mathvariant":6847},[699,26912,6850],{"stretchy":766},[769,26914,6060],{},[699,26916,12014],{},[769,26918,6055],{},[699,26920,6870],{"stretchy":766},[705,26922,26923],{"encoding":707},"\\mathbb{E}[y \\mid x]",[148,26925,26927,26951],{"className":26926,"ariaHidden":713},[712],[148,26928,26930,26933,26936,26939,26942,26945,26948],{"className":26929},[717],[148,26931],{"className":26932,"style":800},[721],[148,26934,5777],{"className":26935},[726,7309],[148,26937,6850],{"className":26938},[1242],[148,26940,6060],{"className":26941,"style":4185},[726,1064],[148,26943],{"className":26944,"style":815},[730],[148,26946,12014],{"className":26947},[819],[148,26949],{"className":26950,"style":815},[730],[148,26952,26954,26957,26960],{"className":26953},[717],[148,26955],{"className":26956,"style":800},[721],[148,26958,6055],{"className":26959},[726,1064],[148,26961,6870],{"className":26962},[807]," есть линейная функция признаков. Если истинная зависимость существенно нелинейна, линейная модель даст высокое смещение независимо от размера выборки. Распространённый приём — введение нелинейных преобразований признаков (квадраты, логарифмы, перекрёстные произведения) — формально оставляет модель линейной по параметрам, но линейной по новым признакам.",[85,26965,26966,26969],{},[294,26967,26968],{},"Независимость наблюдений."," Метод предполагает, что объекты выборки не связаны между собой. Для временных рядов и пространственных данных это допущение нарушается: соседние во времени или в пространстве наблюдения скоррелированы, что приводит к недооценке стандартных ошибок коэффициентов. В таких задачах применяют либо специализированные модели (авторегрессионные, геостатистические), либо корректируют ковариационную матрицу оценок.",[85,26971,26972,297,26975,26978],{},[294,26973,26974],{},"Гомоскедастичность",[92,26976,26977],{},"homoscedasticity",") — постоянство дисперсии остатков. Если дисперсия ошибки растёт с величиной предсказываемой переменной (типичная ситуация для цен, доходов, концентраций), оценки коэффициентов остаются несмещёнными, но перестают быть эффективными, а доверительные интервалы становятся некорректными. Симптомы и диагностику гетероскедастичности мы разберём в разделе про анализ остатков.",[85,26980,26981,26984,26985,27013],{},[294,26982,26983],{},"Нормальность ошибок."," Для несмещённости и состоятельности оценок нормальность не нужна — она требуется только для построения точных доверительных интервалов и проверки гипотез о значимости коэффициентов в малых выборках. При ",[148,26986,26988,27001],{"className":26987},[680],[148,26989,26991],{"className":26990},[684],[686,26992,26993],{"xmlns":688},[690,26994,26995,26999],{},[693,26996,26997],{},[769,26998,1566],{},[705,27000,1566],{"encoding":707},[148,27002,27004],{"className":27003,"ariaHidden":713},[712],[148,27005,27007,27010],{"className":27006},[717],[148,27008],{"className":27009,"style":2537},[721],[148,27011,1566],{"className":27012},[726,1064]," в сотни и тысячи центральная предельная теорема обеспечивает асимптотическую нормальность оценок и без этого допущения.",[85,27015,27016,27019,27020,27048,27049,27112,27113,27185],{},[294,27017,27018],{},"Отсутствие мультиколлинеарности."," Если столбцы матрицы ",[148,27021,27023,27036],{"className":27022},[680],[148,27024,27026],{"className":27025},[684],[686,27027,27028],{"xmlns":688},[690,27029,27030,27034],{},[693,27031,27032],{},[769,27033,5985],{},[705,27035,5985],{"encoding":707},[148,27037,27039],{"className":27038,"ariaHidden":713},[712],[148,27040,27042,27045],{"className":27041},[717],[148,27043],{"className":27044,"style":1344},[721],[148,27046,5985],{"className":27047,"style":25336},[726,1064]," почти линейно зависимы, ",[148,27050,27052,27071],{"className":27051},[680],[148,27053,27055],{"className":27054},[684],[686,27056,27057],{"xmlns":688},[690,27058,27059,27069],{},[693,27060,27061,27067],{},[921,27062,27063,27065],{},[769,27064,5985],{},[769,27066,12485],{"mathvariant":771},[769,27068,5985],{},[705,27070,25791],{"encoding":707},[148,27072,27074],{"className":27073,"ariaHidden":713},[712],[148,27075,27077,27080,27109],{"className":27076},[717],[148,27078],{"className":27079,"style":2796},[721],[148,27081,27083,27086],{"className":27082},[726],[148,27084,5985],{"className":27085,"style":25336},[726,1064],[148,27087,27089],{"className":27088},[977],[148,27090,27092],{"className":27091},[981],[148,27093,27095],{"className":27094},[985],[148,27096,27098],{"className":27097,"style":2796},[989],[148,27099,27100,27103],{"style":992},[148,27101],{"className":27102,"style":997},[996],[148,27104,27106],{"className":27105},[1001,1002,1003,1004],[148,27107,12485],{"className":27108},[726,1004],[148,27110,5985],{"className":27111,"style":25336},[726,1064]," становится плохо обусловленной: её определитель близок к нулю, обращение численно неустойчиво, а коэффициенты ",[148,27114,27116,27134],{"className":27115},[680],[148,27117,27119],{"className":27118},[684],[686,27120,27121],{"xmlns":688},[690,27122,27123,27131],{},[693,27124,27125],{},[6416,27126,27127,27129],{"accent":713},[769,27128,22210],{},[699,27130,6422],{},[705,27132,27133],{"encoding":707},"\\hat{\\beta}",[148,27135,27137],{"className":27136,"ariaHidden":713},[712],[148,27138,27140,27143],{"className":27139},[717],[148,27141],{"className":27142,"style":6445},[721],[148,27144,27146],{"className":27145},[726,6449],[148,27147,27149,27177],{"className":27148},[981,1071],[148,27150,27152,27174],{"className":27151},[985],[148,27153,27155,27163],{"className":27154,"style":6459},[989],[148,27156,27157,27160],{"style":6462},[148,27158],{"className":27159,"style":3367},[996],[148,27161,22210],{"className":27162,"style":22253},[726,1064],[148,27164,27165,27168],{"style":6471},[148,27166],{"className":27167,"style":3367},[996],[148,27169,27171],{"className":27170,"style":7516},[6478],[148,27172,6422],{"className":27173},[726],[148,27175,1095],{"className":27176},[1094],[148,27178,27180],{"className":27179},[985],[148,27181,27183],{"className":27182,"style":6492},[989],[148,27184],{}," — высоковариативны и сильно меняются при малых изменениях данных. К этому случаю мы переходим в следующем разделе.",[85,27187,27188,27189,389,27192,27195],{},"Полное обоснование оптимальности OLS и подробный разбор допущений — в ",[148,27190,27191],{},"@hastie2009esl, гл. 3",[148,27193,27194],{},"@james2013isl, гл. 3",". На нашем уровне достаточно запомнить, что линейная регрессия — рабочая модель в широком классе задач, но её результаты осмыслены только при критической оценке выполнения допущений.",[128,27197,27199],{"id":27198},"регуляризованные-модели","Регуляризованные модели",[85,27201,27202,27203,297,27206,27209,27210,27324,27325,27388],{},"Обозначенная выше ",[294,27204,27205],{},"мультиколлинеарность",[92,27207,27208],{},"multicollinearity",") — типичная болезнь линейных моделей с большим числом признаков, особенно в инженерных задачах, где признаки часто получаются из одного и того же физического процесса и сильно скоррелированы (например, температура датчика, температура корпуса и температура окружающей среды). Симптомы: коэффициенты ",[148,27211,27213,27235],{"className":27212},[680],[148,27214,27216],{"className":27215},[684],[686,27217,27218],{"xmlns":688},[690,27219,27220,27232],{},[693,27221,27222],{},[1038,27223,27224,27230],{},[6416,27225,27226,27228],{"accent":713},[769,27227,22210],{},[699,27229,6422],{},[769,27231,14956],{},[705,27233,27234],{"encoding":707},"\\hat{\\beta}_j",[148,27236,27238],{"className":27237,"ariaHidden":713},[712],[148,27239,27241,27245],{"className":27240},[717],[148,27242],{"className":27243,"style":27244},[721],"height:1.244em;vertical-align:-0.2861em;",[148,27246,27248,27290],{"className":27247},[726],[148,27249,27251],{"className":27250},[726,6449],[148,27252,27254,27282],{"className":27253},[981,1071],[148,27255,27257,27279],{"className":27256},[985],[148,27258,27260,27268],{"className":27259,"style":6459},[989],[148,27261,27262,27265],{"style":6462},[148,27263],{"className":27264,"style":3367},[996],[148,27266,22210],{"className":27267,"style":22253},[726,1064],[148,27269,27270,27273],{"style":6471},[148,27271],{"className":27272,"style":3367},[996],[148,27274,27276],{"className":27275,"style":7516},[6478],[148,27277,6422],{"className":27278},[726],[148,27280,1095],{"className":27281},[1094],[148,27283,27285],{"className":27284},[985],[148,27286,27288],{"className":27287,"style":6492},[989],[148,27289],{},[148,27291,27293],{"className":27292},[977],[148,27294,27296,27316],{"className":27295},[981,1071],[148,27297,27299,27313],{"className":27298},[985],[148,27300,27302],{"className":27301,"style":6263},[989],[148,27303,27304,27307],{"style":23975},[148,27305],{"className":27306,"style":997},[996],[148,27308,27310],{"className":27309},[1001,1002,1003,1004],[148,27311,14956],{"className":27312,"style":15000},[726,1064,1004],[148,27314,1095],{"className":27315},[1094],[148,27317,27319],{"className":27318},[985],[148,27320,27322],{"className":27321,"style":15010},[989],[148,27323],{}," принимают неоправданно большие значения противоположных знаков, при добавлении или исключении одной точки модель меняется радикально, новая обучающая выборка даёт совершенно иные коэффициенты при той же качественной картине. Корень проблемы — в матрице ",[148,27326,27328,27347],{"className":27327},[680],[148,27329,27331],{"className":27330},[684],[686,27332,27333],{"xmlns":688},[690,27334,27335,27345],{},[693,27336,27337,27343],{},[921,27338,27339,27341],{},[769,27340,5985],{},[769,27342,12485],{"mathvariant":771},[769,27344,5985],{},[705,27346,25791],{"encoding":707},[148,27348,27350],{"className":27349,"ariaHidden":713},[712],[148,27351,27353,27356,27385],{"className":27352},[717],[148,27354],{"className":27355,"style":2796},[721],[148,27357,27359,27362],{"className":27358},[726],[148,27360,5985],{"className":27361,"style":25336},[726,1064],[148,27363,27365],{"className":27364},[977],[148,27366,27368],{"className":27367},[981],[148,27369,27371],{"className":27370},[985],[148,27372,27374],{"className":27373,"style":2796},[989],[148,27375,27376,27379],{"style":992},[148,27377],{"className":27378,"style":997},[996],[148,27380,27382],{"className":27381},[1001,1002,1003,1004],[148,27383,12485],{"className":27384},[726,1004],[148,27386,5985],{"className":27387,"style":25336},[726,1064],": её собственные числа близки к нулю, и решение нормальных уравнений усиливает шум данных.",[85,27390,27391,27392,27394,27395,27423,27424,11610,27476,27527],{},"Сопутствующая беда — ",[294,27393,10130],{},": при достаточно большом ",[148,27396,27398,27411],{"className":27397},[680],[148,27399,27401],{"className":27400},[684],[686,27402,27403],{"xmlns":688},[690,27404,27405,27409],{},[693,27406,27407],{},[769,27408,85],{},[705,27410,85],{"encoding":707},[148,27412,27414],{"className":27413,"ariaHidden":713},[712],[148,27415,27417,27420],{"className":27416},[717],[148,27418],{"className":27419,"style":1579},[721],[148,27421,85],{"className":27422},[726,1064],", особенно при ",[148,27425,27427,27445],{"className":27426},[680],[148,27428,27430],{"className":27429},[684],[686,27431,27432],{"xmlns":688},[690,27433,27434,27442],{},[693,27435,27436,27438,27440],{},[769,27437,85],{},[699,27439,919],{},[769,27441,1566],{},[705,27443,27444],{"encoding":707},"p \\approx n",[148,27446,27448,27467],{"className":27447,"ariaHidden":713},[712],[148,27449,27451,27455,27458,27461,27464],{"className":27450},[717],[148,27452],{"className":27453,"style":27454},[721],"height:0.6776em;vertical-align:-0.1944em;",[148,27456,85],{"className":27457},[726,1064],[148,27459],{"className":27460,"style":815},[730],[148,27462,919],{"className":27463},[819],[148,27465],{"className":27466,"style":815},[730],[148,27468,27470,27473],{"className":27469},[717],[148,27471],{"className":27472,"style":2537},[721],[148,27474,1566],{"className":27475},[726,1064],[148,27477,27479,27497],{"className":27478},[680],[148,27480,27482],{"className":27481},[684],[686,27483,27484],{"xmlns":688},[690,27485,27486,27494],{},[693,27487,27488,27490,27492],{},[769,27489,85],{},[699,27491,3235],{},[769,27493,1566],{},[705,27495,27496],{"encoding":707},"p > n",[148,27498,27500,27518],{"className":27499,"ariaHidden":713},[712],[148,27501,27503,27506,27509,27512,27515],{"className":27502},[717],[148,27504],{"className":27505,"style":18577},[721],[148,27507,85],{"className":27508},[726,1064],[148,27510],{"className":27511,"style":815},[730],[148,27513,3235],{"className":27514},[819],[148,27516],{"className":27517,"style":815},[730],[148,27519,27521,27524],{"className":27520},[717],[148,27522],{"className":27523,"style":2537},[721],[148,27525,1566],{"className":27526},[726,1064],", OLS подгоняет шум обучающей выборки, и качество на новых данных катастрофически падает. Как было показано в теме 3, эта ситуация — крайнее правое плечо U-образной кривой ошибки от сложности.",[85,27529,27530,27531,27533],{},"Общий рецепт борьбы с обоими явлениями — ",[294,27532,10273],{},": к функции потерь добавляется штраф за величину коэффициентов. Конкретный вид штрафа порождает разные модели.",[85,27535,27536,297,27539,5554,27542,27549,27550,28224,28225,28276,28277,28327,28328,28379,28380,28663,28664,28698,28699,28762],{},[294,27537,27538],{},"Ridge-регрессия",[92,27540,27541],{},"ridge regression",[140,27543,27545],{"className":27544},[143],[22,27546,27547],{"href":146},[148,27548,150],{}," использует квадратичный штраф:\n",[148,27551,27553,27674],{"className":27552},[680],[148,27554,27556],{"className":27555},[684],[686,27557,27558],{"xmlns":688},[690,27559,27560,27671],{},[693,27561,27562,27573,27575,27577,27579,27589,27669],{},[921,27563,27564,27570],{},[6416,27565,27566,27568],{"accent":713},[769,27567,22210],{},[699,27569,6422],{},[782,27571,27572],{},"ridge",[699,27574,777],{},[769,27576,16420],{},[699,27578,13929],{},[1038,27580,27581,27587],{},[693,27582,27583,27585],{},[769,27584,25518],{},[699,27586,13929],{},[769,27588,22210],{},[693,27590,27591,27593,27607,27609,27615,27617,27623,27625,27633,27635,27641,27643,27645,27659,27667],{},[699,27592,2748],{"fence":713},[6195,27594,27595,27597,27605],{},[699,27596,7436],{},[693,27598,27599,27601,27603],{},[769,27600,6183],{},[699,27602,777],{},[696,27604,150],{},[769,27606,1566],{},[699,27608,2748],{"stretchy":766},[1038,27610,27611,27613],{},[769,27612,6060],{},[769,27614,6183],{},[699,27616,3325],{},[1038,27618,27619,27621],{},[769,27620,22210],{},[696,27622,973],{},[699,27624,3325],{},[6195,27626,27627,27629,27631],{},[769,27628,6055],{},[769,27630,6183],{},[769,27632,12485],{"mathvariant":771},[769,27634,22210],{},[921,27636,27637,27639],{},[699,27638,2757],{"stretchy":766},[696,27640,163],{},[699,27642,2605],{},[769,27644,10390],{},[6195,27646,27647,27649,27657],{},[699,27648,7436],{},[693,27650,27651,27653,27655],{},[769,27652,14956],{},[699,27654,777],{},[696,27656,150],{},[769,27658,85],{},[6195,27660,27661,27663,27665],{},[769,27662,22210],{},[769,27664,14956],{},[696,27666,163],{},[699,27668,2757],{"fence":713},[769,27670,26],{"mathvariant":771},[705,27672,27673],{"encoding":707},"\\hat{\\beta}^{\\text{ridge}} = \\arg\\min_\\beta \\left( \\sum_{i=1}^{n} (y_i - \\beta_0 - x_i^\\top \\beta)^2 + \\lambda \\sum_{j=1}^{p} \\beta_j^2 \\right).",[148,27675,27677,27766],{"className":27676,"ariaHidden":713},[712],[148,27678,27680,27683,27757,27760,27763],{"className":27679},[717],[148,27681],{"className":27682,"style":6445},[721],[148,27684,27686,27728],{"className":27685},[726],[148,27687,27689],{"className":27688},[726,6449],[148,27690,27692,27720],{"className":27691},[981,1071],[148,27693,27695,27717],{"className":27694},[985],[148,27696,27698,27706],{"className":27697,"style":6459},[989],[148,27699,27700,27703],{"style":6462},[148,27701],{"className":27702,"style":3367},[996],[148,27704,22210],{"className":27705,"style":22253},[726,1064],[148,27707,27708,27711],{"style":6471},[148,27709],{"className":27710,"style":3367},[996],[148,27712,27714],{"className":27713,"style":7516},[6478],[148,27715,6422],{"className":27716},[726],[148,27718,1095],{"className":27719},[1094],[148,27721,27723],{"className":27722},[985],[148,27724,27726],{"className":27725,"style":6492},[989],[148,27727],{},[148,27729,27731],{"className":27730},[977],[148,27732,27734],{"className":27733},[981],[148,27735,27737],{"className":27736},[985],[148,27738,27740],{"className":27739,"style":2796},[989],[148,27741,27742,27745],{"style":992},[148,27743],{"className":27744,"style":997},[996],[148,27746,27748],{"className":27747},[1001,1002,1003,1004],[148,27749,27751],{"className":27750},[726,1004],[148,27752,27754],{"className":27753},[726,5620,1004],[148,27755,27572],{"className":27756},[726,1004],[148,27758],{"className":27759,"style":815},[730],[148,27761,777],{"className":27762},[819],[148,27764],{"className":27765,"style":815},[730],[148,27767,27769,27772,27777,27780,27820,27823,28218,28221],{"className":27768},[717],[148,27770],{"className":27771,"style":8879},[721],[148,27773,16578,27775],{"className":27774},[7621],[148,27776,4123],{"style":14229},[148,27778],{"className":27779,"style":835},[730],[148,27781,27783,27786],{"className":27782},[7621],[148,27784,25518],{"className":27785},[7621],[148,27787,27789],{"className":27788},[977],[148,27790,27792,27812],{"className":27791},[981,1071],[148,27793,27795,27809],{"className":27794},[985],[148,27796,27798],{"className":27797,"style":12101},[989],[148,27799,27800,27803],{"style":16604},[148,27801],{"className":27802,"style":997},[996],[148,27804,27806],{"className":27805},[1001,1002,1003,1004],[148,27807,22210],{"className":27808,"style":22253},[726,1064,1004],[148,27810,1095],{"className":27811},[1094],[148,27813,27815],{"className":27814},[985],[148,27816,27818],{"className":27817,"style":15010},[989],[148,27819],{},[148,27821],{"className":27822,"style":835},[730],[148,27824,27826,27832,27895,27898,27938,27941,27944,27947,27987,27990,27993,27996,28047,28050,28079,28082,28085,28088,28091,28094,28157,28160,28212],{"className":27825},[1675],[148,27827,27829],{"className":27828,"style":8930},[1242,8929],[148,27830,2748],{"className":27831},[8934,8935],[148,27833,27835,27838],{"className":27834},[7621],[148,27836,7436],{"className":27837,"style":7627},[7621,7625,7626],[148,27839,27841],{"className":27840},[977],[148,27842,27844,27887],{"className":27843},[981,1071],[148,27845,27847,27884],{"className":27846},[985],[148,27848,27850,27870],{"className":27849,"style":7640},[989],[148,27851,27852,27855],{"style":7643},[148,27853],{"className":27854,"style":997},[996],[148,27856,27858],{"className":27857},[1001,1002,1003,1004],[148,27859,27861,27864,27867],{"className":27860},[726,1004],[148,27862,6183],{"className":27863},[726,1064,1004],[148,27865,777],{"className":27866},[819,1004],[148,27868,150],{"className":27869},[726,1004],[148,27871,27872,27875],{"style":7664},[148,27873],{"className":27874,"style":997},[996],[148,27876,27878],{"className":27877},[1001,1002,1003,1004],[148,27879,27881],{"className":27880},[726,1004],[148,27882,1566],{"className":27883},[726,1064,1004],[148,27885,1095],{"className":27886},[1094],[148,27888,27890],{"className":27889},[985],[148,27891,27893],{"className":27892,"style":7686},[989],[148,27894],{},[148,27896,2748],{"className":27897},[1242],[148,27899,27901,27904],{"className":27900},[726],[148,27902,6060],{"className":27903,"style":4185},[726,1064],[148,27905,27907],{"className":27906},[977],[148,27908,27910,27930],{"className":27909},[981,1071],[148,27911,27913,27927],{"className":27912},[985],[148,27914,27916],{"className":27915,"style":6263},[989],[148,27917,27918,27921],{"style":6312},[148,27919],{"className":27920,"style":997},[996],[148,27922,27924],{"className":27923},[1001,1002,1003,1004],[148,27925,6183],{"className":27926},[726,1064,1004],[148,27928,1095],{"className":27929},[1094],[148,27931,27933],{"className":27932},[985],[148,27934,27936],{"className":27935,"style":1102},[989],[148,27937],{},[148,27939],{"className":27940,"style":731},[730],[148,27942,3325],{"className":27943},[735],[148,27945],{"className":27946,"style":731},[730],[148,27948,27950,27953],{"className":27949},[726],[148,27951,22210],{"className":27952,"style":22253},[726,1064],[148,27954,27956],{"className":27955},[977],[148,27957,27959,27979],{"className":27958},[981,1071],[148,27960,27962,27976],{"className":27961},[985],[148,27963,27965],{"className":27964,"style":1078},[989],[148,27966,27967,27970],{"style":23975},[148,27968],{"className":27969,"style":997},[996],[148,27971,27973],{"className":27972},[1001,1002,1003,1004],[148,27974,973],{"className":27975},[726,1004],[148,27977,1095],{"className":27978},[1094],[148,27980,27982],{"className":27981},[985],[148,27983,27985],{"className":27984,"style":1102},[989],[148,27986],{},[148,27988],{"className":27989,"style":731},[730],[148,27991,3325],{"className":27992},[735],[148,27994],{"className":27995,"style":731},[730],[148,27997,27999,28002],{"className":27998},[726],[148,28000,6055],{"className":28001},[726,1064],[148,28003,28005],{"className":28004},[977],[148,28006,28008,28039],{"className":28007},[981,1071],[148,28009,28011,28036],{"className":28010},[985],[148,28012,28014,28025],{"className":28013,"style":2796},[989],[148,28015,28016,28019],{"style":6357},[148,28017],{"className":28018,"style":997},[996],[148,28020,28022],{"className":28021},[1001,1002,1003,1004],[148,28023,6183],{"className":28024},[726,1064,1004],[148,28026,28027,28030],{"style":992},[148,28028],{"className":28029,"style":997},[996],[148,28031,28033],{"className":28032},[1001,1002,1003,1004],[148,28034,12485],{"className":28035},[726,1004],[148,28037,1095],{"className":28038},[1094],[148,28040,28042],{"className":28041},[985],[148,28043,28045],{"className":28044,"style":6399},[989],[148,28046],{},[148,28048,22210],{"className":28049,"style":22253},[726,1064],[148,28051,28053,28056],{"className":28052},[807],[148,28054,2757],{"className":28055},[807],[148,28057,28059],{"className":28058},[977],[148,28060,28062],{"className":28061},[981],[148,28063,28065],{"className":28064},[985],[148,28066,28068],{"className":28067,"style":963},[989],[148,28069,28070,28073],{"style":992},[148,28071],{"className":28072,"style":997},[996],[148,28074,28076],{"className":28075},[1001,1002,1003,1004],[148,28077,163],{"className":28078},[726,1004],[148,28080],{"className":28081,"style":731},[730],[148,28083,2605],{"className":28084},[735],[148,28086],{"className":28087,"style":731},[730],[148,28089,10390],{"className":28090},[726,1064],[148,28092],{"className":28093,"style":835},[730],[148,28095,28097,28100],{"className":28096},[7621],[148,28098,7436],{"className":28099,"style":7627},[7621,7625,7626],[148,28101,28103],{"className":28102},[977],[148,28104,28106,28149],{"className":28105},[981,1071],[148,28107,28109,28146],{"className":28108},[985],[148,28110,28112,28132],{"className":28111,"style":7640},[989],[148,28113,28114,28117],{"style":7643},[148,28115],{"className":28116,"style":997},[996],[148,28118,28120],{"className":28119},[1001,1002,1003,1004],[148,28121,28123,28126,28129],{"className":28122},[726,1004],[148,28124,14956],{"className":28125,"style":15000},[726,1064,1004],[148,28127,777],{"className":28128},[819,1004],[148,28130,150],{"className":28131},[726,1004],[148,28133,28134,28137],{"style":7664},[148,28135],{"className":28136,"style":997},[996],[148,28138,28140],{"className":28139},[1001,1002,1003,1004],[148,28141,28143],{"className":28142},[726,1004],[148,28144,85],{"className":28145},[726,1064,1004],[148,28147,1095],{"className":28148},[1094],[148,28150,28152],{"className":28151},[985],[148,28153,28155],{"className":28154,"style":15805},[989],[148,28156],{},[148,28158],{"className":28159,"style":835},[730],[148,28161,28163,28166],{"className":28162},[726],[148,28164,22210],{"className":28165,"style":22253},[726,1064],[148,28167,28169],{"className":28168},[977],[148,28170,28172,28204],{"className":28171},[981,1071],[148,28173,28175,28201],{"className":28174},[985],[148,28176,28178,28190],{"className":28177,"style":963},[989],[148,28179,28181,28184],{"style":28180},"top:-2.4413em;margin-left:-0.0528em;margin-right:0.05em;",[148,28182],{"className":28183,"style":997},[996],[148,28185,28187],{"className":28186},[1001,1002,1003,1004],[148,28188,14956],{"className":28189,"style":15000},[726,1064,1004],[148,28191,28192,28195],{"style":992},[148,28193],{"className":28194,"style":997},[996],[148,28196,28198],{"className":28197},[1001,1002,1003,1004],[148,28199,163],{"className":28200},[726,1004],[148,28202,1095],{"className":28203},[1094],[148,28205,28207],{"className":28206},[985],[148,28208,28210],{"className":28209,"style":16185},[989],[148,28211],{},[148,28213,28215],{"className":28214,"style":8930},[807,8929],[148,28216,2757],{"className":28217},[8934,8935],[148,28219],{"className":28220,"style":835},[730],[148,28222,26],{"className":28223},[726],"\nПараметр ",[148,28226,28228,28246],{"className":28227},[680],[148,28229,28231],{"className":28230},[684],[686,28232,28233],{"xmlns":688},[690,28234,28235,28243],{},[693,28236,28237,28239,28241],{},[769,28238,10390],{},[699,28240,5193],{},[696,28242,973],{},[705,28244,28245],{"encoding":707},"\\lambda \\geq 0",[148,28247,28249,28267],{"className":28248,"ariaHidden":713},[712],[148,28250,28252,28255,28258,28261,28264],{"className":28251},[717],[148,28253],{"className":28254,"style":2485},[721],[148,28256,10390],{"className":28257},[726,1064],[148,28259],{"className":28260,"style":815},[730],[148,28262,5193],{"className":28263},[819],[148,28265],{"className":28266,"style":815},[730],[148,28268,28270,28273],{"className":28269},[717],[148,28271],{"className":28272,"style":745},[721],[148,28274,973],{"className":28275},[726]," управляет силой регуляризации: при ",[148,28278,28280,28297],{"className":28279},[680],[148,28281,28283],{"className":28282},[684],[686,28284,28285],{"xmlns":688},[690,28286,28287,28295],{},[693,28288,28289,28291,28293],{},[769,28290,10390],{},[699,28292,777],{},[696,28294,973],{},[705,28296,10594],{"encoding":707},[148,28298,28300,28318],{"className":28299,"ariaHidden":713},[712],[148,28301,28303,28306,28309,28312,28315],{"className":28302},[717],[148,28304],{"className":28305,"style":2415},[721],[148,28307,10390],{"className":28308},[726,1064],[148,28310],{"className":28311,"style":815},[730],[148,28313,777],{"className":28314},[819],[148,28316],{"className":28317,"style":815},[730],[148,28319,28321,28324],{"className":28320},[717],[148,28322],{"className":28323,"style":745},[721],[148,28325,973],{"className":28326},[726]," получаем OLS, при ",[148,28329,28331,28349],{"className":28330},[680],[148,28332,28334],{"className":28333},[684],[686,28335,28336],{"xmlns":688},[690,28337,28338,28346],{},[693,28339,28340,28342,28344],{},[769,28341,10390],{},[699,28343,6430],{},[769,28345,15501],{"mathvariant":771},[705,28347,28348],{"encoding":707},"\\lambda \\to \\infty",[148,28350,28352,28370],{"className":28351,"ariaHidden":713},[712],[148,28353,28355,28358,28361,28364,28367],{"className":28354},[717],[148,28356],{"className":28357,"style":2415},[721],[148,28359,10390],{"className":28360},[726,1064],[148,28362],{"className":28363,"style":815},[730],[148,28365,6430],{"className":28366},[819],[148,28368],{"className":28369,"style":815},[730],[148,28371,28373,28376],{"className":28372},[717],[148,28374],{"className":28375,"style":2537},[721],[148,28377,15501],{"className":28378},[726]," все коэффициенты стягиваются к нулю. Для центрированных признаков существует замкнутая формула ",[148,28381,28383,28442],{"className":28382},[680],[148,28384,28386],{"className":28385},[684],[686,28387,28388],{"xmlns":688},[690,28389,28390,28439],{},[693,28391,28392,28402,28404,28406,28412,28414,28416,28418,28421,28431,28437],{},[921,28393,28394,28400],{},[6416,28395,28396,28398],{"accent":713},[769,28397,22210],{},[699,28399,6422],{},[782,28401,27572],{},[699,28403,777],{},[699,28405,2748],{"stretchy":766},[921,28407,28408,28410],{},[769,28409,5985],{},[769,28411,12485],{"mathvariant":771},[769,28413,5985],{},[699,28415,2605],{},[769,28417,10390],{},[769,28419,28420],{},"I",[921,28422,28423,28425],{},[699,28424,2757],{"stretchy":766},[693,28426,28427,28429],{},[699,28428,3325],{},[696,28430,150],{},[921,28432,28433,28435],{},[769,28434,5985],{},[769,28436,12485],{"mathvariant":771},[769,28438,6060],{},[705,28440,28441],{"encoding":707},"\\hat{\\beta}^{\\text{ridge}} = (X^\\top X + \\lambda I)^{-1} X^\\top y",[148,28443,28445,28534,28584],{"className":28444,"ariaHidden":713},[712],[148,28446,28448,28451,28525,28528,28531],{"className":28447},[717],[148,28449],{"className":28450,"style":6445},[721],[148,28452,28454,28496],{"className":28453},[726],[148,28455,28457],{"className":28456},[726,6449],[148,28458,28460,28488],{"className":28459},[981,1071],[148,28461,28463,28485],{"className":28462},[985],[148,28464,28466,28474],{"className":28465,"style":6459},[989],[148,28467,28468,28471],{"style":6462},[148,28469],{"className":28470,"style":3367},[996],[148,28472,22210],{"className":28473,"style":22253},[726,1064],[148,28475,28476,28479],{"style":6471},[148,28477],{"className":28478,"style":3367},[996],[148,28480,28482],{"className":28481,"style":7516},[6478],[148,28483,6422],{"className":28484},[726],[148,28486,1095],{"className":28487},[1094],[148,28489,28491],{"className":28490},[985],[148,28492,28494],{"className":28493,"style":6492},[989],[148,28495],{},[148,28497,28499],{"className":28498},[977],[148,28500,28502],{"className":28501},[981],[148,28503,28505],{"className":28504},[985],[148,28506,28508],{"className":28507,"style":2796},[989],[148,28509,28510,28513],{"style":992},[148,28511],{"className":28512,"style":997},[996],[148,28514,28516],{"className":28515},[1001,1002,1003,1004],[148,28517,28519],{"className":28518},[726,1004],[148,28520,28522],{"className":28521},[726,5620,1004],[148,28523,27572],{"className":28524},[726,1004],[148,28526],{"className":28527,"style":815},[730],[148,28529,777],{"className":28530},[819],[148,28532],{"className":28533,"style":815},[730],[148,28535,28537,28540,28543,28572,28575,28578,28581],{"className":28536},[717],[148,28538],{"className":28539,"style":2770},[721],[148,28541,2748],{"className":28542},[1242],[148,28544,28546,28549],{"className":28545},[726],[148,28547,5985],{"className":28548,"style":25336},[726,1064],[148,28550,28552],{"className":28551},[977],[148,28553,28555],{"className":28554},[981],[148,28556,28558],{"className":28557},[985],[148,28559,28561],{"className":28560,"style":2796},[989],[148,28562,28563,28566],{"style":992},[148,28564],{"className":28565,"style":997},[996],[148,28567,28569],{"className":28568},[1001,1002,1003,1004],[148,28570,12485],{"className":28571},[726,1004],[148,28573,5985],{"className":28574,"style":25336},[726,1064],[148,28576],{"className":28577,"style":731},[730],[148,28579,2605],{"className":28580},[735],[148,28582],{"className":28583,"style":731},[730],[148,28585,28587,28590,28593,28596,28631,28660],{"className":28586},[717],[148,28588],{"className":28589,"style":2770},[721],[148,28591,10390],{"className":28592},[726,1064],[148,28594,28420],{"className":28595,"style":25336},[726,1064],[148,28597,28599,28602],{"className":28598},[807],[148,28600,2757],{"className":28601},[807],[148,28603,28605],{"className":28604},[977],[148,28606,28608],{"className":28607},[981],[148,28609,28611],{"className":28610},[985],[148,28612,28614],{"className":28613,"style":963},[989],[148,28615,28616,28619],{"style":992},[148,28617],{"className":28618,"style":997},[996],[148,28620,28622],{"className":28621},[1001,1002,1003,1004],[148,28623,28625,28628],{"className":28624},[726,1004],[148,28626,3325],{"className":28627},[726,1004],[148,28629,150],{"className":28630},[726,1004],[148,28632,28634,28637],{"className":28633},[726],[148,28635,5985],{"className":28636,"style":25336},[726,1064],[148,28638,28640],{"className":28639},[977],[148,28641,28643],{"className":28642},[981],[148,28644,28646],{"className":28645},[985],[148,28647,28649],{"className":28648,"style":2796},[989],[148,28650,28651,28654],{"style":992},[148,28652],{"className":28653,"style":997},[996],[148,28655,28657],{"className":28656},[1001,1002,1003,1004],[148,28658,12485],{"className":28659},[726,1004],[148,28661,6060],{"className":28662,"style":4185},[726,1064]," — её часто называют «лекарством Хёрла»: добавление ",[148,28665,28667,28683],{"className":28666},[680],[148,28668,28670],{"className":28669},[684],[686,28671,28672],{"xmlns":688},[690,28673,28674,28680],{},[693,28675,28676,28678],{},[769,28677,10390],{},[769,28679,28420],{},[705,28681,28682],{"encoding":707},"\\lambda I",[148,28684,28686],{"className":28685,"ariaHidden":713},[712],[148,28687,28689,28692,28695],{"className":28688},[717],[148,28690],{"className":28691,"style":2415},[721],[148,28693,10390],{"className":28694},[726,1064],[148,28696,28420],{"className":28697,"style":25336},[726,1064]," к ",[148,28700,28702,28721],{"className":28701},[680],[148,28703,28705],{"className":28704},[684],[686,28706,28707],{"xmlns":688},[690,28708,28709,28719],{},[693,28710,28711,28717],{},[921,28712,28713,28715],{},[769,28714,5985],{},[769,28716,12485],{"mathvariant":771},[769,28718,5985],{},[705,28720,25791],{"encoding":707},[148,28722,28724],{"className":28723,"ariaHidden":713},[712],[148,28725,28727,28730,28759],{"className":28726},[717],[148,28728],{"className":28729,"style":2796},[721],[148,28731,28733,28736],{"className":28732},[726],[148,28734,5985],{"className":28735,"style":25336},[726,1064],[148,28737,28739],{"className":28738},[977],[148,28740,28742],{"className":28741},[981],[148,28743,28745],{"className":28744},[985],[148,28746,28748],{"className":28747,"style":2796},[989],[148,28749,28750,28753],{"style":992},[148,28751],{"className":28752,"style":997},[996],[148,28754,28756],{"className":28755},[1001,1002,1003,1004],[148,28757,12485],{"className":28758},[726,1004],[148,28760,5985],{"className":28761,"style":25336},[726,1064]," снимает плохую обусловленность ценой смещения оценки. Метод предложен Хёрлом и Кеннардом в 1970 году именно как ответ на мультиколлинеарность; за полвека он превратился в инструмент общего назначения.",[85,28764,28765,297,28768,5554,28771,28778,28779,28848,28849,29519,29520,297,29523,29526,29527,29555,29556,29668,29669,297,29672,29675],{},[294,28766,28767],{},"Lasso-регрессия",[92,28769,28770],{},"least absolute shrinkage and selection operator",[140,28772,28774],{"className":28773},[143],[22,28775,28776],{"href":160},[148,28777,163],{}," использует штраф по ",[148,28780,28782,28799],{"className":28781},[680],[148,28783,28785],{"className":28784},[684],[686,28786,28787],{"xmlns":688},[690,28788,28789,28797],{},[693,28790,28791],{},[1038,28792,28793,28795],{},[769,28794,6728],{},[696,28796,150],{},[705,28798,14722],{"encoding":707},[148,28800,28802],{"className":28801,"ariaHidden":713},[712],[148,28803,28805,28808],{"className":28804},[717],[148,28806],{"className":28807,"style":14583},[721],[148,28809,28811,28814],{"className":28810},[726],[148,28812,6728],{"className":28813},[726,1064],[148,28815,28817],{"className":28816},[977],[148,28818,28820,28840],{"className":28819},[981,1071],[148,28821,28823,28837],{"className":28822},[985],[148,28824,28826],{"className":28825,"style":1078},[989],[148,28827,28828,28831],{"style":1081},[148,28829],{"className":28830,"style":997},[996],[148,28832,28834],{"className":28833},[1001,1002,1003,1004],[148,28835,150],{"className":28836},[726,1004],[148,28838,1095],{"className":28839},[1094],[148,28841,28843],{"className":28842},[985],[148,28844,28846],{"className":28845,"style":1102},[989],[148,28847],{},"-норме:\n",[148,28850,28852,28975],{"className":28851},[680],[148,28853,28855],{"className":28854},[684],[686,28856,28857],{"xmlns":688},[690,28858,28859,28972],{},[693,28860,28861,28872,28874,28876,28878,28888,28970],{},[921,28862,28863,28869],{},[6416,28864,28865,28867],{"accent":713},[769,28866,22210],{},[699,28868,6422],{},[782,28870,28871],{},"lasso",[699,28873,777],{},[769,28875,16420],{},[699,28877,13929],{},[1038,28879,28880,28886],{},[693,28881,28882,28884],{},[769,28883,25518],{},[699,28885,13929],{},[769,28887,22210],{},[693,28889,28890,28892,28906,28908,28914,28916,28922,28924,28932,28934,28940,28942,28944,28958,28960,28966,28968],{},[699,28891,2748],{"fence":713},[6195,28893,28894,28896,28904],{},[699,28895,7436],{},[693,28897,28898,28900,28902],{},[769,28899,6183],{},[699,28901,777],{},[696,28903,150],{},[769,28905,1566],{},[699,28907,2748],{"stretchy":766},[1038,28909,28910,28912],{},[769,28911,6060],{},[769,28913,6183],{},[699,28915,3325],{},[1038,28917,28918,28920],{},[769,28919,22210],{},[696,28921,973],{},[699,28923,3325],{},[6195,28925,28926,28928,28930],{},[769,28927,6055],{},[769,28929,6183],{},[769,28931,12485],{"mathvariant":771},[769,28933,22210],{},[921,28935,28936,28938],{},[699,28937,2757],{"stretchy":766},[696,28939,163],{},[699,28941,2605],{},[769,28943,10390],{},[6195,28945,28946,28948,28956],{},[699,28947,7436],{},[693,28949,28950,28952,28954],{},[769,28951,14956],{},[699,28953,777],{},[696,28955,150],{},[769,28957,85],{},[769,28959,12014],{"mathvariant":771},[1038,28961,28962,28964],{},[769,28963,22210],{},[769,28965,14956],{},[769,28967,12014],{"mathvariant":771},[699,28969,2757],{"fence":713},[769,28971,26],{"mathvariant":771},[705,28973,28974],{"encoding":707},"\\hat{\\beta}^{\\text{lasso}} = \\arg\\min_\\beta \\left( \\sum_{i=1}^{n} (y_i - \\beta_0 - x_i^\\top \\beta)^2 + \\lambda \\sum_{j=1}^{p} |\\beta_j| \\right).",[148,28976,28978,29067],{"className":28977,"ariaHidden":713},[712],[148,28979,28981,28984,29058,29061,29064],{"className":28980},[717],[148,28982],{"className":28983,"style":6445},[721],[148,28985,28987,29029],{"className":28986},[726],[148,28988,28990],{"className":28989},[726,6449],[148,28991,28993,29021],{"className":28992},[981,1071],[148,28994,28996,29018],{"className":28995},[985],[148,28997,28999,29007],{"className":28998,"style":6459},[989],[148,29000,29001,29004],{"style":6462},[148,29002],{"className":29003,"style":3367},[996],[148,29005,22210],{"className":29006,"style":22253},[726,1064],[148,29008,29009,29012],{"style":6471},[148,29010],{"className":29011,"style":3367},[996],[148,29013,29015],{"className":29014,"style":7516},[6478],[148,29016,6422],{"className":29017},[726],[148,29019,1095],{"className":29020},[1094],[148,29022,29024],{"className":29023},[985],[148,29025,29027],{"className":29026,"style":6492},[989],[148,29028],{},[148,29030,29032],{"className":29031},[977],[148,29033,29035],{"className":29034},[981],[148,29036,29038],{"className":29037},[985],[148,29039,29041],{"className":29040,"style":2796},[989],[148,29042,29043,29046],{"style":992},[148,29044],{"className":29045,"style":997},[996],[148,29047,29049],{"className":29048},[1001,1002,1003,1004],[148,29050,29052],{"className":29051},[726,1004],[148,29053,29055],{"className":29054},[726,5620,1004],[148,29056,28871],{"className":29057},[726,1004],[148,29059],{"className":29060,"style":815},[730],[148,29062,777],{"className":29063},[819],[148,29065],{"className":29066,"style":815},[730],[148,29068,29070,29073,29078,29081,29121,29124,29513,29516],{"className":29069},[717],[148,29071],{"className":29072,"style":8879},[721],[148,29074,16578,29076],{"className":29075},[7621],[148,29077,4123],{"style":14229},[148,29079],{"className":29080,"style":835},[730],[148,29082,29084,29087],{"className":29083},[7621],[148,29085,25518],{"className":29086},[7621],[148,29088,29090],{"className":29089},[977],[148,29091,29093,29113],{"className":29092},[981,1071],[148,29094,29096,29110],{"className":29095},[985],[148,29097,29099],{"className":29098,"style":12101},[989],[148,29100,29101,29104],{"style":16604},[148,29102],{"className":29103,"style":997},[996],[148,29105,29107],{"className":29106},[1001,1002,1003,1004],[148,29108,22210],{"className":29109,"style":22253},[726,1064,1004],[148,29111,1095],{"className":29112},[1094],[148,29114,29116],{"className":29115},[985],[148,29117,29119],{"className":29118,"style":15010},[989],[148,29120],{},[148,29122],{"className":29123,"style":835},[730],[148,29125,29127,29133,29196,29199,29239,29242,29245,29248,29288,29291,29294,29297,29348,29351,29380,29383,29386,29389,29392,29395,29458,29461,29464,29504,29507],{"className":29126},[1675],[148,29128,29130],{"className":29129,"style":8930},[1242,8929],[148,29131,2748],{"className":29132},[8934,8935],[148,29134,29136,29139],{"className":29135},[7621],[148,29137,7436],{"className":29138,"style":7627},[7621,7625,7626],[148,29140,29142],{"className":29141},[977],[148,29143,29145,29188],{"className":29144},[981,1071],[148,29146,29148,29185],{"className":29147},[985],[148,29149,29151,29171],{"className":29150,"style":7640},[989],[148,29152,29153,29156],{"style":7643},[148,29154],{"className":29155,"style":997},[996],[148,29157,29159],{"className":29158},[1001,1002,1003,1004],[148,29160,29162,29165,29168],{"className":29161},[726,1004],[148,29163,6183],{"className":29164},[726,1064,1004],[148,29166,777],{"className":29167},[819,1004],[148,29169,150],{"className":29170},[726,1004],[148,29172,29173,29176],{"style":7664},[148,29174],{"className":29175,"style":997},[996],[148,29177,29179],{"className":29178},[1001,1002,1003,1004],[148,29180,29182],{"className":29181},[726,1004],[148,29183,1566],{"className":29184},[726,1064,1004],[148,29186,1095],{"className":29187},[1094],[148,29189,29191],{"className":29190},[985],[148,29192,29194],{"className":29193,"style":7686},[989],[148,29195],{},[148,29197,2748],{"className":29198},[1242],[148,29200,29202,29205],{"className":29201},[726],[148,29203,6060],{"className":29204,"style":4185},[726,1064],[148,29206,29208],{"className":29207},[977],[148,29209,29211,29231],{"className":29210},[981,1071],[148,29212,29214,29228],{"className":29213},[985],[148,29215,29217],{"className":29216,"style":6263},[989],[148,29218,29219,29222],{"style":6312},[148,29220],{"className":29221,"style":997},[996],[148,29223,29225],{"className":29224},[1001,1002,1003,1004],[148,29226,6183],{"className":29227},[726,1064,1004],[148,29229,1095],{"className":29230},[1094],[148,29232,29234],{"className":29233},[985],[148,29235,29237],{"className":29236,"style":1102},[989],[148,29238],{},[148,29240],{"className":29241,"style":731},[730],[148,29243,3325],{"className":29244},[735],[148,29246],{"className":29247,"style":731},[730],[148,29249,29251,29254],{"className":29250},[726],[148,29252,22210],{"className":29253,"style":22253},[726,1064],[148,29255,29257],{"className":29256},[977],[148,29258,29260,29280],{"className":29259},[981,1071],[148,29261,29263,29277],{"className":29262},[985],[148,29264,29266],{"className":29265,"style":1078},[989],[148,29267,29268,29271],{"style":23975},[148,29269],{"className":29270,"style":997},[996],[148,29272,29274],{"className":29273},[1001,1002,1003,1004],[148,29275,973],{"className":29276},[726,1004],[148,29278,1095],{"className":29279},[1094],[148,29281,29283],{"className":29282},[985],[148,29284,29286],{"className":29285,"style":1102},[989],[148,29287],{},[148,29289],{"className":29290,"style":731},[730],[148,29292,3325],{"className":29293},[735],[148,29295],{"className":29296,"style":731},[730],[148,29298,29300,29303],{"className":29299},[726],[148,29301,6055],{"className":29302},[726,1064],[148,29304,29306],{"className":29305},[977],[148,29307,29309,29340],{"className":29308},[981,1071],[148,29310,29312,29337],{"className":29311},[985],[148,29313,29315,29326],{"className":29314,"style":2796},[989],[148,29316,29317,29320],{"style":6357},[148,29318],{"className":29319,"style":997},[996],[148,29321,29323],{"className":29322},[1001,1002,1003,1004],[148,29324,6183],{"className":29325},[726,1064,1004],[148,29327,29328,29331],{"style":992},[148,29329],{"className":29330,"style":997},[996],[148,29332,29334],{"className":29333},[1001,1002,1003,1004],[148,29335,12485],{"className":29336},[726,1004],[148,29338,1095],{"className":29339},[1094],[148,29341,29343],{"className":29342},[985],[148,29344,29346],{"className":29345,"style":6399},[989],[148,29347],{},[148,29349,22210],{"className":29350,"style":22253},[726,1064],[148,29352,29354,29357],{"className":29353},[807],[148,29355,2757],{"className":29356},[807],[148,29358,29360],{"className":29359},[977],[148,29361,29363],{"className":29362},[981],[148,29364,29366],{"className":29365},[985],[148,29367,29369],{"className":29368,"style":963},[989],[148,29370,29371,29374],{"style":992},[148,29372],{"className":29373,"style":997},[996],[148,29375,29377],{"className":29376},[1001,1002,1003,1004],[148,29378,163],{"className":29379},[726,1004],[148,29381],{"className":29382,"style":731},[730],[148,29384,2605],{"className":29385},[735],[148,29387],{"className":29388,"style":731},[730],[148,29390,10390],{"className":29391},[726,1064],[148,29393],{"className":29394,"style":835},[730],[148,29396,29398,29401],{"className":29397},[7621],[148,29399,7436],{"className":29400,"style":7627},[7621,7625,7626],[148,29402,29404],{"className":29403},[977],[148,29405,29407,29450],{"className":29406},[981,1071],[148,29408,29410,29447],{"className":29409},[985],[148,29411,29413,29433],{"className":29412,"style":7640},[989],[148,29414,29415,29418],{"style":7643},[148,29416],{"className":29417,"style":997},[996],[148,29419,29421],{"className":29420},[1001,1002,1003,1004],[148,29422,29424,29427,29430],{"className":29423},[726,1004],[148,29425,14956],{"className":29426,"style":15000},[726,1064,1004],[148,29428,777],{"className":29429},[819,1004],[148,29431,150],{"className":29432},[726,1004],[148,29434,29435,29438],{"style":7664},[148,29436],{"className":29437,"style":997},[996],[148,29439,29441],{"className":29440},[1001,1002,1003,1004],[148,29442,29444],{"className":29443},[726,1004],[148,29445,85],{"className":29446},[726,1064,1004],[148,29448,1095],{"className":29449},[1094],[148,29451,29453],{"className":29452},[985],[148,29454,29456],{"className":29455,"style":15805},[989],[148,29457],{},[148,29459],{"className":29460,"style":835},[730],[148,29462,12014],{"className":29463},[726],[148,29465,29467,29470],{"className":29466},[726],[148,29468,22210],{"className":29469,"style":22253},[726,1064],[148,29471,29473],{"className":29472},[977],[148,29474,29476,29496],{"className":29475},[981,1071],[148,29477,29479,29493],{"className":29478},[985],[148,29480,29482],{"className":29481,"style":6263},[989],[148,29483,29484,29487],{"style":23975},[148,29485],{"className":29486,"style":997},[996],[148,29488,29490],{"className":29489},[1001,1002,1003,1004],[148,29491,14956],{"className":29492,"style":15000},[726,1064,1004],[148,29494,1095],{"className":29495},[1094],[148,29497,29499],{"className":29498},[985],[148,29500,29502],{"className":29501,"style":15010},[989],[148,29503],{},[148,29505,12014],{"className":29506},[726],[148,29508,29510],{"className":29509,"style":8930},[807,8929],[148,29511,2757],{"className":29512},[8934,8935],[148,29514],{"className":29515,"style":835},[730],[148,29517,26],{"className":29518},[726],"\nЗамкнутого решения здесь нет — задача негладкая в нуле, — но существуют эффективные алгоритмы (координатный спуск, LARS), реализованные во всех современных библиотеках. Принципиальное отличие от ridge — ",[294,29521,29522],{},"разреженность",[92,29524,29525],{},"sparsity",") решения: при достаточно большом ",[148,29528,29530,29543],{"className":29529},[680],[148,29531,29533],{"className":29532},[684],[686,29534,29535],{"xmlns":688},[690,29536,29537,29541],{},[693,29538,29539],{},[769,29540,10390],{},[705,29542,10560],{"encoding":707},[148,29544,29546],{"className":29545,"ariaHidden":713},[712],[148,29547,29549,29552],{"className":29548},[717],[148,29550],{"className":29551,"style":2415},[721],[148,29553,10390],{"className":29554},[726,1064]," часть коэффициентов ",[148,29557,29559,29580],{"className":29558},[680],[148,29560,29562],{"className":29561},[684],[686,29563,29564],{"xmlns":688},[690,29565,29566,29578],{},[693,29567,29568],{},[1038,29569,29570,29576],{},[6416,29571,29572,29574],{"accent":713},[769,29573,22210],{},[699,29575,6422],{},[769,29577,14956],{},[705,29579,27234],{"encoding":707},[148,29581,29583],{"className":29582,"ariaHidden":713},[712],[148,29584,29586,29589],{"className":29585},[717],[148,29587],{"className":29588,"style":27244},[721],[148,29590,29592,29634],{"className":29591},[726],[148,29593,29595],{"className":29594},[726,6449],[148,29596,29598,29626],{"className":29597},[981,1071],[148,29599,29601,29623],{"className":29600},[985],[148,29602,29604,29612],{"className":29603,"style":6459},[989],[148,29605,29606,29609],{"style":6462},[148,29607],{"className":29608,"style":3367},[996],[148,29610,22210],{"className":29611,"style":22253},[726,1064],[148,29613,29614,29617],{"style":6471},[148,29615],{"className":29616,"style":3367},[996],[148,29618,29620],{"className":29619,"style":7516},[6478],[148,29621,6422],{"className":29622},[726],[148,29624,1095],{"className":29625},[1094],[148,29627,29629],{"className":29628},[985],[148,29630,29632],{"className":29631,"style":6492},[989],[148,29633],{},[148,29635,29637],{"className":29636},[977],[148,29638,29640,29660],{"className":29639},[981,1071],[148,29641,29643,29657],{"className":29642},[985],[148,29644,29646],{"className":29645,"style":6263},[989],[148,29647,29648,29651],{"style":23975},[148,29649],{"className":29650,"style":997},[996],[148,29652,29654],{"className":29653},[1001,1002,1003,1004],[148,29655,14956],{"className":29656,"style":15000},[726,1064,1004],[148,29658,1095],{"className":29659},[1094],[148,29661,29663],{"className":29662},[985],[148,29664,29666],{"className":29665,"style":15010},[989],[148,29667],{}," обращается в точный ноль, а соответствующие признаки автоматически исключаются из модели. Lasso, таким образом, совмещает регуляризацию с ",[294,29670,29671],{},"отбором признаков",[92,29673,29674],{},"feature selection","), что особенно ценно в высокоразмерных задачах: модель не только лучше обобщает, но и оказывается короче в записи и интерпретации.",[85,29677,29678,29679,3157,29782,29833,29834,29885,29886,29955,29956,30025,30026,30095,30096,30165,30166,30235],{},"Геометрически разница между ridge и lasso объясняется формой области ограничения. Эквивалентная формулировка задачи — минимизация RSS при ограничении ",[148,29680,29682,29709],{"className":29681},[680],[148,29683,29685],{"className":29684},[684],[686,29686,29687],{"xmlns":688},[690,29688,29689,29706],{},[693,29690,29691,29693,29695,29702,29704],{},[769,29692,14641],{"mathvariant":771},[769,29694,22210],{},[1038,29696,29697,29699],{},[769,29698,14641],{"mathvariant":771},[769,29700,29701],{},"q",[699,29703,2469],{},[769,29705,8209],{},[705,29707,29708],{"encoding":707},"\\|\\beta\\|_q \\leq t",[148,29710,29712,29773],{"className":29711,"ariaHidden":713},[712],[148,29713,29715,29718,29721,29724,29764,29767,29770],{"className":29714},[717],[148,29716],{"className":29717,"style":20211},[721],[148,29719,14641],{"className":29720},[726],[148,29722,22210],{"className":29723,"style":22253},[726,1064],[148,29725,29727,29730],{"className":29726},[726],[148,29728,14641],{"className":29729},[726],[148,29731,29733],{"className":29732},[977],[148,29734,29736,29756],{"className":29735},[981,1071],[148,29737,29739,29753],{"className":29738},[985],[148,29740,29742],{"className":29741,"style":1703},[989],[148,29743,29744,29747],{"style":1081},[148,29745],{"className":29746,"style":997},[996],[148,29748,29750],{"className":29749},[1001,1002,1003,1004],[148,29751,29701],{"className":29752,"style":4185},[726,1064,1004],[148,29754,1095],{"className":29755},[1094],[148,29757,29759],{"className":29758},[985],[148,29760,29762],{"className":29761,"style":15010},[989],[148,29763],{},[148,29765],{"className":29766,"style":815},[730],[148,29768,2469],{"className":29769},[819],[148,29771],{"className":29772,"style":815},[730],[148,29774,29776,29779],{"className":29775},[717],[148,29777],{"className":29778,"style":8221},[721],[148,29780,8209],{"className":29781},[726,1064],[148,29783,29785,29803],{"className":29784},[680],[148,29786,29788],{"className":29787},[684],[686,29789,29790],{"xmlns":688},[690,29791,29792,29800],{},[693,29793,29794,29796,29798],{},[769,29795,29701],{},[699,29797,777],{},[696,29799,163],{},[705,29801,29802],{"encoding":707},"q = 2",[148,29804,29806,29824],{"className":29805,"ariaHidden":713},[712],[148,29807,29809,29812,29815,29818,29821],{"className":29808},[717],[148,29810],{"className":29811,"style":1579},[721],[148,29813,29701],{"className":29814,"style":4185},[726,1064],[148,29816],{"className":29817,"style":815},[730],[148,29819,777],{"className":29820},[819],[148,29822],{"className":29823,"style":815},[730],[148,29825,29827,29830],{"className":29826},[717],[148,29828],{"className":29829,"style":745},[721],[148,29831,163],{"className":29832},[726]," для ridge и ",[148,29835,29837,29855],{"className":29836},[680],[148,29838,29840],{"className":29839},[684],[686,29841,29842],{"xmlns":688},[690,29843,29844,29852],{},[693,29845,29846,29848,29850],{},[769,29847,29701],{},[699,29849,777],{},[696,29851,150],{},[705,29853,29854],{"encoding":707},"q = 1",[148,29856,29858,29876],{"className":29857,"ariaHidden":713},[712],[148,29859,29861,29864,29867,29870,29873],{"className":29860},[717],[148,29862],{"className":29863,"style":1579},[721],[148,29865,29701],{"className":29866,"style":4185},[726,1064],[148,29868],{"className":29869,"style":815},[730],[148,29871,777],{"className":29872},[819],[148,29874],{"className":29875,"style":815},[730],[148,29877,29879,29882],{"className":29878},[717],[148,29880],{"className":29881,"style":745},[721],[148,29883,150],{"className":29884},[726]," для lasso. Множество, заданное ",[148,29887,29889,29906],{"className":29888},[680],[148,29890,29892],{"className":29891},[684],[686,29893,29894],{"xmlns":688},[690,29895,29896,29904],{},[693,29897,29898],{},[1038,29899,29900,29902],{},[769,29901,6728],{},[696,29903,163],{},[705,29905,14573],{"encoding":707},[148,29907,29909],{"className":29908,"ariaHidden":713},[712],[148,29910,29912,29915],{"className":29911},[717],[148,29913],{"className":29914,"style":14583},[721],[148,29916,29918,29921],{"className":29917},[726],[148,29919,6728],{"className":29920},[726,1064],[148,29922,29924],{"className":29923},[977],[148,29925,29927,29947],{"className":29926},[981,1071],[148,29928,29930,29944],{"className":29929},[985],[148,29931,29933],{"className":29932,"style":1078},[989],[148,29934,29935,29938],{"style":1081},[148,29936],{"className":29937,"style":997},[996],[148,29939,29941],{"className":29940},[1001,1002,1003,1004],[148,29942,163],{"className":29943},[726,1004],[148,29945,1095],{"className":29946},[1094],[148,29948,29950],{"className":29949},[985],[148,29951,29953],{"className":29952,"style":1102},[989],[148,29954],{},"-нормой, — шар (круг в двумерии); множество ",[148,29957,29959,29976],{"className":29958},[680],[148,29960,29962],{"className":29961},[684],[686,29963,29964],{"xmlns":688},[690,29965,29966,29974],{},[693,29967,29968],{},[1038,29969,29970,29972],{},[769,29971,6728],{},[696,29973,150],{},[705,29975,14722],{"encoding":707},[148,29977,29979],{"className":29978,"ariaHidden":713},[712],[148,29980,29982,29985],{"className":29981},[717],[148,29983],{"className":29984,"style":14583},[721],[148,29986,29988,29991],{"className":29987},[726],[148,29989,6728],{"className":29990},[726,1064],[148,29992,29994],{"className":29993},[977],[148,29995,29997,30017],{"className":29996},[981,1071],[148,29998,30000,30014],{"className":29999},[985],[148,30001,30003],{"className":30002,"style":1078},[989],[148,30004,30005,30008],{"style":1081},[148,30006],{"className":30007,"style":997},[996],[148,30009,30011],{"className":30010},[1001,1002,1003,1004],[148,30012,150],{"className":30013},[726,1004],[148,30015,1095],{"className":30016},[1094],[148,30018,30020],{"className":30019},[985],[148,30021,30023],{"className":30022,"style":1102},[989],[148,30024],{},"-нормы — кубоктаэдр (ромб). Линии уровня RSS — эллипсы, центрированные в OLS-решении; точка касания эллипса с ограничением и даёт регуляризованное решение. Угловые точки ",[148,30027,30029,30046],{"className":30028},[680],[148,30030,30032],{"className":30031},[684],[686,30033,30034],{"xmlns":688},[690,30035,30036,30044],{},[693,30037,30038],{},[1038,30039,30040,30042],{},[769,30041,6728],{},[696,30043,150],{},[705,30045,14722],{"encoding":707},[148,30047,30049],{"className":30048,"ariaHidden":713},[712],[148,30050,30052,30055],{"className":30051},[717],[148,30053],{"className":30054,"style":14583},[721],[148,30056,30058,30061],{"className":30057},[726],[148,30059,6728],{"className":30060},[726,1064],[148,30062,30064],{"className":30063},[977],[148,30065,30067,30087],{"className":30066},[981,1071],[148,30068,30070,30084],{"className":30069},[985],[148,30071,30073],{"className":30072,"style":1078},[989],[148,30074,30075,30078],{"style":1081},[148,30076],{"className":30077,"style":997},[996],[148,30079,30081],{"className":30080},[1001,1002,1003,1004],[148,30082,150],{"className":30083},[726,1004],[148,30085,1095],{"className":30086},[1094],[148,30088,30090],{"className":30089},[985],[148,30091,30093],{"className":30092,"style":1102},[989],[148,30094],{},"-ромба лежат на координатных осях, и касание чаще всего происходит именно в них — соответствующие ",[148,30097,30099,30116],{"className":30098},[680],[148,30100,30102],{"className":30101},[684],[686,30103,30104],{"xmlns":688},[690,30105,30106,30114],{},[693,30107,30108],{},[1038,30109,30110,30112],{},[769,30111,22210],{},[769,30113,14956],{},[705,30115,24732],{"encoding":707},[148,30117,30119],{"className":30118,"ariaHidden":713},[712],[148,30120,30122,30125],{"className":30121},[717],[148,30123],{"className":30124,"style":24220},[721],[148,30126,30128,30131],{"className":30127},[726],[148,30129,22210],{"className":30130,"style":22253},[726,1064],[148,30132,30134],{"className":30133},[977],[148,30135,30137,30157],{"className":30136},[981,1071],[148,30138,30140,30154],{"className":30139},[985],[148,30141,30143],{"className":30142,"style":6263},[989],[148,30144,30145,30148],{"style":23975},[148,30146],{"className":30147,"style":997},[996],[148,30149,30151],{"className":30150},[1001,1002,1003,1004],[148,30152,14956],{"className":30153,"style":15000},[726,1064,1004],[148,30155,1095],{"className":30156},[1094],[148,30158,30160],{"className":30159},[985],[148,30161,30163],{"className":30162,"style":15010},[989],[148,30164],{}," зануляются. Сферическая ",[148,30167,30169,30186],{"className":30168},[680],[148,30170,30172],{"className":30171},[684],[686,30173,30174],{"xmlns":688},[690,30175,30176,30184],{},[693,30177,30178],{},[1038,30179,30180,30182],{},[769,30181,6728],{},[696,30183,163],{},[705,30185,14573],{"encoding":707},[148,30187,30189],{"className":30188,"ariaHidden":713},[712],[148,30190,30192,30195],{"className":30191},[717],[148,30193],{"className":30194,"style":14583},[721],[148,30196,30198,30201],{"className":30197},[726],[148,30199,6728],{"className":30200},[726,1064],[148,30202,30204],{"className":30203},[977],[148,30205,30207,30227],{"className":30206},[981,1071],[148,30208,30210,30224],{"className":30209},[985],[148,30211,30213],{"className":30212,"style":1078},[989],[148,30214,30215,30218],{"style":1081},[148,30216],{"className":30217,"style":997},[996],[148,30219,30221],{"className":30220},[1001,1002,1003,1004],[148,30222,163],{"className":30223},[726,1004],[148,30225,1095],{"className":30226},[1094],[148,30228,30230],{"className":30229},[985],[148,30231,30233],{"className":30232,"style":1102},[989],[148,30234],{},"-граница углов не имеет, и зануление невозможно: коэффициенты лишь стягиваются к нулю, не достигая его.",[362,30237,364,30238,364,30242],{},[366,30239],{"src":30240,"alt":30241},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fridge_lasso_geometry.svg","Геометрия ridge и lasso: контуры RSS и области ограничений в двумерии",[370,30243,30244],{},"Геометрическая интерпретация регуляризации: касание контуров RSS с круговой ($L_2$) и ромбической ($L_1$) областями ограничений. У lasso касание часто происходит в углу ромба, что зануляет один из коэффициентов",[85,30246,30247,191,30250,30257,30258,30749],{},[294,30248,30249],{},"Elastic Net",[140,30251,30253],{"className":30252},[143],[22,30254,30255],{"href":176},[148,30256,179],{}," комбинирует оба штрафа:\n",[148,30259,30261,30360],{"className":30260},[680],[148,30262,30264],{"className":30263},[684],[686,30265,30266],{"xmlns":688},[690,30267,30268,30357],{},[693,30269,30270,30281,30283,30285,30287,30297,30355],{},[921,30271,30272,30278],{},[6416,30273,30274,30276],{"accent":713},[769,30275,22210],{},[699,30277,6422],{},[782,30279,30280],{},"en",[699,30282,777],{},[769,30284,16420],{},[699,30286,13929],{},[1038,30288,30289,30295],{},[693,30290,30291,30293],{},[769,30292,25518],{},[699,30294,13929],{},[769,30296,22210],{},[693,30298,30299,30301,30309,30311,30313,30315,30317,30323,30325,30327,30333,30335,30341,30343,30345,30353],{},[699,30300,2748],{"fence":713},[693,30302,30303,30305,30307],{},[769,30304,7214],{"mathvariant":771},[769,30306,1202],{"mathvariant":771},[769,30308,1202],{"mathvariant":771},[699,30310,2748],{"stretchy":766},[769,30312,22210],{},[699,30314,2757],{"stretchy":766},[699,30316,2605],{},[1038,30318,30319,30321],{},[769,30320,10390],{},[696,30322,150],{},[769,30324,14641],{"mathvariant":771},[769,30326,22210],{},[1038,30328,30329,30331],{},[769,30330,14641],{"mathvariant":771},[696,30332,150],{},[699,30334,2605],{},[1038,30336,30337,30339],{},[769,30338,10390],{},[696,30340,163],{},[769,30342,14641],{"mathvariant":771},[769,30344,22210],{},[6195,30346,30347,30349,30351],{},[769,30348,14641],{"mathvariant":771},[696,30350,163],{},[696,30352,163],{},[699,30354,2757],{"fence":713},[769,30356,26],{"mathvariant":771},[705,30358,30359],{"encoding":707},"\\hat{\\beta}^{\\text{en}} = \\arg\\min_\\beta \\left( \\mathrm{RSS}(\\beta) + \\lambda_1 \\|\\beta\\|_1 + \\lambda_2 \\|\\beta\\|_2^2 \\right).",[148,30361,30363,30452],{"className":30362,"ariaHidden":713},[712],[148,30364,30366,30369,30443,30446,30449],{"className":30365},[717],[148,30367],{"className":30368,"style":6445},[721],[148,30370,30372,30414],{"className":30371},[726],[148,30373,30375],{"className":30374},[726,6449],[148,30376,30378,30406],{"className":30377},[981,1071],[148,30379,30381,30403],{"className":30380},[985],[148,30382,30384,30392],{"className":30383,"style":6459},[989],[148,30385,30386,30389],{"style":6462},[148,30387],{"className":30388,"style":3367},[996],[148,30390,22210],{"className":30391,"style":22253},[726,1064],[148,30393,30394,30397],{"style":6471},[148,30395],{"className":30396,"style":3367},[996],[148,30398,30400],{"className":30399,"style":7516},[6478],[148,30401,6422],{"className":30402},[726],[148,30404,1095],{"className":30405},[1094],[148,30407,30409],{"className":30408},[985],[148,30410,30412],{"className":30411,"style":6492},[989],[148,30413],{},[148,30415,30417],{"className":30416},[977],[148,30418,30420],{"className":30419},[981],[148,30421,30423],{"className":30422},[985],[148,30424,30426],{"className":30425,"style":6354},[989],[148,30427,30428,30431],{"style":992},[148,30429],{"className":30430,"style":997},[996],[148,30432,30434],{"className":30433},[1001,1002,1003,1004],[148,30435,30437],{"className":30436},[726,1004],[148,30438,30440],{"className":30439},[726,5620,1004],[148,30441,30280],{"className":30442},[726,1004],[148,30444],{"className":30445,"style":815},[730],[148,30447,777],{"className":30448},[819],[148,30450],{"className":30451,"style":815},[730],[148,30453,30455,30459,30464,30467,30507,30510,30743,30746],{"className":30454},[717],[148,30456],{"className":30457,"style":30458},[721],"height:1.2em;vertical-align:-0.35em;",[148,30460,16578,30462],{"className":30461},[7621],[148,30463,4123],{"style":14229},[148,30465],{"className":30466,"style":835},[730],[148,30468,30470,30473],{"className":30469},[7621],[148,30471,25518],{"className":30472},[7621],[148,30474,30476],{"className":30475},[977],[148,30477,30479,30499],{"className":30478},[981,1071],[148,30480,30482,30496],{"className":30481},[985],[148,30483,30485],{"className":30484,"style":12101},[989],[148,30486,30487,30490],{"style":16604},[148,30488],{"className":30489,"style":997},[996],[148,30491,30493],{"className":30492},[1001,1002,1003,1004],[148,30494,22210],{"className":30495,"style":22253},[726,1064,1004],[148,30497,1095],{"className":30498},[1094],[148,30500,30502],{"className":30501},[985],[148,30503,30505],{"className":30504,"style":15010},[989],[148,30506],{},[148,30508],{"className":30509,"style":835},[730],[148,30511,30513,30519,30525,30528,30531,30534,30537,30540,30543,30583,30586,30589,30629,30632,30635,30638,30678,30681,30684,30737],{"className":30512},[1675],[148,30514,30516],{"className":30515,"style":8930},[1242,8929],[148,30517,2748],{"className":30518},[8934,9150],[148,30520,30522],{"className":30521},[726],[148,30523,24991],{"className":30524},[726,24990],[148,30526,2748],{"className":30527},[1242],[148,30529,22210],{"className":30530,"style":22253},[726,1064],[148,30532,2757],{"className":30533},[807],[148,30535],{"className":30536,"style":731},[730],[148,30538,2605],{"className":30539},[735],[148,30541],{"className":30542,"style":731},[730],[148,30544,30546,30549],{"className":30545},[726],[148,30547,10390],{"className":30548},[726,1064],[148,30550,30552],{"className":30551},[977],[148,30553,30555,30575],{"className":30554},[981,1071],[148,30556,30558,30572],{"className":30557},[985],[148,30559,30561],{"className":30560,"style":1078},[989],[148,30562,30563,30566],{"style":1081},[148,30564],{"className":30565,"style":997},[996],[148,30567,30569],{"className":30568},[1001,1002,1003,1004],[148,30570,150],{"className":30571},[726,1004],[148,30573,1095],{"className":30574},[1094],[148,30576,30578],{"className":30577},[985],[148,30579,30581],{"className":30580,"style":1102},[989],[148,30582],{},[148,30584,14641],{"className":30585},[726],[148,30587,22210],{"className":30588,"style":22253},[726,1064],[148,30590,30592,30595],{"className":30591},[726],[148,30593,14641],{"className":30594},[726],[148,30596,30598],{"className":30597},[977],[148,30599,30601,30621],{"className":30600},[981,1071],[148,30602,30604,30618],{"className":30603},[985],[148,30605,30607],{"className":30606,"style":1078},[989],[148,30608,30609,30612],{"style":1081},[148,30610],{"className":30611,"style":997},[996],[148,30613,30615],{"className":30614},[1001,1002,1003,1004],[148,30616,150],{"className":30617},[726,1004],[148,30619,1095],{"className":30620},[1094],[148,30622,30624],{"className":30623},[985],[148,30625,30627],{"className":30626,"style":1102},[989],[148,30628],{},[148,30630],{"className":30631,"style":731},[730],[148,30633,2605],{"className":30634},[735],[148,30636],{"className":30637,"style":731},[730],[148,30639,30641,30644],{"className":30640},[726],[148,30642,10390],{"className":30643},[726,1064],[148,30645,30647],{"className":30646},[977],[148,30648,30650,30670],{"className":30649},[981,1071],[148,30651,30653,30667],{"className":30652},[985],[148,30654,30656],{"className":30655,"style":1078},[989],[148,30657,30658,30661],{"style":1081},[148,30659],{"className":30660,"style":997},[996],[148,30662,30664],{"className":30663},[1001,1002,1003,1004],[148,30665,163],{"className":30666},[726,1004],[148,30668,1095],{"className":30669},[1094],[148,30671,30673],{"className":30672},[985],[148,30674,30676],{"className":30675,"style":1102},[989],[148,30677],{},[148,30679,14641],{"className":30680},[726],[148,30682,22210],{"className":30683,"style":22253},[726,1064],[148,30685,30687,30690],{"className":30686},[726],[148,30688,14641],{"className":30689},[726],[148,30691,30693],{"className":30692},[977],[148,30694,30696,30728],{"className":30695},[981,1071],[148,30697,30699,30725],{"className":30698},[985],[148,30700,30702,30714],{"className":30701,"style":963},[989],[148,30703,30705,30708],{"style":30704},"top:-2.4519em;margin-left:0em;margin-right:0.05em;",[148,30706],{"className":30707,"style":997},[996],[148,30709,30711],{"className":30710},[1001,1002,1003,1004],[148,30712,163],{"className":30713},[726,1004],[148,30715,30716,30719],{"style":992},[148,30717],{"className":30718,"style":997},[996],[148,30720,30722],{"className":30721},[1001,1002,1003,1004],[148,30723,163],{"className":30724},[726,1004],[148,30726,1095],{"className":30727},[1094],[148,30729,30731],{"className":30730},[985],[148,30732,30735],{"className":30733,"style":30734},[989],"height:0.2481em;",[148,30736],{},[148,30738,30740],{"className":30739,"style":8930},[807,8929],[148,30741,2757],{"className":30742},[8934,9150],[148,30744],{"className":30745,"style":835},[730],[148,30747,26],{"className":30748},[726],"\nМетод сохраняет разреженность lasso и устойчивость ridge к коррелированным признакам. Lasso в группе сильно коррелированных переменных склонен выбирать одну случайную и зануление остальных; elastic net в той же ситуации распределяет коэффициенты между ними. Для большинства инженерных задач, где коррелированные признаки возникают естественно, elastic net надёжнее «чистого» lasso.",[85,30751,30752,30753,30781,30782,30784,30785,30788,30789,297,30792,30795,30796,30824,30825,30853,30854,30882],{},"Выбор коэффициента регуляризации ",[148,30754,30756,30769],{"className":30755},[680],[148,30757,30759],{"className":30758},[684],[686,30760,30761],{"xmlns":688},[690,30762,30763,30767],{},[693,30764,30765],{},[769,30766,10390],{},[705,30768,10560],{"encoding":707},[148,30770,30772],{"className":30771,"ariaHidden":713},[712],[148,30773,30775,30778],{"className":30774},[717],[148,30776],{"className":30777,"style":2415},[721],[148,30779,10390],{"className":30780},[726,1064]," (в ",[5622,30783,26061],{}," — параметр ",[5622,30786,30787],{},"alpha",") — отдельная задача. Слишком малое значение оставляет проблемы OLS нерешёнными, слишком большое — занижает все коэффициенты, превращая модель в близкую к нулевой. Стандартный приём — ",[294,30790,30791],{},"кросс-валидация",[92,30793,30794],{},"cross-validation","): на сетке значений ",[148,30797,30799,30812],{"className":30798},[680],[148,30800,30802],{"className":30801},[684],[686,30803,30804],{"xmlns":688},[690,30805,30806,30810],{},[693,30807,30808],{},[769,30809,10390],{},[705,30811,10560],{"encoding":707},[148,30813,30815],{"className":30814,"ariaHidden":713},[712],[148,30816,30818,30821],{"className":30817},[717],[148,30819],{"className":30820,"style":2415},[721],[148,30822,10390],{"className":30823},[726,1064]," модель многократно обучается на части данных и проверяется на оставшейся, после чего выбирается то ",[148,30826,30828,30841],{"className":30827},[680],[148,30829,30831],{"className":30830},[684],[686,30832,30833],{"xmlns":688},[690,30834,30835,30839],{},[693,30836,30837],{},[769,30838,10390],{},[705,30840,10560],{"encoding":707},[148,30842,30844],{"className":30843,"ariaHidden":713},[712],[148,30845,30847,30850],{"className":30846},[717],[148,30848],{"className":30849,"style":2415},[721],[148,30851,10390],{"className":30852},[726,1064],", при котором средняя ошибка на валидационных частях минимальна. Систематическое обсуждение кросс-валидации мы вынесем в тему 7, посвящённую методам оценки качества; на данный момент достаточно понимать, что ",[148,30855,30857,30870],{"className":30856},[680],[148,30858,30860],{"className":30859},[684],[686,30861,30862],{"xmlns":688},[690,30863,30864,30868],{},[693,30865,30866],{},[769,30867,10390],{},[705,30869,10560],{"encoding":707},[148,30871,30873],{"className":30872,"ariaHidden":713},[712],[148,30874,30876,30879],{"className":30875},[717],[148,30877],{"className":30878,"style":2415},[721],[148,30880,10390],{"className":30881},[726,1064]," — гиперпараметр, и подбирается он на отдельной выборке, а не на обучающей.",[85,30884,30885,30886,30914,30915,297,30918,30921,30922,30973,30974,31002],{},"Полезно посмотреть на то, как меняются коэффициенты модели при варьировании ",[148,30887,30889,30902],{"className":30888},[680],[148,30890,30892],{"className":30891},[684],[686,30893,30894],{"xmlns":688},[690,30895,30896,30900],{},[693,30897,30898],{},[769,30899,10390],{},[705,30901,10560],{"encoding":707},[148,30903,30905],{"className":30904,"ariaHidden":713},[712],[148,30906,30908,30911],{"className":30907},[717],[148,30909],{"className":30910,"style":2415},[721],[148,30912,10390],{"className":30913},[726,1064]," — так называемый ",[294,30916,30917],{},"путь регуляризации",[92,30919,30920],{},"regularization path","). У ridge все коэффициенты плавно стягиваются к нулю, не достигая его до ",[148,30923,30925,30943],{"className":30924},[680],[148,30926,30928],{"className":30927},[684],[686,30929,30930],{"xmlns":688},[690,30931,30932,30940],{},[693,30933,30934,30936,30938],{},[769,30935,10390],{},[699,30937,777],{},[769,30939,15501],{"mathvariant":771},[705,30941,30942],{"encoding":707},"\\lambda = \\infty",[148,30944,30946,30964],{"className":30945,"ariaHidden":713},[712],[148,30947,30949,30952,30955,30958,30961],{"className":30948},[717],[148,30950],{"className":30951,"style":2415},[721],[148,30953,10390],{"className":30954},[726,1064],[148,30956],{"className":30957,"style":815},[730],[148,30959,777],{"className":30960},[819],[148,30962],{"className":30963,"style":815},[730],[148,30965,30967,30970],{"className":30966},[717],[148,30968],{"className":30969,"style":2537},[721],[148,30971,15501],{"className":30972},[726],". У lasso коэффициенты «выключаются» в дискретные моменты, образуя ломаную линию: при увеличении ",[148,30975,30977,30990],{"className":30976},[680],[148,30978,30980],{"className":30979},[684],[686,30981,30982],{"xmlns":688},[690,30983,30984,30988],{},[693,30985,30986],{},[769,30987,10390],{},[705,30989,10560],{"encoding":707},[148,30991,30993],{"className":30992,"ariaHidden":713},[712],[148,30994,30996,30999],{"className":30995},[717],[148,30997],{"className":30998,"style":2415},[721],[148,31000,10390],{"className":31001},[726,1064]," всё больше признаков отбрасываются.",[362,31004,364,31005,364,31009],{},[366,31006],{"src":31007,"alt":31008},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fregularization_path.svg","Пути регуляризации для ridge и lasso: зависимость коэффициентов от параметра регуляризации",[370,31010,31011],{},"Поведение коэффициентов при увеличении силы регуляризации: ridge стягивает их плавно, lasso последовательно зануляет",[85,31013,31014,31015,26],{},"Регуляризация изменяет смысл коэффициентов: они больше не являются несмещёнными оценками влияния признаков. Это плата за устойчивость и качество предсказаний. Если задача — именно интерпретация коэффициентов как причинных эффектов (что характерно для статистики и эконометрики, но в машинном обучении встречается реже), регуляризация требует осторожной интерпретации. Если задача — предсказание на новых данных, регуляризованные модели почти всегда выигрывают у «чистого» OLS, особенно при большом ",[148,31016,31018,31031],{"className":31017},[680],[148,31019,31021],{"className":31020},[684],[686,31022,31023],{"xmlns":688},[690,31024,31025,31029],{},[693,31026,31027],{},[769,31028,85],{},[705,31030,85],{"encoding":707},[148,31032,31034],{"className":31033,"ariaHidden":713},[712],[148,31035,31037,31040],{"className":31036},[717],[148,31038],{"className":31039,"style":1579},[721],[148,31041,85],{"className":31042},[726,1064],[10,31044,31046],{"id":31045},"оценка-качества-регрессионных-моделей","Оценка качества регрессионных моделей",[128,31048,31050],{"id":31049},"метрики","Метрики",[85,31052,31053],{},"Оценка предсказательной способности модели регрессии опирается на несколько стандартных метрик, каждая из которых высвечивает свою сторону ошибки. Важно использовать их в комплексе и понимать, в каких задачах какая ведущая.",[85,31055,31056,297,31059,31062,31063,31471,31472,31537],{},[294,31057,31058],{},"Среднеквадратичная ошибка",[92,31060,31061],{},"mean squared error, MSE",") определяется как среднее квадратов отклонений:\n",[148,31064,31066,31137],{"className":31065},[680],[148,31067,31069],{"className":31068},[684],[686,31070,31071],{"xmlns":688},[690,31072,31073,31134],{},[693,31074,31075,31084,31086,31092,31106,31108,31114,31116,31126,31132],{},[693,31076,31077,31080,31082],{},[769,31078,31079],{"mathvariant":771},"M",[769,31081,1202],{"mathvariant":771},[769,31083,5777],{"mathvariant":771},[699,31085,777],{},[3315,31087,31088,31090],{},[696,31089,150],{},[769,31091,1566],{},[6195,31093,31094,31096,31104],{},[699,31095,7436],{},[693,31097,31098,31100,31102],{},[769,31099,6183],{},[699,31101,777],{},[696,31103,150],{},[769,31105,1566],{},[699,31107,2748],{"stretchy":766},[1038,31109,31110,31112],{},[769,31111,6060],{},[769,31113,6183],{},[699,31115,3325],{},[1038,31117,31118,31124],{},[6416,31119,31120,31122],{"accent":713},[769,31121,6060],{},[699,31123,6422],{},[769,31125,6183],{},[921,31127,31128,31130],{},[699,31129,2757],{"stretchy":766},[696,31131,163],{},[769,31133,26],{"mathvariant":771},[705,31135,31136],{"encoding":707},"\\mathrm{MSE} = \\frac{1}{n} \\sum_{i=1}^{n} (y_i - \\hat{y}_i)^2.",[148,31138,31140,31162,31354],{"className":31139,"ariaHidden":713},[712],[148,31141,31143,31146,31153,31156,31159],{"className":31142},[717],[148,31144],{"className":31145,"style":1344},[721],[148,31147,31149],{"className":31148},[726],[148,31150,31152],{"className":31151},[726,24990],"MSE",[148,31154],{"className":31155,"style":815},[730],[148,31157,777],{"className":31158},[819],[148,31160],{"className":31161,"style":815},[730],[148,31163,31165,31168,31236,31239,31302,31305,31345,31348,31351],{"className":31164},[717],[148,31166],{"className":31167,"style":7544},[721],[148,31169,31171,31174,31233],{"className":31170},[726],[148,31172],{"className":31173},[1242,3347],[148,31175,31177],{"className":31176},[3315],[148,31178,31180,31225],{"className":31179},[981,1071],[148,31181,31183,31222],{"className":31182},[985],[148,31184,31186,31200,31208],{"className":31185,"style":7563},[989],[148,31187,31188,31191],{"style":3363},[148,31189],{"className":31190,"style":3367},[996],[148,31192,31194],{"className":31193},[1001,1002,1003,1004],[148,31195,31197],{"className":31196},[726,1004],[148,31198,1566],{"className":31199},[726,1064,1004],[148,31201,31202,31205],{"style":3385},[148,31203],{"className":31204,"style":3367},[996],[148,31206],{"className":31207,"style":3393},[3392],[148,31209,31210,31213],{"style":3396},[148,31211],{"className":31212,"style":3367},[996],[148,31214,31216],{"className":31215},[1001,1002,1003,1004],[148,31217,31219],{"className":31218},[726,1004],[148,31220,150],{"className":31221},[726,1004],[148,31223,1095],{"className":31224},[1094],[148,31226,31228],{"className":31227},[985],[148,31229,31231],{"className":31230,"style":7609},[989],[148,31232],{},[148,31234],{"className":31235},[807,3347],[148,31237],{"className":31238,"style":835},[730],[148,31240,31242,31245],{"className":31241},[7621],[148,31243,7436],{"className":31244,"style":7627},[7621,7625,7626],[148,31246,31248],{"className":31247},[977],[148,31249,31251,31294],{"className":31250},[981,1071],[148,31252,31254,31291],{"className":31253},[985],[148,31255,31257,31277],{"className":31256,"style":7640},[989],[148,31258,31259,31262],{"style":7643},[148,31260],{"className":31261,"style":997},[996],[148,31263,31265],{"className":31264},[1001,1002,1003,1004],[148,31266,31268,31271,31274],{"className":31267},[726,1004],[148,31269,6183],{"className":31270},[726,1064,1004],[148,31272,777],{"className":31273},[819,1004],[148,31275,150],{"className":31276},[726,1004],[148,31278,31279,31282],{"style":7664},[148,31280],{"className":31281,"style":997},[996],[148,31283,31285],{"className":31284},[1001,1002,1003,1004],[148,31286,31288],{"className":31287},[726,1004],[148,31289,1566],{"className":31290},[726,1064,1004],[148,31292,1095],{"className":31293},[1094],[148,31295,31297],{"className":31296},[985],[148,31298,31300],{"className":31299,"style":7686},[989],[148,31301],{},[148,31303,2748],{"className":31304},[1242],[148,31306,31308,31311],{"className":31307},[726],[148,31309,6060],{"className":31310,"style":4185},[726,1064],[148,31312,31314],{"className":31313},[977],[148,31315,31317,31337],{"className":31316},[981,1071],[148,31318,31320,31334],{"className":31319},[985],[148,31321,31323],{"className":31322,"style":6263},[989],[148,31324,31325,31328],{"style":6312},[148,31326],{"className":31327,"style":997},[996],[148,31329,31331],{"className":31330},[1001,1002,1003,1004],[148,31332,6183],{"className":31333},[726,1064,1004],[148,31335,1095],{"className":31336},[1094],[148,31338,31340],{"className":31339},[985],[148,31341,31343],{"className":31342,"style":1102},[989],[148,31344],{},[148,31346],{"className":31347,"style":731},[730],[148,31349,3325],{"className":31350},[735],[148,31352],{"className":31353,"style":731},[730],[148,31355,31357,31360,31439,31468],{"className":31356},[717],[148,31358],{"className":31359,"style":14662},[721],[148,31361,31363,31405],{"className":31362},[726],[148,31364,31366],{"className":31365},[726,6449],[148,31367,31369,31397],{"className":31368},[981,1071],[148,31370,31372,31394],{"className":31371},[985],[148,31373,31375,31383],{"className":31374,"style":2415},[989],[148,31376,31377,31380],{"style":6462},[148,31378],{"className":31379,"style":3367},[996],[148,31381,6060],{"className":31382,"style":4185},[726,1064],[148,31384,31385,31388],{"style":6462},[148,31386],{"className":31387,"style":3367},[996],[148,31389,31391],{"className":31390,"style":13404},[6478],[148,31392,6422],{"className":31393},[726],[148,31395,1095],{"className":31396},[1094],[148,31398,31400],{"className":31399},[985],[148,31401,31403],{"className":31402,"style":6492},[989],[148,31404],{},[148,31406,31408],{"className":31407},[977],[148,31409,31411,31431],{"className":31410},[981,1071],[148,31412,31414,31428],{"className":31413},[985],[148,31415,31417],{"className":31416,"style":6263},[989],[148,31418,31419,31422],{"style":6312},[148,31420],{"className":31421,"style":997},[996],[148,31423,31425],{"className":31424},[1001,1002,1003,1004],[148,31426,6183],{"className":31427},[726,1064,1004],[148,31429,1095],{"className":31430},[1094],[148,31432,31434],{"className":31433},[985],[148,31435,31437],{"className":31436,"style":1102},[989],[148,31438],{},[148,31440,31442,31445],{"className":31441},[807],[148,31443,2757],{"className":31444},[807],[148,31446,31448],{"className":31447},[977],[148,31449,31451],{"className":31450},[981],[148,31452,31454],{"className":31453},[985],[148,31455,31457],{"className":31456,"style":963},[989],[148,31458,31459,31462],{"style":992},[148,31460],{"className":31461,"style":997},[996],[148,31463,31465],{"className":31464},[1001,1002,1003,1004],[148,31466,163],{"className":31467},[726,1004],[148,31469,26],{"className":31470},[726],"\nЭто та же величина, которая минимизируется при обучении OLS, и в этом смысле — естественная метрика для линейной регрессии. У MSE есть содержательное теоретическое свойство: её оптимизирует условное математическое ожидание ",[148,31473,31475,31498],{"className":31474},[680],[148,31476,31478],{"className":31477},[684],[686,31479,31480],{"xmlns":688},[690,31481,31482,31496],{},[693,31483,31484,31486,31488,31490,31492,31494],{},[769,31485,5777],{"mathvariant":6847},[699,31487,6850],{"stretchy":766},[769,31489,6060],{},[699,31491,12014],{},[769,31493,6055],{},[699,31495,6870],{"stretchy":766},[705,31497,26923],{"encoding":707},[148,31499,31501,31525],{"className":31500,"ariaHidden":713},[712],[148,31502,31504,31507,31510,31513,31516,31519,31522],{"className":31503},[717],[148,31505],{"className":31506,"style":800},[721],[148,31508,5777],{"className":31509},[726,7309],[148,31511,6850],{"className":31512},[1242],[148,31514,6060],{"className":31515,"style":4185},[726,1064],[148,31517],{"className":31518,"style":815},[730],[148,31520,12014],{"className":31521},[819],[148,31523],{"className":31524,"style":815},[730],[148,31526,31528,31531,31534],{"className":31527},[717],[148,31529],{"className":31530,"style":800},[721],[148,31532,6055],{"className":31533},[726,1064],[148,31535,6870],{"className":31536},[807],". То есть модель, обучаемая минимизацией MSE, стремится предсказывать именно среднее значение отклика. Недостаток MSE — её единицы измерения: квадрат единиц предсказываемой величины. Для прогноза температуры в градусах MSE измеряется в градусах в квадрате, что неинтуитивно.",[85,31539,31540,31541,297,31544,31547,31548,31675],{},"Эту проблему снимает ",[294,31542,31543],{},"корень из MSE",[92,31545,31546],{},"root mean squared error, RMSE","):\n",[148,31549,31551,31587],{"className":31550},[680],[148,31552,31554],{"className":31553},[684],[686,31555,31556],{"xmlns":688},[690,31557,31558,31584],{},[693,31559,31560,31570,31572,31582],{},[693,31561,31562,31564,31566,31568],{},[769,31563,7214],{"mathvariant":771},[769,31565,31079],{"mathvariant":771},[769,31567,1202],{"mathvariant":771},[769,31569,5777],{"mathvariant":771},[699,31571,777],{},[15628,31573,31574],{},[693,31575,31576,31578,31580],{},[769,31577,31079],{"mathvariant":771},[769,31579,1202],{"mathvariant":771},[769,31581,5777],{"mathvariant":771},[769,31583,26],{"mathvariant":771},[705,31585,31586],{"encoding":707},"\\mathrm{RMSE} = \\sqrt{\\mathrm{MSE}}.",[148,31588,31590,31612],{"className":31589,"ariaHidden":713},[712],[148,31591,31593,31596,31603,31606,31609],{"className":31592},[717],[148,31594],{"className":31595,"style":1344},[721],[148,31597,31599],{"className":31598},[726],[148,31600,31602],{"className":31601},[726,24990],"RMSE",[148,31604],{"className":31605,"style":815},[730],[148,31607,777],{"className":31608},[819],[148,31610],{"className":31611,"style":815},[730],[148,31613,31615,31619,31672],{"className":31614},[717],[148,31616],{"className":31617,"style":31618},[721],"height:1.04em;vertical-align:-0.1133em;",[148,31620,31622],{"className":31621},[726,15743],[148,31623,31625,31663],{"className":31624},[981,1071],[148,31626,31628,31660],{"className":31627},[985],[148,31629,31632,31647],{"className":31630,"style":31631},[989],"height:0.9267em;",[148,31633,31635,31638],{"className":31634,"style":6462},[9175],[148,31636],{"className":31637,"style":3367},[996],[148,31639,31641],{"className":31640,"style":17095},[726],[148,31642,31644],{"className":31643},[726],[148,31645,31152],{"className":31646},[726,24990],[148,31648,31650,31653],{"style":31649},"top:-2.8867em;",[148,31651],{"className":31652,"style":3367},[996],[148,31654,31656],{"className":31655,"style":17108},[15958],[9191,31657,31658],{"xmlns":9193,"width":9194,"height":17111,"viewBox":17112,"preserveAspectRatio":9197},[9199,31659],{"d":17115},[148,31661,1095],{"className":31662},[1094],[148,31664,31666],{"className":31665},[985],[148,31667,31670],{"className":31668,"style":31669},[989],"height:0.1133em;",[148,31671],{},[148,31673,26],{"className":31674},[726],"\nRMSE возвращается в единицы предсказываемой величины и интерпретируется как типичная величина ошибки. Если для прогноза заряда батареи RMSE равен 3%, мы понимаем порядок отклонения. RMSE — фактический стандарт отчётности в инженерных регрессионных задачах.",[85,31677,31678,297,31681,31684,31685,32063],{},[294,31679,31680],{},"Средняя абсолютная ошибка",[92,31682,31683],{},"mean absolute error, MAE",") использует модули вместо квадратов:\n",[148,31686,31688,31754],{"className":31687},[680],[148,31689,31691],{"className":31690},[684],[686,31692,31693],{"xmlns":688},[690,31694,31695,31751],{},[693,31696,31697,31705,31707,31713,31727,31729,31735,31737,31747,31749],{},[693,31698,31699,31701,31703],{},[769,31700,31079],{"mathvariant":771},[769,31702,1216],{"mathvariant":771},[769,31704,5777],{"mathvariant":771},[699,31706,777],{},[3315,31708,31709,31711],{},[696,31710,150],{},[769,31712,1566],{},[6195,31714,31715,31717,31725],{},[699,31716,7436],{},[693,31718,31719,31721,31723],{},[769,31720,6183],{},[699,31722,777],{},[696,31724,150],{},[769,31726,1566],{},[769,31728,12014],{"mathvariant":771},[1038,31730,31731,31733],{},[769,31732,6060],{},[769,31734,6183],{},[699,31736,3325],{},[1038,31738,31739,31745],{},[6416,31740,31741,31743],{"accent":713},[769,31742,6060],{},[699,31744,6422],{},[769,31746,6183],{},[769,31748,12014],{"mathvariant":771},[769,31750,26],{"mathvariant":771},[705,31752,31753],{"encoding":707},"\\mathrm{MAE} = \\frac{1}{n} \\sum_{i=1}^{n} |y_i - \\hat{y}_i|.",[148,31755,31757,31779,31974],{"className":31756,"ariaHidden":713},[712],[148,31758,31760,31763,31770,31773,31776],{"className":31759},[717],[148,31761],{"className":31762,"style":1344},[721],[148,31764,31766],{"className":31765},[726],[148,31767,31769],{"className":31768},[726,24990],"MAE",[148,31771],{"className":31772,"style":815},[730],[148,31774,777],{"className":31775},[819],[148,31777],{"className":31778,"style":815},[730],[148,31780,31782,31785,31853,31856,31919,31922,31925,31965,31968,31971],{"className":31781},[717],[148,31783],{"className":31784,"style":7544},[721],[148,31786,31788,31791,31850],{"className":31787},[726],[148,31789],{"className":31790},[1242,3347],[148,31792,31794],{"className":31793},[3315],[148,31795,31797,31842],{"className":31796},[981,1071],[148,31798,31800,31839],{"className":31799},[985],[148,31801,31803,31817,31825],{"className":31802,"style":7563},[989],[148,31804,31805,31808],{"style":3363},[148,31806],{"className":31807,"style":3367},[996],[148,31809,31811],{"className":31810},[1001,1002,1003,1004],[148,31812,31814],{"className":31813},[726,1004],[148,31815,1566],{"className":31816},[726,1064,1004],[148,31818,31819,31822],{"style":3385},[148,31820],{"className":31821,"style":3367},[996],[148,31823],{"className":31824,"style":3393},[3392],[148,31826,31827,31830],{"style":3396},[148,31828],{"className":31829,"style":3367},[996],[148,31831,31833],{"className":31832},[1001,1002,1003,1004],[148,31834,31836],{"className":31835},[726,1004],[148,31837,150],{"className":31838},[726,1004],[148,31840,1095],{"className":31841},[1094],[148,31843,31845],{"className":31844},[985],[148,31846,31848],{"className":31847,"style":7609},[989],[148,31849],{},[148,31851],{"className":31852},[807,3347],[148,31854],{"className":31855,"style":835},[730],[148,31857,31859,31862],{"className":31858},[7621],[148,31860,7436],{"className":31861,"style":7627},[7621,7625,7626],[148,31863,31865],{"className":31864},[977],[148,31866,31868,31911],{"className":31867},[981,1071],[148,31869,31871,31908],{"className":31870},[985],[148,31872,31874,31894],{"className":31873,"style":7640},[989],[148,31875,31876,31879],{"style":7643},[148,31877],{"className":31878,"style":997},[996],[148,31880,31882],{"className":31881},[1001,1002,1003,1004],[148,31883,31885,31888,31891],{"className":31884},[726,1004],[148,31886,6183],{"className":31887},[726,1064,1004],[148,31889,777],{"className":31890},[819,1004],[148,31892,150],{"className":31893},[726,1004],[148,31895,31896,31899],{"style":7664},[148,31897],{"className":31898,"style":997},[996],[148,31900,31902],{"className":31901},[1001,1002,1003,1004],[148,31903,31905],{"className":31904},[726,1004],[148,31906,1566],{"className":31907},[726,1064,1004],[148,31909,1095],{"className":31910},[1094],[148,31912,31914],{"className":31913},[985],[148,31915,31917],{"className":31916,"style":7686},[989],[148,31918],{},[148,31920],{"className":31921,"style":835},[730],[148,31923,12014],{"className":31924},[726],[148,31926,31928,31931],{"className":31927},[726],[148,31929,6060],{"className":31930,"style":4185},[726,1064],[148,31932,31934],{"className":31933},[977],[148,31935,31937,31957],{"className":31936},[981,1071],[148,31938,31940,31954],{"className":31939},[985],[148,31941,31943],{"className":31942,"style":6263},[989],[148,31944,31945,31948],{"style":6312},[148,31946],{"className":31947,"style":997},[996],[148,31949,31951],{"className":31950},[1001,1002,1003,1004],[148,31952,6183],{"className":31953},[726,1064,1004],[148,31955,1095],{"className":31956},[1094],[148,31958,31960],{"className":31959},[985],[148,31961,31963],{"className":31962,"style":1102},[989],[148,31964],{},[148,31966],{"className":31967,"style":731},[730],[148,31969,3325],{"className":31970},[735],[148,31972],{"className":31973,"style":731},[730],[148,31975,31977,31980,32059],{"className":31976},[717],[148,31978],{"className":31979,"style":800},[721],[148,31981,31983,32025],{"className":31982},[726],[148,31984,31986],{"className":31985},[726,6449],[148,31987,31989,32017],{"className":31988},[981,1071],[148,31990,31992,32014],{"className":31991},[985],[148,31993,31995,32003],{"className":31994,"style":2415},[989],[148,31996,31997,32000],{"style":6462},[148,31998],{"className":31999,"style":3367},[996],[148,32001,6060],{"className":32002,"style":4185},[726,1064],[148,32004,32005,32008],{"style":6462},[148,32006],{"className":32007,"style":3367},[996],[148,32009,32011],{"className":32010,"style":13404},[6478],[148,32012,6422],{"className":32013},[726],[148,32015,1095],{"className":32016},[1094],[148,32018,32020],{"className":32019},[985],[148,32021,32023],{"className":32022,"style":6492},[989],[148,32024],{},[148,32026,32028],{"className":32027},[977],[148,32029,32031,32051],{"className":32030},[981,1071],[148,32032,32034,32048],{"className":32033},[985],[148,32035,32037],{"className":32036,"style":6263},[989],[148,32038,32039,32042],{"style":6312},[148,32040],{"className":32041,"style":997},[996],[148,32043,32045],{"className":32044},[1001,1002,1003,1004],[148,32046,6183],{"className":32047},[726,1064,1004],[148,32049,1095],{"className":32050},[1094],[148,32052,32054],{"className":32053},[985],[148,32055,32057],{"className":32056,"style":1102},[989],[148,32058],{},[148,32060,32062],{"className":32061},[726],"∣.","\nКлючевое отличие от MSE и RMSE — степенная зависимость от величины ошибки. MSE «тянет» сильно за большие отклонения: ошибка в 10 единиц вносит вклад 100, ошибка в 100 — вклад 10 000. MAE наказывает все ошибки линейно. Из этого вытекает разная чувствительность к выбросам: одна аномальная точка с большой ошибкой может удвоить MSE, но MAE сдвинет несущественно. В практических терминах — если задача такова, что крупные ошибки катастрофичны (промышленный сенсор, авионика), MSE\u002FRMSE предпочтительнее, потому что метрика «вознаграждает» модель за устранение хвостовых отклонений. Если задача такова, что в данных есть выбросы, не отражающие типичное поведение, и нас интересует медианное качество — выигрывает MAE.",[85,32065,32066,32067,32245,32246,32444],{},"Глубже эта же разница проявляется в том, какую центральную тенденцию минимизирует каждая метрика: MSE — среднее, MAE — медиану. Это не идиоматическое замечание, а строгий факт: ",[148,32068,32070,32124],{"className":32069},[680],[148,32071,32073],{"className":32072},[684],[686,32074,32075],{"xmlns":688},[690,32076,32077,32121],{},[693,32078,32079,32081,32083,32093,32095,32097,32099,32101,32103,32105,32107,32115,32117,32119],{},[769,32080,16420],{},[699,32082,13929],{},[1038,32084,32085,32091],{},[693,32086,32087,32089],{},[769,32088,25518],{},[699,32090,13929],{},[769,32092,4801],{},[769,32094,5777],{"mathvariant":6847},[769,32096,12014],{"mathvariant":771},[769,32098,6060],{},[699,32100,3325],{},[769,32102,4801],{},[769,32104,12014],{"mathvariant":771},[699,32106,777],{},[693,32108,32109,32111,32113],{},[769,32110,2525],{"mathvariant":771},[769,32112,12814],{"mathvariant":771},[769,32114,2437],{"mathvariant":771},[699,32116,2748],{"stretchy":766},[769,32118,6060],{},[699,32120,2757],{"stretchy":766},[705,32122,32123],{"encoding":707},"\\arg\\min_c \\mathbb{E}|y - c| = \\mathrm{med}(y)",[148,32125,32127,32202,32223],{"className":32126,"ariaHidden":713},[712],[148,32128,32130,32133,32138,32141,32181,32184,32187,32190,32193,32196,32199],{"className":32129},[717],[148,32131],{"className":32132,"style":800},[721],[148,32134,16578,32136],{"className":32135},[7621],[148,32137,4123],{"style":14229},[148,32139],{"className":32140,"style":835},[730],[148,32142,32144,32147],{"className":32143},[7621],[148,32145,25518],{"className":32146},[7621],[148,32148,32150],{"className":32149},[977],[148,32151,32153,32173],{"className":32152},[981,1071],[148,32154,32156,32170],{"className":32155},[985],[148,32157,32159],{"className":32158,"style":1703},[989],[148,32160,32161,32164],{"style":16604},[148,32162],{"className":32163,"style":997},[996],[148,32165,32167],{"className":32166},[1001,1002,1003,1004],[148,32168,4801],{"className":32169},[726,1064,1004],[148,32171,1095],{"className":32172},[1094],[148,32174,32176],{"className":32175},[985],[148,32177,32179],{"className":32178,"style":1102},[989],[148,32180],{},[148,32182],{"className":32183,"style":835},[730],[148,32185,5777],{"className":32186},[726,7309],[148,32188,12014],{"className":32189},[726],[148,32191,6060],{"className":32192,"style":4185},[726,1064],[148,32194],{"className":32195,"style":731},[730],[148,32197,3325],{"className":32198},[735],[148,32200],{"className":32201,"style":731},[730],[148,32203,32205,32208,32211,32214,32217,32220],{"className":32204},[717],[148,32206],{"className":32207,"style":800},[721],[148,32209,4801],{"className":32210},[726,1064],[148,32212,12014],{"className":32213},[726],[148,32215],{"className":32216,"style":815},[730],[148,32218,777],{"className":32219},[819],[148,32221],{"className":32222,"style":815},[730],[148,32224,32226,32229,32236,32239,32242],{"className":32225},[717],[148,32227],{"className":32228,"style":800},[721],[148,32230,32232],{"className":32231},[726],[148,32233,32235],{"className":32234},[726,24990],"med",[148,32237,2748],{"className":32238},[1242],[148,32240,6060],{"className":32241,"style":4185},[726,1064],[148,32243,2757],{"className":32244},[807],", тогда как ",[148,32247,32249,32301],{"className":32248},[680],[148,32250,32252],{"className":32251},[684],[686,32253,32254],{"xmlns":688},[690,32255,32256,32298],{},[693,32257,32258,32260,32262,32272,32274,32276,32278,32280,32282,32288,32290,32292,32294,32296],{},[769,32259,16420],{},[699,32261,13929],{},[1038,32263,32264,32270],{},[693,32265,32266,32268],{},[769,32267,25518],{},[699,32269,13929],{},[769,32271,4801],{},[769,32273,5777],{"mathvariant":6847},[699,32275,2748],{"stretchy":766},[769,32277,6060],{},[699,32279,3325],{},[769,32281,4801],{},[921,32283,32284,32286],{},[699,32285,2757],{"stretchy":766},[696,32287,163],{},[699,32289,777],{},[769,32291,5777],{"mathvariant":6847},[699,32293,6850],{"stretchy":766},[769,32295,6060],{},[699,32297,6870],{"stretchy":766},[705,32299,32300],{"encoding":707},"\\arg\\min_c \\mathbb{E}(y - c)^2 = \\mathbb{E}[y]",[148,32302,32304,32379,32426],{"className":32303,"ariaHidden":713},[712],[148,32305,32307,32310,32315,32318,32358,32361,32364,32367,32370,32373,32376],{"className":32306},[717],[148,32308],{"className":32309,"style":800},[721],[148,32311,16578,32313],{"className":32312},[7621],[148,32314,4123],{"style":14229},[148,32316],{"className":32317,"style":835},[730],[148,32319,32321,32324],{"className":32320},[7621],[148,32322,25518],{"className":32323},[7621],[148,32325,32327],{"className":32326},[977],[148,32328,32330,32350],{"className":32329},[981,1071],[148,32331,32333,32347],{"className":32332},[985],[148,32334,32336],{"className":32335,"style":1703},[989],[148,32337,32338,32341],{"style":16604},[148,32339],{"className":32340,"style":997},[996],[148,32342,32344],{"className":32343},[1001,1002,1003,1004],[148,32345,4801],{"className":32346},[726,1064,1004],[148,32348,1095],{"className":32349},[1094],[148,32351,32353],{"className":32352},[985],[148,32354,32356],{"className":32355,"style":1102},[989],[148,32357],{},[148,32359],{"className":32360,"style":835},[730],[148,32362,5777],{"className":32363},[726,7309],[148,32365,2748],{"className":32366},[1242],[148,32368,6060],{"className":32369,"style":4185},[726,1064],[148,32371],{"className":32372,"style":731},[730],[148,32374,3325],{"className":32375},[735],[148,32377],{"className":32378,"style":731},[730],[148,32380,32382,32385,32388,32417,32420,32423],{"className":32381},[717],[148,32383],{"className":32384,"style":14662},[721],[148,32386,4801],{"className":32387},[726,1064],[148,32389,32391,32394],{"className":32390},[807],[148,32392,2757],{"className":32393},[807],[148,32395,32397],{"className":32396},[977],[148,32398,32400],{"className":32399},[981],[148,32401,32403],{"className":32402},[985],[148,32404,32406],{"className":32405,"style":963},[989],[148,32407,32408,32411],{"style":992},[148,32409],{"className":32410,"style":997},[996],[148,32412,32414],{"className":32413},[1001,1002,1003,1004],[148,32415,163],{"className":32416},[726,1004],[148,32418],{"className":32419,"style":815},[730],[148,32421,777],{"className":32422},[819],[148,32424],{"className":32425,"style":815},[730],[148,32427,32429,32432,32435,32438,32441],{"className":32428},[717],[148,32430],{"className":32431,"style":800},[721],[148,32433,5777],{"className":32434},[726,7309],[148,32436,6850],{"className":32437},[1242],[148,32439,6060],{"className":32440,"style":4185},[726,1064],[148,32442,6870],{"className":32443},[807],". Модель, обученная минимизацией MAE, систематически смещена к медианному предсказанию; модель, обученная минимизацией MSE, — к среднему.",[362,32446,364,32447,364,32451],{},[366,32448],{"src":32449,"alt":32450},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fmse_mae_r2.svg","Сравнение MSE и MAE: вклад выброса в каждую метрику",[370,32452,32453],{},"Влияние выброса на метрики качества: квадратичный штраф непропорционально усиливает вклад аномальной точки в MSE, тогда как MAE остаётся устойчивой",[85,32455,32456,191,32459,297,32518,32521,32522,33180,33181,33254,33255,33336,33337,33418,33419,33490,33491,33549,33550,33608],{},[294,32457,32458],{},"Коэффициент детерминации",[148,32460,32462,32480],{"className":32461},[680],[148,32463,32465],{"className":32464},[684],[686,32466,32467],{"xmlns":688},[690,32468,32469,32477],{},[693,32470,32471],{},[921,32472,32473,32475],{},[769,32474,7214],{},[696,32476,163],{},[705,32478,32479],{"encoding":707},"R^2",[148,32481,32483],{"className":32482,"ariaHidden":713},[712],[148,32484,32486,32489],{"className":32485},[717],[148,32487],{"className":32488,"style":963},[721],[148,32490,32492,32495],{"className":32491},[726],[148,32493,7214],{"className":32494,"style":7277},[726,1064],[148,32496,32498],{"className":32497},[977],[148,32499,32501],{"className":32500},[981],[148,32502,32504],{"className":32503},[985],[148,32505,32507],{"className":32506,"style":963},[989],[148,32508,32509,32512],{"style":992},[148,32510],{"className":32511,"style":997},[996],[148,32513,32515],{"className":32514},[1001,1002,1003,1004],[148,32516,163],{"className":32517},[726,1004],[92,32519,32520],{},"coefficient of determination",") измеряет долю дисперсии целевой переменной, которую объясняет модель:\n",[148,32523,32525,32634],{"className":32524},[680],[148,32526,32528],{"className":32527},[684],[686,32529,32530],{"xmlns":688},[690,32531,32532,32631],{},[693,32533,32534,32540,32542,32544,32546,32629],{},[921,32535,32536,32538],{},[769,32537,7214],{},[696,32539,163],{},[699,32541,777],{},[696,32543,150],{},[699,32545,3325],{},[3315,32547,32548,32590],{},[693,32549,32550,32564,32566,32572,32574,32584],{},[6195,32551,32552,32554,32562],{},[699,32553,7436],{},[693,32555,32556,32558,32560],{},[769,32557,6183],{},[699,32559,777],{},[696,32561,150],{},[769,32563,1566],{},[699,32565,2748],{"stretchy":766},[1038,32567,32568,32570],{},[769,32569,6060],{},[769,32571,6183],{},[699,32573,3325],{},[1038,32575,32576,32582],{},[6416,32577,32578,32580],{"accent":713},[769,32579,6060],{},[699,32581,6422],{},[769,32583,6183],{},[921,32585,32586,32588],{},[699,32587,2757],{"stretchy":766},[696,32589,163],{},[693,32591,32592,32606,32608,32614,32616,32623],{},[6195,32593,32594,32596,32604],{},[699,32595,7436],{},[693,32597,32598,32600,32602],{},[769,32599,6183],{},[699,32601,777],{},[696,32603,150],{},[769,32605,1566],{},[699,32607,2748],{"stretchy":766},[1038,32609,32610,32612],{},[769,32611,6060],{},[769,32613,6183],{},[699,32615,3325],{},[6416,32617,32618,32620],{"accent":713},[769,32619,6060],{},[699,32621,32622],{},"ˉ",[921,32624,32625,32627],{},[699,32626,2757],{"stretchy":766},[696,32628,163],{},[769,32630,26],{"mathvariant":771},[705,32632,32633],{"encoding":707},"R^2 = 1 - \\frac{\\sum_{i=1}^{n} (y_i - \\hat{y}_i)^2}{\\sum_{i=1}^{n} (y_i - \\bar{y})^2}.",[148,32635,32637,32681,32699],{"className":32636,"ariaHidden":713},[712],[148,32638,32640,32643,32672,32675,32678],{"className":32639},[717],[148,32641],{"className":32642,"style":963},[721],[148,32644,32646,32649],{"className":32645},[726],[148,32647,7214],{"className":32648,"style":7277},[726,1064],[148,32650,32652],{"className":32651},[977],[148,32653,32655],{"className":32654},[981],[148,32656,32658],{"className":32657},[985],[148,32659,32661],{"className":32660,"style":963},[989],[148,32662,32663,32666],{"style":992},[148,32664],{"className":32665,"style":997},[996],[148,32667,32669],{"className":32668},[1001,1002,1003,1004],[148,32670,163],{"className":32671},[726,1004],[148,32673],{"className":32674,"style":815},[730],[148,32676,777],{"className":32677},[819],[148,32679],{"className":32680,"style":815},[730],[148,32682,32684,32687,32690,32693,32696],{"className":32683},[717],[148,32685],{"className":32686,"style":722},[721],[148,32688,150],{"className":32689},[726],[148,32691],{"className":32692,"style":731},[730],[148,32694,3325],{"className":32695},[735],[148,32697],{"className":32698,"style":731},[730],[148,32700,32702,32706,33177],{"className":32701},[717],[148,32703],{"className":32704,"style":32705},[721],"height:1.7289em;vertical-align:-0.57em;",[148,32707,32709,32712,33174],{"className":32708},[726],[148,32710],{"className":32711},[1242,3347],[148,32713,32715],{"className":32714},[3315],[148,32716,32718,33165],{"className":32717},[981,1071],[148,32719,32721,33162],{"className":32720},[985],[148,32722,32725,32922,32930],{"className":32723,"style":32724},[989],"height:1.1589em;",[148,32726,32727,32730],{"style":3363},[148,32728],{"className":32729,"style":3367},[996],[148,32731,32733],{"className":32732},[1001,1002,1003,1004],[148,32734,32736,32803,32806,32846,32849,32893],{"className":32735},[726,1004],[148,32737,32739,32742],{"className":32738},[7621,1004],[148,32740,7436],{"className":32741,"style":7627},[7621,7625,7626,1004],[148,32743,32745],{"className":32744},[977],[148,32746,32748,32794],{"className":32747},[981,1071],[148,32749,32751,32791],{"className":32750},[985],[148,32752,32755,32776],{"className":32753,"style":32754},[989],"height:0.7047em;",[148,32756,32758,32761],{"style":32757},"top:-2.1786em;margin-left:0em;margin-right:0.0714em;",[148,32759],{"className":32760,"style":9145},[996],[148,32762,32764],{"className":32763},[1001,9149,9150,1004],[148,32765,32767,32770,32773],{"className":32766},[726,1004],[148,32768,6183],{"className":32769},[726,1064,1004],[148,32771,777],{"className":32772},[819,1004],[148,32774,150],{"className":32775},[726,1004],[148,32777,32779,32782],{"style":32778},"top:-2.8971em;margin-right:0.0714em;",[148,32780],{"className":32781,"style":9145},[996],[148,32783,32785],{"className":32784},[1001,9149,9150,1004],[148,32786,32788],{"className":32787},[726,1004],[148,32789,1566],{"className":32790},[726,1064,1004],[148,32792,1095],{"className":32793},[1094],[148,32795,32797],{"className":32796},[985],[148,32798,32801],{"className":32799,"style":32800},[989],"height:0.3214em;",[148,32802],{},[148,32804,2748],{"className":32805},[1242,1004],[148,32807,32809,32812],{"className":32808},[726,1004],[148,32810,6060],{"className":32811,"style":4185},[726,1064,1004],[148,32813,32815],{"className":32814},[977],[148,32816,32818,32838],{"className":32817},[981,1071],[148,32819,32821,32835],{"className":32820},[985],[148,32822,32824],{"className":32823,"style":16689},[989],[148,32825,32826,32829],{"style":16737},[148,32827],{"className":32828,"style":9145},[996],[148,32830,32832],{"className":32831},[1001,9149,9150,1004],[148,32833,6183],{"className":32834},[726,1064,1004],[148,32836,1095],{"className":32837},[1094],[148,32839,32841],{"className":32840},[985],[148,32842,32844],{"className":32843,"style":16711},[989],[148,32845],{},[148,32847,3325],{"className":32848},[735,1004],[148,32850,32852],{"className":32851},[726,6449,1004],[148,32853,32855,32885],{"className":32854},[981,1071],[148,32856,32858,32882],{"className":32857},[985],[148,32859,32862,32871],{"className":32860,"style":32861},[989],"height:0.5678em;",[148,32863,32865,32868],{"style":32864},"top:-2.7em;",[148,32866],{"className":32867,"style":997},[996],[148,32869,6060],{"className":32870,"style":4185},[726,1064,1004],[148,32872,32873,32876],{"style":32864},[148,32874],{"className":32875,"style":997},[996],[148,32877,32879],{"className":32878,"style":13404},[6478],[148,32880,32622],{"className":32881},[726,1004],[148,32883,1095],{"className":32884},[1094],[148,32886,32888],{"className":32887},[985],[148,32889,32891],{"className":32890,"style":6492},[989],[148,32892],{},[148,32894,32896,32899],{"className":32895},[807,1004],[148,32897,2757],{"className":32898},[807,1004],[148,32900,32902],{"className":32901},[977],[148,32903,32905],{"className":32904},[981],[148,32906,32908],{"className":32907},[985],[148,32909,32911],{"className":32910,"style":9138},[989],[148,32912,32913,32916],{"style":9141},[148,32914],{"className":32915,"style":9145},[996],[148,32917,32919],{"className":32918},[1001,9149,9150,1004],[148,32920,163],{"className":32921},[726,1004],[148,32923,32924,32927],{"style":3385},[148,32925],{"className":32926,"style":3367},[996],[148,32928],{"className":32929,"style":3393},[3392],[148,32931,32933,32936],{"style":32932},"top:-3.535em;",[148,32934],{"className":32935,"style":3367},[996],[148,32937,32939],{"className":32938},[1001,1002,1003,1004],[148,32940,32942,33007,33010,33050,33053,33132],{"className":32941},[726,1004],[148,32943,32945,32948],{"className":32944},[7621,1004],[148,32946,7436],{"className":32947,"style":7627},[7621,7625,7626,1004],[148,32949,32951],{"className":32950},[977],[148,32952,32954,32999],{"className":32953},[981,1071],[148,32955,32957,32996],{"className":32956},[985],[148,32958,32961,32981],{"className":32959,"style":32960},[989],"height:0.7385em;",[148,32962,32963,32966],{"style":32757},[148,32964],{"className":32965,"style":9145},[996],[148,32967,32969],{"className":32968},[1001,9149,9150,1004],[148,32970,32972,32975,32978],{"className":32971},[726,1004],[148,32973,6183],{"className":32974},[726,1064,1004],[148,32976,777],{"className":32977},[819,1004],[148,32979,150],{"className":32980},[726,1004],[148,32982,32984,32987],{"style":32983},"top:-2.931em;margin-right:0.0714em;",[148,32985],{"className":32986,"style":9145},[996],[148,32988,32990],{"className":32989},[1001,9149,9150,1004],[148,32991,32993],{"className":32992},[726,1004],[148,32994,1566],{"className":32995},[726,1064,1004],[148,32997,1095],{"className":32998},[1094],[148,33000,33002],{"className":33001},[985],[148,33003,33005],{"className":33004,"style":32800},[989],[148,33006],{},[148,33008,2748],{"className":33009},[1242,1004],[148,33011,33013,33016],{"className":33012},[726,1004],[148,33014,6060],{"className":33015,"style":4185},[726,1064,1004],[148,33017,33019],{"className":33018},[977],[148,33020,33022,33042],{"className":33021},[981,1071],[148,33023,33025,33039],{"className":33024},[985],[148,33026,33028],{"className":33027,"style":16689},[989],[148,33029,33030,33033],{"style":16737},[148,33031],{"className":33032,"style":9145},[996],[148,33034,33036],{"className":33035},[1001,9149,9150,1004],[148,33037,6183],{"className":33038},[726,1064,1004],[148,33040,1095],{"className":33041},[1094],[148,33043,33045],{"className":33044},[985],[148,33046,33048],{"className":33047,"style":16711},[989],[148,33049],{},[148,33051,3325],{"className":33052},[735,1004],[148,33054,33056,33098],{"className":33055},[726,1004],[148,33057,33059],{"className":33058},[726,6449,1004],[148,33060,33062,33090],{"className":33061},[981,1071],[148,33063,33065,33087],{"className":33064},[985],[148,33066,33068,33076],{"className":33067,"style":2415},[989],[148,33069,33070,33073],{"style":32864},[148,33071],{"className":33072,"style":997},[996],[148,33074,6060],{"className":33075,"style":4185},[726,1064,1004],[148,33077,33078,33081],{"style":32864},[148,33079],{"className":33080,"style":997},[996],[148,33082,33084],{"className":33083,"style":13404},[6478],[148,33085,6422],{"className":33086},[726,1004],[148,33088,1095],{"className":33089},[1094],[148,33091,33093],{"className":33092},[985],[148,33094,33096],{"className":33095,"style":6492},[989],[148,33097],{},[148,33099,33101],{"className":33100},[977],[148,33102,33104,33124],{"className":33103},[981,1071],[148,33105,33107,33121],{"className":33106},[985],[148,33108,33110],{"className":33109,"style":16689},[989],[148,33111,33112,33115],{"style":16737},[148,33113],{"className":33114,"style":9145},[996],[148,33116,33118],{"className":33117},[1001,9149,9150,1004],[148,33119,6183],{"className":33120},[726,1064,1004],[148,33122,1095],{"className":33123},[1094],[148,33125,33127],{"className":33126},[985],[148,33128,33130],{"className":33129,"style":16711},[989],[148,33131],{},[148,33133,33135,33138],{"className":33134},[807,1004],[148,33136,2757],{"className":33137},[807,1004],[148,33139,33141],{"className":33140},[977],[148,33142,33144],{"className":33143},[981],[148,33145,33147],{"className":33146},[985],[148,33148,33151],{"className":33149,"style":33150},[989],"height:0.8913em;",[148,33152,33153,33156],{"style":32983},[148,33154],{"className":33155,"style":9145},[996],[148,33157,33159],{"className":33158},[1001,9149,9150,1004],[148,33160,163],{"className":33161},[726,1004],[148,33163,1095],{"className":33164},[1094],[148,33166,33168],{"className":33167},[985],[148,33169,33172],{"className":33170,"style":33171},[989],"height:0.57em;",[148,33173],{},[148,33175],{"className":33176},[807,3347],[148,33178,26],{"className":33179},[726],"\nВ числителе — RSS модели, в знаменателе — RSS тривиального предсказателя (среднее ",[148,33182,33184,33202],{"className":33183},[680],[148,33185,33187],{"className":33186},[684],[686,33188,33189],{"xmlns":688},[690,33190,33191,33199],{},[693,33192,33193],{},[6416,33194,33195,33197],{"accent":713},[769,33196,6060],{},[699,33198,32622],{},[705,33200,33201],{"encoding":707},"\\bar{y}",[148,33203,33205],{"className":33204,"ariaHidden":713},[712],[148,33206,33208,33212],{"className":33207},[717],[148,33209],{"className":33210,"style":33211},[721],"height:0.7622em;vertical-align:-0.1944em;",[148,33213,33215],{"className":33214},[726,6449],[148,33216,33218,33246],{"className":33217},[981,1071],[148,33219,33221,33243],{"className":33220},[985],[148,33222,33224,33232],{"className":33223,"style":32861},[989],[148,33225,33226,33229],{"style":6462},[148,33227],{"className":33228,"style":3367},[996],[148,33230,6060],{"className":33231,"style":4185},[726,1064],[148,33233,33234,33237],{"style":6462},[148,33235],{"className":33236,"style":3367},[996],[148,33238,33240],{"className":33239,"style":13404},[6478],[148,33241,32622],{"className":33242},[726],[148,33244,1095],{"className":33245},[1094],[148,33247,33249],{"className":33248},[985],[148,33250,33252],{"className":33251,"style":6492},[989],[148,33253],{},"). ",[148,33256,33258,33280],{"className":33257},[680],[148,33259,33261],{"className":33260},[684],[686,33262,33263],{"xmlns":688},[690,33264,33265,33277],{},[693,33266,33267,33273,33275],{},[921,33268,33269,33271],{},[769,33270,7214],{},[696,33272,163],{},[699,33274,777],{},[696,33276,150],{},[705,33278,33279],{"encoding":707},"R^2 = 1",[148,33281,33283,33327],{"className":33282,"ariaHidden":713},[712],[148,33284,33286,33289,33318,33321,33324],{"className":33285},[717],[148,33287],{"className":33288,"style":963},[721],[148,33290,33292,33295],{"className":33291},[726],[148,33293,7214],{"className":33294,"style":7277},[726,1064],[148,33296,33298],{"className":33297},[977],[148,33299,33301],{"className":33300},[981],[148,33302,33304],{"className":33303},[985],[148,33305,33307],{"className":33306,"style":963},[989],[148,33308,33309,33312],{"style":992},[148,33310],{"className":33311,"style":997},[996],[148,33313,33315],{"className":33314},[1001,1002,1003,1004],[148,33316,163],{"className":33317},[726,1004],[148,33319],{"className":33320,"style":815},[730],[148,33322,777],{"className":33323},[819],[148,33325],{"className":33326,"style":815},[730],[148,33328,33330,33333],{"className":33329},[717],[148,33331],{"className":33332,"style":745},[721],[148,33334,150],{"className":33335},[726]," означает идеальное предсказание; ",[148,33338,33340,33362],{"className":33339},[680],[148,33341,33343],{"className":33342},[684],[686,33344,33345],{"xmlns":688},[690,33346,33347,33359],{},[693,33348,33349,33355,33357],{},[921,33350,33351,33353],{},[769,33352,7214],{},[696,33354,163],{},[699,33356,777],{},[696,33358,973],{},[705,33360,33361],{"encoding":707},"R^2 = 0",[148,33363,33365,33409],{"className":33364,"ariaHidden":713},[712],[148,33366,33368,33371,33400,33403,33406],{"className":33367},[717],[148,33369],{"className":33370,"style":963},[721],[148,33372,33374,33377],{"className":33373},[726],[148,33375,7214],{"className":33376,"style":7277},[726,1064],[148,33378,33380],{"className":33379},[977],[148,33381,33383],{"className":33382},[981],[148,33384,33386],{"className":33385},[985],[148,33387,33389],{"className":33388,"style":963},[989],[148,33390,33391,33394],{"style":992},[148,33392],{"className":33393,"style":997},[996],[148,33395,33397],{"className":33396},[1001,1002,1003,1004],[148,33398,163],{"className":33399},[726,1004],[148,33401],{"className":33402,"style":815},[730],[148,33404,777],{"className":33405},[819],[148,33407],{"className":33408,"style":815},[730],[148,33410,33412,33415],{"className":33411},[717],[148,33413],{"className":33414,"style":745},[721],[148,33416,973],{"className":33417},[726]," — модель работает не лучше предсказания константой ",[148,33420,33422,33439],{"className":33421},[680],[148,33423,33425],{"className":33424},[684],[686,33426,33427],{"xmlns":688},[690,33428,33429,33437],{},[693,33430,33431],{},[6416,33432,33433,33435],{"accent":713},[769,33434,6060],{},[699,33436,32622],{},[705,33438,33201],{"encoding":707},[148,33440,33442],{"className":33441,"ariaHidden":713},[712],[148,33443,33445,33448],{"className":33444},[717],[148,33446],{"className":33447,"style":33211},[721],[148,33449,33451],{"className":33450},[726,6449],[148,33452,33454,33482],{"className":33453},[981,1071],[148,33455,33457,33479],{"className":33456},[985],[148,33458,33460,33468],{"className":33459,"style":32861},[989],[148,33461,33462,33465],{"style":6462},[148,33463],{"className":33464,"style":3367},[996],[148,33466,6060],{"className":33467,"style":4185},[726,1064],[148,33469,33470,33473],{"style":6462},[148,33471],{"className":33472,"style":3367},[996],[148,33474,33476],{"className":33475,"style":13404},[6478],[148,33477,32622],{"className":33478},[726],[148,33480,1095],{"className":33481},[1094],[148,33483,33485],{"className":33484},[985],[148,33486,33488],{"className":33487,"style":6492},[989],[148,33489],{},". На тестовой выборке ",[148,33492,33494,33511],{"className":33493},[680],[148,33495,33497],{"className":33496},[684],[686,33498,33499],{"xmlns":688},[690,33500,33501,33509],{},[693,33502,33503],{},[921,33504,33505,33507],{},[769,33506,7214],{},[696,33508,163],{},[705,33510,32479],{"encoding":707},[148,33512,33514],{"className":33513,"ariaHidden":713},[712],[148,33515,33517,33520],{"className":33516},[717],[148,33518],{"className":33519,"style":963},[721],[148,33521,33523,33526],{"className":33522},[726],[148,33524,7214],{"className":33525,"style":7277},[726,1064],[148,33527,33529],{"className":33528},[977],[148,33530,33532],{"className":33531},[981],[148,33533,33535],{"className":33534},[985],[148,33536,33538],{"className":33537,"style":963},[989],[148,33539,33540,33543],{"style":992},[148,33541],{"className":33542,"style":997},[996],[148,33544,33546],{"className":33545},[1001,1002,1003,1004],[148,33547,163],{"className":33548},[726,1004]," может быть и отрицательным: тогда модель хуже тривиального baseline. Этот факт регулярно удивляет — в учебниках ",[148,33551,33553,33570],{"className":33552},[680],[148,33554,33556],{"className":33555},[684],[686,33557,33558],{"xmlns":688},[690,33559,33560,33568],{},[693,33561,33562],{},[921,33563,33564,33566],{},[769,33565,7214],{},[696,33567,163],{},[705,33569,32479],{"encoding":707},[148,33571,33573],{"className":33572,"ariaHidden":713},[712],[148,33574,33576,33579],{"className":33575},[717],[148,33577],{"className":33578,"style":963},[721],[148,33580,33582,33585],{"className":33581},[726],[148,33583,7214],{"className":33584,"style":7277},[726,1064],[148,33586,33588],{"className":33587},[977],[148,33589,33591],{"className":33590},[981],[148,33592,33594],{"className":33593},[985],[148,33595,33597],{"className":33596,"style":963},[989],[148,33598,33599,33602],{"style":992},[148,33600],{"className":33601,"style":997},[996],[148,33603,33605],{"className":33604},[1001,1002,1003,1004],[148,33606,163],{"className":33607},[726,1004]," часто описывают как «всегда от 0 до 1», что справедливо лишь для обучающей выборки в OLS. На тестовых данных или для нелинейных моделей нижней границы нет.",[85,33610,33611,33612,33670,33671,33699,33700,33758],{},"Преимущество ",[148,33613,33615,33632],{"className":33614},[680],[148,33616,33618],{"className":33617},[684],[686,33619,33620],{"xmlns":688},[690,33621,33622,33630],{},[693,33623,33624],{},[921,33625,33626,33628],{},[769,33627,7214],{},[696,33629,163],{},[705,33631,32479],{"encoding":707},[148,33633,33635],{"className":33634,"ariaHidden":713},[712],[148,33636,33638,33641],{"className":33637},[717],[148,33639],{"className":33640,"style":963},[721],[148,33642,33644,33647],{"className":33643},[726],[148,33645,7214],{"className":33646,"style":7277},[726,1064],[148,33648,33650],{"className":33649},[977],[148,33651,33653],{"className":33652},[981],[148,33654,33656],{"className":33655},[985],[148,33657,33659],{"className":33658,"style":963},[989],[148,33660,33661,33664],{"style":992},[148,33662],{"className":33663,"style":997},[996],[148,33665,33667],{"className":33666},[1001,1002,1003,1004],[148,33668,163],{"className":33669},[726,1004]," — безразмерность и интерпретируемость в долях. «Модель объясняет 87% дисперсии» — формулировка, доступная неспециалисту. Недостаток — зависимость от дисперсии целевой переменной: при малой дисперсии ",[148,33672,33674,33687],{"className":33673},[680],[148,33675,33677],{"className":33676},[684],[686,33678,33679],{"xmlns":688},[690,33680,33681,33685],{},[693,33682,33683],{},[769,33684,6060],{},[705,33686,6060],{"encoding":707},[148,33688,33690],{"className":33689,"ariaHidden":713},[712],[148,33691,33693,33696],{"className":33692},[717],[148,33694],{"className":33695,"style":1579},[721],[148,33697,6060],{"className":33698,"style":4185},[726,1064]," даже хорошая в абсолютных единицах модель даст низкий ",[148,33701,33703,33720],{"className":33702},[680],[148,33704,33706],{"className":33705},[684],[686,33707,33708],{"xmlns":688},[690,33709,33710,33718],{},[693,33711,33712],{},[921,33713,33714,33716],{},[769,33715,7214],{},[696,33717,163],{},[705,33719,32479],{"encoding":707},[148,33721,33723],{"className":33722,"ariaHidden":713},[712],[148,33724,33726,33729],{"className":33725},[717],[148,33727],{"className":33728,"style":963},[721],[148,33730,33732,33735],{"className":33731},[726],[148,33733,7214],{"className":33734,"style":7277},[726,1064],[148,33736,33738],{"className":33737},[977],[148,33739,33741],{"className":33740},[981],[148,33742,33744],{"className":33743},[985],[148,33745,33747],{"className":33746,"style":963},[989],[148,33748,33749,33752],{"style":992},[148,33750],{"className":33751,"style":997},[996],[148,33753,33755],{"className":33754},[1001,1002,1003,1004],[148,33756,163],{"className":33757},[726,1004],", при высокой дисперсии — плохая модель может выглядеть прилично.",[85,33760,33761,33762,33820],{},"В каких случаях какую метрику предпочесть. Для отчётности и сравнения моделей на одних и тех же данных — RMSE, как сочетающая обоснованность с интерпретируемостью в единицах задачи. Для устойчивости к выбросам — MAE. Для содержательной интерпретации в долях — ",[148,33763,33765,33782],{"className":33764},[680],[148,33766,33768],{"className":33767},[684],[686,33769,33770],{"xmlns":688},[690,33771,33772,33780],{},[693,33773,33774],{},[921,33775,33776,33778],{},[769,33777,7214],{},[696,33779,163],{},[705,33781,32479],{"encoding":707},[148,33783,33785],{"className":33784,"ariaHidden":713},[712],[148,33786,33788,33791],{"className":33787},[717],[148,33789],{"className":33790,"style":963},[721],[148,33792,33794,33797],{"className":33793},[726],[148,33795,7214],{"className":33796,"style":7277},[726,1064],[148,33798,33800],{"className":33799},[977],[148,33801,33803],{"className":33802},[981],[148,33804,33806],{"className":33805},[985],[148,33807,33809],{"className":33808,"style":963},[989],[148,33810,33811,33814],{"style":992},[148,33812],{"className":33813,"style":997},[996],[148,33815,33817],{"className":33816},[1001,1002,1003,1004],[148,33818,163],{"className":33819},[726,1004],". Полезно сообщать сразу несколько: расхождение между RMSE и MAE сигнализирует о наличии выбросов или скошенности распределения ошибок и подталкивает к их анализу.",[85,33822,33823,33824,33827,33828,33897,33898,33901,33902,297,33905,33908],{},"Особняком стоят метрики для случаев со специальной структурой задачи. ",[294,33825,33826],{},"Mean absolute percentage error"," (MAPE) — относительная ошибка в процентах от истинного значения; применима, когда ",[148,33829,33831,33848],{"className":33830},[680],[148,33832,33834],{"className":33833},[684],[686,33835,33836],{"xmlns":688},[690,33837,33838,33846],{},[693,33839,33840],{},[1038,33841,33842,33844],{},[769,33843,6060],{},[769,33845,6183],{},[705,33847,8040],{"encoding":707},[148,33849,33851],{"className":33850,"ariaHidden":713},[712],[148,33852,33854,33857],{"className":33853},[717],[148,33855],{"className":33856,"style":1579},[721],[148,33858,33860,33863],{"className":33859},[726],[148,33861,6060],{"className":33862,"style":4185},[726,1064],[148,33864,33866],{"className":33865},[977],[148,33867,33869,33889],{"className":33868},[981,1071],[148,33870,33872,33886],{"className":33871},[985],[148,33873,33875],{"className":33874,"style":6263},[989],[148,33876,33877,33880],{"style":6312},[148,33878],{"className":33879,"style":997},[996],[148,33881,33883],{"className":33882},[1001,1002,1003,1004],[148,33884,6183],{"className":33885},[726,1064,1004],[148,33887,1095],{"className":33888},[1094],[148,33890,33892],{"className":33891},[985],[148,33893,33895],{"className":33894,"style":1102},[989],[148,33896],{}," всегда положительны и далеки от нуля. ",[294,33899,33900],{},"Logcosh-loss"," — гладкая аппроксимация MAE, удобная для оптимизации. ",[294,33903,33904],{},"Loss Хьюбера",[92,33906,33907],{},"Huber loss",") ведёт себя как MSE на малых ошибках и как MAE на больших, объединяя свойства обеих; используется как робастная альтернатива MSE при обучении.",[128,33910,33912],{"id":33911},"анализ-остатков","Анализ остатков",[85,33914,33915,33916,297,33919,1181],{},"Метрики дают одно число и тем самым прячут структуру ошибок. Модель с RMSE 5 °C может ошибаться равномерно по всему диапазону или сильно врать только в жаркие дни — метрика этого не покажет. Поэтому полноценная оценка регрессионной модели включает ",[294,33917,33918],{},"анализ остатков",[92,33920,33921],{},"residual analysis",[85,33923,33924,33925,33953,33954,34194],{},"Остаток в точке ",[148,33926,33928,33941],{"className":33927},[680],[148,33929,33931],{"className":33930},[684],[686,33932,33933],{"xmlns":688},[690,33934,33935,33939],{},[693,33936,33937],{},[769,33938,6183],{},[705,33940,6183],{"encoding":707},[148,33942,33944],{"className":33943,"ariaHidden":713},[712],[148,33945,33947,33950],{"className":33946},[717],[148,33948],{"className":33949,"style":19084},[721],[148,33951,6183],{"className":33952},[726,1064]," — это разница между наблюдением и предсказанием: ",[148,33955,33957,33995],{"className":33956},[680],[148,33958,33960],{"className":33959},[684],[686,33961,33962],{"xmlns":688},[690,33963,33964,33992],{},[693,33965,33966,33972,33974,33980,33982],{},[1038,33967,33968,33970],{},[769,33969,26402],{},[769,33971,6183],{},[699,33973,777],{},[1038,33975,33976,33978],{},[769,33977,6060],{},[769,33979,6183],{},[699,33981,3325],{},[1038,33983,33984,33990],{},[6416,33985,33986,33988],{"accent":713},[769,33987,6060],{},[699,33989,6422],{},[769,33991,6183],{},[705,33993,33994],{"encoding":707},"r_i = y_i - \\hat{y}_i",[148,33996,33998,34054,34109],{"className":33997,"ariaHidden":713},[712],[148,33999,34001,34004,34045,34048,34051],{"className":34000},[717],[148,34002],{"className":34003,"style":1057},[721],[148,34005,34007,34010],{"className":34006},[726],[148,34008,26402],{"className":34009,"style":2774},[726,1064],[148,34011,34013],{"className":34012},[977],[148,34014,34016,34037],{"className":34015},[981,1071],[148,34017,34019,34034],{"className":34018},[985],[148,34020,34022],{"className":34021,"style":6263},[989],[148,34023,34025,34028],{"style":34024},"top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;",[148,34026],{"className":34027,"style":997},[996],[148,34029,34031],{"className":34030},[1001,1002,1003,1004],[148,34032,6183],{"className":34033},[726,1064,1004],[148,34035,1095],{"className":34036},[1094],[148,34038,34040],{"className":34039},[985],[148,34041,34043],{"className":34042,"style":1102},[989],[148,34044],{},[148,34046],{"className":34047,"style":815},[730],[148,34049,777],{"className":34050},[819],[148,34052],{"className":34053,"style":815},[730],[148,34055,34057,34060,34100,34103,34106],{"className":34056},[717],[148,34058],{"className":34059,"style":26445},[721],[148,34061,34063,34066],{"className":34062},[726],[148,34064,6060],{"className":34065,"style":4185},[726,1064],[148,34067,34069],{"className":34068},[977],[148,34070,34072,34092],{"className":34071},[981,1071],[148,34073,34075,34089],{"className":34074},[985],[148,34076,34078],{"className":34077,"style":6263},[989],[148,34079,34080,34083],{"style":6312},[148,34081],{"className":34082,"style":997},[996],[148,34084,34086],{"className":34085},[1001,1002,1003,1004],[148,34087,6183],{"className":34088},[726,1064,1004],[148,34090,1095],{"className":34091},[1094],[148,34093,34095],{"className":34094},[985],[148,34096,34098],{"className":34097,"style":1102},[989],[148,34099],{},[148,34101],{"className":34102,"style":731},[730],[148,34104,3325],{"className":34105},[735],[148,34107],{"className":34108,"style":731},[730],[148,34110,34112,34115],{"className":34111},[717],[148,34113],{"className":34114,"style":6934},[721],[148,34116,34118,34160],{"className":34117},[726],[148,34119,34121],{"className":34120},[726,6449],[148,34122,34124,34152],{"className":34123},[981,1071],[148,34125,34127,34149],{"className":34126},[985],[148,34128,34130,34138],{"className":34129,"style":2415},[989],[148,34131,34132,34135],{"style":6462},[148,34133],{"className":34134,"style":3367},[996],[148,34136,6060],{"className":34137,"style":4185},[726,1064],[148,34139,34140,34143],{"style":6462},[148,34141],{"className":34142,"style":3367},[996],[148,34144,34146],{"className":34145,"style":13404},[6478],[148,34147,6422],{"className":34148},[726],[148,34150,1095],{"className":34151},[1094],[148,34153,34155],{"className":34154},[985],[148,34156,34158],{"className":34157,"style":6492},[989],[148,34159],{},[148,34161,34163],{"className":34162},[977],[148,34164,34166,34186],{"className":34165},[981,1071],[148,34167,34169,34183],{"className":34168},[985],[148,34170,34172],{"className":34171,"style":6263},[989],[148,34173,34174,34177],{"style":6312},[148,34175],{"className":34176,"style":997},[996],[148,34178,34180],{"className":34179},[1001,1002,1003,1004],[148,34181,6183],{"className":34182},[726,1064,1004],[148,34184,1095],{"className":34185},[1094],[148,34187,34189],{"className":34188},[985],[148,34190,34192],{"className":34191,"style":1102},[989],[148,34193],{},". Если линейная модель адекватно описывает данные, остатки должны вести себя как реализации случайного шума с нулевым средним, постоянной дисперсией и независимостью между собой. Любое систематическое отклонение от этой картины — диагностический сигнал.",[85,34196,34197,34198,297,34201,34204,34205,34318,34319,34389],{},"Самый информативный график — ",[294,34199,34200],{},"диаграмма остатков от предсказаний",[92,34202,34203],{},"residuals vs fitted","). По горизонтали откладываются предсказанные значения ",[148,34206,34208,34230],{"className":34207},[680],[148,34209,34211],{"className":34210},[684],[686,34212,34213],{"xmlns":688},[690,34214,34215,34227],{},[693,34216,34217],{},[1038,34218,34219,34225],{},[6416,34220,34221,34223],{"accent":713},[769,34222,6060],{},[699,34224,6422],{},[769,34226,6183],{},[705,34228,34229],{"encoding":707},"\\hat{y}_i",[148,34231,34233],{"className":34232,"ariaHidden":713},[712],[148,34234,34236,34239],{"className":34235},[717],[148,34237],{"className":34238,"style":6934},[721],[148,34240,34242,34284],{"className":34241},[726],[148,34243,34245],{"className":34244},[726,6449],[148,34246,34248,34276],{"className":34247},[981,1071],[148,34249,34251,34273],{"className":34250},[985],[148,34252,34254,34262],{"className":34253,"style":2415},[989],[148,34255,34256,34259],{"style":6462},[148,34257],{"className":34258,"style":3367},[996],[148,34260,6060],{"className":34261,"style":4185},[726,1064],[148,34263,34264,34267],{"style":6462},[148,34265],{"className":34266,"style":3367},[996],[148,34268,34270],{"className":34269,"style":13404},[6478],[148,34271,6422],{"className":34272},[726],[148,34274,1095],{"className":34275},[1094],[148,34277,34279],{"className":34278},[985],[148,34280,34282],{"className":34281,"style":6492},[989],[148,34283],{},[148,34285,34287],{"className":34286},[977],[148,34288,34290,34310],{"className":34289},[981,1071],[148,34291,34293,34307],{"className":34292},[985],[148,34294,34296],{"className":34295,"style":6263},[989],[148,34297,34298,34301],{"style":6312},[148,34299],{"className":34300,"style":997},[996],[148,34302,34304],{"className":34303},[1001,1002,1003,1004],[148,34305,6183],{"className":34306},[726,1064,1004],[148,34308,1095],{"className":34309},[1094],[148,34311,34313],{"className":34312},[985],[148,34314,34316],{"className":34315,"style":1102},[989],[148,34317],{},", по вертикали — остатки ",[148,34320,34322,34340],{"className":34321},[680],[148,34323,34325],{"className":34324},[684],[686,34326,34327],{"xmlns":688},[690,34328,34329,34337],{},[693,34330,34331],{},[1038,34332,34333,34335],{},[769,34334,26402],{},[769,34336,6183],{},[705,34338,34339],{"encoding":707},"r_i",[148,34341,34343],{"className":34342,"ariaHidden":713},[712],[148,34344,34346,34349],{"className":34345},[717],[148,34347],{"className":34348,"style":1057},[721],[148,34350,34352,34355],{"className":34351},[726],[148,34353,26402],{"className":34354,"style":2774},[726,1064],[148,34356,34358],{"className":34357},[977],[148,34359,34361,34381],{"className":34360},[981,1071],[148,34362,34364,34378],{"className":34363},[985],[148,34365,34367],{"className":34366,"style":6263},[989],[148,34368,34369,34372],{"style":34024},[148,34370],{"className":34371,"style":997},[996],[148,34373,34375],{"className":34374},[1001,1002,1003,1004],[148,34376,6183],{"className":34377},[726,1064,1004],[148,34379,1095],{"className":34380},[1094],[148,34382,34384],{"className":34383},[985],[148,34385,34387],{"className":34386,"style":1102},[989],[148,34388],{},". Идеальная картина — облако точек без структуры вокруг горизонтальной нулевой линии. Содержательные нарушения сводятся к двум типичным паттернам.",[85,34391,8190,34392,34395],{},[294,34393,34394],{},"видимая нелинейность",": остатки образуют дугу, синусоиду или иную явно неслучайную форму. Это означает, что линейная модель пропустила нелинейный компонент зависимости; нужны нелинейные преобразования признаков либо переход к иной модели.",[85,34397,8228,34398,297,34401,34404,34405,34517,34518,34590,34591,34632],{},[294,34399,34400],{},"гетероскедастичность",[92,34402,34403],{},"heteroscedasticity","): разброс остатков растёт (или, реже, убывает) с величиной ",[148,34406,34408,34429],{"className":34407},[680],[148,34409,34411],{"className":34410},[684],[686,34412,34413],{"xmlns":688},[690,34414,34415,34427],{},[693,34416,34417],{},[1038,34418,34419,34425],{},[6416,34420,34421,34423],{"accent":713},[769,34422,6060],{},[699,34424,6422],{},[769,34426,6183],{},[705,34428,34229],{"encoding":707},[148,34430,34432],{"className":34431,"ariaHidden":713},[712],[148,34433,34435,34438],{"className":34434},[717],[148,34436],{"className":34437,"style":6934},[721],[148,34439,34441,34483],{"className":34440},[726],[148,34442,34444],{"className":34443},[726,6449],[148,34445,34447,34475],{"className":34446},[981,1071],[148,34448,34450,34472],{"className":34449},[985],[148,34451,34453,34461],{"className":34452,"style":2415},[989],[148,34454,34455,34458],{"style":6462},[148,34456],{"className":34457,"style":3367},[996],[148,34459,6060],{"className":34460,"style":4185},[726,1064],[148,34462,34463,34466],{"style":6462},[148,34464],{"className":34465,"style":3367},[996],[148,34467,34469],{"className":34468,"style":13404},[6478],[148,34470,6422],{"className":34471},[726],[148,34473,1095],{"className":34474},[1094],[148,34476,34478],{"className":34477},[985],[148,34479,34481],{"className":34480,"style":6492},[989],[148,34482],{},[148,34484,34486],{"className":34485},[977],[148,34487,34489,34509],{"className":34488},[981,1071],[148,34490,34492,34506],{"className":34491},[985],[148,34493,34495],{"className":34494,"style":6263},[989],[148,34496,34497,34500],{"style":6312},[148,34498],{"className":34499,"style":997},[996],[148,34501,34503],{"className":34502},[1001,1002,1003,1004],[148,34504,6183],{"className":34505},[726,1064,1004],[148,34507,1095],{"className":34508},[1094],[148,34510,34512],{"className":34511},[985],[148,34513,34515],{"className":34514,"style":1102},[989],[148,34516],{},". Графически — характерный «рупор» или «галстук-бабочка». Это нарушение допущения о постоянстве дисперсии, и его последствия мы обсуждали выше: оценки коэффициентов остаются несмещёнными, но доверительные интервалы становятся некорректными, а прогноз для высоких значений ",[148,34519,34521,34539],{"className":34520},[680],[148,34522,34524],{"className":34523},[684],[686,34525,34526],{"xmlns":688},[690,34527,34528,34536],{},[693,34529,34530],{},[6416,34531,34532,34534],{"accent":713},[769,34533,6060],{},[699,34535,6422],{},[705,34537,34538],{"encoding":707},"\\hat{y}",[148,34540,34542],{"className":34541,"ariaHidden":713},[712],[148,34543,34545,34548],{"className":34544},[717],[148,34546],{"className":34547,"style":6934},[721],[148,34549,34551],{"className":34550},[726,6449],[148,34552,34554,34582],{"className":34553},[981,1071],[148,34555,34557,34579],{"className":34556},[985],[148,34558,34560,34568],{"className":34559,"style":2415},[989],[148,34561,34562,34565],{"style":6462},[148,34563],{"className":34564,"style":3367},[996],[148,34566,6060],{"className":34567,"style":4185},[726,1064],[148,34569,34570,34573],{"style":6462},[148,34571],{"className":34572,"style":3367},[996],[148,34574,34576],{"className":34575,"style":13404},[6478],[148,34577,6422],{"className":34578},[726],[148,34580,1095],{"className":34581},[1094],[148,34583,34585],{"className":34584},[985],[148,34586,34588],{"className":34587,"style":6492},[989],[148,34589],{}," — менее надёжным, чем для низких. Стандартные приёмы коррекции — преобразование целевой переменной (например, ",[148,34592,34594,34612],{"className":34593},[680],[148,34595,34597],{"className":34596},[684],[686,34598,34599],{"xmlns":688},[690,34600,34601,34609],{},[693,34602,34603,34605,34607],{},[769,34604,13926],{},[699,34606,13929],{},[769,34608,6060],{},[705,34610,34611],{"encoding":707},"\\log y",[148,34613,34615],{"className":34614,"ariaHidden":713},[712],[148,34616,34618,34621,34626,34629],{"className":34617},[717],[148,34619],{"className":34620,"style":6934},[721],[148,34622,14226,34624],{"className":34623},[7621],[148,34625,4123],{"style":14229},[148,34627],{"className":34628,"style":835},[730],[148,34630,6060],{"className":34631,"style":4185},[726,1064]," при экспоненциальном росте дисперсии), либо переход к взвешенному методу наименьших квадратов, либо использование робастных оценок ковариационной матрицы.",[362,34634,364,34635,364,34639],{},[366,34636],{"src":34637,"alt":34638},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fresiduals_diagnostic.svg","Диагностика остатков: гомоскедастичный и гетероскедастичный паттерны",[370,34640,34641],{},"Типичные паттерны на диаграмме «остатки против предсказаний». Слева — гомоскедастичность: равномерный разброс вокруг нуля. Справа — гетероскедастичность: разброс растёт с величиной предсказания",[85,34643,34644,34645,297,34648,5554,34651,34654,34655,34706],{},"Второй стандартный график — ",[294,34646,34647],{},"Q-Q plot",[92,34649,34650],{},"quantile-quantile plot",[294,34652,34653],{},"остатков",". По одной оси откладываются эмпирические квантили остатков, по другой — теоретические квантили нормального распределения с теми же средним и дисперсией. Если остатки нормально распределены, точки ложатся на прямую ",[148,34656,34658,34676],{"className":34657},[680],[148,34659,34661],{"className":34660},[684],[686,34662,34663],{"xmlns":688},[690,34664,34665,34673],{},[693,34666,34667,34669,34671],{},[769,34668,6060],{},[699,34670,777],{},[769,34672,6055],{},[705,34674,34675],{"encoding":707},"y = x",[148,34677,34679,34697],{"className":34678,"ariaHidden":713},[712],[148,34680,34682,34685,34688,34691,34694],{"className":34681},[717],[148,34683],{"className":34684,"style":1579},[721],[148,34686,6060],{"className":34687,"style":4185},[726,1064],[148,34689],{"className":34690,"style":815},[730],[148,34692,777],{"className":34693},[819],[148,34695],{"className":34696,"style":815},[730],[148,34698,34700,34703],{"className":34699},[717],[148,34701],{"className":34702,"style":2537},[721],[148,34704,6055],{"className":34705},[726,1064],". Систематические отклонения — особенно на хвостах — указывают на тяжёлые хвосты распределения (выбросы), скошенность или мультимодальность. Для крупных выборок строгая нормальность не нужна, но Q-Q plot всё равно полезен как способ обнаружения аномальных точек.",[85,34708,34709,34710,34717,34718,34721,34722,34725],{},"Помимо двух базовых графиков, в практической литературе ",[140,34711,34713],{"className":34712},[143],[22,34714,34715],{"href":197},[148,34716,200],{}," описывают расширенный набор: график остатков от каждого отдельного признака (для выявления нелинейности по конкретной переменной), графики масштабированных остатков (англ. ",[92,34719,34720],{},"scale-location",") для уточнения характера гетероскедастичности, диаграмма влияния (англ. ",[92,34723,34724],{},"leverage",") для обнаружения объектов, аномально сильно влияющих на оценку коэффициентов. В лабораторной работе мы ограничимся базовыми графиками; этого достаточно для распознавания основных проблем модели.",[85,34727,34728],{},"Диагностика остатков — обязательная часть отчёта о регрессионном моделировании. Метрика без диагностики говорит «насколько хорошо в среднем»; диагностика — «где и в чём модель ошибается систематически». Только их сочетание позволяет принять обоснованное решение о пригодности модели к эксплуатации.",[10,34730,560],{"id":559},[562,34732,34734,34737,34740,34743],{"className":34733},[565],[18,34735,34736],{"id":568},"Hoerl A. E., Kennard R. W. Ridge Regression: Biased Estimation for Nonorthogonal Problems. — Technometrics, 1970, С. 55–67, DOI: 10.1080\u002F00401706.1970.10488634.",[18,34738,34739],{"id":572},"Tibshirani R. Regression Shrinkage and Selection via the Lasso. — Journal of the Royal Statistical Society. Series B (Methodological), 1996, С. 267–288, DOI: 10.1111\u002Fj.2517-6161.1996.tb02080.x.",[18,34741,34742],{"id":576},"Zou H., Hastie T. Regularization and Variable Selection via the Elastic Net. — Journal of the Royal Statistical Society. Series B (Statistical Methodology), 2005, С. 301–320, DOI: 10.1111\u002Fj.1467-9868.2005.00503.x.",[18,34744,34745],{"id":580},"James G., Witten D., Hastie T., Tibshirani R. An Introduction to Statistical Learning: with Applications in R. — Springer, 2013, DOI: 10.1007\u002F978-1-4614-7138-7.",{"title":35,"searchDepth":36,"depth":36,"links":34747},[34748,34751,34755,34759],{"id":22838,"depth":36,"text":22839,"children":34749},[34750],{"id":10892,"depth":631,"text":10893},{"id":23770,"depth":36,"text":23771,"children":34752},[34753,34754],{"id":23774,"depth":631,"text":23775},{"id":27198,"depth":631,"text":27199},{"id":31045,"depth":36,"text":31046,"children":34756},[34757,34758],{"id":31049,"depth":631,"text":31050},{"id":33911,"depth":631,"text":33912},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-05-content",{"title":22824,"description":22832},"courses\u002Faidt-iot-mii\u002Ftopic-05-content",5,"topic-05","0ugIVPulW2HEaQoEeffDwYkkjraEEnl7nHXEwDGzPtk",{"id":34768,"title":34769,"body":34770,"course_slug":39,"description":34777,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":40937,"navigation":44,"path":40938,"section":106,"seo":40939,"stem":40940,"topic_number":40941,"topic_slug":40942,"__hash__":40943},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-06-content.md","Тема 6. Обучение без учителя",{"type":7,"value":34771,"toc":40922},[34772,34775,34778,34781,34785,34789,35034,35333,35336,35353,35357,35361,36244,36253,36562,36865,36913,37011,37088,37092,37136,37283,37292,37324,37470,37741,37745,37762,38069,38079,38309,38312,38316,38331,39467,39476,39974,39989,39992,39996,40011,40746,40755,40764,40888,40891,40893],[81,34773,34769],{"id":34774},"тема-6-обучение-без-учителя",[85,34776,34777],{},"В предыдущих темах мы строили модели, для которых обучающая выборка приходила «с ответом»: классификатор знал метку каждого объекта, регрессор — числовое значение целевой переменной. На этом фундаменте удобно изучать методологию — функцию потерь, разделение данных, метрики, — но реальная практика чаще выглядит иначе. У аналитика на руках оказывается таблица, в которой целевой столбец отсутствует: журналы датчиков с производственной линии, логи поведения пользователей, фотографии без подписей, тексты обращений в техподдержку без рубрикатора. Размечать всё это вручную дорого, иногда невозможно, а действовать как-то надо.",[85,34779,34780],{},"Обучение без учителя — это семейство методов, которые ищут в данных структуру без подсказок извне. Модели не получают «правильного ответа» и оптимизируют не точность предсказаний, а внутренние свойства решения: компактность кластеров, долю сохранённой дисперсии, согласованность локальных соседств. В этой теме мы рассмотрим две большие линии: кластеризацию и снижение размерности. К концу темы у нас будет инструментарий для того, чтобы по неразмеченной таблице ответить на два вопроса: «есть ли в данных естественные группы?» и «можно ли сжать пространство признаков, не теряя сути?».",[10,34782,34784],{"id":34783},"задачи-обучения-без-учителя","Задачи обучения без учителя",[128,34786,34788],{"id":34787},"постановка-проблемы","Постановка проблемы",[85,34790,34791,34792,34966,34967,35033],{},"Формально задача обучения без учителя выглядит проще, чем обучение с учителем: задано множество объектов ",[148,34793,34795,34833],{"className":34794},[680],[148,34796,34798],{"className":34797},[684],[686,34799,34800],{"xmlns":688},[690,34801,34802,34830],{},[693,34803,34804,34806,34812,34826,34828],{},[699,34805,6174],{"stretchy":766},[1038,34807,34808,34810],{},[769,34809,6055],{},[769,34811,6183],{},[6195,34813,34814,34816,34824],{},[699,34815,6199],{"stretchy":766},[693,34817,34818,34820,34822],{},[769,34819,6183],{},[699,34821,777],{},[696,34823,150],{},[769,34825,1566],{},[699,34827,16219],{},[769,34829,5985],{"mathvariant":5984},[705,34831,34832],{"encoding":707},"\\{x_i\\}_{i=1}^{n} \\subset \\mathcal{X}",[148,34834,34836,34957],{"className":34835,"ariaHidden":713},[712],[148,34837,34839,34842,34845,34885,34948,34951,34954],{"className":34838},[717],[148,34840],{"className":34841,"style":6240},[721],[148,34843,6174],{"className":34844},[1242],[148,34846,34848,34851],{"className":34847},[726],[148,34849,6055],{"className":34850},[726,1064],[148,34852,34854],{"className":34853},[977],[148,34855,34857,34877],{"className":34856},[981,1071],[148,34858,34860,34874],{"className":34859},[985],[148,34861,34863],{"className":34862,"style":6263},[989],[148,34864,34865,34868],{"style":1081},[148,34866],{"className":34867,"style":997},[996],[148,34869,34871],{"className":34870},[1001,1002,1003,1004],[148,34872,6183],{"className":34873},[726,1064,1004],[148,34875,1095],{"className":34876},[1094],[148,34878,34880],{"className":34879},[985],[148,34881,34883],{"className":34882,"style":1102},[989],[148,34884],{},[148,34886,34888,34891],{"className":34887},[807],[148,34889,6199],{"className":34890},[807],[148,34892,34894],{"className":34893},[977],[148,34895,34897,34940],{"className":34896},[981,1071],[148,34898,34900,34937],{"className":34899},[985],[148,34901,34903,34923],{"className":34902,"style":6354},[989],[148,34904,34905,34908],{"style":6357},[148,34906],{"className":34907,"style":997},[996],[148,34909,34911],{"className":34910},[1001,1002,1003,1004],[148,34912,34914,34917,34920],{"className":34913},[726,1004],[148,34915,6183],{"className":34916},[726,1064,1004],[148,34918,777],{"className":34919},[819,1004],[148,34921,150],{"className":34922},[726,1004],[148,34924,34925,34928],{"style":992},[148,34926],{"className":34927,"style":997},[996],[148,34929,34931],{"className":34930},[1001,1002,1003,1004],[148,34932,34934],{"className":34933},[726,1004],[148,34935,1566],{"className":34936},[726,1064,1004],[148,34938,1095],{"className":34939},[1094],[148,34941,34943],{"className":34942},[985],[148,34944,34946],{"className":34945,"style":6399},[989],[148,34947],{},[148,34949],{"className":34950,"style":815},[730],[148,34952,16219],{"className":34953},[819],[148,34955],{"className":34956,"style":815},[730],[148,34958,34960,34963],{"className":34959},[717],[148,34961],{"className":34962,"style":1344},[721],[148,34964,5985],{"className":34965,"style":6002},[726,6001],", и требуется построить модель, описывающую структуру этого множества. Целевой переменной нет — нет ни функции ",[148,34968,34970,34994],{"className":34969},[680],[148,34971,34973],{"className":34972},[684],[686,34974,34975],{"xmlns":688},[690,34976,34977,34991],{},[693,34978,34979,34981,34983,34985,34987,34989],{},[769,34980,6060],{},[699,34982,777],{},[769,34984,4112],{},[699,34986,2748],{"stretchy":766},[769,34988,6055],{},[699,34990,2757],{"stretchy":766},[705,34992,34993],{"encoding":707},"y = f(x)",[148,34995,34997,35015],{"className":34996,"ariaHidden":713},[712],[148,34998,35000,35003,35006,35009,35012],{"className":34999},[717],[148,35001],{"className":35002,"style":1579},[721],[148,35004,6060],{"className":35005,"style":4185},[726,1064],[148,35007],{"className":35008,"style":815},[730],[148,35010,777],{"className":35011},[819],[148,35013],{"className":35014,"style":815},[730],[148,35016,35018,35021,35024,35027,35030],{"className":35017},[717],[148,35019],{"className":35020,"style":800},[721],[148,35022,4112],{"className":35023,"style":4157},[726,1064],[148,35025,2748],{"className":35026},[1242],[148,35028,6055],{"className":35029},[726,1064],[148,35031,2757],{"className":35032},[807],", ни обучающей пары «вход — ответ», к которой можно подгонять параметры. Простота постановки обманчива: именно из-за отсутствия эталона у задачи нет однозначного критерия успеха. Кластер из двадцати клиентов можно одновременно интерпретировать как «активные пользователи мобильного приложения» и как «студенты технического вуза», и оба варианта будут согласованы с одними и теми же данными.",[85,35035,35036,35037,297,35040,35043,35044,297,35047,35050,35051,19710,35246,35332],{},"У задачи обучения без учителя есть два магистральных направления. ",[294,35038,35039],{},"Кластеризация",[92,35041,35042],{},"clustering",") разбивает объекты на группы так, чтобы внутри группы объекты были похожи, а между группами — различны. ",[294,35045,35046],{},"Снижение размерности",[92,35048,35049],{},"dimensionality reduction",") ищет компактное представление выборки: ",[148,35052,35054,35093],{"className":35053},[680],[148,35055,35057],{"className":35056},[684],[686,35058,35059],{"xmlns":688},[690,35060,35061,35090],{},[693,35062,35063,35065,35067,35073,35076,35078,35080],{},[769,35064,6055],{},[699,35066,1369],{},[921,35068,35069,35071],{},[769,35070,7214],{"mathvariant":6847},[769,35072,2437],{},[699,35074,35075],{},"↦",[769,35077,12475],{},[699,35079,1369],{},[921,35081,35082,35084],{},[769,35083,7214],{"mathvariant":6847},[921,35085,35086,35088],{},[769,35087,2437],{},[699,35089,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[705,35091,35092],{"encoding":707},"x \\in \\mathbb{R}^d \\mapsto z \\in \\mathbb{R}^{d'}",[148,35094,35096,35114,35159,35177],{"className":35095,"ariaHidden":713},[712],[148,35097,35099,35102,35105,35108,35111],{"className":35098},[717],[148,35100],{"className":35101,"style":12609},[721],[148,35103,6055],{"className":35104},[726,1064],[148,35106],{"className":35107,"style":815},[730],[148,35109,1369],{"className":35110},[819],[148,35112],{"className":35113,"style":815},[730],[148,35115,35117,35121,35150,35153,35156],{"className":35116},[717],[148,35118],{"className":35119,"style":35120},[721],"height:0.8601em;vertical-align:-0.011em;",[148,35122,35124,35127],{"className":35123},[726],[148,35125,7214],{"className":35126},[726,7309],[148,35128,35130],{"className":35129},[977],[148,35131,35133],{"className":35132},[981],[148,35134,35136],{"className":35135},[985],[148,35137,35139],{"className":35138,"style":2796},[989],[148,35140,35141,35144],{"style":992},[148,35142],{"className":35143,"style":997},[996],[148,35145,35147],{"className":35146},[1001,1002,1003,1004],[148,35148,2437],{"className":35149},[726,1064,1004],[148,35151],{"className":35152,"style":815},[730],[148,35154,35075],{"className":35155},[819],[148,35157],{"className":35158,"style":815},[730],[148,35160,35162,35165,35168,35171,35174],{"className":35161},[717],[148,35163],{"className":35164,"style":12609},[721],[148,35166,12475],{"className":35167,"style":12507},[726,1064],[148,35169],{"className":35170,"style":815},[730],[148,35172,1369],{"className":35173},[819],[148,35175],{"className":35176,"style":815},[730],[148,35178,35180,35184],{"className":35179},[717],[148,35181],{"className":35182,"style":35183},[721],"height:0.9425em;",[148,35185,35187,35190],{"className":35186},[726],[148,35188,7214],{"className":35189},[726,7309],[148,35191,35193],{"className":35192},[977],[148,35194,35196],{"className":35195},[981],[148,35197,35199],{"className":35198},[985],[148,35200,35202],{"className":35201,"style":35183},[989],[148,35203,35204,35207],{"style":992},[148,35205],{"className":35206,"style":997},[996],[148,35208,35210],{"className":35209},[1001,1002,1003,1004],[148,35211,35213],{"className":35212},[726,1004],[148,35214,35216,35219],{"className":35215},[726,1004],[148,35217,2437],{"className":35218},[726,1064,1004],[148,35220,35222],{"className":35221},[977],[148,35223,35225],{"className":35224},[981],[148,35226,35228],{"className":35227},[985],[148,35229,35232],{"className":35230,"style":35231},[989],"height:0.8278em;",[148,35233,35234,35237],{"style":32983},[148,35235],{"className":35236,"style":9145},[996],[148,35238,35240],{"className":35239},[1001,9149,9150,1004],[148,35241,35243],{"className":35242},[726,1004],[148,35244,4701],{"className":35245},[726,1004],[148,35247,35249,35272],{"className":35248},[680],[148,35250,35252],{"className":35251},[684],[686,35253,35254],{"xmlns":688},[690,35255,35256,35269],{},[693,35257,35258,35264,35267],{},[921,35259,35260,35262],{},[769,35261,2437],{},[699,35263,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[699,35265,35266],{},"≪",[769,35268,2437],{},[705,35270,35271],{"encoding":707},"d' \\ll d",[148,35273,35275,35323],{"className":35274,"ariaHidden":713},[712],[148,35276,35278,35282,35314,35317,35320],{"className":35277},[717],[148,35279],{"className":35280,"style":35281},[721],"height:0.791em;vertical-align:-0.0391em;",[148,35283,35285,35288],{"className":35284},[726],[148,35286,2437],{"className":35287},[726,1064],[148,35289,35291],{"className":35290},[977],[148,35292,35294],{"className":35293},[981],[148,35295,35297],{"className":35296},[985],[148,35298,35300],{"className":35299,"style":4714},[989],[148,35301,35302,35305],{"style":992},[148,35303],{"className":35304,"style":997},[996],[148,35306,35308],{"className":35307},[1001,1002,1003,1004],[148,35309,35311],{"className":35310},[726,1004],[148,35312,4701],{"className":35313},[726,1004],[148,35315],{"className":35316,"style":815},[730],[148,35318,35266],{"className":35319},[819],[148,35321],{"className":35322,"style":815},[730],[148,35324,35326,35329],{"className":35325},[717],[148,35327],{"className":35328,"style":2415},[721],[148,35330,2437],{"className":35331},[726,1064],", сохраняющее ключевые свойства данных. Эти две задачи часто решают совместно: понижение размерности готовит данные к кластеризации (избавляя её от проклятия размерности) или, наоборот, кластеризация даёт оси, по которым потом строится визуализация.",[85,35334,35335],{},"Прикладных сюжетов, в которых работает этот аппарат, много. Маркетинговая сегментация ищет однородные группы клиентов, чтобы построить для них целевые предложения; биоинформатика группирует образцы по экспрессии генов; служба безопасности банка использует обнаружение аномалий, чтобы выделять подозрительные транзакции — точки, не вписывающиеся ни в один из обнаруженных кластеров. Визуализация многомерных данных в двумерной плоскости — отдельный жанр: исследователь хочет «увидеть» структуру датасета, прежде чем выбрать модель.",[85,35337,35338,35339,297,35342,35345,35346,297,35349,35352],{},"Особое слово об оценке. В обучении с учителем мы оцениваем модель тестовой ошибкой; в обучении без учителя тестовой ошибки в строгом смысле нет — нет «правильного» разбиения. На практике используют ",[294,35340,35341],{},"внутренние метрики",[92,35343,35344],{},"internal metrics","), такие как силуэтный коэффициент или индекс Калинского — Харабаса, опирающиеся на расстояния между объектами без обращения к меткам, и ",[294,35347,35348],{},"внешние метрики",[92,35350,35351],{},"external metrics","), требующие пусть и небольшой эталонной разметки — индекс Ранда, нормализованная взаимная информация. Подробнее о метриках мы поговорим в теме 7; здесь достаточно понимать, что результат кластеризации почти всегда оценивается косвенно и допускает несколько правомерных интерпретаций.",[10,35354,35356],{"id":35355},"методы-кластеризации","Методы кластеризации",[128,35358,35360],{"id":35359},"k-means","K-Means",[85,35362,35363,35364,35392,35393,35400,35401,35429,35430,35458,35459,35601,35602,1318,36066,36136,36137,297,36140,36143,36144,36214,36215,36243],{},"Алгоритм ",[148,35365,35367,35380],{"className":35366},[680],[148,35368,35370],{"className":35369},[684],[686,35371,35372],{"xmlns":688},[690,35373,35374,35378],{},[693,35375,35376],{},[769,35377,2572],{},[705,35379,2572],{"encoding":707},[148,35381,35383],{"className":35382,"ariaHidden":713},[712],[148,35384,35386,35389],{"className":35385},[717],[148,35387],{"className":35388,"style":2415},[721],[148,35390,2572],{"className":35391,"style":2587},[726,1064],"-средних — самый известный метод кластеризации, и причины его популярности прозаичны: он простой, быстрый и в большинстве учебников приводится как первый пример. Идея сформулирована ещё в работе ",[140,35394,35396],{"className":35395},[143],[22,35397,35398],{"href":146},[148,35399,150],{},": задано число кластеров ",[148,35402,35404,35417],{"className":35403},[680],[148,35405,35407],{"className":35406},[684],[686,35408,35409],{"xmlns":688},[690,35410,35411,35415],{},[693,35412,35413],{},[769,35414,2572],{},[705,35416,2572],{"encoding":707},[148,35418,35420],{"className":35419,"ariaHidden":713},[712],[148,35421,35423,35426],{"className":35422},[717],[148,35424],{"className":35425,"style":2415},[721],[148,35427,2572],{"className":35428,"style":2587},[726,1064],", и требуется разбить выборку на ",[148,35431,35433,35446],{"className":35432},[680],[148,35434,35436],{"className":35435},[684],[686,35437,35438],{"xmlns":688},[690,35439,35440,35444],{},[693,35441,35442],{},[769,35443,2572],{},[705,35445,2572],{"encoding":707},[148,35447,35449],{"className":35448,"ariaHidden":713},[712],[148,35450,35452,35455],{"className":35451},[717],[148,35453],{"className":35454,"style":2415},[721],[148,35456,2572],{"className":35457,"style":2587},[726,1064]," непересекающихся групп ",[148,35460,35462,35492],{"className":35461},[680],[148,35463,35465],{"className":35464},[684],[686,35466,35467],{"xmlns":688},[690,35468,35469,35489],{},[693,35470,35471,35477,35479,35481,35483],{},[1038,35472,35473,35475],{},[769,35474,19475],{},[696,35476,150],{},[699,35478,1205],{"separator":713},[699,35480,1557],{},[699,35482,1205],{"separator":713},[1038,35484,35485,35487],{},[769,35486,19475],{},[769,35488,2572],{},[705,35490,35491],{"encoding":707},"C_1, \\ldots, C_k",[148,35493,35495],{"className":35494,"ariaHidden":713},[712],[148,35496,35498,35502,35543,35546,35549,35552,35555,35558,35561],{"className":35497},[717],[148,35499],{"className":35500,"style":35501},[721],"height:0.8778em;vertical-align:-0.1944em;",[148,35503,35505,35508],{"className":35504},[726],[148,35506,19475],{"className":35507,"style":11483},[726,1064],[148,35509,35511],{"className":35510},[977],[148,35512,35514,35535],{"className":35513},[981,1071],[148,35515,35517,35532],{"className":35516},[985],[148,35518,35520],{"className":35519,"style":1078},[989],[148,35521,35523,35526],{"style":35522},"top:-2.55em;margin-left:-0.0715em;margin-right:0.05em;",[148,35524],{"className":35525,"style":997},[996],[148,35527,35529],{"className":35528},[1001,1002,1003,1004],[148,35530,150],{"className":35531},[726,1004],[148,35533,1095],{"className":35534},[1094],[148,35536,35538],{"className":35537},[985],[148,35539,35541],{"className":35540,"style":1102},[989],[148,35542],{},[148,35544,1205],{"className":35545},[1250],[148,35547],{"className":35548,"style":835},[730],[148,35550,1557],{"className":35551},[1675],[148,35553],{"className":35554,"style":835},[730],[148,35556,1205],{"className":35557},[1250],[148,35559],{"className":35560,"style":835},[730],[148,35562,35564,35567],{"className":35563},[726],[148,35565,19475],{"className":35566,"style":11483},[726,1064],[148,35568,35570],{"className":35569},[977],[148,35571,35573,35593],{"className":35572},[981,1071],[148,35574,35576,35590],{"className":35575},[985],[148,35577,35579],{"className":35578,"style":12101},[989],[148,35580,35581,35584],{"style":35522},[148,35582],{"className":35583,"style":997},[996],[148,35585,35587],{"className":35586},[1001,1002,1003,1004],[148,35588,2572],{"className":35589,"style":2587},[726,1064,1004],[148,35591,1095],{"className":35592},[1094],[148,35594,35596],{"className":35595},[985],[148,35597,35599],{"className":35598,"style":1102},[989],[148,35600],{}," так, чтобы минимизировать сумму квадратов расстояний от каждого объекта до центра его кластера:\n",[148,35603,35605,35691],{"className":35604},[680],[148,35606,35608],{"className":35607},[684],[686,35609,35610],{"xmlns":688},[690,35611,35612,35688],{},[693,35613,35614,35617,35619,35621,35623,35626,35628,35630,35644,35664,35666,35672,35674,35680,35686],{},[769,35615,35616],{},"J",[699,35618,2748],{"stretchy":766},[769,35620,19475],{},[699,35622,1205],{"separator":713},[769,35624,35625],{},"μ",[699,35627,2757],{"stretchy":766},[699,35629,777],{},[6195,35631,35632,35634,35642],{},[699,35633,7436],{},[693,35635,35636,35638,35640],{},[769,35637,14956],{},[699,35639,777],{},[696,35641,150],{},[769,35643,2572],{},[1038,35645,35646,35648],{},[699,35647,7436],{},[693,35649,35650,35656,35658],{},[1038,35651,35652,35654],{},[769,35653,6055],{},[769,35655,6183],{},[699,35657,1369],{},[1038,35659,35660,35662],{},[769,35661,19475],{},[769,35663,14956],{},[769,35665,14641],{"mathvariant":771},[1038,35667,35668,35670],{},[769,35669,6055],{},[769,35671,6183],{},[699,35673,3325],{},[1038,35675,35676,35678],{},[769,35677,35625],{},[769,35679,14956],{},[921,35681,35682,35684],{},[769,35683,14641],{"mathvariant":771},[696,35685,163],{},[699,35687,1205],{"separator":713},[705,35689,35690],{"encoding":707},"J(C, \\mu) = \\sum_{j=1}^{k} \\sum_{x_i \\in C_j} \\|x_i - \\mu_j\\|^2,",[148,35692,35694,35731,35987],{"className":35693,"ariaHidden":713},[712],[148,35695,35697,35700,35704,35707,35710,35713,35716,35719,35722,35725,35728],{"className":35696},[717],[148,35698],{"className":35699,"style":800},[721],[148,35701,35616],{"className":35702,"style":35703},[726,1064],"margin-right:0.0962em;",[148,35705,2748],{"className":35706},[1242],[148,35708,19475],{"className":35709,"style":11483},[726,1064],[148,35711,1205],{"className":35712},[1250],[148,35714],{"className":35715,"style":835},[730],[148,35717,35625],{"className":35718},[726,1064],[148,35720,2757],{"className":35721},[807],[148,35723],{"className":35724,"style":815},[730],[148,35726,777],{"className":35727},[819],[148,35729],{"className":35730,"style":815},[730],[148,35732,35734,35738,35802,35805,35932,35935,35938,35978,35981,35984],{"className":35733},[717],[148,35735],{"className":35736,"style":35737},[721],"height:1.486em;vertical-align:-0.497em;",[148,35739,35741,35744],{"className":35740},[7621],[148,35742,7436],{"className":35743,"style":7627},[7621,7625,7626],[148,35745,35747],{"className":35746},[977],[148,35748,35750,35794],{"className":35749},[981,1071],[148,35751,35753,35791],{"className":35752},[985],[148,35754,35757,35777],{"className":35755,"style":35756},[989],"height:0.989em;",[148,35758,35759,35762],{"style":7643},[148,35760],{"className":35761,"style":997},[996],[148,35763,35765],{"className":35764},[1001,1002,1003,1004],[148,35766,35768,35771,35774],{"className":35767},[726,1004],[148,35769,14956],{"className":35770,"style":15000},[726,1064,1004],[148,35772,777],{"className":35773},[819,1004],[148,35775,150],{"className":35776},[726,1004],[148,35778,35779,35782],{"style":7664},[148,35780],{"className":35781,"style":997},[996],[148,35783,35785],{"className":35784},[1001,1002,1003,1004],[148,35786,35788],{"className":35787},[726,1004],[148,35789,2572],{"className":35790,"style":2587},[726,1064,1004],[148,35792,1095],{"className":35793},[1094],[148,35795,35797],{"className":35796},[985],[148,35798,35800],{"className":35799,"style":15805},[989],[148,35801],{},[148,35803],{"className":35804,"style":835},[730],[148,35806,35808,35811],{"className":35807},[7621],[148,35809,7436],{"className":35810,"style":7627},[7621,7625,7626],[148,35812,35814],{"className":35813},[977],[148,35815,35817,35923],{"className":35816},[981,1071],[148,35818,35820,35920],{"className":35819},[985],[148,35821,35824],{"className":35822,"style":35823},[989],"height:0.1786em;",[148,35825,35826,35829],{"style":7643},[148,35827],{"className":35828,"style":997},[996],[148,35830,35832],{"className":35831},[1001,1002,1003,1004],[148,35833,35835,35875,35878],{"className":35834},[726,1004],[148,35836,35838,35841],{"className":35837},[726,1004],[148,35839,6055],{"className":35840},[726,1064,1004],[148,35842,35844],{"className":35843},[977],[148,35845,35847,35867],{"className":35846},[981,1071],[148,35848,35850,35864],{"className":35849},[985],[148,35851,35853],{"className":35852,"style":16689},[989],[148,35854,35855,35858],{"style":16692},[148,35856],{"className":35857,"style":9145},[996],[148,35859,35861],{"className":35860},[1001,9149,9150,1004],[148,35862,6183],{"className":35863},[726,1064,1004],[148,35865,1095],{"className":35866},[1094],[148,35868,35870],{"className":35869},[985],[148,35871,35873],{"className":35872,"style":16711},[989],[148,35874],{},[148,35876,1369],{"className":35877},[819,1004],[148,35879,35881,35884],{"className":35880},[726,1004],[148,35882,19475],{"className":35883,"style":11483},[726,1064,1004],[148,35885,35887],{"className":35886},[977],[148,35888,35890,35911],{"className":35889},[981,1071],[148,35891,35893,35908],{"className":35892},[985],[148,35894,35896],{"className":35895,"style":16689},[989],[148,35897,35899,35902],{"style":35898},"top:-2.357em;margin-left:-0.0715em;margin-right:0.0714em;",[148,35900],{"className":35901,"style":9145},[996],[148,35903,35905],{"className":35904},[1001,9149,9150,1004],[148,35906,14956],{"className":35907,"style":15000},[726,1064,1004],[148,35909,1095],{"className":35910},[1094],[148,35912,35914],{"className":35913},[985],[148,35915,35918],{"className":35916,"style":35917},[989],"height:0.2819em;",[148,35919],{},[148,35921,1095],{"className":35922},[1094],[148,35924,35926],{"className":35925},[985],[148,35927,35930],{"className":35928,"style":35929},[989],"height:0.497em;",[148,35931],{},[148,35933],{"className":35934,"style":835},[730],[148,35936,14641],{"className":35937},[726],[148,35939,35941,35944],{"className":35940},[726],[148,35942,6055],{"className":35943},[726,1064],[148,35945,35947],{"className":35946},[977],[148,35948,35950,35970],{"className":35949},[981,1071],[148,35951,35953,35967],{"className":35952},[985],[148,35954,35956],{"className":35955,"style":6263},[989],[148,35957,35958,35961],{"style":1081},[148,35959],{"className":35960,"style":997},[996],[148,35962,35964],{"className":35963},[1001,1002,1003,1004],[148,35965,6183],{"className":35966},[726,1064,1004],[148,35968,1095],{"className":35969},[1094],[148,35971,35973],{"className":35972},[985],[148,35974,35976],{"className":35975,"style":1102},[989],[148,35977],{},[148,35979],{"className":35980,"style":731},[730],[148,35982,3325],{"className":35983},[735],[148,35985],{"className":35986,"style":731},[730],[148,35988,35990,35994,36034,36063],{"className":35989},[717],[148,35991],{"className":35992,"style":35993},[721],"height:1.1002em;vertical-align:-0.2861em;",[148,35995,35997,36000],{"className":35996},[726],[148,35998,35625],{"className":35999},[726,1064],[148,36001,36003],{"className":36002},[977],[148,36004,36006,36026],{"className":36005},[981,1071],[148,36007,36009,36023],{"className":36008},[985],[148,36010,36012],{"className":36011,"style":6263},[989],[148,36013,36014,36017],{"style":1081},[148,36015],{"className":36016,"style":997},[996],[148,36018,36020],{"className":36019},[1001,1002,1003,1004],[148,36021,14956],{"className":36022,"style":15000},[726,1064,1004],[148,36024,1095],{"className":36025},[1094],[148,36027,36029],{"className":36028},[985],[148,36030,36032],{"className":36031,"style":15010},[989],[148,36033],{},[148,36035,36037,36040],{"className":36036},[726],[148,36038,14641],{"className":36039},[726],[148,36041,36043],{"className":36042},[977],[148,36044,36046],{"className":36045},[981],[148,36047,36049],{"className":36048},[985],[148,36050,36052],{"className":36051,"style":963},[989],[148,36053,36054,36057],{"style":992},[148,36055],{"className":36056,"style":997},[996],[148,36058,36060],{"className":36059},[1001,1002,1003,1004],[148,36061,163],{"className":36062},[726,1004],[148,36064,1205],{"className":36065},[1250],[148,36067,36069,36087],{"className":36068},[680],[148,36070,36072],{"className":36071},[684],[686,36073,36074],{"xmlns":688},[690,36075,36076,36084],{},[693,36077,36078],{},[1038,36079,36080,36082],{},[769,36081,35625],{},[769,36083,14956],{},[705,36085,36086],{"encoding":707},"\\mu_j",[148,36088,36090],{"className":36089,"ariaHidden":713},[712],[148,36091,36093,36096],{"className":36092},[717],[148,36094],{"className":36095,"style":14969},[721],[148,36097,36099,36102],{"className":36098},[726],[148,36100,35625],{"className":36101},[726,1064],[148,36103,36105],{"className":36104},[977],[148,36106,36108,36128],{"className":36107},[981,1071],[148,36109,36111,36125],{"className":36110},[985],[148,36112,36114],{"className":36113,"style":6263},[989],[148,36115,36116,36119],{"style":1081},[148,36117],{"className":36118,"style":997},[996],[148,36120,36122],{"className":36121},[1001,1002,1003,1004],[148,36123,14956],{"className":36124,"style":15000},[726,1064,1004],[148,36126,1095],{"className":36127},[1094],[148,36129,36131],{"className":36130},[985],[148,36132,36134],{"className":36133,"style":15010},[989],[148,36135],{}," — ",[294,36138,36139],{},"центроид",[92,36141,36142],{},"centroid",") кластера ",[148,36145,36147,36165],{"className":36146},[680],[148,36148,36150],{"className":36149},[684],[686,36151,36152],{"xmlns":688},[690,36153,36154,36162],{},[693,36155,36156],{},[1038,36157,36158,36160],{},[769,36159,19475],{},[769,36161,14956],{},[705,36163,36164],{"encoding":707},"C_j",[148,36166,36168],{"className":36167,"ariaHidden":713},[712],[148,36169,36171,36174],{"className":36170},[717],[148,36172],{"className":36173,"style":22223},[721],[148,36175,36177,36180],{"className":36176},[726],[148,36178,19475],{"className":36179,"style":11483},[726,1064],[148,36181,36183],{"className":36182},[977],[148,36184,36186,36206],{"className":36185},[981,1071],[148,36187,36189,36203],{"className":36188},[985],[148,36190,36192],{"className":36191,"style":6263},[989],[148,36193,36194,36197],{"style":35522},[148,36195],{"className":36196,"style":997},[996],[148,36198,36200],{"className":36199},[1001,1002,1003,1004],[148,36201,14956],{"className":36202,"style":15000},[726,1064,1004],[148,36204,1095],{"className":36205},[1094],[148,36207,36209],{"className":36208},[985],[148,36210,36212],{"className":36211,"style":15010},[989],[148,36213],{},", среднее всех его точек. Минимизация ",[148,36216,36218,36231],{"className":36217},[680],[148,36219,36221],{"className":36220},[684],[686,36222,36223],{"xmlns":688},[690,36224,36225,36229],{},[693,36226,36227],{},[769,36228,35616],{},[705,36230,35616],{"encoding":707},[148,36232,36234],{"className":36233,"ariaHidden":713},[712],[148,36235,36237,36240],{"className":36236},[717],[148,36238],{"className":36239,"style":1344},[721],[148,36241,35616],{"className":36242,"style":35703},[726,1064]," — задача NP-трудная, но у неё есть простая эвристика, известная как алгоритм Ллойда: выбрать начальные центроиды случайно, потом итеративно повторять два шага. На шаге назначения каждый объект приписывается ближайшему центроиду; на шаге пересчёта каждый центроид заменяется средним точек своего кластера. Итерации продолжаются, пока назначения не перестанут меняться (или меняться меньше заданного порога). Сходимость к локальному минимуму гарантирована, причём обычно за десятки итераций.",[362,36245,364,36246,364,36250],{},[366,36247],{"src":36248,"alt":36249},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-06\u002Fkmeans_iterations.svg","Четыре итерации алгоритма k-средних: инициализация, назначение, пересчёт центроидов, сходимость",[370,36251,36252],{},"Четыре итерации алгоритма k-средних на двумерной выборке с тремя кластерами",[85,36254,36255,36256,36284,36285,297,36288,36291,36292,36336,36337,36365,36366,36394,36395,297,36398,36401,36402,36472,36473,36517,36518,6425],{},"Главный практический вопрос — выбор числа кластеров ",[148,36257,36259,36272],{"className":36258},[680],[148,36260,36262],{"className":36261},[684],[686,36263,36264],{"xmlns":688},[690,36265,36266,36270],{},[693,36267,36268],{},[769,36269,2572],{},[705,36271,2572],{"encoding":707},[148,36273,36275],{"className":36274,"ariaHidden":713},[712],[148,36276,36278,36281],{"className":36277},[717],[148,36279],{"className":36280,"style":2415},[721],[148,36282,2572],{"className":36283,"style":2587},[726,1064],". У задачи нет «правильного» ответа: можно разбить выборку на 2 группы, на 5, на 50. Помогают полуэмпирические индикаторы. ",[294,36286,36287],{},"Метод локтя",[92,36289,36290],{},"elbow method",") строит зависимость ",[148,36293,36295,36315],{"className":36294},[680],[148,36296,36298],{"className":36297},[684],[686,36299,36300],{"xmlns":688},[690,36301,36302,36312],{},[693,36303,36304,36306,36308,36310],{},[769,36305,35616],{},[699,36307,2748],{"stretchy":766},[769,36309,2572],{},[699,36311,2757],{"stretchy":766},[705,36313,36314],{"encoding":707},"J(k)",[148,36316,36318],{"className":36317,"ariaHidden":713},[712],[148,36319,36321,36324,36327,36330,36333],{"className":36320},[717],[148,36322],{"className":36323,"style":800},[721],[148,36325,35616],{"className":36326,"style":35703},[726,1064],[148,36328,2748],{"className":36329},[1242],[148,36331,2572],{"className":36332,"style":2587},[726,1064],[148,36334,2757],{"className":36335},[807]," от ",[148,36338,36340,36353],{"className":36339},[680],[148,36341,36343],{"className":36342},[684],[686,36344,36345],{"xmlns":688},[690,36346,36347,36351],{},[693,36348,36349],{},[769,36350,2572],{},[705,36352,2572],{"encoding":707},[148,36354,36356],{"className":36355,"ariaHidden":713},[712],[148,36357,36359,36362],{"className":36358},[717],[148,36360],{"className":36361,"style":2415},[721],[148,36363,2572],{"className":36364,"style":2587},[726,1064]," и ищет на ней излом: при увеличении ",[148,36367,36369,36382],{"className":36368},[680],[148,36370,36372],{"className":36371},[684],[686,36373,36374],{"xmlns":688},[690,36375,36376,36380],{},[693,36377,36378],{},[769,36379,2572],{},[705,36381,2572],{"encoding":707},[148,36383,36385],{"className":36384,"ariaHidden":713},[712],[148,36386,36388,36391],{"className":36387},[717],[148,36389],{"className":36390,"style":2415},[721],[148,36392,2572],{"className":36393,"style":2587},[726,1064]," внутрикластерная сумма квадратов монотонно падает, но в какой-то момент скорость падения резко уменьшается. Точка излома — кандидат на оптимальное число кластеров. ",[294,36396,36397],{},"Силуэтный коэффициент",[92,36399,36400],{},"silhouette score",") для каждого объекта ",[148,36403,36405,36423],{"className":36404},[680],[148,36406,36408],{"className":36407},[684],[686,36409,36410],{"xmlns":688},[690,36411,36412,36420],{},[693,36413,36414],{},[1038,36415,36416,36418],{},[769,36417,6055],{},[769,36419,6183],{},[705,36421,36422],{"encoding":707},"x_i",[148,36424,36426],{"className":36425,"ariaHidden":713},[712],[148,36427,36429,36432],{"className":36428},[717],[148,36430],{"className":36431,"style":1057},[721],[148,36433,36435,36438],{"className":36434},[726],[148,36436,6055],{"className":36437},[726,1064],[148,36439,36441],{"className":36440},[977],[148,36442,36444,36464],{"className":36443},[981,1071],[148,36445,36447,36461],{"className":36446},[985],[148,36448,36450],{"className":36449,"style":6263},[989],[148,36451,36452,36455],{"style":1081},[148,36453],{"className":36454,"style":997},[996],[148,36456,36458],{"className":36457},[1001,1002,1003,1004],[148,36459,6183],{"className":36460},[726,1064,1004],[148,36462,1095],{"className":36463},[1094],[148,36465,36467],{"className":36466},[985],[148,36468,36470],{"className":36469,"style":1102},[989],[148,36471],{}," сравнивает среднее расстояние до точек своего кластера ",[148,36474,36476,36496],{"className":36475},[680],[148,36477,36479],{"className":36478},[684],[686,36480,36481],{"xmlns":688},[690,36482,36483,36493],{},[693,36484,36485,36487,36489,36491],{},[769,36486,22],{},[699,36488,2748],{"stretchy":766},[769,36490,6183],{},[699,36492,2757],{"stretchy":766},[705,36494,36495],{"encoding":707},"a(i)",[148,36497,36499],{"className":36498,"ariaHidden":713},[712],[148,36500,36502,36505,36508,36511,36514],{"className":36501},[717],[148,36503],{"className":36504,"style":800},[721],[148,36506,22],{"className":36507},[726,1064],[148,36509,2748],{"className":36510},[1242],[148,36512,6183],{"className":36513},[726,1064],[148,36515,2757],{"className":36516},[807]," со средним расстоянием до точек ближайшего чужого кластера ",[148,36519,36521,36541],{"className":36520},[680],[148,36522,36524],{"className":36523},[684],[686,36525,36526],{"xmlns":688},[690,36527,36528,36538],{},[693,36529,36530,36532,36534,36536],{},[769,36531,2403],{},[699,36533,2748],{"stretchy":766},[769,36535,6183],{},[699,36537,2757],{"stretchy":766},[705,36539,36540],{"encoding":707},"b(i)",[148,36542,36544],{"className":36543,"ariaHidden":713},[712],[148,36545,36547,36550,36553,36556,36559],{"className":36546},[717],[148,36548],{"className":36549,"style":800},[721],[148,36551,2403],{"className":36552},[726,1064],[148,36554,2748],{"className":36555},[1242],[148,36557,6183],{"className":36558},[726,1064],[148,36560,2757],{"className":36561},[807],[85,36563,36564],{},[148,36565,36567,36655],{"className":36566},[680],[148,36568,36570],{"className":36569},[684],[686,36571,36572],{"xmlns":688},[690,36573,36574,36652],{},[693,36575,36576,36578,36580,36582,36584,36586,36636,36638,36640,36642,36644,36646,36648,36650],{},[769,36577,1042],{},[699,36579,2748],{"stretchy":766},[769,36581,6183],{},[699,36583,2757],{"stretchy":766},[699,36585,777],{},[3315,36587,36588,36608],{},[693,36589,36590,36592,36594,36596,36598,36600,36602,36604,36606],{},[769,36591,2403],{},[699,36593,2748],{"stretchy":766},[769,36595,6183],{},[699,36597,2757],{"stretchy":766},[699,36599,3325],{},[769,36601,22],{},[699,36603,2748],{"stretchy":766},[769,36605,6183],{},[699,36607,2757],{"stretchy":766},[693,36609,36610,36612,36614,36616,36618,36620,36622,36624,36626,36628,36630,36632,36634],{},[769,36611,16429],{},[699,36613,13929],{},[699,36615,2748],{"stretchy":766},[769,36617,22],{},[699,36619,2748],{"stretchy":766},[769,36621,6183],{},[699,36623,2757],{"stretchy":766},[699,36625,1205],{"separator":713},[769,36627,2403],{},[699,36629,2748],{"stretchy":766},[769,36631,6183],{},[699,36633,2757],{"stretchy":766},[699,36635,2757],{"stretchy":766},[699,36637,1369],{},[699,36639,6850],{"stretchy":766},[699,36641,3325],{},[696,36643,150],{},[699,36645,1205],{"separator":713},[696,36647,150],{},[699,36649,6870],{"stretchy":766},[769,36651,26],{"mathvariant":771},[705,36653,36654],{"encoding":707},"s(i) = \\frac{b(i) - a(i)}{\\max(a(i), b(i))} \\in [-1, 1].",[148,36656,36658,36685,36835],{"className":36657,"ariaHidden":713},[712],[148,36659,36661,36664,36667,36670,36673,36676,36679,36682],{"className":36660},[717],[148,36662],{"className":36663,"style":800},[721],[148,36665,1042],{"className":36666},[726,1064],[148,36668,2748],{"className":36669},[1242],[148,36671,6183],{"className":36672},[726,1064],[148,36674,2757],{"className":36675},[807],[148,36677],{"className":36678,"style":815},[730],[148,36680,777],{"className":36681},[819],[148,36683],{"className":36684,"style":815},[730],[148,36686,36688,36692,36826,36829,36832],{"className":36687},[717],[148,36689],{"className":36690,"style":36691},[721],"height:1.53em;vertical-align:-0.52em;",[148,36693,36695,36698,36823],{"className":36694},[726],[148,36696],{"className":36697},[1242,3347],[148,36699,36701],{"className":36700},[3315],[148,36702,36704,36814],{"className":36703},[981,1071],[148,36705,36707,36811],{"className":36706},[985],[148,36708,36711,36764,36772],{"className":36709,"style":36710},[989],"height:1.01em;",[148,36712,36713,36716],{"style":3363},[148,36714],{"className":36715,"style":3367},[996],[148,36717,36719],{"className":36718},[1001,1002,1003,1004],[148,36720,36722,36734,36737,36740,36743,36746,36749,36752,36755,36758,36761],{"className":36721},[726,1004],[148,36723,36725,36728,36731],{"className":36724},[7621,1004],[148,36726,2525],{"className":36727},[1004],[148,36729,22],{"className":36730},[1004],[148,36732,6055],{"className":36733},[1004],[148,36735,2748],{"className":36736},[1242,1004],[148,36738,22],{"className":36739},[726,1064,1004],[148,36741,2748],{"className":36742},[1242,1004],[148,36744,6183],{"className":36745},[726,1064,1004],[148,36747,2757],{"className":36748},[807,1004],[148,36750,1205],{"className":36751},[1250,1004],[148,36753,2403],{"className":36754},[726,1064,1004],[148,36756,2748],{"className":36757},[1242,1004],[148,36759,6183],{"className":36760},[726,1064,1004],[148,36762,6827],{"className":36763},[807,1004],[148,36765,36766,36769],{"style":3385},[148,36767],{"className":36768,"style":3367},[996],[148,36770],{"className":36771,"style":3393},[3392],[148,36773,36775,36778],{"style":36774},"top:-3.485em;",[148,36776],{"className":36777,"style":3367},[996],[148,36779,36781],{"className":36780},[1001,1002,1003,1004],[148,36782,36784,36787,36790,36793,36796,36799,36802,36805,36808],{"className":36783},[726,1004],[148,36785,2403],{"className":36786},[726,1064,1004],[148,36788,2748],{"className":36789},[1242,1004],[148,36791,6183],{"className":36792},[726,1064,1004],[148,36794,2757],{"className":36795},[807,1004],[148,36797,3325],{"className":36798},[735,1004],[148,36800,22],{"className":36801},[726,1064,1004],[148,36803,2748],{"className":36804},[1242,1004],[148,36806,6183],{"className":36807},[726,1064,1004],[148,36809,2757],{"className":36810},[807,1004],[148,36812,1095],{"className":36813},[1094],[148,36815,36817],{"className":36816},[985],[148,36818,36821],{"className":36819,"style":36820},[989],"height:0.52em;",[148,36822],{},[148,36824],{"className":36825},[807,3347],[148,36827],{"className":36828,"style":815},[730],[148,36830,1369],{"className":36831},[819],[148,36833],{"className":36834,"style":815},[730],[148,36836,36838,36841,36844,36847,36850,36853,36856,36859,36862],{"className":36837},[717],[148,36839],{"className":36840,"style":800},[721],[148,36842,6850],{"className":36843},[1242],[148,36845,3325],{"className":36846},[726],[148,36848,150],{"className":36849},[726],[148,36851,1205],{"className":36852},[1250],[148,36854],{"className":36855,"style":835},[730],[148,36857,150],{"className":36858},[726],[148,36860,6870],{"className":36861},[807],[148,36863,26],{"className":36864},[726],[85,36866,36867,36868,36912],{},"Среднее ",[148,36869,36871,36891],{"className":36870},[680],[148,36872,36874],{"className":36873},[684],[686,36875,36876],{"xmlns":688},[690,36877,36878,36888],{},[693,36879,36880,36882,36884,36886],{},[769,36881,1042],{},[699,36883,2748],{"stretchy":766},[769,36885,6183],{},[699,36887,2757],{"stretchy":766},[705,36889,36890],{"encoding":707},"s(i)",[148,36892,36894],{"className":36893,"ariaHidden":713},[712],[148,36895,36897,36900,36903,36906,36909],{"className":36896},[717],[148,36898],{"className":36899,"style":800},[721],[148,36901,1042],{"className":36902},[726,1064],[148,36904,2748],{"className":36905},[1242],[148,36907,6183],{"className":36908},[726,1064],[148,36910,2757],{"className":36911},[807]," по выборке даёт интегральный показатель: значения, близкие к 1, говорят о хорошо разделённых кластерах, значения, близкие к нулю — о размытых границах. На практике обе методики дают подсказку, а не приговор: финальное число кластеров обычно фиксируется с учётом содержательных соображений — например, бюджета на персонализацию или числа сегментов, которые продукт-менеджер готов поддерживать.",[85,36914,36915,36916,36944,36945,36948,36949,36977,36978,36981,36982,37010],{},"У ",[148,36917,36919,36932],{"className":36918},[680],[148,36920,36922],{"className":36921},[684],[686,36923,36924],{"xmlns":688},[690,36925,36926,36930],{},[693,36927,36928],{},[769,36929,2572],{},[705,36931,2572],{"encoding":707},[148,36933,36935],{"className":36934,"ariaHidden":713},[712],[148,36936,36938,36941],{"className":36937},[717],[148,36939],{"className":36940,"style":2415},[721],[148,36942,2572],{"className":36943,"style":2587},[726,1064],"-средних есть три принципиальных ограничения. Первое — ",[294,36946,36947],{},"чувствительность к инициализации",": разные начальные центроиды приводят к разным локальным минимумам ",[148,36950,36952,36965],{"className":36951},[680],[148,36953,36955],{"className":36954},[684],[686,36956,36957],{"xmlns":688},[690,36958,36959,36963],{},[693,36960,36961],{},[769,36962,35616],{},[705,36964,35616],{"encoding":707},[148,36966,36968],{"className":36967,"ariaHidden":713},[712],[148,36969,36971,36974],{"className":36970},[717],[148,36972],{"className":36973,"style":1344},[721],[148,36975,35616],{"className":36976,"style":35703},[726,1064],", и плохая инициализация может «зажать» один кластер в углу выборки, оставив остальные плохо разделёнными. Второе — ",[294,36979,36980],{},"сферическая форма кластеров",": метод неявно предполагает, что точки кластера расположены симметрично вокруг своего центра, и плохо работает на вытянутых или вложенных структурах. Третье — необходимость задавать ",[148,36983,36985,36998],{"className":36984},[680],[148,36986,36988],{"className":36987},[684],[686,36989,36990],{"xmlns":688},[690,36991,36992,36996],{},[693,36993,36994],{},[769,36995,2572],{},[705,36997,2572],{"encoding":707},[148,36999,37001],{"className":37000,"ariaHidden":713},[712],[148,37002,37004,37007],{"className":37003},[717],[148,37005],{"className":37006,"style":2415},[721],[148,37008,2572],{"className":37009,"style":2587},[726,1064]," заранее, что мы только что обсудили.",[85,37012,37013,37014,191,37017,37024,37025,37081,37082,37084,37085,37087],{},"С инициализацией борются эвристикой ",[294,37015,37016],{},"k-means++",[140,37018,37020],{"className":37019},[143],[22,37021,37022],{"href":160},[148,37023,163],{},": первый центроид выбирается случайно, каждый следующий — с вероятностью, пропорциональной квадрату расстояния до ближайшего уже выбранного центроида. Идея в том, чтобы стартовые центроиды были «разнесены» по выборке. Авторы показали, что такая инициализация в среднем даёт решение, отличающееся от глобального оптимума не более чем в ",[148,37026,37028,37052],{"className":37027},[680],[148,37029,37031],{"className":37030},[684],[686,37032,37033],{"xmlns":688},[690,37034,37035,37049],{},[693,37036,37037,37039,37041,37043,37045,37047],{},[769,37038,2745],{},[699,37040,2748],{"stretchy":766},[769,37042,13926],{},[699,37044,13929],{},[769,37046,2572],{},[699,37048,2757],{"stretchy":766},[705,37050,37051],{"encoding":707},"O(\\log k)",[148,37053,37055],{"className":37054,"ariaHidden":713},[712],[148,37056,37058,37061,37064,37067,37072,37075,37078],{"className":37057},[717],[148,37059],{"className":37060,"style":800},[721],[148,37062,2745],{"className":37063,"style":2774},[726,1064],[148,37065,2748],{"className":37066},[1242],[148,37068,14226,37070],{"className":37069},[7621],[148,37071,4123],{"style":14229},[148,37073],{"className":37074,"style":835},[730],[148,37076,2572],{"className":37077,"style":2587},[726,1064],[148,37079,2757],{"className":37080},[807]," раз — слабее, чем хотелось бы в теории, но на порядок надёжнее случайного старта на практике. По умолчанию в ",[5622,37083,26061],{}," используется именно ",[5622,37086,37016],{},"; «чистого» случайного запуска без особых причин стоит избегать.",[128,37089,37091],{"id":37090},"dbscan","DBSCAN",[85,37093,37094,37095,37123,37124,37127,37128,37135],{},"Когда кластеры имеют сложную форму — вытянутые, изогнутые, концентрические — ",[148,37096,37098,37111],{"className":37097},[680],[148,37099,37101],{"className":37100},[684],[686,37102,37103],{"xmlns":688},[690,37104,37105,37109],{},[693,37106,37107],{},[769,37108,2572],{},[705,37110,2572],{"encoding":707},[148,37112,37114],{"className":37113,"ariaHidden":713},[712],[148,37115,37117,37120],{"className":37116},[717],[148,37118],{"className":37119,"style":2415},[721],[148,37121,2572],{"className":37122,"style":2587},[726,1064],"-средние работают плохо: они разрезают такие структуры по прямой. Алгоритм DBSCAN (англ. ",[92,37125,37126],{},"Density-Based Spatial Clustering of Applications with Noise",") подходит к задаче с другой стороны ",[140,37129,37131],{"className":37130},[143],[22,37132,37133],{"href":176},[148,37134,179],{},": кластер — это плотная область пространства, отделённая от других плотных областей разреженной зоной. Никакой сферичности не предполагается, число кластеров не задаётся — оно определяется самой структурой данных.",[85,37137,37138,37139,37167,37168,37201,37202,297,37205,37208,37209,37237,37238,37269,37270,297,37273,37276,37277,297,37279,37282],{},"Алгоритм опирается на два параметра. Радиус ",[148,37140,37142,37155],{"className":37141},[680],[148,37143,37145],{"className":37144},[684],[686,37146,37147],{"xmlns":688},[690,37148,37149,37153],{},[693,37150,37151],{},[769,37152,8284],{},[705,37154,8361],{"encoding":707},[148,37156,37158],{"className":37157,"ariaHidden":713},[712],[148,37159,37161,37164],{"className":37160},[717],[148,37162],{"className":37163,"style":2537},[721],[148,37165,8284],{"className":37166},[726,1064]," задаёт окрестность точки; число ",[148,37169,37171,37186],{"className":37170},[680],[148,37172,37174],{"className":37173},[684],[686,37175,37176],{"xmlns":688},[690,37177,37178,37183],{},[693,37179,37180],{},[782,37181,37182],{},"minPts",[705,37184,37185],{"encoding":707},"\\text{minPts}",[148,37187,37189],{"className":37188,"ariaHidden":713},[712],[148,37190,37192,37195],{"className":37191},[717],[148,37193],{"className":37194,"style":1344},[721],[148,37196,37198],{"className":37197},[726,5620],[148,37199,37182],{"className":37200},[726]," — минимальное число соседей, при котором точка считается «плотной». На основе этих параметров вводятся три типа точек. ",[294,37203,37204],{},"Ядровая точка",[92,37206,37207],{},"core point",") — точка, в ",[148,37210,37212,37225],{"className":37211},[680],[148,37213,37215],{"className":37214},[684],[686,37216,37217],{"xmlns":688},[690,37218,37219,37223],{},[693,37220,37221],{},[769,37222,8284],{},[705,37224,8361],{"encoding":707},[148,37226,37228],{"className":37227,"ariaHidden":713},[712],[148,37229,37231,37234],{"className":37230},[717],[148,37232],{"className":37233,"style":2537},[721],[148,37235,8284],{"className":37236},[726,1064],"-окрестности которой не менее ",[148,37239,37241,37254],{"className":37240},[680],[148,37242,37244],{"className":37243},[684],[686,37245,37246],{"xmlns":688},[690,37247,37248,37252],{},[693,37249,37250],{},[782,37251,37182],{},[705,37253,37185],{"encoding":707},[148,37255,37257],{"className":37256,"ariaHidden":713},[712],[148,37258,37260,37263],{"className":37259},[717],[148,37261],{"className":37262,"style":1344},[721],[148,37264,37266],{"className":37265},[726,5620],[148,37267,37182],{"className":37268},[726]," объектов выборки, включая саму точку. ",[294,37271,37272],{},"Граничная точка",[92,37274,37275],{},"border point",") — точка, попадающая в окрестность какой-то ядровой, но сама ядровой не являющаяся. Остальные точки — ",[294,37278,8864],{},[92,37280,37281],{},"noise",") — не принадлежат ни одному кластеру.",[362,37284,364,37285,364,37289],{},[366,37286],{"src":37287,"alt":37288},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-06\u002Fdbscan_concepts.svg","Точки трёх типов в DBSCAN: ядровые, граничные и шум; ε-окрестность и связи плотностной достижимости",[370,37290,37291],{},"Типы точек в DBSCAN: ядровые, граничные и шум; пунктиром показаны ε-окрестности",[85,37293,37294,37295,37323],{},"Кластер строится как максимальный связный по плотности набор точек: две ядровые точки попадают в один кластер, если до одной можно добраться от другой цепочкой ",[148,37296,37298,37311],{"className":37297},[680],[148,37299,37301],{"className":37300},[684],[686,37302,37303],{"xmlns":688},[690,37304,37305,37309],{},[693,37306,37307],{},[769,37308,8284],{},[705,37310,8361],{"encoding":707},[148,37312,37314],{"className":37313,"ariaHidden":713},[712],[148,37315,37317,37320],{"className":37316},[717],[148,37318],{"className":37319,"style":2537},[721],[148,37321,8284],{"className":37322},[726,1064],"-шагов через ядровые точки; граничные точки присоединяются к ближайшему кластеру. Алгоритм линеен по числу объектов при использовании пространственного индекса (например, KD-дерева) для поиска соседей.",[85,37325,37326,37327,37355,37356,37384,37385,37436,37437,37469],{},"Преимущества DBSCAN перед ",[148,37328,37330,37343],{"className":37329},[680],[148,37331,37333],{"className":37332},[684],[686,37334,37335],{"xmlns":688},[690,37336,37337,37341],{},[693,37338,37339],{},[769,37340,2572],{},[705,37342,2572],{"encoding":707},[148,37344,37346],{"className":37345,"ariaHidden":713},[712],[148,37347,37349,37352],{"className":37348},[717],[148,37350],{"className":37351,"style":2415},[721],[148,37353,2572],{"className":37354,"style":2587},[726,1064],"-средними хорошо видны на синтетических примерах. На двух концентрических кольцах ",[148,37357,37359,37372],{"className":37358},[680],[148,37360,37362],{"className":37361},[684],[686,37363,37364],{"xmlns":688},[690,37365,37366,37370],{},[693,37367,37368],{},[769,37369,2572],{},[705,37371,2572],{"encoding":707},[148,37373,37375],{"className":37374,"ariaHidden":713},[712],[148,37376,37378,37381],{"className":37377},[717],[148,37379],{"className":37380,"style":2415},[721],[148,37382,2572],{"className":37383,"style":2587},[726,1064],"-средние с ",[148,37386,37388,37406],{"className":37387},[680],[148,37389,37391],{"className":37390},[684],[686,37392,37393],{"xmlns":688},[690,37394,37395,37403],{},[693,37396,37397,37399,37401],{},[769,37398,2572],{},[699,37400,777],{},[696,37402,163],{},[705,37404,37405],{"encoding":707},"k = 2",[148,37407,37409,37427],{"className":37408,"ariaHidden":713},[712],[148,37410,37412,37415,37418,37421,37424],{"className":37411},[717],[148,37413],{"className":37414,"style":2415},[721],[148,37416,2572],{"className":37417,"style":2587},[726,1064],[148,37419],{"className":37420,"style":815},[730],[148,37422,777],{"className":37423},[819],[148,37425],{"className":37426,"style":815},[730],[148,37428,37430,37433],{"className":37429},[717],[148,37431],{"className":37432,"style":745},[721],[148,37434,163],{"className":37435},[726]," разрежут плоскость пополам; DBSCAN правильно отделит внешнее кольцо от внутреннего. Шум — точки, далёкие от любого кластера, — алгоритм явно помечает как ",[148,37438,37440,37454],{"className":37439},[680],[148,37441,37443],{"className":37442},[684],[686,37444,37445],{"xmlns":688},[690,37446,37447,37451],{},[693,37448,37449],{},[782,37450,37281],{},[705,37452,37453],{"encoding":707},"\\text{noise}",[148,37455,37457],{"className":37456,"ariaHidden":713},[712],[148,37458,37460,37463],{"className":37459},[717],[148,37461],{"className":37462,"style":25604},[721],[148,37464,37466],{"className":37465},[726,5620],[148,37467,37281],{"className":37468},[726],", что напрямую полезно для обнаружения аномалий: подозрительные транзакции, выбросы в сенсорных данных, опечатки в адресной базе оказываются именно в этой категории. Число кластеров определяется автоматически и может равняться нулю, если данные слишком разрежены.",[85,37471,37472,37473,389,37501,37532,37533,37561,37562,37590,37591,37619,37620,37674,37675,37703,37704,37732,37733,37740],{},"Слабые места тоже есть. Главное — чувствительность к выбору ",[148,37474,37476,37489],{"className":37475},[680],[148,37477,37479],{"className":37478},[684],[686,37480,37481],{"xmlns":688},[690,37482,37483,37487],{},[693,37484,37485],{},[769,37486,8284],{},[705,37488,8361],{"encoding":707},[148,37490,37492],{"className":37491,"ariaHidden":713},[712],[148,37493,37495,37498],{"className":37494},[717],[148,37496],{"className":37497,"style":2537},[721],[148,37499,8284],{"className":37500},[726,1064],[148,37502,37504,37517],{"className":37503},[680],[148,37505,37507],{"className":37506},[684],[686,37508,37509],{"xmlns":688},[690,37510,37511,37515],{},[693,37512,37513],{},[782,37514,37182],{},[705,37516,37185],{"encoding":707},[148,37518,37520],{"className":37519,"ariaHidden":713},[712],[148,37521,37523,37526],{"className":37522},[717],[148,37524],{"className":37525,"style":1344},[721],[148,37527,37529],{"className":37528},[726,5620],[148,37530,37182],{"className":37531},[726],": слишком маленький ",[148,37534,37536,37549],{"className":37535},[680],[148,37537,37539],{"className":37538},[684],[686,37540,37541],{"xmlns":688},[690,37542,37543,37547],{},[693,37544,37545],{},[769,37546,8284],{},[705,37548,8361],{"encoding":707},[148,37550,37552],{"className":37551,"ariaHidden":713},[712],[148,37553,37555,37558],{"className":37554},[717],[148,37556],{"className":37557,"style":2537},[721],[148,37559,8284],{"className":37560},[726,1064]," оставит всё в шуме, слишком большой склеит кластеры в один. Стандартная эвристика — построить ",[148,37563,37565,37578],{"className":37564},[680],[148,37566,37568],{"className":37567},[684],[686,37569,37570],{"xmlns":688},[690,37571,37572,37576],{},[693,37573,37574],{},[769,37575,2572],{},[705,37577,2572],{"encoding":707},[148,37579,37581],{"className":37580,"ariaHidden":713},[712],[148,37582,37584,37587],{"className":37583},[717],[148,37585],{"className":37586,"style":2415},[721],[148,37588,2572],{"className":37589,"style":2587},[726,1064],"-distance plot: упорядочить все точки выборки по расстоянию до своего ",[148,37592,37594,37607],{"className":37593},[680],[148,37595,37597],{"className":37596},[684],[686,37598,37599],{"xmlns":688},[690,37600,37601,37605],{},[693,37602,37603],{},[769,37604,2572],{},[705,37606,2572],{"encoding":707},[148,37608,37610],{"className":37609,"ariaHidden":713},[712],[148,37611,37613,37616],{"className":37612},[717],[148,37614],{"className":37615,"style":2415},[721],[148,37617,2572],{"className":37618,"style":2587},[726,1064],"-го ближайшего соседа (где ",[148,37621,37623,37641],{"className":37622},[680],[148,37624,37626],{"className":37625},[684],[686,37627,37628],{"xmlns":688},[690,37629,37630,37638],{},[693,37631,37632,37634,37636],{},[769,37633,2572],{},[699,37635,777],{},[782,37637,37182],{},[705,37639,37640],{"encoding":707},"k = \\text{minPts}",[148,37642,37644,37662],{"className":37643,"ariaHidden":713},[712],[148,37645,37647,37650,37653,37656,37659],{"className":37646},[717],[148,37648],{"className":37649,"style":2415},[721],[148,37651,2572],{"className":37652,"style":2587},[726,1064],[148,37654],{"className":37655,"style":815},[730],[148,37657,777],{"className":37658},[819],[148,37660],{"className":37661,"style":815},[730],[148,37663,37665,37668],{"className":37664},[717],[148,37666],{"className":37667,"style":1344},[721],[148,37669,37671],{"className":37670},[726,5620],[148,37672,37182],{"className":37673},[726],") и взять ",[148,37676,37678,37691],{"className":37677},[680],[148,37679,37681],{"className":37680},[684],[686,37682,37683],{"xmlns":688},[690,37684,37685,37689],{},[693,37686,37687],{},[769,37688,8284],{},[705,37690,8361],{"encoding":707},[148,37692,37694],{"className":37693,"ariaHidden":713},[712],[148,37695,37697,37700],{"className":37696},[717],[148,37698],{"className":37699,"style":2537},[721],[148,37701,8284],{"className":37702},[726,1064]," в точке излома кривой. Второе ограничение принципиальнее: DBSCAN исходит из единой плотности всех кластеров, а если в выборке плотные и разреженные группы соседствуют, общий ",[148,37705,37707,37720],{"className":37706},[680],[148,37708,37710],{"className":37709},[684],[686,37711,37712],{"xmlns":688},[690,37713,37714,37718],{},[693,37715,37716],{},[769,37717,8284],{},[705,37719,8361],{"encoding":707},[148,37721,37723],{"className":37722,"ariaHidden":713},[712],[148,37724,37726,37729],{"className":37725},[717],[148,37727],{"className":37728,"style":2537},[721],[148,37730,8284],{"className":37731},[726,1064]," либо «съест» разреженные, либо склеит плотные. Эту проблему адресуют расширения вроде OPTICS ",[140,37734,37736],{"className":37735},[143],[22,37737,37738],{"href":197},[148,37739,200],{},", строящие иерархическую плотностную структуру вместо одного разбиения.",[128,37742,37744],{"id":37743},"иерархическая-кластеризация","Иерархическая кластеризация",[85,37746,37747,37748,297,37751,37754,37755,297,37758,37761],{},"Третий подход — иерархический — даёт не одно разбиение, а целое семейство, упорядоченное по числу кластеров: от каждого объекта в своём кластере до всех объектов в одном. Различают ",[294,37749,37750],{},"агломеративную",[92,37752,37753],{},"agglomerative",") кластеризацию, идущую снизу вверх (объекты последовательно сливаются в группы), и ",[294,37756,37757],{},"дивизивную",[92,37759,37760],{},"divisive",") — сверху вниз, рекурсивно разбивающую один общий кластер. На практике агломеративная встречается чаще — у неё проще реализация и понятнее интерпретация.",[85,37763,37764,37765,389,37793,37823,37824,37827,37828,38027,38028,38031,38032,38035,38036,38039,38040,38068],{},"Алгоритм агломеративной кластеризации лаконичен. На старте каждая точка — отдельный кластер. На каждом шаге сливаются два ближайших кластера, после чего расстояния пересчитываются. Процесс продолжается, пока не останется один кластер. Главный выбор — как именно определять расстояние между двумя кластерами ",[148,37766,37768,37781],{"className":37767},[680],[148,37769,37771],{"className":37770},[684],[686,37772,37773],{"xmlns":688},[690,37774,37775,37779],{},[693,37776,37777],{},[769,37778,1216],{},[705,37780,1216],{"encoding":707},[148,37782,37784],{"className":37783,"ariaHidden":713},[712],[148,37785,37787,37790],{"className":37786},[717],[148,37788],{"className":37789,"style":1344},[721],[148,37791,1216],{"className":37792},[726,1064],[148,37794,37796,37810],{"className":37795},[680],[148,37797,37799],{"className":37798},[684],[686,37800,37801],{"xmlns":688},[690,37802,37803,37808],{},[693,37804,37805],{},[769,37806,37807],{},"B",[705,37809,37807],{"encoding":707},[148,37811,37813],{"className":37812,"ariaHidden":713},[712],[148,37814,37816,37819],{"className":37815},[717],[148,37817],{"className":37818,"style":1344},[721],[148,37820,37807],{"className":37821,"style":37822},[726,1064],"margin-right:0.0502em;",", состоящими более чем из одной точки. Стандартных метрик четыре. ",[294,37825,37826],{},"Single linkage"," берёт минимум попарных расстояний: ",[148,37829,37831,37891],{"className":37830},[680],[148,37832,37834],{"className":37833},[684],[686,37835,37836],{"xmlns":688},[690,37837,37838,37888],{},[693,37839,37840,37842,37844,37846,37848,37850,37852,37854,37878,37880,37882,37884,37886],{},[769,37841,2437],{},[699,37843,2748],{"stretchy":766},[769,37845,1216],{},[699,37847,1205],{"separator":713},[769,37849,37807],{},[699,37851,2757],{"stretchy":766},[699,37853,777],{},[1038,37855,37856,37862],{},[693,37857,37858,37860],{},[769,37859,25518],{},[699,37861,13929],{},[693,37863,37864,37866,37868,37870,37872,37874,37876],{},[769,37865,22],{},[699,37867,1369],{},[769,37869,1216],{},[699,37871,1205],{"separator":713},[769,37873,2403],{},[699,37875,1369],{},[769,37877,37807],{},[769,37879,14641],{"mathvariant":771},[769,37881,22],{},[699,37883,3325],{},[769,37885,2403],{},[769,37887,14641],{"mathvariant":771},[705,37889,37890],{"encoding":707},"d(A, B) = \\min_{a \\in A, b \\in B} \\|a - b\\|",[148,37892,37894,37930,38015],{"className":37893,"ariaHidden":713},[712],[148,37895,37897,37900,37903,37906,37909,37912,37915,37918,37921,37924,37927],{"className":37896},[717],[148,37898],{"className":37899,"style":800},[721],[148,37901,2437],{"className":37902},[726,1064],[148,37904,2748],{"className":37905},[1242],[148,37907,1216],{"className":37908},[726,1064],[148,37910,1205],{"className":37911},[1250],[148,37913],{"className":37914,"style":835},[730],[148,37916,37807],{"className":37917,"style":37822},[726,1064],[148,37919,2757],{"className":37920},[807],[148,37922],{"className":37923,"style":815},[730],[148,37925,777],{"className":37926},[819],[148,37928],{"className":37929,"style":815},[730],[148,37931,37933,37936,37997,38000,38003,38006,38009,38012],{"className":37932},[717],[148,37934],{"className":37935,"style":20211},[721],[148,37937,37939,37942],{"className":37938},[7621],[148,37940,25518],{"className":37941},[7621],[148,37943,37945],{"className":37944},[977],[148,37946,37948,37989],{"className":37947},[981,1071],[148,37949,37951,37986],{"className":37950},[985],[148,37952,37954],{"className":37953,"style":12101},[989],[148,37955,37956,37959],{"style":16604},[148,37957],{"className":37958,"style":997},[996],[148,37960,37962],{"className":37961},[1001,1002,1003,1004],[148,37963,37965,37968,37971,37974,37977,37980,37983],{"className":37964},[726,1004],[148,37966,22],{"className":37967},[726,1064,1004],[148,37969,1369],{"className":37970},[819,1004],[148,37972,1216],{"className":37973},[726,1064,1004],[148,37975,1205],{"className":37976},[1250,1004],[148,37978,2403],{"className":37979},[726,1064,1004],[148,37981,1369],{"className":37982},[819,1004],[148,37984,37807],{"className":37985,"style":37822},[726,1064,1004],[148,37987,1095],{"className":37988},[1094],[148,37990,37992],{"className":37991},[985],[148,37993,37995],{"className":37994,"style":15010},[989],[148,37996],{},[148,37998],{"className":37999,"style":835},[730],[148,38001,14641],{"className":38002},[726],[148,38004,22],{"className":38005},[726,1064],[148,38007],{"className":38008,"style":731},[730],[148,38010,3325],{"className":38011},[735],[148,38013],{"className":38014,"style":731},[730],[148,38016,38018,38021,38024],{"className":38017},[717],[148,38019],{"className":38020,"style":800},[721],[148,38022,2403],{"className":38023},[726,1064],[148,38025,14641],{"className":38026},[726]," — даёт длинные «цепочки», склонные к эффекту хвоста. ",[294,38029,38030],{},"Complete linkage"," — максимум: даёт компактные шарообразные кластеры, плохо адаптируется к вытянутым формам. ",[294,38033,38034],{},"Average linkage"," — среднее: компромисс между крайностями. ",[294,38037,38038],{},"Ward"," минимизирует прирост внутрикластерной суммы квадратов при слиянии — даёт сбалансированные кластеры одинакового размера, по духу близок к ",[148,38041,38043,38056],{"className":38042},[680],[148,38044,38046],{"className":38045},[684],[686,38047,38048],{"xmlns":688},[690,38049,38050,38054],{},[693,38051,38052],{},[769,38053,2572],{},[705,38055,2572],{"encoding":707},[148,38057,38059],{"className":38058,"ariaHidden":713},[712],[148,38060,38062,38065],{"className":38061},[717],[148,38063],{"className":38064,"style":2415},[721],[148,38066,2572],{"className":38067,"style":2587},[726,1064],"-средним.",[85,38070,38071,38072,297,38075,38078],{},"Иерархия слияний представляется в виде ",[294,38073,38074],{},"дендрограммы",[92,38076,38077],{},"dendrogram",") — древовидной диаграммы, в которой по горизонтальной оси расположены объекты, а вертикальная ось показывает расстояние, на котором происходило слияние. Высокие «развилки» соответствуют слияниям между сильно различающимися группами; горизонтальный срез дендрограммы на заданной высоте даёт конкретное разбиение. Дендрограмма — удобный диагностический инструмент: глядя на неё, аналитик видит, в каком диапазоне число кластеров устойчиво (большой вертикальный «зазор» между слияниями), а где разбиение случайно (несколько слияний подряд на одной высоте).",[85,38080,38081,38082,38110,38111,38205,38206,38279,38280,38308],{},"В отличие от ",[148,38083,38085,38098],{"className":38084},[680],[148,38086,38088],{"className":38087},[684],[686,38089,38090],{"xmlns":688},[690,38091,38092,38096],{},[693,38093,38094],{},[769,38095,2572],{},[705,38097,2572],{"encoding":707},[148,38099,38101],{"className":38100,"ariaHidden":713},[712],[148,38102,38104,38107],{"className":38103},[717],[148,38105],{"className":38106,"style":2415},[721],[148,38108,2572],{"className":38109,"style":2587},[726,1064],"-средних, иерархическая кластеризация не требует фиксировать число кластеров заранее; в отличие от DBSCAN, она не требует выбора плотностных параметров. Расплата — вычислительная сложность ",[148,38112,38114,38144],{"className":38113},[680],[148,38115,38117],{"className":38116},[684],[686,38118,38119],{"xmlns":688},[690,38120,38121,38141],{},[693,38122,38123,38125,38127,38133,38135,38137,38139],{},[769,38124,2745],{},[699,38126,2748],{"stretchy":766},[921,38128,38129,38131],{},[769,38130,1566],{},[696,38132,163],{},[769,38134,13926],{},[699,38136,13929],{},[769,38138,1566],{},[699,38140,2757],{"stretchy":766},[705,38142,38143],{"encoding":707},"O(n^2 \\log n)",[148,38145,38147],{"className":38146,"ariaHidden":713},[712],[148,38148,38150,38153,38156,38159,38188,38191,38196,38199,38202],{"className":38149},[717],[148,38151],{"className":38152,"style":14662},[721],[148,38154,2745],{"className":38155,"style":2774},[726,1064],[148,38157,2748],{"className":38158},[1242],[148,38160,38162,38165],{"className":38161},[726],[148,38163,1566],{"className":38164},[726,1064],[148,38166,38168],{"className":38167},[977],[148,38169,38171],{"className":38170},[981],[148,38172,38174],{"className":38173},[985],[148,38175,38177],{"className":38176,"style":963},[989],[148,38178,38179,38182],{"style":992},[148,38180],{"className":38181,"style":997},[996],[148,38183,38185],{"className":38184},[1001,1002,1003,1004],[148,38186,163],{"className":38187},[726,1004],[148,38189],{"className":38190,"style":835},[730],[148,38192,14226,38194],{"className":38193},[7621],[148,38195,4123],{"style":14229},[148,38197],{"className":38198,"style":835},[730],[148,38200,1566],{"className":38201},[726,1064],[148,38203,2757],{"className":38204},[807]," в обычной реализации и ",[148,38207,38209,38232],{"className":38208},[680],[148,38210,38212],{"className":38211},[684],[686,38213,38214],{"xmlns":688},[690,38215,38216,38230],{},[693,38217,38218,38220,38222,38228],{},[769,38219,2745],{},[699,38221,2748],{"stretchy":766},[921,38223,38224,38226],{},[769,38225,1566],{},[696,38227,163],{},[699,38229,2757],{"stretchy":766},[705,38231,21329],{"encoding":707},[148,38233,38235],{"className":38234,"ariaHidden":713},[712],[148,38236,38238,38241,38244,38247,38276],{"className":38237},[717],[148,38239],{"className":38240,"style":14662},[721],[148,38242,2745],{"className":38243,"style":2774},[726,1064],[148,38245,2748],{"className":38246},[1242],[148,38248,38250,38253],{"className":38249},[726],[148,38251,1566],{"className":38252},[726,1064],[148,38254,38256],{"className":38255},[977],[148,38257,38259],{"className":38258},[981],[148,38260,38262],{"className":38261},[985],[148,38263,38265],{"className":38264,"style":963},[989],[148,38266,38267,38270],{"style":992},[148,38268],{"className":38269,"style":997},[996],[148,38271,38273],{"className":38272},[1001,1002,1003,1004],[148,38274,163],{"className":38275},[726,1004],[148,38277,2757],{"className":38278},[807]," по памяти на матрицу расстояний, что ограничивает применение десятками тысяч объектов. Для больших датасетов используют разреженные приближения или предварительную кластеризацию ",[148,38281,38283,38296],{"className":38282},[680],[148,38284,38286],{"className":38285},[684],[686,38287,38288],{"xmlns":688},[690,38289,38290,38294],{},[693,38291,38292],{},[769,38293,2572],{},[705,38295,2572],{"encoding":707},[148,38297,38299],{"className":38298,"ariaHidden":713},[712],[148,38300,38302,38305],{"className":38301},[717],[148,38303],{"className":38304,"style":2415},[721],[148,38306,2572],{"className":38307,"style":2587},[726,1064],"-средними с последующей агломерацией центроидов.",[10,38310,35046],{"id":38311},"снижение-размерности",[128,38313,38315],{"id":38314},"метод-главных-компонент-pca","Метод главных компонент (PCA)",[85,38317,38318,38319,38322,38323,38330],{},"Кластеризация искала структуру в виде «групп объектов»; метод главных компонент (англ. ",[92,38320,38321],{},"Principal Component Analysis, PCA",") ищет структуру в виде «направлений вариации». Идея сформулирована Пирсоном ещё в 1901 году ",[140,38324,38326],{"className":38325},[143],[22,38327,38328],{"href":210},[148,38329,213],{},": найти такое подпространство меньшей размерности, проекция на которое сохраняет максимально возможную долю дисперсии исходных данных. Геометрически это означает поворот системы координат: новые оси (главные компоненты) выбираются так, чтобы первая ось «смотрела» в направлении наибольшего разброса точек, вторая — в направление наибольшего разброса среди ортогональных первой, и так далее.",[85,38332,38333,38334,38496,38497,3157,38590,38619,38620,38861,38862,38890,38891,39032,39033,39103,39104,39174,39175,39203,39204,39451,39452,39459,39460,26],{},"Положим, что данные центрированы — из каждого признака вычтено его среднее. Тогда матрица ковариаций ",[148,38335,38337,38368],{"className":38336},[680],[148,38338,38340],{"className":38339},[684],[686,38341,38342],{"xmlns":688},[690,38343,38344,38365],{},[693,38345,38346,38349,38351,38357,38363],{},[769,38347,38348],{"mathvariant":771},"Σ",[699,38350,777],{},[3315,38352,38353,38355],{},[696,38354,150],{},[769,38356,1566],{},[921,38358,38359,38361],{},[769,38360,5985],{},[769,38362,12485],{"mathvariant":771},[769,38364,5985],{},[705,38366,38367],{"encoding":707},"\\Sigma = \\frac{1}{n} X^\\top X",[148,38369,38371,38389],{"className":38370,"ariaHidden":713},[712],[148,38372,38374,38377,38380,38383,38386],{"className":38373},[717],[148,38375],{"className":38376,"style":1344},[721],[148,38378,38348],{"className":38379},[726],[148,38381],{"className":38382,"style":815},[730],[148,38384,777],{"className":38385},[819],[148,38387],{"className":38388,"style":815},[730],[148,38390,38392,38396,38464,38493],{"className":38391},[717],[148,38393],{"className":38394,"style":38395},[721],"height:1.1941em;vertical-align:-0.345em;",[148,38397,38399,38402,38461],{"className":38398},[726],[148,38400],{"className":38401},[1242,3347],[148,38403,38405],{"className":38404},[3315],[148,38406,38408,38453],{"className":38407},[981,1071],[148,38409,38411,38450],{"className":38410},[985],[148,38412,38414,38428,38436],{"className":38413,"style":7563},[989],[148,38415,38416,38419],{"style":3363},[148,38417],{"className":38418,"style":3367},[996],[148,38420,38422],{"className":38421},[1001,1002,1003,1004],[148,38423,38425],{"className":38424},[726,1004],[148,38426,1566],{"className":38427},[726,1064,1004],[148,38429,38430,38433],{"style":3385},[148,38431],{"className":38432,"style":3367},[996],[148,38434],{"className":38435,"style":3393},[3392],[148,38437,38438,38441],{"style":3396},[148,38439],{"className":38440,"style":3367},[996],[148,38442,38444],{"className":38443},[1001,1002,1003,1004],[148,38445,38447],{"className":38446},[726,1004],[148,38448,150],{"className":38449},[726,1004],[148,38451,1095],{"className":38452},[1094],[148,38454,38456],{"className":38455},[985],[148,38457,38459],{"className":38458,"style":7609},[989],[148,38460],{},[148,38462],{"className":38463},[807,3347],[148,38465,38467,38470],{"className":38466},[726],[148,38468,5985],{"className":38469,"style":25336},[726,1064],[148,38471,38473],{"className":38472},[977],[148,38474,38476],{"className":38475},[981],[148,38477,38479],{"className":38478},[985],[148,38480,38482],{"className":38481,"style":2796},[989],[148,38483,38484,38487],{"style":992},[148,38485],{"className":38486,"style":997},[996],[148,38488,38490],{"className":38489},[1001,1002,1003,1004],[148,38491,12485],{"className":38492},[726,1004],[148,38494,5985],{"className":38495,"style":25336},[726,1064]," симметрична и положительно полуопределена, и её можно разложить по собственным векторам: ",[148,38498,38500,38528],{"className":38499},[680],[148,38501,38503],{"className":38502},[684],[686,38504,38505],{"xmlns":688},[690,38506,38507,38525],{},[693,38508,38509,38511,38513,38516,38519],{},[769,38510,38348],{"mathvariant":771},[699,38512,777],{},[769,38514,38515],{},"U",[769,38517,38518],{"mathvariant":771},"Λ",[921,38520,38521,38523],{},[769,38522,38515],{},[769,38524,12485],{"mathvariant":771},[705,38526,38527],{"encoding":707},"\\Sigma = U \\Lambda U^\\top",[148,38529,38531,38549],{"className":38530,"ariaHidden":713},[712],[148,38532,38534,38537,38540,38543,38546],{"className":38533},[717],[148,38535],{"className":38536,"style":1344},[721],[148,38538,38348],{"className":38539},[726],[148,38541],{"className":38542,"style":815},[730],[148,38544,777],{"className":38545},[819],[148,38547],{"className":38548,"style":815},[730],[148,38550,38552,38555,38558,38561],{"className":38551},[717],[148,38553],{"className":38554,"style":2796},[721],[148,38556,38515],{"className":38557,"style":16240},[726,1064],[148,38559,38518],{"className":38560},[726],[148,38562,38564,38567],{"className":38563},[726],[148,38565,38515],{"className":38566,"style":16240},[726,1064],[148,38568,38570],{"className":38569},[977],[148,38571,38573],{"className":38572},[981],[148,38574,38576],{"className":38575},[985],[148,38577,38579],{"className":38578,"style":2796},[989],[148,38580,38581,38584],{"style":992},[148,38582],{"className":38583,"style":997},[996],[148,38585,38587],{"className":38586},[1001,1002,1003,1004],[148,38588,12485],{"className":38589},[726,1004],[148,38591,38593,38607],{"className":38592},[680],[148,38594,38596],{"className":38595},[684],[686,38597,38598],{"xmlns":688},[690,38599,38600,38604],{},[693,38601,38602],{},[769,38603,38518],{"mathvariant":771},[705,38605,38606],{"encoding":707},"\\Lambda",[148,38608,38610],{"className":38609,"ariaHidden":713},[712],[148,38611,38613,38616],{"className":38612},[717],[148,38614],{"className":38615,"style":1344},[721],[148,38617,38518],{"className":38618},[726]," — диагональная матрица собственных значений ",[148,38621,38623,38665],{"className":38622},[680],[148,38624,38626],{"className":38625},[684],[686,38627,38628],{"xmlns":688},[690,38629,38630,38662],{},[693,38631,38632,38638,38640,38646,38648,38650,38652,38658,38660],{},[1038,38633,38634,38636],{},[769,38635,10390],{},[696,38637,150],{},[699,38639,5193],{},[1038,38641,38642,38644],{},[769,38643,10390],{},[696,38645,163],{},[699,38647,5193],{},[699,38649,1557],{},[699,38651,5193],{},[1038,38653,38654,38656],{},[769,38655,10390],{},[769,38657,2437],{},[699,38659,5193],{},[696,38661,973],{},[705,38663,38664],{"encoding":707},"\\lambda_1 \\geq \\lambda_2 \\geq \\ldots \\geq \\lambda_d \\geq 0",[148,38666,38668,38723,38778,38797,38852],{"className":38667,"ariaHidden":713},[712],[148,38669,38671,38674,38714,38717,38720],{"className":38670},[717],[148,38672],{"className":38673,"style":5051},[721],[148,38675,38677,38680],{"className":38676},[726],[148,38678,10390],{"className":38679},[726,1064],[148,38681,38683],{"className":38682},[977],[148,38684,38686,38706],{"className":38685},[981,1071],[148,38687,38689,38703],{"className":38688},[985],[148,38690,38692],{"className":38691,"style":1078},[989],[148,38693,38694,38697],{"style":1081},[148,38695],{"className":38696,"style":997},[996],[148,38698,38700],{"className":38699},[1001,1002,1003,1004],[148,38701,150],{"className":38702},[726,1004],[148,38704,1095],{"className":38705},[1094],[148,38707,38709],{"className":38708},[985],[148,38710,38712],{"className":38711,"style":1102},[989],[148,38713],{},[148,38715],{"className":38716,"style":815},[730],[148,38718,5193],{"className":38719},[819],[148,38721],{"className":38722,"style":815},[730],[148,38724,38726,38729,38769,38772,38775],{"className":38725},[717],[148,38727],{"className":38728,"style":5051},[721],[148,38730,38732,38735],{"className":38731},[726],[148,38733,10390],{"className":38734},[726,1064],[148,38736,38738],{"className":38737},[977],[148,38739,38741,38761],{"className":38740},[981,1071],[148,38742,38744,38758],{"className":38743},[985],[148,38745,38747],{"className":38746,"style":1078},[989],[148,38748,38749,38752],{"style":1081},[148,38750],{"className":38751,"style":997},[996],[148,38753,38755],{"className":38754},[1001,1002,1003,1004],[148,38756,163],{"className":38757},[726,1004],[148,38759,1095],{"className":38760},[1094],[148,38762,38764],{"className":38763},[985],[148,38765,38767],{"className":38766,"style":1102},[989],[148,38768],{},[148,38770],{"className":38771,"style":815},[730],[148,38773,5193],{"className":38774},[819],[148,38776],{"className":38777,"style":815},[730],[148,38779,38781,38785,38788,38791,38794],{"className":38780},[717],[148,38782],{"className":38783,"style":38784},[721],"height:0.7719em;vertical-align:-0.136em;",[148,38786,1557],{"className":38787},[1675],[148,38789],{"className":38790,"style":815},[730],[148,38792,5193],{"className":38793},[819],[148,38795],{"className":38796,"style":815},[730],[148,38798,38800,38803,38843,38846,38849],{"className":38799},[717],[148,38801],{"className":38802,"style":5051},[721],[148,38804,38806,38809],{"className":38805},[726],[148,38807,10390],{"className":38808},[726,1064],[148,38810,38812],{"className":38811},[977],[148,38813,38815,38835],{"className":38814},[981,1071],[148,38816,38818,38832],{"className":38817},[985],[148,38819,38821],{"className":38820,"style":12101},[989],[148,38822,38823,38826],{"style":1081},[148,38824],{"className":38825,"style":997},[996],[148,38827,38829],{"className":38828},[1001,1002,1003,1004],[148,38830,2437],{"className":38831},[726,1064,1004],[148,38833,1095],{"className":38834},[1094],[148,38836,38838],{"className":38837},[985],[148,38839,38841],{"className":38840,"style":1102},[989],[148,38842],{},[148,38844],{"className":38845,"style":815},[730],[148,38847,5193],{"className":38848},[819],[148,38850],{"className":38851,"style":815},[730],[148,38853,38855,38858],{"className":38854},[717],[148,38856],{"className":38857,"style":745},[721],[148,38859,973],{"className":38860},[726],", а столбцы ",[148,38863,38865,38878],{"className":38864},[680],[148,38866,38868],{"className":38867},[684],[686,38869,38870],{"xmlns":688},[690,38871,38872,38876],{},[693,38873,38874],{},[769,38875,38515],{},[705,38877,38515],{"encoding":707},[148,38879,38881],{"className":38880,"ariaHidden":713},[712],[148,38882,38884,38887],{"className":38883},[717],[148,38885],{"className":38886,"style":1344},[721],[148,38888,38515],{"className":38889,"style":16240},[726,1064]," — соответствующие собственные векторы ",[148,38892,38894,38925],{"className":38893},[680],[148,38895,38897],{"className":38896},[684],[686,38898,38899],{"xmlns":688},[690,38900,38901,38922],{},[693,38902,38903,38910,38912,38914,38916],{},[1038,38904,38905,38908],{},[769,38906,38907],{},"u",[696,38909,150],{},[699,38911,1205],{"separator":713},[699,38913,1557],{},[699,38915,1205],{"separator":713},[1038,38917,38918,38920],{},[769,38919,38907],{},[769,38921,2437],{},[705,38923,38924],{"encoding":707},"u_1, \\ldots, u_d",[148,38926,38928],{"className":38927,"ariaHidden":713},[712],[148,38929,38931,38934,38974,38977,38980,38983,38986,38989,38992],{"className":38930},[717],[148,38932],{"className":38933,"style":1579},[721],[148,38935,38937,38940],{"className":38936},[726],[148,38938,38907],{"className":38939},[726,1064],[148,38941,38943],{"className":38942},[977],[148,38944,38946,38966],{"className":38945},[981,1071],[148,38947,38949,38963],{"className":38948},[985],[148,38950,38952],{"className":38951,"style":1078},[989],[148,38953,38954,38957],{"style":1081},[148,38955],{"className":38956,"style":997},[996],[148,38958,38960],{"className":38959},[1001,1002,1003,1004],[148,38961,150],{"className":38962},[726,1004],[148,38964,1095],{"className":38965},[1094],[148,38967,38969],{"className":38968},[985],[148,38970,38972],{"className":38971,"style":1102},[989],[148,38973],{},[148,38975,1205],{"className":38976},[1250],[148,38978],{"className":38979,"style":835},[730],[148,38981,1557],{"className":38982},[1675],[148,38984],{"className":38985,"style":835},[730],[148,38987,1205],{"className":38988},[1250],[148,38990],{"className":38991,"style":835},[730],[148,38993,38995,38998],{"className":38994},[726],[148,38996,38907],{"className":38997},[726,1064],[148,38999,39001],{"className":39000},[977],[148,39002,39004,39024],{"className":39003},[981,1071],[148,39005,39007,39021],{"className":39006},[985],[148,39008,39010],{"className":39009,"style":12101},[989],[148,39011,39012,39015],{"style":1081},[148,39013],{"className":39014,"style":997},[996],[148,39016,39018],{"className":39017},[1001,1002,1003,1004],[148,39019,2437],{"className":39020},[726,1064,1004],[148,39022,1095],{"className":39023},[1094],[148,39025,39027],{"className":39026},[985],[148,39028,39030],{"className":39029,"style":1102},[989],[148,39031],{},". Эти векторы и есть главные компоненты, упорядоченные по убыванию объяснённой дисперсии: ",[148,39034,39036,39054],{"className":39035},[680],[148,39037,39039],{"className":39038},[684],[686,39040,39041],{"xmlns":688},[690,39042,39043,39051],{},[693,39044,39045],{},[1038,39046,39047,39049],{},[769,39048,10390],{},[769,39050,6183],{},[705,39052,39053],{"encoding":707},"\\lambda_i",[148,39055,39057],{"className":39056,"ariaHidden":713},[712],[148,39058,39060,39063],{"className":39059},[717],[148,39061],{"className":39062,"style":5051},[721],[148,39064,39066,39069],{"className":39065},[726],[148,39067,10390],{"className":39068},[726,1064],[148,39070,39072],{"className":39071},[977],[148,39073,39075,39095],{"className":39074},[981,1071],[148,39076,39078,39092],{"className":39077},[985],[148,39079,39081],{"className":39080,"style":6263},[989],[148,39082,39083,39086],{"style":1081},[148,39084],{"className":39085,"style":997},[996],[148,39087,39089],{"className":39088},[1001,1002,1003,1004],[148,39090,6183],{"className":39091},[726,1064,1004],[148,39093,1095],{"className":39094},[1094],[148,39096,39098],{"className":39097},[985],[148,39099,39101],{"className":39100,"style":1102},[989],[148,39102],{}," — дисперсия данных вдоль направления ",[148,39105,39107,39125],{"className":39106},[680],[148,39108,39110],{"className":39109},[684],[686,39111,39112],{"xmlns":688},[690,39113,39114,39122],{},[693,39115,39116],{},[1038,39117,39118,39120],{},[769,39119,38907],{},[769,39121,6183],{},[705,39123,39124],{"encoding":707},"u_i",[148,39126,39128],{"className":39127,"ariaHidden":713},[712],[148,39129,39131,39134],{"className":39130},[717],[148,39132],{"className":39133,"style":1057},[721],[148,39135,39137,39140],{"className":39136},[726],[148,39138,38907],{"className":39139},[726,1064],[148,39141,39143],{"className":39142},[977],[148,39144,39146,39166],{"className":39145},[981,1071],[148,39147,39149,39163],{"className":39148},[985],[148,39150,39152],{"className":39151,"style":6263},[989],[148,39153,39154,39157],{"style":1081},[148,39155],{"className":39156,"style":997},[996],[148,39158,39160],{"className":39159},[1001,1002,1003,1004],[148,39161,6183],{"className":39162},[726,1064,1004],[148,39164,1095],{"className":39165},[1094],[148,39167,39169],{"className":39168},[985],[148,39170,39172],{"className":39171,"style":1102},[989],[148,39173],{},". Проекция объекта на первые ",[148,39176,39178,39191],{"className":39177},[680],[148,39179,39181],{"className":39180},[684],[686,39182,39183],{"xmlns":688},[690,39184,39185,39189],{},[693,39186,39187],{},[769,39188,2572],{},[705,39190,2572],{"encoding":707},[148,39192,39194],{"className":39193,"ariaHidden":713},[712],[148,39195,39197,39200],{"className":39196},[717],[148,39198],{"className":39199,"style":2415},[721],[148,39201,2572],{"className":39202,"style":2587},[726,1064]," компонент даёт сжатое представление ",[148,39205,39207,39249],{"className":39206},[680],[148,39208,39210],{"className":39209},[684],[686,39211,39212],{"xmlns":688},[690,39213,39214,39246],{},[693,39215,39216,39222,39224,39232,39238,39240],{},[1038,39217,39218,39220],{},[769,39219,12475],{},[769,39221,6183],{},[699,39223,777],{},[6195,39225,39226,39228,39230],{},[769,39227,38515],{},[769,39229,2572],{},[769,39231,12485],{"mathvariant":771},[1038,39233,39234,39236],{},[769,39235,6055],{},[769,39237,6183],{},[699,39239,1369],{},[921,39241,39242,39244],{},[769,39243,7214],{"mathvariant":6847},[769,39245,2572],{},[705,39247,39248],{"encoding":707},"z_i = U_k^\\top x_i \\in \\mathbb{R}^k",[148,39250,39252,39307,39416],{"className":39251,"ariaHidden":713},[712],[148,39253,39255,39258,39298,39301,39304],{"className":39254},[717],[148,39256],{"className":39257,"style":1057},[721],[148,39259,39261,39264],{"className":39260},[726],[148,39262,12475],{"className":39263,"style":12507},[726,1064],[148,39265,39267],{"className":39266},[977],[148,39268,39270,39290],{"className":39269},[981,1071],[148,39271,39273,39287],{"className":39272},[985],[148,39274,39276],{"className":39275,"style":6263},[989],[148,39277,39278,39281],{"style":14259},[148,39279],{"className":39280,"style":997},[996],[148,39282,39284],{"className":39283},[1001,1002,1003,1004],[148,39285,6183],{"className":39286},[726,1064,1004],[148,39288,1095],{"className":39289},[1094],[148,39291,39293],{"className":39292},[985],[148,39294,39296],{"className":39295,"style":1102},[989],[148,39297],{},[148,39299],{"className":39300,"style":815},[730],[148,39302,777],{"className":39303},[819],[148,39305],{"className":39306,"style":815},[730],[148,39308,39310,39314,39367,39407,39410,39413],{"className":39309},[717],[148,39311],{"className":39312,"style":39313},[721],"height:1.1322em;vertical-align:-0.2831em;",[148,39315,39317,39320],{"className":39316},[726],[148,39318,38515],{"className":39319,"style":16240},[726,1064],[148,39321,39323],{"className":39322},[977],[148,39324,39326,39358],{"className":39325},[981,1071],[148,39327,39329,39355],{"className":39328},[985],[148,39330,39332,39344],{"className":39331,"style":2796},[989],[148,39333,39335,39338],{"style":39334},"top:-2.4169em;margin-left:-0.109em;margin-right:0.05em;",[148,39336],{"className":39337,"style":997},[996],[148,39339,39341],{"className":39340},[1001,1002,1003,1004],[148,39342,2572],{"className":39343,"style":2587},[726,1064,1004],[148,39345,39346,39349],{"style":992},[148,39347],{"className":39348,"style":997},[996],[148,39350,39352],{"className":39351},[1001,1002,1003,1004],[148,39353,12485],{"className":39354},[726,1004],[148,39356,1095],{"className":39357},[1094],[148,39359,39361],{"className":39360},[985],[148,39362,39365],{"className":39363,"style":39364},[989],"height:0.2831em;",[148,39366],{},[148,39368,39370,39373],{"className":39369},[726],[148,39371,6055],{"className":39372},[726,1064],[148,39374,39376],{"className":39375},[977],[148,39377,39379,39399],{"className":39378},[981,1071],[148,39380,39382,39396],{"className":39381},[985],[148,39383,39385],{"className":39384,"style":6263},[989],[148,39386,39387,39390],{"style":1081},[148,39388],{"className":39389,"style":997},[996],[148,39391,39393],{"className":39392},[1001,1002,1003,1004],[148,39394,6183],{"className":39395},[726,1064,1004],[148,39397,1095],{"className":39398},[1094],[148,39400,39402],{"className":39401},[985],[148,39403,39405],{"className":39404,"style":1102},[989],[148,39406],{},[148,39408],{"className":39409,"style":815},[730],[148,39411,1369],{"className":39412},[819],[148,39414],{"className":39415,"style":815},[730],[148,39417,39419,39422],{"className":39418},[717],[148,39420],{"className":39421,"style":2796},[721],[148,39423,39425,39428],{"className":39424},[726],[148,39426,7214],{"className":39427},[726,7309],[148,39429,39431],{"className":39430},[977],[148,39432,39434],{"className":39433},[981],[148,39435,39437],{"className":39436},[985],[148,39438,39440],{"className":39439,"style":2796},[989],[148,39441,39442,39445],{"style":992},[148,39443],{"className":39444,"style":997},[996],[148,39446,39448],{"className":39447},[1001,1002,1003,1004],[148,39449,2572],{"className":39450,"style":2587},[726,1064,1004],". Изложение с алгебраическими деталями есть в монографии ",[140,39453,39455],{"className":39454},[143],[22,39456,39457],{"href":223},[148,39458,226],{},"; теоретический фундамент собран в ",[140,39461,39463],{"className":39462},[143],[22,39464,39465],{"href":236},[148,39466,239],{},[362,39468,364,39469,364,39473],{},[366,39470],{"src":39471,"alt":39472},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-06\u002Fpca_projection.svg","Главные компоненты двумерной выборки: PC1 указывает направление максимальной дисперсии, проекция на PC1 сжимает данные в одномерное представление",[370,39474,39475],{},"Главные компоненты двумерной выборки и проекция на первую компоненту",[85,39477,39478,39479,297,39482,39485,39486,39514,39515,39800,39801,39829,39830,39899,39900,39903,39904,39973],{},"Главный вопрос применения PCA — сколько компонент оставить. Доля ",[294,39480,39481],{},"объяснённой дисперсии",[92,39483,39484],{},"explained variance ratio",") первых ",[148,39487,39489,39502],{"className":39488},[680],[148,39490,39492],{"className":39491},[684],[686,39493,39494],{"xmlns":688},[690,39495,39496,39500],{},[693,39497,39498],{},[769,39499,2572],{},[705,39501,2572],{"encoding":707},[148,39503,39505],{"className":39504,"ariaHidden":713},[712],[148,39506,39508,39511],{"className":39507},[717],[148,39509],{"className":39510,"style":2415},[721],[148,39512,2572],{"className":39513,"style":2587},[726,1064]," компонент равна ",[148,39516,39518,39572],{"className":39517},[680],[148,39519,39521],{"className":39520},[684],[686,39522,39523],{"xmlns":688},[690,39524,39525,39569],{},[693,39526,39527,39541,39547,39549,39563],{},[6195,39528,39529,39531,39539],{},[699,39530,7436],{},[693,39532,39533,39535,39537],{},[769,39534,6183],{},[699,39536,777],{},[696,39538,150],{},[769,39540,2572],{},[1038,39542,39543,39545],{},[769,39544,10390],{},[769,39546,6183],{},[769,39548,772],{"mathvariant":771},[6195,39550,39551,39553,39561],{},[699,39552,7436],{},[693,39554,39555,39557,39559],{},[769,39556,6183],{},[699,39558,777],{},[696,39560,150],{},[769,39562,2437],{},[1038,39564,39565,39567],{},[769,39566,10390],{},[769,39568,6183],{},[705,39570,39571],{"encoding":707},"\\sum_{i=1}^{k} \\lambda_i \u002F \\sum_{i=1}^{d} \\lambda_i",[148,39573,39575],{"className":39574,"ariaHidden":713},[712],[148,39576,39578,39582,39645,39648,39688,39691,39694,39757,39760],{"className":39577},[717],[148,39579],{"className":39580,"style":39581},[721],"height:1.2887em;vertical-align:-0.2997em;",[148,39583,39585,39588],{"className":39584},[7621],[148,39586,7436],{"className":39587,"style":7627},[7621,7625,7626],[148,39589,39591],{"className":39590},[977],[148,39592,39594,39637],{"className":39593},[981,1071],[148,39595,39597,39634],{"className":39596},[985],[148,39598,39600,39620],{"className":39599,"style":35756},[989],[148,39601,39602,39605],{"style":7643},[148,39603],{"className":39604,"style":997},[996],[148,39606,39608],{"className":39607},[1001,1002,1003,1004],[148,39609,39611,39614,39617],{"className":39610},[726,1004],[148,39612,6183],{"className":39613},[726,1064,1004],[148,39615,777],{"className":39616},[819,1004],[148,39618,150],{"className":39619},[726,1004],[148,39621,39622,39625],{"style":7664},[148,39623],{"className":39624,"style":997},[996],[148,39626,39628],{"className":39627},[1001,1002,1003,1004],[148,39629,39631],{"className":39630},[726,1004],[148,39632,2572],{"className":39633,"style":2587},[726,1064,1004],[148,39635,1095],{"className":39636},[1094],[148,39638,39640],{"className":39639},[985],[148,39641,39643],{"className":39642,"style":7686},[989],[148,39644],{},[148,39646],{"className":39647,"style":835},[730],[148,39649,39651,39654],{"className":39650},[726],[148,39652,10390],{"className":39653},[726,1064],[148,39655,39657],{"className":39656},[977],[148,39658,39660,39680],{"className":39659},[981,1071],[148,39661,39663,39677],{"className":39662},[985],[148,39664,39666],{"className":39665,"style":6263},[989],[148,39667,39668,39671],{"style":1081},[148,39669],{"className":39670,"style":997},[996],[148,39672,39674],{"className":39673},[1001,1002,1003,1004],[148,39675,6183],{"className":39676},[726,1064,1004],[148,39678,1095],{"className":39679},[1094],[148,39681,39683],{"className":39682},[985],[148,39684,39686],{"className":39685,"style":1102},[989],[148,39687],{},[148,39689,772],{"className":39690},[726],[148,39692],{"className":39693,"style":835},[730],[148,39695,39697,39700],{"className":39696},[7621],[148,39698,7436],{"className":39699,"style":7627},[7621,7625,7626],[148,39701,39703],{"className":39702},[977],[148,39704,39706,39749],{"className":39705},[981,1071],[148,39707,39709,39746],{"className":39708},[985],[148,39710,39712,39732],{"className":39711,"style":35756},[989],[148,39713,39714,39717],{"style":7643},[148,39715],{"className":39716,"style":997},[996],[148,39718,39720],{"className":39719},[1001,1002,1003,1004],[148,39721,39723,39726,39729],{"className":39722},[726,1004],[148,39724,6183],{"className":39725},[726,1064,1004],[148,39727,777],{"className":39728},[819,1004],[148,39730,150],{"className":39731},[726,1004],[148,39733,39734,39737],{"style":7664},[148,39735],{"className":39736,"style":997},[996],[148,39738,39740],{"className":39739},[1001,1002,1003,1004],[148,39741,39743],{"className":39742},[726,1004],[148,39744,2437],{"className":39745},[726,1064,1004],[148,39747,1095],{"className":39748},[1094],[148,39750,39752],{"className":39751},[985],[148,39753,39755],{"className":39754,"style":7686},[989],[148,39756],{},[148,39758],{"className":39759,"style":835},[730],[148,39761,39763,39766],{"className":39762},[726],[148,39764,10390],{"className":39765},[726,1064],[148,39767,39769],{"className":39768},[977],[148,39770,39772,39792],{"className":39771},[981,1071],[148,39773,39775,39789],{"className":39774},[985],[148,39776,39778],{"className":39777,"style":6263},[989],[148,39779,39780,39783],{"style":1081},[148,39781],{"className":39782,"style":997},[996],[148,39784,39786],{"className":39785},[1001,1002,1003,1004],[148,39787,6183],{"className":39788},[726,1064,1004],[148,39790,1095],{"className":39791},[1094],[148,39793,39795],{"className":39794},[985],[148,39796,39798],{"className":39797,"style":1102},[989],[148,39799],{},". На практике выбирают ",[148,39802,39804,39817],{"className":39803},[680],[148,39805,39807],{"className":39806},[684],[686,39808,39809],{"xmlns":688},[690,39810,39811,39815],{},[693,39812,39813],{},[769,39814,2572],{},[705,39816,2572],{"encoding":707},[148,39818,39820],{"className":39819,"ariaHidden":713},[712],[148,39821,39823,39826],{"className":39822},[717],[148,39824],{"className":39825,"style":2415},[721],[148,39827,2572],{"className":39828,"style":2587},[726,1064]," так, чтобы покрыть 90–95% общей дисперсии — этот критерий гибче, чем абсолютная отсечка по ",[148,39831,39833,39850],{"className":39832},[680],[148,39834,39836],{"className":39835},[684],[686,39837,39838],{"xmlns":688},[690,39839,39840,39848],{},[693,39841,39842],{},[1038,39843,39844,39846],{},[769,39845,10390],{},[769,39847,6183],{},[705,39849,39053],{"encoding":707},[148,39851,39853],{"className":39852,"ariaHidden":713},[712],[148,39854,39856,39859],{"className":39855},[717],[148,39857],{"className":39858,"style":5051},[721],[148,39860,39862,39865],{"className":39861},[726],[148,39863,10390],{"className":39864},[726,1064],[148,39866,39868],{"className":39867},[977],[148,39869,39871,39891],{"className":39870},[981,1071],[148,39872,39874,39888],{"className":39873},[985],[148,39875,39877],{"className":39876,"style":6263},[989],[148,39878,39879,39882],{"style":1081},[148,39880],{"className":39881,"style":997},[996],[148,39883,39885],{"className":39884},[1001,1002,1003,1004],[148,39886,6183],{"className":39887},[726,1064,1004],[148,39889,1095],{"className":39890},[1094],[148,39892,39894],{"className":39893},[985],[148,39895,39897],{"className":39896,"style":1102},[989],[148,39898],{},", и не зависит от шкалы признаков. Альтернатива — график «осыпи» (англ. ",[92,39901,39902],{},"scree plot","): отсортированные ",[148,39905,39907,39924],{"className":39906},[680],[148,39908,39910],{"className":39909},[684],[686,39911,39912],{"xmlns":688},[690,39913,39914,39922],{},[693,39915,39916],{},[1038,39917,39918,39920],{},[769,39919,10390],{},[769,39921,6183],{},[705,39923,39053],{"encoding":707},[148,39925,39927],{"className":39926,"ariaHidden":713},[712],[148,39928,39930,39933],{"className":39929},[717],[148,39931],{"className":39932,"style":5051},[721],[148,39934,39936,39939],{"className":39935},[726],[148,39937,10390],{"className":39938},[726,1064],[148,39940,39942],{"className":39941},[977],[148,39943,39945,39965],{"className":39944},[981,1071],[148,39946,39948,39962],{"className":39947},[985],[148,39949,39951],{"className":39950,"style":6263},[989],[148,39952,39953,39956],{"style":1081},[148,39954],{"className":39955,"style":997},[996],[148,39957,39959],{"className":39958},[1001,1002,1003,1004],[148,39960,6183],{"className":39961},[726,1064,1004],[148,39963,1095],{"className":39964},[1094],[148,39966,39968],{"className":39967},[985],[148,39969,39971],{"className":39970,"style":1102},[989],[148,39972],{}," откладываются по оси ординат, и берётся точка перегиба, как в методе локтя у кластеризации.",[85,39975,39976,39977,39980,39981,39984,39985,39988],{},"Применений у PCA три основных. Первое — ",[294,39978,39979],{},"визуализация",": проекция многомерной выборки на первые две-три компоненты даёт картину, на которой глаз ловит структуру быстрее, чем формальные метрики. Второе — ",[294,39982,39983],{},"борьба с проклятием размерности",": модели на 200 признаках часто работают хуже моделей на 20 главных компонентах, потому что в большом пространстве расстояния теряют смысл, а число параметров растёт. Третье — ",[294,39986,39987],{},"предобработка",": PCA устраняет мультиколлинеарность и шум, что особенно полезно перед линейными моделями.",[85,39990,39991],{},"Ограничения PCA вытекают из его линейности. Если структура данных нелинейна — скажем, точки лежат на свёрнутой двумерной поверхности в трёхмерном пространстве, — никакая проекция на прямые оси не «развернёт» её обратно. Кроме того, направления максимальной дисперсии не обязаны совпадать с «полезными» для дальнейшей задачи: если классы различаются по слабому, но содержательному признаку, его дисперсия может оказаться меньше, чем у шумного, и PCA его отбросит. Для подобных случаев существуют нелинейные обобщения (kernel PCA, автоэнкодеры) и методы, заточенные под визуализацию, к одному из которых мы перейдём.",[128,39993,39995],{"id":39994},"t-sne","t-SNE",[85,39997,39998,39999,40002,40003,40010],{},"Если PCA — линейный метод глобальной структуры, то t-SNE (англ. ",[92,40000,40001],{},"t-distributed Stochastic Neighbor Embedding",") — нелинейный метод локальной структуры ",[140,40004,40006],{"className":40005},[143],[22,40007,40008],{"href":246},[148,40009,249],{},". Алгоритм был предложен ван дер Маатеном и Хинтоном специально для двумерной визуализации многомерных датасетов и быстро стал стандартом в задачах исследовательского анализа: scatter-плот, полученный с помощью t-SNE на 50 000 рукописных цифр MNIST, отчётливо показывает десять кластеров, в то время как PCA на тех же данных даёт перекрывающиеся облака.",[85,40012,40013,40014,40148,40149,40235,40236,40305,40306,40375,40376,40404,40405,40539,40540,40618,40619,40689,40690,389,40718,26],{},"Принцип t-SNE — сохранять локальные соседства. Для каждой пары объектов ",[148,40015,40017,40047],{"className":40016},[680],[148,40018,40020],{"className":40019},[684],[686,40021,40022],{"xmlns":688},[690,40023,40024,40044],{},[693,40025,40026,40028,40034,40036,40042],{},[699,40027,2748],{"stretchy":766},[1038,40029,40030,40032],{},[769,40031,6055],{},[769,40033,6183],{},[699,40035,1205],{"separator":713},[1038,40037,40038,40040],{},[769,40039,6055],{},[769,40041,14956],{},[699,40043,2757],{"stretchy":766},[705,40045,40046],{"encoding":707},"(x_i, x_j)",[148,40048,40050],{"className":40049,"ariaHidden":713},[712],[148,40051,40053,40056,40059,40099,40102,40105,40145],{"className":40052},[717],[148,40054],{"className":40055,"style":20211},[721],[148,40057,2748],{"className":40058},[1242],[148,40060,40062,40065],{"className":40061},[726],[148,40063,6055],{"className":40064},[726,1064],[148,40066,40068],{"className":40067},[977],[148,40069,40071,40091],{"className":40070},[981,1071],[148,40072,40074,40088],{"className":40073},[985],[148,40075,40077],{"className":40076,"style":6263},[989],[148,40078,40079,40082],{"style":1081},[148,40080],{"className":40081,"style":997},[996],[148,40083,40085],{"className":40084},[1001,1002,1003,1004],[148,40086,6183],{"className":40087},[726,1064,1004],[148,40089,1095],{"className":40090},[1094],[148,40092,40094],{"className":40093},[985],[148,40095,40097],{"className":40096,"style":1102},[989],[148,40098],{},[148,40100,1205],{"className":40101},[1250],[148,40103],{"className":40104,"style":835},[730],[148,40106,40108,40111],{"className":40107},[726],[148,40109,6055],{"className":40110},[726,1064],[148,40112,40114],{"className":40113},[977],[148,40115,40117,40137],{"className":40116},[981,1071],[148,40118,40120,40134],{"className":40119},[985],[148,40121,40123],{"className":40122,"style":6263},[989],[148,40124,40125,40128],{"style":1081},[148,40126],{"className":40127,"style":997},[996],[148,40129,40131],{"className":40130},[1001,1002,1003,1004],[148,40132,14956],{"className":40133,"style":15000},[726,1064,1004],[148,40135,1095],{"className":40136},[1094],[148,40138,40140],{"className":40139},[985],[148,40141,40143],{"className":40142,"style":15010},[989],[148,40144],{},[148,40146,2757],{"className":40147},[807]," в исходном пространстве вычисляется условная вероятность ",[148,40150,40152,40176],{"className":40151},[680],[148,40153,40155],{"className":40154},[684],[686,40156,40157],{"xmlns":688},[690,40158,40159,40173],{},[693,40160,40161],{},[1038,40162,40163,40165],{},[769,40164,85],{},[693,40166,40167,40169,40171],{},[769,40168,14956],{},[769,40170,12014],{"mathvariant":771},[769,40172,6183],{},[705,40174,40175],{"encoding":707},"p_{j|i}",[148,40177,40179],{"className":40178,"ariaHidden":713},[712],[148,40180,40182,40186],{"className":40181},[717],[148,40183],{"className":40184,"style":40185},[721],"height:0.7858em;vertical-align:-0.3552em;",[148,40187,40189,40192],{"className":40188},[726],[148,40190,85],{"className":40191},[726,1064],[148,40193,40195],{"className":40194},[977],[148,40196,40198,40227],{"className":40197},[981,1071],[148,40199,40201,40224],{"className":40200},[985],[148,40202,40204],{"className":40203,"style":7322},[989],[148,40205,40206,40209],{"style":7325},[148,40207],{"className":40208,"style":997},[996],[148,40210,40212],{"className":40211},[1001,1002,1003,1004],[148,40213,40215,40218,40221],{"className":40214},[726,1004],[148,40216,14956],{"className":40217,"style":15000},[726,1064,1004],[148,40219,12014],{"className":40220},[726,1004],[148,40222,6183],{"className":40223},[726,1064,1004],[148,40225,1095],{"className":40226},[1094],[148,40228,40230],{"className":40229},[985],[148,40231,40233],{"className":40232,"style":7365},[989],[148,40234],{}," того, что ",[148,40237,40239,40256],{"className":40238},[680],[148,40240,40242],{"className":40241},[684],[686,40243,40244],{"xmlns":688},[690,40245,40246,40254],{},[693,40247,40248],{},[1038,40249,40250,40252],{},[769,40251,6055],{},[769,40253,14956],{},[705,40255,15034],{"encoding":707},[148,40257,40259],{"className":40258,"ariaHidden":713},[712],[148,40260,40262,40265],{"className":40261},[717],[148,40263],{"className":40264,"style":14969},[721],[148,40266,40268,40271],{"className":40267},[726],[148,40269,6055],{"className":40270},[726,1064],[148,40272,40274],{"className":40273},[977],[148,40275,40277,40297],{"className":40276},[981,1071],[148,40278,40280,40294],{"className":40279},[985],[148,40281,40283],{"className":40282,"style":6263},[989],[148,40284,40285,40288],{"style":1081},[148,40286],{"className":40287,"style":997},[996],[148,40289,40291],{"className":40290},[1001,1002,1003,1004],[148,40292,14956],{"className":40293,"style":15000},[726,1064,1004],[148,40295,1095],{"className":40296},[1094],[148,40298,40300],{"className":40299},[985],[148,40301,40303],{"className":40302,"style":15010},[989],[148,40304],{}," — сосед ",[148,40307,40309,40326],{"className":40308},[680],[148,40310,40312],{"className":40311},[684],[686,40313,40314],{"xmlns":688},[690,40315,40316,40324],{},[693,40317,40318],{},[1038,40319,40320,40322],{},[769,40321,6055],{},[769,40323,6183],{},[705,40325,36422],{"encoding":707},[148,40327,40329],{"className":40328,"ariaHidden":713},[712],[148,40330,40332,40335],{"className":40331},[717],[148,40333],{"className":40334,"style":1057},[721],[148,40336,40338,40341],{"className":40337},[726],[148,40339,6055],{"className":40340},[726,1064],[148,40342,40344],{"className":40343},[977],[148,40345,40347,40367],{"className":40346},[981,1071],[148,40348,40350,40364],{"className":40349},[985],[148,40351,40353],{"className":40352,"style":6263},[989],[148,40354,40355,40358],{"style":1081},[148,40356],{"className":40357,"style":997},[996],[148,40359,40361],{"className":40360},[1001,1002,1003,1004],[148,40362,6183],{"className":40363},[726,1064,1004],[148,40365,1095],{"className":40366},[1094],[148,40368,40370],{"className":40369},[985],[148,40371,40373],{"className":40372,"style":1102},[989],[148,40374],{},", по гауссовскому ядру с шириной, индивидуально подобранной для каждого ",[148,40377,40379,40392],{"className":40378},[680],[148,40380,40382],{"className":40381},[684],[686,40383,40384],{"xmlns":688},[690,40385,40386,40390],{},[693,40387,40388],{},[769,40389,6183],{},[705,40391,6183],{"encoding":707},[148,40393,40395],{"className":40394,"ariaHidden":713},[712],[148,40396,40398,40401],{"className":40397},[717],[148,40399],{"className":40400,"style":19084},[721],[148,40402,6183],{"className":40403},[726,1064],". В целевом низкоразмерном пространстве для пары ",[148,40406,40408,40438],{"className":40407},[680],[148,40409,40411],{"className":40410},[684],[686,40412,40413],{"xmlns":688},[690,40414,40415,40435],{},[693,40416,40417,40419,40425,40427,40433],{},[699,40418,2748],{"stretchy":766},[1038,40420,40421,40423],{},[769,40422,12475],{},[769,40424,6183],{},[699,40426,1205],{"separator":713},[1038,40428,40429,40431],{},[769,40430,12475],{},[769,40432,14956],{},[699,40434,2757],{"stretchy":766},[705,40436,40437],{"encoding":707},"(z_i, z_j)",[148,40439,40441],{"className":40440,"ariaHidden":713},[712],[148,40442,40444,40447,40450,40490,40493,40496,40536],{"className":40443},[717],[148,40445],{"className":40446,"style":20211},[721],[148,40448,2748],{"className":40449},[1242],[148,40451,40453,40456],{"className":40452},[726],[148,40454,12475],{"className":40455,"style":12507},[726,1064],[148,40457,40459],{"className":40458},[977],[148,40460,40462,40482],{"className":40461},[981,1071],[148,40463,40465,40479],{"className":40464},[985],[148,40466,40468],{"className":40467,"style":6263},[989],[148,40469,40470,40473],{"style":14259},[148,40471],{"className":40472,"style":997},[996],[148,40474,40476],{"className":40475},[1001,1002,1003,1004],[148,40477,6183],{"className":40478},[726,1064,1004],[148,40480,1095],{"className":40481},[1094],[148,40483,40485],{"className":40484},[985],[148,40486,40488],{"className":40487,"style":1102},[989],[148,40489],{},[148,40491,1205],{"className":40492},[1250],[148,40494],{"className":40495,"style":835},[730],[148,40497,40499,40502],{"className":40498},[726],[148,40500,12475],{"className":40501,"style":12507},[726,1064],[148,40503,40505],{"className":40504},[977],[148,40506,40508,40528],{"className":40507},[981,1071],[148,40509,40511,40525],{"className":40510},[985],[148,40512,40514],{"className":40513,"style":6263},[989],[148,40515,40516,40519],{"style":14259},[148,40517],{"className":40518,"style":997},[996],[148,40520,40522],{"className":40521},[1001,1002,1003,1004],[148,40523,14956],{"className":40524,"style":15000},[726,1064,1004],[148,40526,1095],{"className":40527},[1094],[148,40529,40531],{"className":40530},[985],[148,40532,40534],{"className":40533,"style":15010},[989],[148,40535],{},[148,40537,2757],{"className":40538},[807]," вводится аналогичная вероятность ",[148,40541,40543,40565],{"className":40542},[680],[148,40544,40546],{"className":40545},[684],[686,40547,40548],{"xmlns":688},[690,40549,40550,40562],{},[693,40551,40552],{},[1038,40553,40554,40556],{},[769,40555,29701],{},[693,40557,40558,40560],{},[769,40559,6183],{},[769,40561,14956],{},[705,40563,40564],{"encoding":707},"q_{ij}",[148,40566,40568],{"className":40567,"ariaHidden":713},[712],[148,40569,40571,40574],{"className":40570},[717],[148,40572],{"className":40573,"style":14969},[721],[148,40575,40577,40580],{"className":40576},[726],[148,40578,29701],{"className":40579,"style":4185},[726,1064],[148,40581,40583],{"className":40582},[977],[148,40584,40586,40610],{"className":40585},[981,1071],[148,40587,40589,40607],{"className":40588},[985],[148,40590,40592],{"className":40591,"style":6263},[989],[148,40593,40594,40597],{"style":6312},[148,40595],{"className":40596,"style":997},[996],[148,40598,40600],{"className":40599},[1001,1002,1003,1004],[148,40601,40603],{"className":40602},[726,1004],[148,40604,40606],{"className":40605,"style":15000},[726,1064,1004],"ij",[148,40608,1095],{"className":40609},[1094],[148,40611,40613],{"className":40612},[985],[148,40614,40616],{"className":40615,"style":15010},[989],[148,40617],{},", но уже по распределению Стьюдента с одним степенью свободы — «толстохвостому», чтобы дальние пары не слишком «прижимались» друг к другу. Положения ",[148,40620,40622,40640],{"className":40621},[680],[148,40623,40625],{"className":40624},[684],[686,40626,40627],{"xmlns":688},[690,40628,40629,40637],{},[693,40630,40631],{},[1038,40632,40633,40635],{},[769,40634,12475],{},[769,40636,6183],{},[705,40638,40639],{"encoding":707},"z_i",[148,40641,40643],{"className":40642,"ariaHidden":713},[712],[148,40644,40646,40649],{"className":40645},[717],[148,40647],{"className":40648,"style":1057},[721],[148,40650,40652,40655],{"className":40651},[726],[148,40653,12475],{"className":40654,"style":12507},[726,1064],[148,40656,40658],{"className":40657},[977],[148,40659,40661,40681],{"className":40660},[981,1071],[148,40662,40664,40678],{"className":40663},[985],[148,40665,40667],{"className":40666,"style":6263},[989],[148,40668,40669,40672],{"style":14259},[148,40670],{"className":40671,"style":997},[996],[148,40673,40675],{"className":40674},[1001,1002,1003,1004],[148,40676,6183],{"className":40677},[726,1064,1004],[148,40679,1095],{"className":40680},[1094],[148,40682,40684],{"className":40683},[985],[148,40685,40687],{"className":40686,"style":1102},[989],[148,40688],{}," подбираются градиентным спуском по дивергенции Кульбака — Лейблера между распределениями ",[148,40691,40693,40706],{"className":40692},[680],[148,40694,40696],{"className":40695},[684],[686,40697,40698],{"xmlns":688},[690,40699,40700,40704],{},[693,40701,40702],{},[769,40703,85],{},[705,40705,85],{"encoding":707},[148,40707,40709],{"className":40708,"ariaHidden":713},[712],[148,40710,40712,40715],{"className":40711},[717],[148,40713],{"className":40714,"style":1579},[721],[148,40716,85],{"className":40717},[726,1064],[148,40719,40721,40734],{"className":40720},[680],[148,40722,40724],{"className":40723},[684],[686,40725,40726],{"xmlns":688},[690,40727,40728,40732],{},[693,40729,40730],{},[769,40731,29701],{},[705,40733,29701],{"encoding":707},[148,40735,40737],{"className":40736,"ariaHidden":713},[712],[148,40738,40740,40743],{"className":40739},[717],[148,40741],{"className":40742,"style":1579},[721],[148,40744,29701],{"className":40745,"style":4185},[726,1064],[85,40747,40748,40749,297,40752,40754],{},"Главный гиперпараметр t-SNE — ",[294,40750,40751],{},"perplexity",[92,40753,40751],{},") — управляет шириной гауссовых ядер и интерпретируется как «эффективное число соседей», учитываемых при оценке локальной плотности. Типичные значения — от 5 до 50; на маленьких датасетах лучше работают значения поменьше, на больших — побольше. Чувствительность результата к perplexity иногда неожиданно высока: разные значения могут дать визуально разные «облака», и важно проверять устойчивость, прогоняя алгоритм с несколькими значениями параметра.",[362,40756,364,40757,364,40761],{},[366,40758],{"src":40759,"alt":40760},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-06\u002Ftsne_vs_pca.svg","Сравнение проекций на ту же двумерную плоскость: PCA сохраняет глобальные расстояния, но смешивает классы; t-SNE разносит классы, но искажает глобальную геометрию",[370,40762,40763],{},"Один и тот же датасет в проекциях PCA и t-SNE: разные приоритеты — глобальная геометрия против локальных соседств",[85,40765,40766,40767,40770,40771,40774,40775,40879,40880,40887],{},"У t-SNE два принципиальных ограничения, о которых надо знать с самого начала. Первое — ",[294,40768,40769],{},"невоспроизводимость",": алгоритм стохастический, разные запуски с разной инициализацией дают разные карты. Это значит, что t-SNE — инструмент визуализации, а не координатной системы: на нём нельзя строить классификатор, ожидая что обученная модель применима к новым данным. Второе — ",[294,40772,40773],{},"непригодность для новых объектов",": t-SNE не строит функцию ",[148,40776,40778,40805],{"className":40777},[680],[148,40779,40781],{"className":40780},[684],[686,40782,40783],{"xmlns":688},[690,40784,40785,40802],{},[693,40786,40787,40790,40792,40794,40796],{},[769,40788,40789],{},"ϕ",[699,40791,6425],{},[769,40793,5985],{"mathvariant":5984},[699,40795,6430],{},[921,40797,40798,40800],{},[769,40799,7214],{"mathvariant":6847},[696,40801,163],{},[705,40803,40804],{"encoding":707},"\\phi: \\mathcal{X} \\to \\mathbb{R}^2",[148,40806,40808,40826,40844],{"className":40807,"ariaHidden":713},[712],[148,40809,40811,40814,40817,40820,40823],{"className":40810},[717],[148,40812],{"className":40813,"style":6934},[721],[148,40815,40789],{"className":40816},[726,1064],[148,40818],{"className":40819,"style":815},[730],[148,40821,6425],{"className":40822},[819],[148,40824],{"className":40825,"style":815},[730],[148,40827,40829,40832,40835,40838,40841],{"className":40828},[717],[148,40830],{"className":40831,"style":1344},[721],[148,40833,5985],{"className":40834,"style":6002},[726,6001],[148,40836],{"className":40837,"style":815},[730],[148,40839,6430],{"className":40840},[819],[148,40842],{"className":40843,"style":815},[730],[148,40845,40847,40850],{"className":40846},[717],[148,40848],{"className":40849,"style":963},[721],[148,40851,40853,40856],{"className":40852},[726],[148,40854,7214],{"className":40855},[726,7309],[148,40857,40859],{"className":40858},[977],[148,40860,40862],{"className":40861},[981],[148,40863,40865],{"className":40864},[985],[148,40866,40868],{"className":40867,"style":963},[989],[148,40869,40870,40873],{"style":992},[148,40871],{"className":40872,"style":997},[996],[148,40874,40876],{"className":40875},[1001,1002,1003,1004],[148,40877,163],{"className":40878},[726,1004],", которую можно было бы применить к точке вне обучающей выборки; алгоритм минимизирует расстановку конкретных точек, и для новой точки придётся пересчитывать всё с нуля. Если нужна именно «карта» с возможностью добавления данных, используют UMAP ",[140,40881,40883],{"className":40882},[143],[22,40884,40885],{"href":262},[148,40886,265],{}," — родственный по идее метод, который явно строит обобщающее отображение.",[85,40889,40890],{},"Ещё одна особенность, регулярно сбивающая интерпретацию: глобальные расстояния на t-SNE-карте не сохраняются. Если два кластера на картинке кажутся далёкими — это не значит, что в исходном пространстве они тоже далеки; алгоритм оптимизирует только локальные структуры. По этой же причине плотность точек в кластере на t-SNE-карте не отражает плотности в исходных данных. Карту следует читать как «есть ли локальные группы и какие точки в них объединены», а не как «насколько одни группы похожи на другие».",[10,40892,560],{"id":559},[562,40894,40896,40899,40902,40905,40908,40911,40914,40916,40919],{"className":40895},[565],[18,40897,40898],{"id":568},"MacQueen J. Some Methods for Classification and Analysis of Multivariate Observations. — Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, 1967, С. 281–297.",[18,40900,40901],{"id":572},"Arthur D., Vassilvitskii S. k-means++: The Advantages of Careful Seeding. — Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms (SODA), 2007, С. 1027–1035, DOI: 10.5555\u002F1283383.1283494.",[18,40903,40904],{"id":576},"Ester M., Kriegel H., Sander J., Xu X. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. — Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD), 1996, С. 226–231.",[18,40906,40907],{"id":580},"Ankerst M., Breunig M. M., Kriegel H., Sander J. OPTICS: Ordering Points to Identify the Clustering Structure. — Proceedings of the 1999 ACM SIGMOD International Conference on Management of Data, 1999, С. 49–60, DOI: 10.1145\u002F304182.304187.",[18,40909,40910],{"id":584},"Pearson K. On Lines and Planes of Closest Fit to Systems of Points in Space. — Philosophical Magazine, 1901, С. 559–572, DOI: 10.1080\u002F14786440109462720.",[18,40912,40913],{"id":588},"Jolliffe I. T. Principal Component Analysis. — Springer, 2002, DOI: 10.1007\u002Fb98835.",[18,40915,10800],{"id":592},[18,40917,40918],{"id":596},"van der Maaten L., Hinton G. Visualizing Data using t-SNE. — Journal of Machine Learning Research, 2008, С. 2579–2605.",[18,40920,40921],{"id":600},"McInnes L., Healy J., Melville J. UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. — arXiv preprint arXiv:1802.03426, 2018, https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.03426.",{"title":35,"searchDepth":36,"depth":36,"links":40923},[40924,40927,40932,40936],{"id":34783,"depth":36,"text":34784,"children":40925},[40926],{"id":34787,"depth":631,"text":34788},{"id":35355,"depth":36,"text":35356,"children":40928},[40929,40930,40931],{"id":35359,"depth":631,"text":35360},{"id":37090,"depth":631,"text":37091},{"id":37743,"depth":631,"text":37744},{"id":38311,"depth":36,"text":35046,"children":40933},[40934,40935],{"id":38314,"depth":631,"text":38315},{"id":39994,"depth":631,"text":39995},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-06-content",{"title":34769,"description":34777},"courses\u002Faidt-iot-mii\u002Ftopic-06-content",6,"topic-06","wfkvDKiit16m33lVAh86fMmYBtwZFW0ID_EEWbrHyOE",{"id":40945,"title":40946,"body":40947,"course_slug":39,"description":40954,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":46459,"navigation":44,"path":46460,"section":106,"seo":46461,"stem":46462,"topic_number":46463,"topic_slug":46464,"__hash__":46465},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-07-content.md","Тема 7. Оценка и выбор моделей",{"type":7,"value":40948,"toc":46444},[40949,40952,40955,40958,40962,40966,40969,41302,41316,41319,41322,41365,42358,42367,42603,42825,42864,43458,43535,43539,43543,43646,43656,43777,43875,43884,43887,43898,43908,43911,43915,43924,43927,43931,44047,44433,44436,44669,44769,44773,44785,44788,45057,45577,45810,45819,46247,46271,46367,46376,46379,46383,46401,46408,46411,46418,46421,46423],[81,40950,40946],{"id":40951},"тема-7-оценка-и-выбор-моделей",[85,40953,40954],{},"В темах 4 и 5 мы научились строить классификаторы и регрессоры, а в теме 3 — корректно разбивать данные и сравнивать модель с базовой стратегией. Когда задача проста и данных много, схема «обучили — посмотрели на тесте» работает безотказно. Но как только мы беремся всерьёз сравнивать несколько алгоритмов, подбирать гиперпараметры или собирать ансамбль, простая проверка на одном отложенном множестве начинает обманывать. Цифры на тестовой выборке скачут от запуска к запуску, и неясно, отражает ли это реальную разницу моделей или случайность разбиения.",[85,40956,40957],{},"Эта тема — про то, как получать оценки качества, которым можно верить, и как на их основе принимать решения: какие гиперпараметры выбрать, какую модель оставить, имеет ли смысл переходить к ансамблю. Мы введём кросс-валидацию как способ снизить разброс оценки, рассмотрим стратегии подбора гиперпараметров и разберём три ансамблевых семейства — бэггинг, бустинг и стэкинг, — которые лежат в основе подавляющего большинства побед на табличных задачах за последние двадцать лет.",[10,40959,40961],{"id":40960},"проблема-надёжной-оценки","Проблема надёжной оценки",[128,40963,40965],{"id":40964},"почему-test-set-недостаточен","Почему test set недостаточен",[85,40967,40968],{},"Стандартное разбиение «обучение — валидация — тест», описанное в теме 3, исходит из идеализированного предположения: тестовая выборка достаточно велика и репрезентативна, чтобы оценка на ней служила прокси истинного риска. На умеренных по размеру датасетах это предположение трещит сразу с двух сторон.",[85,40970,40971,40972,41149,41150,389,41202,41301],{},"Первая проблема — зависимость метрики от конкретного разбиения. Возьмём набор из тысячи примеров, выделим 20% в тест, обучим модель и получим accuracy 0.87. Перемешаем данные, повторим — получим 0.84. Снова — 0.89. Размах в три-пять процентных пунктов на маленьких выборках — норма, а не исключение, и для дисперсии оценки accuracy через биномиальное приближение получим ",[148,40973,40975,41012],{"className":40974},[680],[148,40976,40978],{"className":40977},[684],[686,40979,40980],{"xmlns":688},[690,40981,40982,41009],{},[693,40983,40984],{},[15628,40985,40986],{},[693,40987,40988,40990,40992,40994,40996,40998,41000,41002],{},[769,40989,85],{},[699,40991,2748],{"stretchy":766},[696,40993,150],{},[699,40995,3325],{},[769,40997,85],{},[699,40999,2757],{"stretchy":766},[769,41001,772],{"mathvariant":771},[1038,41003,41004,41006],{},[769,41005,1566],{},[782,41007,41008],{},"test",[705,41010,41011],{"encoding":707},"\\sqrt{p(1-p)\u002Fn_{\\text{test}}}",[148,41013,41015],{"className":41014,"ariaHidden":713},[712],[148,41016,41018,41022],{"className":41017},[717],[148,41019],{"className":41020,"style":41021},[721],"height:1.24em;vertical-align:-0.305em;",[148,41023,41025],{"className":41024},[726,15743],[148,41026,41028,41140],{"className":41027},[981,1071],[148,41029,41031,41137],{"className":41030},[985],[148,41032,41035,41120],{"className":41033,"style":41034},[989],"height:0.935em;",[148,41036,41039,41043],{"className":41037,"style":41038},[9175],"top:-3.2em;",[148,41040],{"className":41041,"style":41042},[996],"height:3.2em;",[148,41044,41046,41049,41052,41055,41058,41061,41064,41067,41070,41073],{"className":41045,"style":15765},[726],[148,41047,85],{"className":41048},[726,1064],[148,41050,2748],{"className":41051},[1242],[148,41053,150],{"className":41054},[726],[148,41056],{"className":41057,"style":731},[730],[148,41059,3325],{"className":41060},[735],[148,41062],{"className":41063,"style":731},[730],[148,41065,85],{"className":41066},[726,1064],[148,41068,2757],{"className":41069},[807],[148,41071,772],{"className":41072},[726],[148,41074,41076,41079],{"className":41075},[726],[148,41077,1566],{"className":41078},[726,1064],[148,41080,41082],{"className":41081},[977],[148,41083,41085,41112],{"className":41084},[981,1071],[148,41086,41088,41109],{"className":41087},[985],[148,41089,41092],{"className":41090,"style":41091},[989],"height:0.2806em;",[148,41093,41094,41097],{"style":1081},[148,41095],{"className":41096,"style":997},[996],[148,41098,41100],{"className":41099},[1001,1002,1003,1004],[148,41101,41103],{"className":41102},[726,1004],[148,41104,41106],{"className":41105},[726,5620,1004],[148,41107,41008],{"className":41108},[726,1004],[148,41110,1095],{"className":41111},[1094],[148,41113,41115],{"className":41114},[985],[148,41116,41118],{"className":41117,"style":1102},[989],[148,41119],{},[148,41121,41123,41126],{"style":41122},"top:-2.895em;",[148,41124],{"className":41125,"style":41042},[996],[148,41127,41130],{"className":41128,"style":41129},[15958],"min-width:1.02em;height:1.28em;",[9191,41131,41134],{"xmlns":9193,"width":9194,"height":41132,"viewBox":41133,"preserveAspectRatio":9197},"1.28em","0 0 400000 1296",[9199,41135],{"d":41136},"M263,681c0.7,0,18,39.7,52,119\nc34,79.3,68.167,158.7,102.5,238c34.3,79.3,51.8,119.3,52.5,120\nc340,-704.7,510.7,-1060.3,512,-1067\nl0 -0\nc4.7,-7.3,11,-11,19,-11\nH40000v40H1012.3\ns-271.3,567,-271.3,567c-38.7,80.7,-84,175,-136,283c-52,108,-89.167,185.3,-111.5,232\nc-22.3,46.7,-33.8,70.3,-34.5,71c-4.7,4.7,-12.3,7,-23,7s-12,-1,-12,-1\ns-109,-253,-109,-253c-72.7,-168,-109.3,-252,-110,-252c-10.7,8,-22,16.7,-34,26\nc-22,17.3,-33.3,26,-34,26s-26,-26,-26,-26s76,-59,76,-59s76,-60,76,-60z\nM1001 80h400000v40h-400000z",[148,41138,1095],{"className":41139},[1094],[148,41141,41143],{"className":41142},[985],[148,41144,41147],{"className":41145,"style":41146},[989],"height:0.305em;",[148,41148],{},", что при ",[148,41151,41153,41172],{"className":41152},[680],[148,41154,41156],{"className":41155},[684],[686,41157,41158],{"xmlns":688},[690,41159,41160,41169],{},[693,41161,41162,41164,41166],{},[769,41163,85],{},[699,41165,777],{},[696,41167,41168],{},"0.87",[705,41170,41171],{"encoding":707},"p = 0.87",[148,41173,41175,41193],{"className":41174,"ariaHidden":713},[712],[148,41176,41178,41181,41184,41187,41190],{"className":41177},[717],[148,41179],{"className":41180,"style":1579},[721],[148,41182,85],{"className":41183},[726,1064],[148,41185],{"className":41186,"style":815},[730],[148,41188,777],{"className":41189},[819],[148,41191],{"className":41192,"style":815},[730],[148,41194,41196,41199],{"className":41195},[717],[148,41197],{"className":41198,"style":745},[721],[148,41200,41168],{"className":41201},[726],[148,41203,41205,41228],{"className":41204},[680],[148,41206,41208],{"className":41207},[684],[686,41209,41210],{"xmlns":688},[690,41211,41212,41225],{},[693,41213,41214,41220,41222],{},[1038,41215,41216,41218],{},[769,41217,1566],{},[782,41219,41008],{},[699,41221,777],{},[696,41223,41224],{},"200",[705,41226,41227],{"encoding":707},"n_{\\text{test}} = 200",[148,41229,41231,41292],{"className":41230,"ariaHidden":713},[712],[148,41232,41234,41237,41283,41286,41289],{"className":41233},[717],[148,41235],{"className":41236,"style":1057},[721],[148,41238,41240,41243],{"className":41239},[726],[148,41241,1566],{"className":41242},[726,1064],[148,41244,41246],{"className":41245},[977],[148,41247,41249,41275],{"className":41248},[981,1071],[148,41250,41252,41272],{"className":41251},[985],[148,41253,41255],{"className":41254,"style":41091},[989],[148,41256,41257,41260],{"style":1081},[148,41258],{"className":41259,"style":997},[996],[148,41261,41263],{"className":41262},[1001,1002,1003,1004],[148,41264,41266],{"className":41265},[726,1004],[148,41267,41269],{"className":41268},[726,5620,1004],[148,41270,41008],{"className":41271},[726,1004],[148,41273,1095],{"className":41274},[1094],[148,41276,41278],{"className":41277},[985],[148,41279,41281],{"className":41280,"style":1102},[989],[148,41282],{},[148,41284],{"className":41285,"style":815},[730],[148,41287,777],{"className":41288},[819],[148,41290],{"className":41291,"style":815},[730],[148,41293,41295,41298],{"className":41294},[717],[148,41296],{"className":41297,"style":745},[721],[148,41299,41224],{"className":41300},[726]," даёт стандартное отклонение около 0.024. Доверительный интервал шириной в пять процентных пунктов перекрывает разницу между большинством разумных моделей: «бустинг лучше леса на два пункта» в таких условиях статистически неотличимо от шума.",[85,41303,41304,41305,297,41308,41311,41312,41315],{},"Вторая проблема тоньше и опаснее. Когда исследователь сравнивает на одной и той же тестовой выборке десяток моделей, выбирает лучшую и отчитывается её метрикой, он совершает то, что в литературе называют ",[294,41306,41307],{},"подглядыванием в тест",[92,41309,41310],{},"test set peeking",") или, более формально, множественной проверкой гипотез на одной выборке. Чем больше моделей мы пробуем, тем выше вероятность, что одна из них окажется лучше остальных по чистой случайности; и заявленная для победителя метрика будет систематически завышена. Эффект называют ",[294,41313,41314],{},"оптимистическим смещением"," оценки. Тестовая выборка перестаёт быть тестовой не только когда мы дообучаем модель на её основе, но и когда мы используем её для выбора модели среди многих.",[85,41317,41318],{},"Логический выход — отделить выборку, по которой мы сравниваем модели, от выборки, на которой меряем итоговое качество. Но если данных мало, заводить три отдельных множества (обучение, валидация, тест) уже расточительно, и валидационная часть оказывается слишком маленькой, чтобы давать стабильную оценку. Этой проблеме посвящена кросс-валидация.",[128,41320,41321],{"id":30791},"Кросс-валидация",[85,41323,41324,41325,41328,41329,41357,41358,26],{},"Идея ",[294,41326,41327],{},"кросс-валидации"," — переиспользовать обучающие данные для оценки качества за счёт многократного повторного разбиения. Вместо того чтобы один раз выделить валидационную часть, мы делаем это ",[148,41330,41332,41345],{"className":41331},[680],[148,41333,41335],{"className":41334},[684],[686,41336,41337],{"xmlns":688},[690,41338,41339,41343],{},[693,41340,41341],{},[769,41342,2572],{},[705,41344,2572],{"encoding":707},[148,41346,41348],{"className":41347,"ariaHidden":713},[712],[148,41349,41351,41354],{"className":41350},[717],[148,41352],{"className":41353,"style":2415},[721],[148,41355,2572],{"className":41356,"style":2587},[726,1064]," раз, каждый раз по-новому, и усредняем результат ",[140,41359,41361],{"className":41360},[143],[22,41362,41363],{"href":146},[148,41364,150],{},[85,41366,41367,41368,41371,41372,41400,41401,41404,41405,41433,41434,41462,41463,41514,41515,41543,41544,1318,42032,42154,42155,42183,42184,42357],{},"В самой распространённой схеме — ",[294,41369,41370],{},"K-fold кросс-валидации"," — обучающая выборка разбивается на ",[148,41373,41375,41388],{"className":41374},[680],[148,41376,41378],{"className":41377},[684],[686,41379,41380],{"xmlns":688},[690,41381,41382,41386],{},[693,41383,41384],{},[769,41385,2572],{},[705,41387,2572],{"encoding":707},[148,41389,41391],{"className":41390,"ariaHidden":713},[712],[148,41392,41394,41397],{"className":41393},[717],[148,41395],{"className":41396,"style":2415},[721],[148,41398,2572],{"className":41399,"style":2587},[726,1064]," непересекающихся блоков (англ. ",[92,41402,41403],{},"folds",") приблизительно равного размера. В ",[148,41406,41408,41421],{"className":41407},[680],[148,41409,41411],{"className":41410},[684],[686,41412,41413],{"xmlns":688},[690,41414,41415,41419],{},[693,41416,41417],{},[769,41418,6183],{},[705,41420,6183],{"encoding":707},[148,41422,41424],{"className":41423,"ariaHidden":713},[712],[148,41425,41427,41430],{"className":41426},[717],[148,41428],{"className":41429,"style":19084},[721],[148,41431,6183],{"className":41432},[726,1064],"-й итерации ",[148,41435,41437,41450],{"className":41436},[680],[148,41438,41440],{"className":41439},[684],[686,41441,41442],{"xmlns":688},[690,41443,41444,41448],{},[693,41445,41446],{},[769,41447,6183],{},[705,41449,6183],{"encoding":707},[148,41451,41453],{"className":41452,"ariaHidden":713},[712],[148,41454,41456,41459],{"className":41455},[717],[148,41457],{"className":41458,"style":19084},[721],[148,41460,6183],{"className":41461},[726,1064],"-й блок служит валидационным множеством, а оставшиеся ",[148,41464,41466,41484],{"className":41465},[680],[148,41467,41469],{"className":41468},[684],[686,41470,41471],{"xmlns":688},[690,41472,41473,41481],{},[693,41474,41475,41477,41479],{},[769,41476,2572],{},[699,41478,3325],{},[696,41480,150],{},[705,41482,41483],{"encoding":707},"k-1",[148,41485,41487,41505],{"className":41486,"ariaHidden":713},[712],[148,41488,41490,41493,41496,41499,41502],{"className":41489},[717],[148,41491],{"className":41492,"style":2620},[721],[148,41494,2572],{"className":41495,"style":2587},[726,1064],[148,41497],{"className":41498,"style":731},[730],[148,41500,3325],{"className":41501},[735],[148,41503],{"className":41504,"style":731},[730],[148,41506,41508,41511],{"className":41507},[717],[148,41509],{"className":41510,"style":745},[721],[148,41512,150],{"className":41513},[726]," блоков — обучающим. Модель переобучается заново на каждой итерации, метрика вычисляется на отложенном блоке, и финальная оценка — это среднее по ",[148,41516,41518,41531],{"className":41517},[680],[148,41519,41521],{"className":41520},[684],[686,41522,41523],{"xmlns":688},[690,41524,41525,41529],{},[693,41526,41527],{},[769,41528,2572],{},[705,41530,2572],{"encoding":707},[148,41532,41534],{"className":41533,"ariaHidden":713},[712],[148,41535,41537,41540],{"className":41536},[717],[148,41538],{"className":41539,"style":2415},[721],[148,41541,2572],{"className":41542,"style":2587},[726,1064]," значениям:\n",[148,41545,41547,41639],{"className":41546},[680],[148,41548,41550],{"className":41549},[684],[686,41551,41552],{"xmlns":688},[690,41553,41554,41636],{},[693,41555,41556,41559,41561,41563,41565,41567,41573,41587,41589,41591,41600,41602,41620,41622,41630,41632,41634],{},[782,41557,41558],{},"CV",[699,41560,2748],{"stretchy":766},[769,41562,4112],{},[699,41564,2757],{"stretchy":766},[699,41566,777],{},[3315,41568,41569,41571],{},[696,41570,150],{},[769,41572,2572],{},[6195,41574,41575,41577,41585],{},[699,41576,7436],{},[693,41578,41579,41581,41583],{},[769,41580,6183],{},[699,41582,777],{},[696,41584,150],{},[769,41586,2572],{},[769,41588,6728],{},[699,41590,2748],{"stretchy":766},[6195,41592,41593,41595,41597],{},[769,41594,6060],{},[769,41596,6183],{},[782,41598,41599],{},"val",[699,41601,1205],{"separator":713},[921,41603,41604,41610],{},[6416,41605,41606,41608],{"accent":713},[769,41607,4112],{},[699,41609,6422],{},[693,41611,41612,41614,41616,41618],{},[699,41613,2748],{"stretchy":766},[699,41615,3325],{},[769,41617,6183],{},[699,41619,2757],{"stretchy":766},[699,41621,2748],{"stretchy":766},[6195,41623,41624,41626,41628],{},[769,41625,6055],{},[769,41627,6183],{},[782,41629,41599],{},[699,41631,2757],{"stretchy":766},[699,41633,2757],{"stretchy":766},[699,41635,1205],{"separator":713},[705,41637,41638],{"encoding":707},"\\text{CV}(f) = \\frac{1}{k} \\sum_{i=1}^{k} L(y_i^{\\text{val}}, \\hat{f}^{(-i)}(x_i^{\\text{val}})),",[148,41640,41642,41672],{"className":41641,"ariaHidden":713},[712],[148,41643,41645,41648,41654,41657,41660,41663,41666,41669],{"className":41644},[717],[148,41646],{"className":41647,"style":800},[721],[148,41649,41651],{"className":41650},[726,5620],[148,41652,41558],{"className":41653},[726],[148,41655,2748],{"className":41656},[1242],[148,41658,4112],{"className":41659,"style":4157},[726,1064],[148,41661,2757],{"className":41662},[807],[148,41664],{"className":41665,"style":815},[730],[148,41667,777],{"className":41668},[819],[148,41670],{"className":41671,"style":815},[730],[148,41673,41675,41679,41747,41750,41813,41816,41819,41822,41880,41883,41886,41966,41969,42026,42029],{"className":41674},[717],[148,41676],{"className":41677,"style":41678},[721],"height:1.334em;vertical-align:-0.345em;",[148,41680,41682,41685,41744],{"className":41681},[726],[148,41683],{"className":41684},[1242,3347],[148,41686,41688],{"className":41687},[3315],[148,41689,41691,41736],{"className":41690},[981,1071],[148,41692,41694,41733],{"className":41693},[985],[148,41695,41697,41711,41719],{"className":41696,"style":7563},[989],[148,41698,41699,41702],{"style":3363},[148,41700],{"className":41701,"style":3367},[996],[148,41703,41705],{"className":41704},[1001,1002,1003,1004],[148,41706,41708],{"className":41707},[726,1004],[148,41709,2572],{"className":41710,"style":2587},[726,1064,1004],[148,41712,41713,41716],{"style":3385},[148,41714],{"className":41715,"style":3367},[996],[148,41717],{"className":41718,"style":3393},[3392],[148,41720,41721,41724],{"style":3396},[148,41722],{"className":41723,"style":3367},[996],[148,41725,41727],{"className":41726},[1001,1002,1003,1004],[148,41728,41730],{"className":41729},[726,1004],[148,41731,150],{"className":41732},[726,1004],[148,41734,1095],{"className":41735},[1094],[148,41737,41739],{"className":41738},[985],[148,41740,41742],{"className":41741,"style":7609},[989],[148,41743],{},[148,41745],{"className":41746},[807,3347],[148,41748],{"className":41749,"style":835},[730],[148,41751,41753,41756],{"className":41752},[7621],[148,41754,7436],{"className":41755,"style":7627},[7621,7625,7626],[148,41757,41759],{"className":41758},[977],[148,41760,41762,41805],{"className":41761},[981,1071],[148,41763,41765,41802],{"className":41764},[985],[148,41766,41768,41788],{"className":41767,"style":35756},[989],[148,41769,41770,41773],{"style":7643},[148,41771],{"className":41772,"style":997},[996],[148,41774,41776],{"className":41775},[1001,1002,1003,1004],[148,41777,41779,41782,41785],{"className":41778},[726,1004],[148,41780,6183],{"className":41781},[726,1064,1004],[148,41783,777],{"className":41784},[819,1004],[148,41786,150],{"className":41787},[726,1004],[148,41789,41790,41793],{"style":7664},[148,41791],{"className":41792,"style":997},[996],[148,41794,41796],{"className":41795},[1001,1002,1003,1004],[148,41797,41799],{"className":41798},[726,1004],[148,41800,2572],{"className":41801,"style":2587},[726,1064,1004],[148,41803,1095],{"className":41804},[1094],[148,41806,41808],{"className":41807},[985],[148,41809,41811],{"className":41810,"style":7686},[989],[148,41812],{},[148,41814],{"className":41815,"style":835},[730],[148,41817,6728],{"className":41818},[726,1064],[148,41820,2748],{"className":41821},[1242],[148,41823,41825,41828],{"className":41824},[726],[148,41826,6060],{"className":41827,"style":4185},[726,1064],[148,41829,41831],{"className":41830},[977],[148,41832,41834,41872],{"className":41833},[981,1071],[148,41835,41837,41869],{"className":41836},[985],[148,41838,41840,41852],{"className":41839,"style":2796},[989],[148,41841,41843,41846],{"style":41842},"top:-2.4413em;margin-left:-0.0359em;margin-right:0.05em;",[148,41844],{"className":41845,"style":997},[996],[148,41847,41849],{"className":41848},[1001,1002,1003,1004],[148,41850,6183],{"className":41851},[726,1064,1004],[148,41853,41854,41857],{"style":992},[148,41855],{"className":41856,"style":997},[996],[148,41858,41860],{"className":41859},[1001,1002,1003,1004],[148,41861,41863],{"className":41862},[726,1004],[148,41864,41866],{"className":41865},[726,5620,1004],[148,41867,41599],{"className":41868},[726,1004],[148,41870,1095],{"className":41871},[1094],[148,41873,41875],{"className":41874},[985],[148,41876,41878],{"className":41877,"style":6399},[989],[148,41879],{},[148,41881,1205],{"className":41882},[1250],[148,41884],{"className":41885,"style":835},[730],[148,41887,41889,41931],{"className":41888},[726],[148,41890,41892],{"className":41891},[726,6449],[148,41893,41895,41923],{"className":41894},[981,1071],[148,41896,41898,41920],{"className":41897},[985],[148,41899,41901,41909],{"className":41900,"style":6459},[989],[148,41902,41903,41906],{"style":6462},[148,41904],{"className":41905,"style":3367},[996],[148,41907,4112],{"className":41908,"style":4157},[726,1064],[148,41910,41911,41914],{"style":6471},[148,41912],{"className":41913,"style":3367},[996],[148,41915,41917],{"className":41916,"style":6479},[6478],[148,41918,6422],{"className":41919},[726],[148,41921,1095],{"className":41922},[1094],[148,41924,41926],{"className":41925},[985],[148,41927,41929],{"className":41928,"style":6492},[989],[148,41930],{},[148,41932,41934],{"className":41933},[977],[148,41935,41937],{"className":41936},[981],[148,41938,41940],{"className":41939},[985],[148,41941,41943],{"className":41942,"style":25352},[989],[148,41944,41945,41948],{"style":992},[148,41946],{"className":41947,"style":997},[996],[148,41949,41951],{"className":41950},[1001,1002,1003,1004],[148,41952,41954,41957,41960,41963],{"className":41953},[726,1004],[148,41955,2748],{"className":41956},[1242,1004],[148,41958,3325],{"className":41959},[726,1004],[148,41961,6183],{"className":41962},[726,1064,1004],[148,41964,2757],{"className":41965},[807,1004],[148,41967,2748],{"className":41968},[1242],[148,41970,41972,41975],{"className":41971},[726],[148,41973,6055],{"className":41974},[726,1064],[148,41976,41978],{"className":41977},[977],[148,41979,41981,42018],{"className":41980},[981,1071],[148,41982,41984,42015],{"className":41983},[985],[148,41985,41987,41998],{"className":41986,"style":2796},[989],[148,41988,41989,41992],{"style":6357},[148,41990],{"className":41991,"style":997},[996],[148,41993,41995],{"className":41994},[1001,1002,1003,1004],[148,41996,6183],{"className":41997},[726,1064,1004],[148,41999,42000,42003],{"style":992},[148,42001],{"className":42002,"style":997},[996],[148,42004,42006],{"className":42005},[1001,1002,1003,1004],[148,42007,42009],{"className":42008},[726,1004],[148,42010,42012],{"className":42011},[726,5620,1004],[148,42013,41599],{"className":42014},[726,1004],[148,42016,1095],{"className":42017},[1094],[148,42019,42021],{"className":42020},[985],[148,42022,42024],{"className":42023,"style":6399},[989],[148,42025],{},[148,42027,6827],{"className":42028},[807],[148,42030,1205],{"className":42031},[1250],[148,42033,42035,42065],{"className":42034},[680],[148,42036,42038],{"className":42037},[684],[686,42039,42040],{"xmlns":688},[690,42041,42042,42062],{},[693,42043,42044],{},[921,42045,42046,42052],{},[6416,42047,42048,42050],{"accent":713},[769,42049,4112],{},[699,42051,6422],{},[693,42053,42054,42056,42058,42060],{},[699,42055,2748],{"stretchy":766},[699,42057,3325],{},[769,42059,6183],{},[699,42061,2757],{"stretchy":766},[705,42063,42064],{"encoding":707},"\\hat{f}^{(-i)}",[148,42066,42068],{"className":42067,"ariaHidden":713},[712],[148,42069,42071,42074],{"className":42070},[717],[148,42072],{"className":42073,"style":6445},[721],[148,42075,42077,42119],{"className":42076},[726],[148,42078,42080],{"className":42079},[726,6449],[148,42081,42083,42111],{"className":42082},[981,1071],[148,42084,42086,42108],{"className":42085},[985],[148,42087,42089,42097],{"className":42088,"style":6459},[989],[148,42090,42091,42094],{"style":6462},[148,42092],{"className":42093,"style":3367},[996],[148,42095,4112],{"className":42096,"style":4157},[726,1064],[148,42098,42099,42102],{"style":6471},[148,42100],{"className":42101,"style":3367},[996],[148,42103,42105],{"className":42104,"style":6479},[6478],[148,42106,6422],{"className":42107},[726],[148,42109,1095],{"className":42110},[1094],[148,42112,42114],{"className":42113},[985],[148,42115,42117],{"className":42116,"style":6492},[989],[148,42118],{},[148,42120,42122],{"className":42121},[977],[148,42123,42125],{"className":42124},[981],[148,42126,42128],{"className":42127},[985],[148,42129,42131],{"className":42130,"style":25352},[989],[148,42132,42133,42136],{"style":992},[148,42134],{"className":42135,"style":997},[996],[148,42137,42139],{"className":42138},[1001,1002,1003,1004],[148,42140,42142,42145,42148,42151],{"className":42141},[726,1004],[148,42143,2748],{"className":42144},[1242,1004],[148,42146,3325],{"className":42147},[726,1004],[148,42149,6183],{"className":42150},[726,1064,1004],[148,42152,2757],{"className":42153},[807,1004]," — модель, обученная без ",[148,42156,42158,42171],{"className":42157},[680],[148,42159,42161],{"className":42160},[684],[686,42162,42163],{"xmlns":688},[690,42164,42165,42169],{},[693,42166,42167],{},[769,42168,6183],{},[705,42170,6183],{"encoding":707},[148,42172,42174],{"className":42173,"ariaHidden":713},[712],[148,42175,42177,42180],{"className":42176},[717],[148,42178],{"className":42179,"style":19084},[721],[148,42181,6183],{"className":42182},[726,1064],"-го блока, а ",[148,42185,42187,42221],{"className":42186},[680],[148,42188,42190],{"className":42189},[684],[686,42191,42192],{"xmlns":688},[690,42193,42194,42218],{},[693,42195,42196,42198,42206,42208,42216],{},[699,42197,2748],{"stretchy":766},[6195,42199,42200,42202,42204],{},[769,42201,6055],{},[769,42203,6183],{},[782,42205,41599],{},[699,42207,1205],{"separator":713},[6195,42209,42210,42212,42214],{},[769,42211,6060],{},[769,42213,6183],{},[782,42215,41599],{},[699,42217,2757],{"stretchy":766},[705,42219,42220],{"encoding":707},"(x_i^{\\text{val}}, y_i^{\\text{val}})",[148,42222,42224],{"className":42223,"ariaHidden":713},[712],[148,42225,42227,42231,42234,42291,42294,42297,42354],{"className":42226},[717],[148,42228],{"className":42229,"style":42230},[721],"height:1.1078em;vertical-align:-0.2587em;",[148,42232,2748],{"className":42233},[1242],[148,42235,42237,42240],{"className":42236},[726],[148,42238,6055],{"className":42239},[726,1064],[148,42241,42243],{"className":42242},[977],[148,42244,42246,42283],{"className":42245},[981,1071],[148,42247,42249,42280],{"className":42248},[985],[148,42250,42252,42263],{"className":42251,"style":2796},[989],[148,42253,42254,42257],{"style":6357},[148,42255],{"className":42256,"style":997},[996],[148,42258,42260],{"className":42259},[1001,1002,1003,1004],[148,42261,6183],{"className":42262},[726,1064,1004],[148,42264,42265,42268],{"style":992},[148,42266],{"className":42267,"style":997},[996],[148,42269,42271],{"className":42270},[1001,1002,1003,1004],[148,42272,42274],{"className":42273},[726,1004],[148,42275,42277],{"className":42276},[726,5620,1004],[148,42278,41599],{"className":42279},[726,1004],[148,42281,1095],{"className":42282},[1094],[148,42284,42286],{"className":42285},[985],[148,42287,42289],{"className":42288,"style":6399},[989],[148,42290],{},[148,42292,1205],{"className":42293},[1250],[148,42295],{"className":42296,"style":835},[730],[148,42298,42300,42303],{"className":42299},[726],[148,42301,6060],{"className":42302,"style":4185},[726,1064],[148,42304,42306],{"className":42305},[977],[148,42307,42309,42346],{"className":42308},[981,1071],[148,42310,42312,42343],{"className":42311},[985],[148,42313,42315,42326],{"className":42314,"style":2796},[989],[148,42316,42317,42320],{"style":41842},[148,42318],{"className":42319,"style":997},[996],[148,42321,42323],{"className":42322},[1001,1002,1003,1004],[148,42324,6183],{"className":42325},[726,1064,1004],[148,42327,42328,42331],{"style":992},[148,42329],{"className":42330,"style":997},[996],[148,42332,42334],{"className":42333},[1001,1002,1003,1004],[148,42335,42337],{"className":42336},[726,1004],[148,42338,42340],{"className":42339},[726,5620,1004],[148,42341,41599],{"className":42342},[726,1004],[148,42344,1095],{"className":42345},[1094],[148,42347,42349],{"className":42348},[985],[148,42350,42352],{"className":42351,"style":6399},[989],[148,42353],{},[148,42355,2757],{"className":42356},[807]," — этот блок целиком.",[362,42359,364,42360,364,42364],{},[366,42361],{"src":42362,"alt":42363},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-07\u002Fkfold_cross_validation.svg","K-fold кросс-валидация при k=5: разбиение данных на 5 блоков и ротация валидационного блока",[370,42365,42366],{},"K-fold кросс-валидация при k=5: на каждой итерации один блок выступает валидационным, остальные — обучающими; итоговая оценка усредняется по пяти запускам.",[85,42368,16905,42369,42397,42398,42449,42450,42501,42502,11610,42552,42602],{},[148,42370,42372,42385],{"className":42371},[680],[148,42373,42375],{"className":42374},[684],[686,42376,42377],{"xmlns":688},[690,42378,42379,42383],{},[693,42380,42381],{},[769,42382,2572],{},[705,42384,2572],{"encoding":707},[148,42386,42388],{"className":42387,"ariaHidden":713},[712],[148,42389,42391,42394],{"className":42390},[717],[148,42392],{"className":42393,"style":2415},[721],[148,42395,2572],{"className":42396,"style":2587},[726,1064]," — это компромисс. При ",[148,42399,42401,42419],{"className":42400},[680],[148,42402,42404],{"className":42403},[684],[686,42405,42406],{"xmlns":688},[690,42407,42408,42416],{},[693,42409,42410,42412,42414],{},[769,42411,2572],{},[699,42413,777],{},[696,42415,213],{},[705,42417,42418],{"encoding":707},"k = 5",[148,42420,42422,42440],{"className":42421,"ariaHidden":713},[712],[148,42423,42425,42428,42431,42434,42437],{"className":42424},[717],[148,42426],{"className":42427,"style":2415},[721],[148,42429,2572],{"className":42430,"style":2587},[726,1064],[148,42432],{"className":42433,"style":815},[730],[148,42435,777],{"className":42436},[819],[148,42438],{"className":42439,"style":815},[730],[148,42441,42443,42446],{"className":42442},[717],[148,42444],{"className":42445,"style":745},[721],[148,42447,213],{"className":42448},[726]," обучающее множество на каждой итерации составляет 80% исходных данных, что близко к будущей модели, обученной на полной выборке; вычислительные затраты — пятикратные. При ",[148,42451,42453,42471],{"className":42452},[680],[148,42454,42456],{"className":42455},[684],[686,42457,42458],{"xmlns":688},[690,42459,42460,42468],{},[693,42461,42462,42464,42466],{},[769,42463,2572],{},[699,42465,777],{},[696,42467,278],{},[705,42469,42470],{"encoding":707},"k = 10",[148,42472,42474,42492],{"className":42473,"ariaHidden":713},[712],[148,42475,42477,42480,42483,42486,42489],{"className":42476},[717],[148,42478],{"className":42479,"style":2415},[721],[148,42481,2572],{"className":42482,"style":2587},[726,1064],[148,42484],{"className":42485,"style":815},[730],[148,42487,777],{"className":42488},[819],[148,42490],{"className":42491,"style":815},[730],[148,42493,42495,42498],{"className":42494},[717],[148,42496],{"className":42497,"style":745},[721],[148,42499,278],{"className":42500},[726]," оценка чуть точнее, обучающая выборка ещё ближе к полной, но вычислений вдвое больше. В подавляющем большинстве задач выбирают ",[148,42503,42505,42522],{"className":42504},[680],[148,42506,42508],{"className":42507},[684],[686,42509,42510],{"xmlns":688},[690,42511,42512,42520],{},[693,42513,42514,42516,42518],{},[769,42515,2572],{},[699,42517,777],{},[696,42519,213],{},[705,42521,42418],{"encoding":707},[148,42523,42525,42543],{"className":42524,"ariaHidden":713},[712],[148,42526,42528,42531,42534,42537,42540],{"className":42527},[717],[148,42529],{"className":42530,"style":2415},[721],[148,42532,2572],{"className":42533,"style":2587},[726,1064],[148,42535],{"className":42536,"style":815},[730],[148,42538,777],{"className":42539},[819],[148,42541],{"className":42542,"style":815},[730],[148,42544,42546,42549],{"className":42545},[717],[148,42547],{"className":42548,"style":745},[721],[148,42550,213],{"className":42551},[726],[148,42553,42555,42572],{"className":42554},[680],[148,42556,42558],{"className":42557},[684],[686,42559,42560],{"xmlns":688},[690,42561,42562,42570],{},[693,42563,42564,42566,42568],{},[769,42565,2572],{},[699,42567,777],{},[696,42569,278],{},[705,42571,42470],{"encoding":707},[148,42573,42575,42593],{"className":42574,"ariaHidden":713},[712],[148,42576,42578,42581,42584,42587,42590],{"className":42577},[717],[148,42579],{"className":42580,"style":2415},[721],[148,42582,2572],{"className":42583,"style":2587},[726,1064],[148,42585],{"className":42586,"style":815},[730],[148,42588,777],{"className":42589},[819],[148,42591],{"className":42592,"style":815},[730],[148,42594,42596,42599],{"className":42595},[717],[148,42597],{"className":42598,"style":745},[721],[148,42600,278],{"className":42601},[726],"; первое значение — для быстрых прототипов, второе — для итоговых сравнений.",[85,42604,42605,42606,42657,42658,42661,42662,42713,42714,42742,42743,42771,42772,42824],{},"Предельный случай ",[148,42607,42609,42627],{"className":42608},[680],[148,42610,42612],{"className":42611},[684],[686,42613,42614],{"xmlns":688},[690,42615,42616,42624],{},[693,42617,42618,42620,42622],{},[769,42619,2572],{},[699,42621,777],{},[769,42623,1566],{},[705,42625,42626],{"encoding":707},"k = n",[148,42628,42630,42648],{"className":42629,"ariaHidden":713},[712],[148,42631,42633,42636,42639,42642,42645],{"className":42632},[717],[148,42634],{"className":42635,"style":2415},[721],[148,42637,2572],{"className":42638,"style":2587},[726,1064],[148,42640],{"className":42641,"style":815},[730],[148,42643,777],{"className":42644},[819],[148,42646],{"className":42647,"style":815},[730],[148,42649,42651,42654],{"className":42650},[717],[148,42652],{"className":42653,"style":2537},[721],[148,42655,1566],{"className":42656},[726,1064]," называется ",[294,42659,42660],{},"leave-one-out"," кросс-валидацией: в каждой итерации проверяется ровно один объект, а обучается модель на ",[148,42663,42665,42683],{"className":42664},[680],[148,42666,42668],{"className":42667},[684],[686,42669,42670],{"xmlns":688},[690,42671,42672,42680],{},[693,42673,42674,42676,42678],{},[769,42675,1566],{},[699,42677,3325],{},[696,42679,150],{},[705,42681,42682],{"encoding":707},"n - 1",[148,42684,42686,42704],{"className":42685,"ariaHidden":713},[712],[148,42687,42689,42692,42695,42698,42701],{"className":42688},[717],[148,42690],{"className":42691,"style":24201},[721],[148,42693,1566],{"className":42694},[726,1064],[148,42696],{"className":42697,"style":731},[730],[148,42699,3325],{"className":42700},[735],[148,42702],{"className":42703,"style":731},[730],[148,42705,42707,42710],{"className":42706},[717],[148,42708],{"className":42709,"style":745},[721],[148,42711,150],{"className":42712},[726]," объекте. Это статистически почти несмещённая оценка истинного риска, но у неё два изъяна. Вычислительный — ",[148,42715,42717,42730],{"className":42716},[680],[148,42718,42720],{"className":42719},[684],[686,42721,42722],{"xmlns":688},[690,42723,42724,42728],{},[693,42725,42726],{},[769,42727,1566],{},[705,42729,1566],{"encoding":707},[148,42731,42733],{"className":42732,"ariaHidden":713},[712],[148,42734,42736,42739],{"className":42735},[717],[148,42737],{"className":42738,"style":2537},[721],[148,42740,1566],{"className":42741},[726,1064],"-кратное обучение редко оправдано: модель в каждой итерации почти идентична, а усреднение почти ",[148,42744,42746,42759],{"className":42745},[680],[148,42747,42749],{"className":42748},[684],[686,42750,42751],{"xmlns":688},[690,42752,42753,42757],{},[693,42754,42755],{},[769,42756,1566],{},[705,42758,1566],{"encoding":707},[148,42760,42762],{"className":42761,"ariaHidden":713},[712],[148,42763,42765,42768],{"className":42764},[717],[148,42766],{"className":42767,"style":2537},[721],[148,42769,1566],{"className":42770},[726,1064],"-кратно дублирует одни и те же предсказания. Статистический — высокая дисперсия оценки: предсказания разных итераций сильно коррелированы между собой, потому что обучающие выборки почти совпадают; усреднение коррелированных величин снижает дисперсию слабее, чем некоррелированных. Leave-one-out оправдан только для очень маленьких выборок (",[148,42773,42775,42794],{"className":42774},[680],[148,42776,42778],{"className":42777},[684],[686,42779,42780],{"xmlns":688},[690,42781,42782,42791],{},[693,42783,42784,42786,42788],{},[769,42785,1566],{},[699,42787,22333],{},[696,42789,42790],{},"50",[705,42792,42793],{"encoding":707},"n \u003C 50",[148,42795,42797,42815],{"className":42796,"ariaHidden":713},[712],[148,42798,42800,42803,42806,42809,42812],{"className":42799},[717],[148,42801],{"className":42802,"style":12609},[721],[148,42804,1566],{"className":42805},[726,1064],[148,42807],{"className":42808,"style":815},[730],[148,42810,22333],{"className":42811},[819],[148,42813],{"className":42814,"style":815},[730],[148,42816,42818,42821],{"className":42817},[717],[148,42819],{"className":42820,"style":745},[721],[148,42822,42790],{"className":42823},[726],") или для моделей, у которых leave-one-out оценка получается аналитически без переобучения, — например, для линейной регрессии через формулу PRESS.",[85,42826,42827,42828,297,42831,42834,42835,42863],{},"Для классификации с несбалансированными классами обычное K-fold может оставить в некоторых блоках непредставительное число примеров миноритарного класса. Решение — ",[294,42829,42830],{},"стратифицированная K-fold",[92,42832,42833],{},"stratified K-fold","): разбиение, сохраняющее пропорции классов в каждом блоке. Принцип тот же, что и со стратификацией при простом train\u002Ftest split в теме 3, просто распространённый на все ",[148,42836,42838,42851],{"className":42837},[680],[148,42839,42841],{"className":42840},[684],[686,42842,42843],{"xmlns":688},[690,42844,42845,42849],{},[693,42846,42847],{},[769,42848,2572],{},[705,42850,2572],{"encoding":707},[148,42852,42854],{"className":42853,"ariaHidden":713},[712],[148,42855,42857,42860],{"className":42856},[717],[148,42858],{"className":42859,"style":2415},[721],[148,42861,2572],{"className":42862,"style":2587},[726,1064]," блоков сразу.",[85,42865,42866,42867,42895,42896,42969,42970,42998,42999,43228,43229,43457],{},"Что мы получаем на выходе — это не одно число, а ",[148,42868,42870,42883],{"className":42869},[680],[148,42871,42873],{"className":42872},[684],[686,42874,42875],{"xmlns":688},[690,42876,42877,42881],{},[693,42878,42879],{},[769,42880,2572],{},[705,42882,2572],{"encoding":707},[148,42884,42886],{"className":42885,"ariaHidden":713},[712],[148,42887,42889,42892],{"className":42888},[717],[148,42890],{"className":42891,"style":2415},[721],[148,42893,2572],{"className":42894,"style":2587},[726,1064]," значений метрики. Их статистическое описание содержательнее, чем точечная оценка: рядом со средним ",[148,42897,42899,42917],{"className":42898},[680],[148,42900,42902],{"className":42901},[684],[686,42903,42904],{"xmlns":688},[690,42905,42906,42914],{},[693,42907,42908],{},[6416,42909,42910,42912],{"accent":713},[769,42911,35625],{},[699,42913,32622],{},[705,42915,42916],{"encoding":707},"\\bar{\\mu}",[148,42918,42920],{"className":42919,"ariaHidden":713},[712],[148,42921,42923,42926],{"className":42922},[717],[148,42924],{"className":42925,"style":33211},[721],[148,42927,42929],{"className":42928},[726,6449],[148,42930,42932,42961],{"className":42931},[981,1071],[148,42933,42935,42958],{"className":42934},[985],[148,42936,42938,42946],{"className":42937,"style":32861},[989],[148,42939,42940,42943],{"style":6462},[148,42941],{"className":42942,"style":3367},[996],[148,42944,35625],{"className":42945},[726,1064],[148,42947,42948,42951],{"style":6462},[148,42949],{"className":42950,"style":3367},[996],[148,42952,42955],{"className":42953,"style":42954},[6478],"left:-0.2222em;",[148,42956,32622],{"className":42957},[726],[148,42959,1095],{"className":42960},[1094],[148,42962,42964],{"className":42963},[985],[148,42965,42967],{"className":42966,"style":6492},[989],[148,42968],{}," всегда сообщается выборочное стандартное отклонение ",[148,42971,42973,42986],{"className":42972},[680],[148,42974,42976],{"className":42975},[684],[686,42977,42978],{"xmlns":688},[690,42979,42980,42984],{},[693,42981,42982],{},[769,42983,1042],{},[705,42985,1042],{"encoding":707},[148,42987,42989],{"className":42988,"ariaHidden":713},[712],[148,42990,42992,42995],{"className":42991},[717],[148,42993],{"className":42994,"style":2537},[721],[148,42996,1042],{"className":42997},[726,1064],", а различие двух моделей оценивается через ",[148,43000,43002,43040],{"className":43001},[680],[148,43003,43005],{"className":43004},[684],[686,43006,43007],{"xmlns":688},[690,43008,43009,43037],{},[693,43010,43011,43013,43023,43025,43035],{},[769,43012,12014],{"mathvariant":771},[1038,43014,43015,43021],{},[6416,43016,43017,43019],{"accent":713},[769,43018,35625],{},[699,43020,32622],{},[696,43022,150],{},[699,43024,3325],{},[1038,43026,43027,43033],{},[6416,43028,43029,43031],{"accent":713},[769,43030,35625],{},[699,43032,32622],{},[696,43034,163],{},[769,43036,12014],{"mathvariant":771},[705,43038,43039],{"encoding":707},"|\\bar{\\mu}_1 - \\bar{\\mu}_2|",[148,43041,43043,43140],{"className":43042,"ariaHidden":713},[712],[148,43044,43046,43049,43052,43131,43134,43137],{"className":43045},[717],[148,43047],{"className":43048,"style":800},[721],[148,43050,12014],{"className":43051},[726],[148,43053,43055,43097],{"className":43054},[726],[148,43056,43058],{"className":43057},[726,6449],[148,43059,43061,43089],{"className":43060},[981,1071],[148,43062,43064,43086],{"className":43063},[985],[148,43065,43067,43075],{"className":43066,"style":32861},[989],[148,43068,43069,43072],{"style":6462},[148,43070],{"className":43071,"style":3367},[996],[148,43073,35625],{"className":43074},[726,1064],[148,43076,43077,43080],{"style":6462},[148,43078],{"className":43079,"style":3367},[996],[148,43081,43083],{"className":43082,"style":42954},[6478],[148,43084,32622],{"className":43085},[726],[148,43087,1095],{"className":43088},[1094],[148,43090,43092],{"className":43091},[985],[148,43093,43095],{"className":43094,"style":6492},[989],[148,43096],{},[148,43098,43100],{"className":43099},[977],[148,43101,43103,43123],{"className":43102},[981,1071],[148,43104,43106,43120],{"className":43105},[985],[148,43107,43109],{"className":43108,"style":1078},[989],[148,43110,43111,43114],{"style":1081},[148,43112],{"className":43113,"style":997},[996],[148,43115,43117],{"className":43116},[1001,1002,1003,1004],[148,43118,150],{"className":43119},[726,1004],[148,43121,1095],{"className":43122},[1094],[148,43124,43126],{"className":43125},[985],[148,43127,43129],{"className":43128,"style":1102},[989],[148,43130],{},[148,43132],{"className":43133,"style":731},[730],[148,43135,3325],{"className":43136},[735],[148,43138],{"className":43139,"style":731},[730],[148,43141,43143,43146,43225],{"className":43142},[717],[148,43144],{"className":43145,"style":800},[721],[148,43147,43149,43191],{"className":43148},[726],[148,43150,43152],{"className":43151},[726,6449],[148,43153,43155,43183],{"className":43154},[981,1071],[148,43156,43158,43180],{"className":43157},[985],[148,43159,43161,43169],{"className":43160,"style":32861},[989],[148,43162,43163,43166],{"style":6462},[148,43164],{"className":43165,"style":3367},[996],[148,43167,35625],{"className":43168},[726,1064],[148,43170,43171,43174],{"style":6462},[148,43172],{"className":43173,"style":3367},[996],[148,43175,43177],{"className":43176,"style":42954},[6478],[148,43178,32622],{"className":43179},[726],[148,43181,1095],{"className":43182},[1094],[148,43184,43186],{"className":43185},[985],[148,43187,43189],{"className":43188,"style":6492},[989],[148,43190],{},[148,43192,43194],{"className":43193},[977],[148,43195,43197,43217],{"className":43196},[981,1071],[148,43198,43200,43214],{"className":43199},[985],[148,43201,43203],{"className":43202,"style":1078},[989],[148,43204,43205,43208],{"style":1081},[148,43206],{"className":43207,"style":997},[996],[148,43209,43211],{"className":43210},[1001,1002,1003,1004],[148,43212,163],{"className":43213},[726,1004],[148,43215,1095],{"className":43216},[1094],[148,43218,43220],{"className":43219},[985],[148,43221,43223],{"className":43222,"style":1102},[989],[148,43224],{},[148,43226,12014],{"className":43227},[726]," в сравнении с ",[148,43230,43232,43274],{"className":43231},[680],[148,43233,43235],{"className":43234},[684],[686,43236,43237],{"xmlns":688},[690,43238,43239,43271],{},[693,43240,43241],{},[15628,43242,43243],{},[693,43244,43245,43253,43255,43257,43259,43267,43269],{},[6195,43246,43247,43249,43251],{},[769,43248,1042],{},[696,43250,150],{},[696,43252,163],{},[769,43254,772],{"mathvariant":771},[769,43256,2572],{},[699,43258,2605],{},[6195,43260,43261,43263,43265],{},[769,43262,1042],{},[696,43264,163],{},[696,43266,163],{},[769,43268,772],{"mathvariant":771},[769,43270,2572],{},[705,43272,43273],{"encoding":707},"\\sqrt{s_1^2\u002Fk + s_2^2\u002Fk}",[148,43275,43277],{"className":43276,"ariaHidden":713},[712],[148,43278,43280,43284],{"className":43279},[717],[148,43281],{"className":43282,"style":43283},[721],"height:1.24em;vertical-align:-0.2902em;",[148,43285,43287],{"className":43286},[726,15743],[148,43288,43290,43448],{"className":43289},[981,1071],[148,43291,43293,43445],{"className":43292},[985],[148,43294,43297,43432],{"className":43295,"style":43296},[989],"height:0.9498em;",[148,43298,43300,43303],{"className":43299,"style":41038},[9175],[148,43301],{"className":43302,"style":41042},[996],[148,43304,43306,43360,43363,43366,43369,43372,43375,43426,43429],{"className":43305,"style":15765},[726],[148,43307,43309,43312],{"className":43308},[726],[148,43310,1042],{"className":43311},[726,1064],[148,43313,43315],{"className":43314},[977],[148,43316,43318,43351],{"className":43317},[981,1071],[148,43319,43321,43348],{"className":43320},[985],[148,43322,43325,43337],{"className":43323,"style":43324},[989],"height:0.7959em;",[148,43326,43328,43331],{"style":43327},"top:-2.4337em;margin-left:0em;margin-right:0.05em;",[148,43329],{"className":43330,"style":997},[996],[148,43332,43334],{"className":43333},[1001,1002,1003,1004],[148,43335,150],{"className":43336},[726,1004],[148,43338,43339,43342],{"style":15893},[148,43340],{"className":43341,"style":997},[996],[148,43343,43345],{"className":43344},[1001,1002,1003,1004],[148,43346,163],{"className":43347},[726,1004],[148,43349,1095],{"className":43350},[1094],[148,43352,43354],{"className":43353},[985],[148,43355,43358],{"className":43356,"style":43357},[989],"height:0.2663em;",[148,43359],{},[148,43361,772],{"className":43362},[726],[148,43364,2572],{"className":43365,"style":2587},[726,1064],[148,43367],{"className":43368,"style":731},[730],[148,43370,2605],{"className":43371},[735],[148,43373],{"className":43374,"style":731},[730],[148,43376,43378,43381],{"className":43377},[726],[148,43379,1042],{"className":43380},[726,1064],[148,43382,43384],{"className":43383},[977],[148,43385,43387,43418],{"className":43386},[981,1071],[148,43388,43390,43415],{"className":43389},[985],[148,43391,43393,43404],{"className":43392,"style":43324},[989],[148,43394,43395,43398],{"style":43327},[148,43396],{"className":43397,"style":997},[996],[148,43399,43401],{"className":43400},[1001,1002,1003,1004],[148,43402,163],{"className":43403},[726,1004],[148,43405,43406,43409],{"style":15893},[148,43407],{"className":43408,"style":997},[996],[148,43410,43412],{"className":43411},[1001,1002,1003,1004],[148,43413,163],{"className":43414},[726,1004],[148,43416,1095],{"className":43417},[1094],[148,43419,43421],{"className":43420},[985],[148,43422,43424],{"className":43423,"style":43357},[989],[148,43425],{},[148,43427,772],{"className":43428},[726],[148,43430,2572],{"className":43431,"style":2587},[726,1064],[148,43433,43435,43438],{"style":43434},"top:-2.9098em;",[148,43436],{"className":43437,"style":41042},[996],[148,43439,43441],{"className":43440,"style":41129},[15958],[9191,43442,43443],{"xmlns":9193,"width":9194,"height":41132,"viewBox":41133,"preserveAspectRatio":9197},[9199,43444],{"d":41136},[148,43446,1095],{"className":43447},[1094],[148,43449,43451],{"className":43450},[985],[148,43452,43455],{"className":43453,"style":43454},[989],"height:0.2902em;",[148,43456],{},". Если разница меньше стандартной ошибки разности — выбор между моделями статистически не подтверждён, и решающим аргументом становятся вторичные факторы: интерпретируемость, скорость инференса, потребление памяти.",[85,43459,43460,43461,43530,43531,43534],{},"Кросс-валидацию допустимо вкладывать в более крупный пайплайн, но при этом сохраняется главный принцип темы 3: тестовая выборка остаётся неприкосновенной. Кросс-валидация заменяет валидационную часть и обслуживает выбор модели; финальное число — accuracy, ",[148,43462,43464,43481],{"className":43463},[680],[148,43465,43467],{"className":43466},[684],[686,43468,43469],{"xmlns":688},[690,43470,43471,43479],{},[693,43472,43473],{},[1038,43474,43475,43477],{},[769,43476,21584],{},[696,43478,150],{},[705,43480,22390],{"encoding":707},[148,43482,43484],{"className":43483,"ariaHidden":713},[712],[148,43485,43487,43490],{"className":43486},[717],[148,43488],{"className":43489,"style":14583},[721],[148,43491,43493,43496],{"className":43492},[726],[148,43494,21584],{"className":43495,"style":5822},[726,1064],[148,43497,43499],{"className":43498},[977],[148,43500,43502,43522],{"className":43501},[981,1071],[148,43503,43505,43519],{"className":43504},[985],[148,43506,43508],{"className":43507,"style":1078},[989],[148,43509,43510,43513],{"style":22048},[148,43511],{"className":43512,"style":997},[996],[148,43514,43516],{"className":43515},[1001,1002,1003,1004],[148,43517,150],{"className":43518},[726,1004],[148,43520,1095],{"className":43521},[1094],[148,43523,43525],{"className":43524},[985],[148,43526,43528],{"className":43527,"style":1102},[989],[148,43529],{},", RMSE — всегда сообщается на отдельно отложенной тестовой части. Если же тестовой части нет (всё ушло в кросс-валидацию), сравнивать модели можно, но ",[294,43532,43533],{},"итоговая"," метрика модели-победителя завышена ровно настолько, насколько мы её выбирали по этим же значениям.",[10,43536,43538],{"id":43537},"настройка-гиперпараметров","Настройка гиперпараметров",[128,43540,43542],{"id":43541},"подбор-гиперпараметров","Подбор гиперпараметров",[85,43544,43545,43546,43549,43550,297,43553,43556,43557,43585,43586,43614,43615,43645],{},"Различение параметров и гиперпараметров — методологическая граница, проходящая ровно по линии «что обновляет оптимизатор и что задаётся снаружи». ",[294,43547,43548],{},"Параметры"," модели — коэффициенты линейной регрессии, веса в нейронной сети, разбиения признаков в дереве — оптимизируются процедурой обучения по обучающей выборке. ",[294,43551,43552],{},"Гиперпараметры",[92,43554,43555],{},"hyperparameters",") — глубина дерева, коэффициент регуляризации ",[148,43558,43560,43573],{"className":43559},[680],[148,43561,43563],{"className":43562},[684],[686,43564,43565],{"xmlns":688},[690,43566,43567,43571],{},[693,43568,43569],{},[769,43570,10390],{},[705,43572,10560],{"encoding":707},[148,43574,43576],{"className":43575,"ariaHidden":713},[712],[148,43577,43579,43582],{"className":43578},[717],[148,43580],{"className":43581,"style":2415},[721],[148,43583,10390],{"className":43584},[726,1064],", число соседей ",[148,43587,43589,43602],{"className":43588},[680],[148,43590,43592],{"className":43591},[684],[686,43593,43594],{"xmlns":688},[690,43595,43596,43600],{},[693,43597,43598],{},[769,43599,2572],{},[705,43601,2572],{"encoding":707},[148,43603,43605],{"className":43604,"ariaHidden":713},[712],[148,43606,43608,43611],{"className":43607},[717],[148,43609],{"className":43610,"style":2415},[721],[148,43612,2572],{"className":43613,"style":2587},[726,1064]," в kNN, шаг обучения ",[148,43616,43618,43633],{"className":43617},[680],[148,43619,43621],{"className":43620},[684],[686,43622,43623],{"xmlns":688},[690,43624,43625,43630],{},[693,43626,43627],{},[769,43628,43629],{},"η",[705,43631,43632],{"encoding":707},"\\eta",[148,43634,43636],{"className":43635,"ariaHidden":713},[712],[148,43637,43639,43642],{"className":43638},[717],[148,43640],{"className":43641,"style":1579},[721],[148,43643,43629],{"className":43644,"style":4185},[726,1064],", число деревьев в ансамбле — задаются до запуска обучения и определяют его поведение. Алгоритм обучения не оптимизирует гиперпараметры; их подбирают внешней процедурой, обычно через перебор и оценку на отложенных данных.",[85,43647,43648,43649,297,43652,43655],{},"Простейший подход к подбору — ",[294,43650,43651],{},"поиск по сетке",[92,43653,43654],{},"grid search","). Для каждого гиперпараметра задаётся конечный список значений, образующих сетку в их совместном пространстве; для каждой точки сетки модель обучается и оценивается кросс-валидацией; победитель выбирается по среднему значению метрики. Если у нас три гиперпараметра по пять значений каждый, сетка содержит 125 точек, и при 5-fold кросс-валидации это 625 обучений модели. Подход прозрачен, легко параллелится и даёт исчерпывающий обзор сетки.",[85,43657,43658,43659,43687,43688,43716,43717,43776],{},"Проблема grid search обнаруживается, когда гиперпараметров становится много. Перебор по ",[148,43660,43662,43675],{"className":43661},[680],[148,43663,43665],{"className":43664},[684],[686,43666,43667],{"xmlns":688},[690,43668,43669,43673],{},[693,43670,43671],{},[769,43672,2437],{},[705,43674,2437],{"encoding":707},[148,43676,43678],{"className":43677,"ariaHidden":713},[712],[148,43679,43681,43684],{"className":43680},[717],[148,43682],{"className":43683,"style":2415},[721],[148,43685,2437],{"className":43686},[726,1064]," измерениям с ",[148,43689,43691,43704],{"className":43690},[680],[148,43692,43694],{"className":43693},[684],[686,43695,43696],{"xmlns":688},[690,43697,43698,43702],{},[693,43699,43700],{},[769,43701,2525],{},[705,43703,2525],{"encoding":707},[148,43705,43707],{"className":43706,"ariaHidden":713},[712],[148,43708,43710,43713],{"className":43709},[717],[148,43711],{"className":43712,"style":2537},[721],[148,43714,2525],{"className":43715},[726,1064]," значениями в каждом даёт ",[148,43718,43720,43738],{"className":43719},[680],[148,43721,43723],{"className":43722},[684],[686,43724,43725],{"xmlns":688},[690,43726,43727,43735],{},[693,43728,43729],{},[921,43730,43731,43733],{},[769,43732,2525],{},[769,43734,2437],{},[705,43736,43737],{"encoding":707},"m^d",[148,43739,43741],{"className":43740,"ariaHidden":713},[712],[148,43742,43744,43747],{"className":43743},[717],[148,43745],{"className":43746,"style":2796},[721],[148,43748,43750,43753],{"className":43749},[726],[148,43751,2525],{"className":43752},[726,1064],[148,43754,43756],{"className":43755},[977],[148,43757,43759],{"className":43758},[981],[148,43760,43762],{"className":43761},[985],[148,43763,43765],{"className":43764,"style":2796},[989],[148,43766,43767,43770],{"style":992},[148,43768],{"className":43769,"style":997},[996],[148,43771,43773],{"className":43772},[1001,1002,1003,1004],[148,43774,2437],{"className":43775},[726,1064,1004]," точек — экспоненциальный рост, известный как «проклятие размерности». На практике из десятка гиперпараметров обычно по-настоящему чувствительны два-три, остальные слабо влияют на качество; но grid search этого не знает и тратит вычислительный бюджет равномерно.",[85,43778,43779,297,43782,43785,43786,43814,43815,43822,43823,43874],{},[294,43780,43781],{},"Случайный поиск",[92,43783,43784],{},"random search",") предлагает альтернативу: вместо сетки задаются распределения значений каждого гиперпараметра, и из них независимо выбираются ",[148,43787,43789,43802],{"className":43788},[680],[148,43790,43792],{"className":43791},[684],[686,43793,43794],{"xmlns":688},[690,43795,43796,43800],{},[693,43797,43798],{},[769,43799,16208],{},[705,43801,16208],{"encoding":707},[148,43803,43805],{"className":43804,"ariaHidden":713},[712],[148,43806,43808,43811],{"className":43807},[717],[148,43809],{"className":43810,"style":1344},[721],[148,43812,16208],{"className":43813,"style":16240},[726,1064]," точек. Бергстра и Бенжио в работе ",[140,43816,43818],{"className":43817},[143],[22,43819,43820],{"href":160},[148,43821,163],{}," показали, что при ограниченном числе попыток случайный поиск стабильно даёт результаты не хуже, а часто лучше grid search, и объяснили это просто. Если по двум измерениям обходить сетку ",[148,43824,43826,43844],{"className":43825},[680],[148,43827,43829],{"className":43828},[684],[686,43830,43831],{"xmlns":688},[690,43832,43833,43841],{},[693,43834,43835,43837,43839],{},[696,43836,213],{},[699,43838,701],{},[696,43840,213],{},[705,43842,43843],{"encoding":707},"5 \\times 5",[148,43845,43847,43865],{"className":43846,"ariaHidden":713},[712],[148,43848,43850,43853,43856,43859,43862],{"className":43849},[717],[148,43851],{"className":43852,"style":722},[721],[148,43854,213],{"className":43855},[726],[148,43857],{"className":43858,"style":731},[730],[148,43860,701],{"className":43861},[735],[148,43863],{"className":43864,"style":731},[730],[148,43866,43868,43871],{"className":43867},[717],[148,43869],{"className":43870,"style":745},[721],[148,43872,213],{"className":43873},[726],", то по каждому отдельному гиперпараметру мы пробуем всего 5 уникальных значений (повторяющихся 5 раз). Если те же 25 попыток распределить случайно, каждое измерение «опросится» в 25 уникальных точках. Когда один из гиперпараметров заметно важнее остальных, случайный поиск лучше его исследует — и шансы попасть в окрестность оптимума выше.",[362,43876,364,43877,364,43881],{},[366,43878],{"src":43879,"alt":43880},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-07\u002Fgrid_vs_random_search.svg","Сетчатый и случайный поиск в двумерном пространстве гиперпараметров",[370,43882,43883],{},"Сетчатый поиск равномерно покрывает сетку, но проектирует попытки на ось важного гиперпараметра всего в нескольких точках; случайный поиск даёт по каждой оси столько уникальных значений, сколько было попыток.",[85,43885,43886],{},"На практике типичная стратегия — grid search для одного-двух гиперпараметров с малым числом разумных значений и random search для остальных. Поверх этого существуют более изощрённые методы: байесовская оптимизация, основанная на построении вероятностной модели зависимости метрики от гиперпараметров, и эволюционные алгоритмы. Они дают преимущество при дорогих обучениях (нейронные сети с многочасовой эпохой), но для классических табличных моделей выгоды от перехода обычно скромные, а сложность реализации заметна — в курсе мы ограничимся grid и random search.",[85,43888,43889,43890,43893,43894,43897],{},"Отдельный сюжет — корректное оценивание модели ",[294,43891,43892],{},"после"," подбора гиперпараметров. Если на одних и тех же данных мы и подбираем гиперпараметры, и сообщаем итоговую метрику, то полученная цифра систематически завышена: гиперпараметры выбраны так, чтобы метрика была максимальной, и часть прироста объясняется удачей перебора, а не реальным качеством. Этот эффект описывают как ",[294,43895,43896],{},"множественную проверку гипотез на одной выборке",", и он тем сильнее, чем больше комбинаций гиперпараметров мы пробовали.",[85,43899,43900,43901,297,43904,43907],{},"Корректное решение — ",[294,43902,43903],{},"вложенная кросс-валидация",[92,43905,43906],{},"nested cross-validation","). Внешний цикл K-fold отвечает за оценку: он разбивает данные на обучающую и тестовую части (в смысле этой итерации). Внутри каждой обучающей части запускается свой K-fold для подбора гиперпараметров. Победившая комбинация переобучается на полной обучающей части итерации и оценивается на тестовой. Метрика модели — среднее по внешним итерациям. Цена — кратное увеличение вычислений: 5-fold снаружи × 5-fold внутри × 20 комбинаций даёт 500 обучений. Зато оценка не смещена выбором гиперпараметров.",[85,43909,43910],{},"В прикладной работе вложенную кросс-валидацию запускают редко — чаще ограничиваются обычной CV для подбора и заранее отложенной тестовой выборкой для финальной оценки. Это компромисс: тестовая выборка не участвует в подборе и даёт несмещённую оценку, но её мало (одно разбиение, а не среднее по нескольким), поэтому погрешность самой оценки выше. Вложенная CV нужна, когда финальное число важно с точностью до полупроцента и когда тестовой выборки выделить нельзя.",[10,43912,43914],{"id":43913},"ансамблевые-методы","Ансамблевые методы",[85,43916,41324,43917,297,43920,43923],{},[294,43918,43919],{},"ансамбля",[92,43921,43922],{},"ensemble",") — объединить предсказания нескольких моделей в одно, обычно более точное. Логика проста: если разные модели делают разные ошибки и эти ошибки слабо коррелированы, усреднение или голосование снизит общую ошибку без увеличения смещения. Декомпозиция смещения и разброса из темы 3 даёт этому строгое объяснение: ансамбль уменьшает компоненту разброса при сохранении компоненты смещения, и тестовая ошибка падает.",[85,43925,43926],{},"Три семейства ансамблей покрывают почти все практические случаи: бэггинг строит независимые модели на бутстрэп-выборках, бустинг строит модели последовательно с фокусом на ошибках предыдущих, стэкинг учит метамодель комбинировать предсказания разнородных моделей.",[128,43928,43930],{"id":43929},"бэггинг","Бэггинг",[85,43932,43933,297,43935,382,43938,5554,43941,43948,43949,43977,43978,297,43981,43984,43985,44013,44014,44042,44043,44046],{},[294,43934,43930],{},[92,43936,43937],{},"bootstrap aggregating",[92,43939,43940],{},"bagging",[140,43942,43944],{"className":43943},[143],[22,43945,43946],{"href":176},[148,43947,179],{}," строит ",[148,43950,43952,43965],{"className":43951},[680],[148,43953,43955],{"className":43954},[684],[686,43956,43957],{"xmlns":688},[690,43958,43959,43963],{},[693,43960,43961],{},[769,43962,31079],{},[705,43964,31079],{"encoding":707},[148,43966,43968],{"className":43967,"ariaHidden":713},[712],[148,43969,43971,43974],{"className":43970},[717],[148,43972],{"className":43973,"style":1344},[721],[148,43975,31079],{"className":43976,"style":16240},[726,1064]," моделей, каждая — на собственной случайной выборке, полученной ",[294,43979,43980],{},"бутстрэпом",[92,43982,43983],{},"bootstrap",") из исходных данных: ",[148,43986,43988,44001],{"className":43987},[680],[148,43989,43991],{"className":43990},[684],[686,43992,43993],{"xmlns":688},[690,43994,43995,43999],{},[693,43996,43997],{},[769,43998,1566],{},[705,44000,1566],{"encoding":707},[148,44002,44004],{"className":44003,"ariaHidden":713},[712],[148,44005,44007,44010],{"className":44006},[717],[148,44008],{"className":44009,"style":2537},[721],[148,44011,1566],{"className":44012},[726,1064]," объектов выбираются с возвращением, так что некоторые попадают в выборку несколько раз, а часть (в среднем около 37% при больших ",[148,44015,44017,44030],{"className":44016},[680],[148,44018,44020],{"className":44019},[684],[686,44021,44022],{"xmlns":688},[690,44023,44024,44028],{},[693,44025,44026],{},[769,44027,1566],{},[705,44029,1566],{"encoding":707},[148,44031,44033],{"className":44032,"ariaHidden":713},[712],[148,44034,44036,44039],{"className":44035},[717],[148,44037],{"className":44038,"style":2537},[721],[148,44040,1566],{"className":44041},[726,1064],") не попадает вовсе. Эти невыбранные объекты называют ",[294,44044,44045],{},"out-of-bag"," (OOB) и используют для оценки качества без отдельной валидационной выборки.",[85,44048,44049,44050,44078,44079,44137,44138,44207,44208,44238,44239,44403,44404,44432],{},"Для регрессии предсказания моделей усредняются, для классификации — голосуют большинством. Математически усреднение ",[148,44051,44053,44066],{"className":44052},[680],[148,44054,44056],{"className":44055},[684],[686,44057,44058],{"xmlns":688},[690,44059,44060,44064],{},[693,44061,44062],{},[769,44063,31079],{},[705,44065,31079],{"encoding":707},[148,44067,44069],{"className":44068,"ariaHidden":713},[712],[148,44070,44072,44075],{"className":44071},[717],[148,44073],{"className":44074,"style":1344},[721],[148,44076,31079],{"className":44077,"style":16240},[726,1064]," независимых одинаково распределённых случайных величин с дисперсией ",[148,44080,44082,44099],{"className":44081},[680],[148,44083,44085],{"className":44084},[684],[686,44086,44087],{"xmlns":688},[690,44088,44089,44097],{},[693,44090,44091],{},[921,44092,44093,44095],{},[769,44094,8391],{},[696,44096,163],{},[705,44098,8396],{"encoding":707},[148,44100,44102],{"className":44101,"ariaHidden":713},[712],[148,44103,44105,44108],{"className":44104},[717],[148,44106],{"className":44107,"style":963},[721],[148,44109,44111,44114],{"className":44110},[726],[148,44112,8391],{"className":44113,"style":4185},[726,1064],[148,44115,44117],{"className":44116},[977],[148,44118,44120],{"className":44119},[981],[148,44121,44123],{"className":44122},[985],[148,44124,44126],{"className":44125,"style":963},[989],[148,44127,44128,44131],{"style":992},[148,44129],{"className":44130,"style":997},[996],[148,44132,44134],{"className":44133},[1001,1002,1003,1004],[148,44135,163],{"className":44136},[726,1004]," даёт дисперсию ",[148,44139,44141,44163],{"className":44140},[680],[148,44142,44144],{"className":44143},[684],[686,44145,44146],{"xmlns":688},[690,44147,44148,44160],{},[693,44149,44150,44156,44158],{},[921,44151,44152,44154],{},[769,44153,8391],{},[696,44155,163],{},[769,44157,772],{"mathvariant":771},[769,44159,31079],{},[705,44161,44162],{"encoding":707},"\\sigma^2 \u002F M",[148,44164,44166],{"className":44165,"ariaHidden":713},[712],[148,44167,44169,44172,44201,44204],{"className":44168},[717],[148,44170],{"className":44171,"style":14662},[721],[148,44173,44175,44178],{"className":44174},[726],[148,44176,8391],{"className":44177,"style":4185},[726,1064],[148,44179,44181],{"className":44180},[977],[148,44182,44184],{"className":44183},[981],[148,44185,44187],{"className":44186},[985],[148,44188,44190],{"className":44189,"style":963},[989],[148,44191,44192,44195],{"style":992},[148,44193],{"className":44194,"style":997},[996],[148,44196,44198],{"className":44197},[1001,1002,1003,1004],[148,44199,163],{"className":44200},[726,1004],[148,44202,772],{"className":44203},[726],[148,44205,31079],{"className":44206,"style":16240},[726,1064],". Реальные модели не независимы — они обучены на пересекающихся бутстрэп-выборках, — поэтому при средней корреляции ",[148,44209,44211,44226],{"className":44210},[680],[148,44212,44214],{"className":44213},[684],[686,44215,44216],{"xmlns":688},[690,44217,44218,44223],{},[693,44219,44220],{},[769,44221,44222],{},"ρ",[705,44224,44225],{"encoding":707},"\\rho",[148,44227,44229],{"className":44228,"ariaHidden":713},[712],[148,44230,44232,44235],{"className":44231},[717],[148,44233],{"className":44234,"style":1579},[721],[148,44236,44222],{"className":44237},[726,1064]," между предсказаниями дисперсия усреднённого предсказания равна ",[148,44240,44242,44284],{"className":44241},[680],[148,44243,44245],{"className":44244},[684],[686,44246,44247],{"xmlns":688},[690,44248,44249,44281],{},[693,44250,44251,44253,44259,44261,44263,44265,44267,44269,44271,44277,44279],{},[769,44252,44222],{},[921,44254,44255,44257],{},[769,44256,8391],{},[696,44258,163],{},[699,44260,2605],{},[699,44262,2748],{"stretchy":766},[696,44264,150],{},[699,44266,3325],{},[769,44268,44222],{},[699,44270,2757],{"stretchy":766},[921,44272,44273,44275],{},[769,44274,8391],{},[696,44276,163],{},[769,44278,772],{"mathvariant":771},[769,44280,31079],{},[705,44282,44283],{"encoding":707},"\\rho \\sigma^2 + (1 - \\rho) \\sigma^2 \u002F M",[148,44285,44287,44335,44356],{"className":44286,"ariaHidden":713},[712],[148,44288,44290,44294,44297,44326,44329,44332],{"className":44289},[717],[148,44291],{"className":44292,"style":44293},[721],"height:1.0085em;vertical-align:-0.1944em;",[148,44295,44222],{"className":44296},[726,1064],[148,44298,44300,44303],{"className":44299},[726],[148,44301,8391],{"className":44302,"style":4185},[726,1064],[148,44304,44306],{"className":44305},[977],[148,44307,44309],{"className":44308},[981],[148,44310,44312],{"className":44311},[985],[148,44313,44315],{"className":44314,"style":963},[989],[148,44316,44317,44320],{"style":992},[148,44318],{"className":44319,"style":997},[996],[148,44321,44323],{"className":44322},[1001,1002,1003,1004],[148,44324,163],{"className":44325},[726,1004],[148,44327],{"className":44328,"style":731},[730],[148,44330,2605],{"className":44331},[735],[148,44333],{"className":44334,"style":731},[730],[148,44336,44338,44341,44344,44347,44350,44353],{"className":44337},[717],[148,44339],{"className":44340,"style":800},[721],[148,44342,2748],{"className":44343},[1242],[148,44345,150],{"className":44346},[726],[148,44348],{"className":44349,"style":731},[730],[148,44351,3325],{"className":44352},[735],[148,44354],{"className":44355,"style":731},[730],[148,44357,44359,44362,44365,44368,44397,44400],{"className":44358},[717],[148,44360],{"className":44361,"style":14662},[721],[148,44363,44222],{"className":44364},[726,1064],[148,44366,2757],{"className":44367},[807],[148,44369,44371,44374],{"className":44370},[726],[148,44372,8391],{"className":44373,"style":4185},[726,1064],[148,44375,44377],{"className":44376},[977],[148,44378,44380],{"className":44379},[981],[148,44381,44383],{"className":44382},[985],[148,44384,44386],{"className":44385,"style":963},[989],[148,44387,44388,44391],{"style":992},[148,44389],{"className":44390,"style":997},[996],[148,44392,44394],{"className":44393},[1001,1002,1003,1004],[148,44395,163],{"className":44396},[726,1004],[148,44398,772],{"className":44399},[726],[148,44401,31079],{"className":44402,"style":16240},[726,1064],". Первое слагаемое не падает с ростом ",[148,44405,44407,44420],{"className":44406},[680],[148,44408,44410],{"className":44409},[684],[686,44411,44412],{"xmlns":688},[690,44413,44414,44418],{},[693,44415,44416],{},[769,44417,31079],{},[705,44419,31079],{"encoding":707},[148,44421,44423],{"className":44422,"ariaHidden":713},[712],[148,44424,44426,44429],{"className":44425},[717],[148,44427],{"className":44428,"style":1344},[721],[148,44430,31079],{"className":44431,"style":16240},[726,1064],"; второе — падает. Отсюда вывод: бэггинг эффективен ровно настолько, насколько модели в ансамбле декоррелированы.",[85,44434,44435],{},"Бэггинг даёт максимальный выигрыш с моделями высокого разброса — теми, что сильно меняются при небольшом изменении обучающей выборки. Классический пример — глубокие деревья решений. Одно глубокое дерево переобучается, его accuracy скачет от выборки к выборке. Усредняя сотню таких деревьев, мы снимаем разброс, не теряя смещения: каждое дерево по-прежнему способно ухватить сложную зависимость, но усреднение гасит индивидуальные особенности.",[85,44437,44438,44439,297,44442,5554,44445,44448,44449,44477,44478,44506,44507,44608,44609,44668],{},"Знаменитое развитие идеи — ",[294,44440,44441],{},"случайный лес",[92,44443,44444],{},"random forest",[148,44446,44447],{},"@breiman2001rf",". К бутстрэпу строк добавляется случайный выбор признаков: при каждом разбиении в каждом дереве алгоритм рассматривает не все ",[148,44450,44452,44465],{"className":44451},[680],[148,44453,44455],{"className":44454},[684],[686,44456,44457],{"xmlns":688},[690,44458,44459,44463],{},[693,44460,44461],{},[769,44462,85],{},[705,44464,85],{"encoding":707},[148,44466,44468],{"className":44467,"ariaHidden":713},[712],[148,44469,44471,44474],{"className":44470},[717],[148,44472],{"className":44473,"style":1579},[721],[148,44475,85],{"className":44476},[726,1064]," признаков, а случайное подмножество размера ",[148,44479,44481,44494],{"className":44480},[680],[148,44482,44484],{"className":44483},[684],[686,44485,44486],{"xmlns":688},[690,44487,44488,44492],{},[693,44489,44490],{},[769,44491,2525],{},[705,44493,2525],{"encoding":707},[148,44495,44497],{"className":44496,"ariaHidden":713},[712],[148,44498,44500,44503],{"className":44499},[717],[148,44501],{"className":44502,"style":2537},[721],[148,44504,2525],{"className":44505},[726,1064]," (типичные значения — ",[148,44508,44510,44530],{"className":44509},[680],[148,44511,44513],{"className":44512},[684],[686,44514,44515],{"xmlns":688},[690,44516,44517,44527],{},[693,44518,44519,44521,44523],{},[769,44520,2525],{},[699,44522,777],{},[15628,44524,44525],{},[769,44526,85],{},[705,44528,44529],{"encoding":707},"m = \\sqrt{p}",[148,44531,44533,44551],{"className":44532,"ariaHidden":713},[712],[148,44534,44536,44539,44542,44545,44548],{"className":44535},[717],[148,44537],{"className":44538,"style":2537},[721],[148,44540,2525],{"className":44541},[726,1064],[148,44543],{"className":44544,"style":815},[730],[148,44546,777],{"className":44547},[819],[148,44549],{"className":44550,"style":815},[730],[148,44552,44554,44558],{"className":44553},[717],[148,44555],{"className":44556,"style":44557},[721],"height:1.04em;vertical-align:-0.3369em;",[148,44559,44561],{"className":44560},[726,15743],[148,44562,44564,44599],{"className":44563},[981,1071],[148,44565,44567,44596],{"className":44566},[985],[148,44568,44571,44583],{"className":44569,"style":44570},[989],"height:0.7031em;",[148,44572,44574,44577],{"className":44573,"style":6462},[9175],[148,44575],{"className":44576,"style":3367},[996],[148,44578,44580],{"className":44579,"style":17095},[726],[148,44581,85],{"className":44582},[726,1064],[148,44584,44586,44589],{"style":44585},"top:-2.6631em;",[148,44587],{"className":44588,"style":3367},[996],[148,44590,44592],{"className":44591,"style":17108},[15958],[9191,44593,44594],{"xmlns":9193,"width":9194,"height":17111,"viewBox":17112,"preserveAspectRatio":9197},[9199,44595],{"d":17115},[148,44597,1095],{"className":44598},[1094],[148,44600,44602],{"className":44601},[985],[148,44603,44606],{"className":44604,"style":44605},[989],"height:0.3369em;",[148,44607],{}," для классификации, ",[148,44610,44612,44634],{"className":44611},[680],[148,44613,44615],{"className":44614},[684],[686,44616,44617],{"xmlns":688},[690,44618,44619,44631],{},[693,44620,44621,44623,44625,44627,44629],{},[769,44622,2525],{},[699,44624,777],{},[769,44626,85],{},[769,44628,772],{"mathvariant":771},[696,44630,179],{},[705,44632,44633],{"encoding":707},"m = p\u002F3",[148,44635,44637,44655],{"className":44636,"ariaHidden":713},[712],[148,44638,44640,44643,44646,44649,44652],{"className":44639},[717],[148,44641],{"className":44642,"style":2537},[721],[148,44644,2525],{"className":44645},[726,1064],[148,44647],{"className":44648,"style":815},[730],[148,44650,777],{"className":44651},[819],[148,44653],{"className":44654,"style":815},[730],[148,44656,44658,44661,44664],{"className":44657},[717],[148,44659],{"className":44660,"style":800},[721],[148,44662,85],{"className":44663},[726,1064],[148,44665,44667],{"className":44666},[726],"\u002F3"," для регрессии). Это вторая ось рандомизации; она дополнительно декоррелирует деревья и обычно даёт существенный прирост по сравнению с обычным бэггингом деревьев.",[85,44670,44671,44672,44768],{},"В практическом отношении случайный лес — образцовый baseline для табличных задач: на классических бенчмарках он часто проигрывает градиентному бустингу всего несколько процентных пунктов, при этом почти не требует настройки. Разумные значения по умолчанию (300–500 деревьев, ",[148,44673,44675,44694],{"className":44674},[680],[148,44676,44678],{"className":44677},[684],[686,44679,44680],{"xmlns":688},[690,44681,44682,44692],{},[693,44683,44684,44686,44688],{},[769,44685,2525],{},[699,44687,777],{},[15628,44689,44690],{},[769,44691,85],{},[705,44693,44529],{"encoding":707},[148,44695,44697,44715],{"className":44696,"ariaHidden":713},[712],[148,44698,44700,44703,44706,44709,44712],{"className":44699},[717],[148,44701],{"className":44702,"style":2537},[721],[148,44704,2525],{"className":44705},[726,1064],[148,44707],{"className":44708,"style":815},[730],[148,44710,777],{"className":44711},[819],[148,44713],{"className":44714,"style":815},[730],[148,44716,44718,44721],{"className":44717},[717],[148,44719],{"className":44720,"style":44557},[721],[148,44722,44724],{"className":44723},[726,15743],[148,44725,44727,44760],{"className":44726},[981,1071],[148,44728,44730,44757],{"className":44729},[985],[148,44731,44733,44745],{"className":44732,"style":44570},[989],[148,44734,44736,44739],{"className":44735,"style":6462},[9175],[148,44737],{"className":44738,"style":3367},[996],[148,44740,44742],{"className":44741,"style":17095},[726],[148,44743,85],{"className":44744},[726,1064],[148,44746,44747,44750],{"style":44585},[148,44748],{"className":44749,"style":3367},[996],[148,44751,44753],{"className":44752,"style":17108},[15958],[9191,44754,44755],{"xmlns":9193,"width":9194,"height":17111,"viewBox":17112,"preserveAspectRatio":9197},[9199,44756],{"d":17115},[148,44758,1095],{"className":44759},[1094],[148,44761,44763],{"className":44762},[985],[148,44764,44766],{"className":44765,"style":44605},[989],[148,44767],{},", без ограничения глубины) во многих задачах работают сразу из коробки, а out-of-bag оценка качества даёт «бесплатную» кросс-валидацию.",[128,44770,44772],{"id":44771},"бустинг","Бустинг",[85,44774,44775,297,44777,44780,44781,44784],{},[294,44776,44772],{},[92,44778,44779],{},"boosting",") строит ансамбль последовательно: каждая следующая модель пытается исправить ошибки предыдущих. Исходная идея, восходящая к работам Шапира конца 1980-х, доказала фундаментальный факт: семейство слабых классификаторов, каждый из которых лишь немного лучше случайного угадывания, можно объединить в произвольно сильный ",[148,44782,44783],{},"@schapire1990boosting",". Это теоретическое открытие — одно из ключевых в теории машинного обучения.",[85,44786,44787],{},"Первой работающей реализацией стал AdaBoost: после обучения очередного слабого классификатора веса неправильно классифицированных объектов увеличиваются, веса правильно классифицированных — уменьшаются, и следующий классификатор обучается на этом перевзвешенном распределении. Финальное предсказание — взвешенное голосование классификаторов, где вес каждого пропорционален его точности. Прорывом этого подхода была не только эффективность, но и устойчивость к переобучению на средних задачах — феномен, противоречивший интуиции и потребовавший отдельной теории.",[85,44789,44790,44791,191,44794,44801,44802,44871,44872,44900,44901,45027,45028,45056],{},"Современный взгляд на бустинг сформировал Фридман: он переформулировал процедуру как ",[294,44792,44793],{},"градиентный спуск в функциональном пространстве",[140,44795,44797],{"className":44796},[143],[22,44798,44799],{"href":197},[148,44800,200],{},". Идея состоит в следующем. Пусть мы хотим минимизировать функцию потерь ",[148,44803,44805,44835],{"className":44804},[680],[148,44806,44808],{"className":44807},[684],[686,44809,44810],{"xmlns":688},[690,44811,44812,44832],{},[693,44813,44814,44816,44818,44820,44822,44824,44826,44828,44830],{},[769,44815,6728],{},[699,44817,2748],{"stretchy":766},[769,44819,6060],{},[699,44821,1205],{"separator":713},[769,44823,21584],{},[699,44825,2748],{"stretchy":766},[769,44827,6055],{},[699,44829,2757],{"stretchy":766},[699,44831,2757],{"stretchy":766},[705,44833,44834],{"encoding":707},"L(y, F(x))",[148,44836,44838],{"className":44837,"ariaHidden":713},[712],[148,44839,44841,44844,44847,44850,44853,44856,44859,44862,44865,44868],{"className":44840},[717],[148,44842],{"className":44843,"style":800},[721],[148,44845,6728],{"className":44846},[726,1064],[148,44848,2748],{"className":44849},[1242],[148,44851,6060],{"className":44852,"style":4185},[726,1064],[148,44854,1205],{"className":44855},[1250],[148,44857],{"className":44858,"style":835},[730],[148,44860,21584],{"className":44861,"style":5822},[726,1064],[148,44863,2748],{"className":44864},[1242],[148,44866,6055],{"className":44867},[726,1064],[148,44869,6827],{"className":44870},[807]," по функции ",[148,44873,44875,44888],{"className":44874},[680],[148,44876,44878],{"className":44877},[684],[686,44879,44880],{"xmlns":688},[690,44881,44882,44886],{},[693,44883,44884],{},[769,44885,21584],{},[705,44887,21584],{"encoding":707},[148,44889,44891],{"className":44890,"ariaHidden":713},[712],[148,44892,44894,44897],{"className":44893},[717],[148,44895],{"className":44896,"style":1344},[721],[148,44898,21584],{"className":44899,"style":5822},[726,1064]," (а не по конкретным параметрам). Шаг градиентного спуска в обычной оптимизации — ",[148,44902,44904,44936],{"className":44903},[680],[148,44905,44907],{"className":44906},[684],[686,44908,44909],{"xmlns":688},[690,44910,44911,44933],{},[693,44912,44913,44915,44918,44920,44922,44924,44931],{},[769,44914,7811],{},[699,44916,44917],{},"←",[769,44919,7811],{},[699,44921,3325],{},[769,44923,43629],{},[1038,44925,44926,44929],{},[769,44927,44928],{"mathvariant":771},"∇",[769,44930,7811],{},[769,44932,6728],{},[705,44934,44935],{"encoding":707},"\\theta \\leftarrow \\theta - \\eta \\nabla_\\theta L",[148,44937,44939,44957,44975],{"className":44938,"ariaHidden":713},[712],[148,44940,44942,44945,44948,44951,44954],{"className":44941},[717],[148,44943],{"className":44944,"style":2415},[721],[148,44946,7811],{"className":44947,"style":2774},[726,1064],[148,44949],{"className":44950,"style":815},[730],[148,44952,44917],{"className":44953},[819],[148,44955],{"className":44956,"style":815},[730],[148,44958,44960,44963,44966,44969,44972],{"className":44959},[717],[148,44961],{"className":44962,"style":2620},[721],[148,44964,7811],{"className":44965,"style":2774},[726,1064],[148,44967],{"className":44968,"style":731},[730],[148,44970,3325],{"className":44971},[735],[148,44973],{"className":44974,"style":731},[730],[148,44976,44978,44981,44984,45024],{"className":44977},[717],[148,44979],{"className":44980,"style":35501},[721],[148,44982,43629],{"className":44983,"style":4185},[726,1064],[148,44985,44987,44990],{"className":44986},[726],[148,44988,44928],{"className":44989},[726],[148,44991,44993],{"className":44992},[977],[148,44994,44996,45016],{"className":44995},[981,1071],[148,44997,44999,45013],{"className":44998},[985],[148,45000,45002],{"className":45001,"style":12101},[989],[148,45003,45004,45007],{"style":1081},[148,45005],{"className":45006,"style":997},[996],[148,45008,45010],{"className":45009},[1001,1002,1003,1004],[148,45011,7811],{"className":45012,"style":2774},[726,1064,1004],[148,45014,1095],{"className":45015},[1094],[148,45017,45019],{"className":45018},[985],[148,45020,45022],{"className":45021,"style":1102},[989],[148,45023],{},[148,45025,6728],{"className":45026},[726,1064],". Перенесём это в функциональное пространство: на каждом шаге вычисляем «псевдо-остаток» — отрицательный градиент потерь по предсказанию текущего ансамбля, обучаем новое дерево предсказывать эти остатки, добавляем его с шагом ",[148,45029,45031,45044],{"className":45030},[680],[148,45032,45034],{"className":45033},[684],[686,45035,45036],{"xmlns":688},[690,45037,45038,45042],{},[693,45039,45040],{},[769,45041,43629],{},[705,45043,43632],{"encoding":707},[148,45045,45047],{"className":45046,"ariaHidden":713},[712],[148,45048,45050,45053],{"className":45049},[717],[148,45051],{"className":45052,"style":1579},[721],[148,45054,43629],{"className":45055,"style":4185},[726,1064]," к ансамблю:",[85,45058,45059],{},[148,45060,45062,45166],{"className":45061},[680],[148,45063,45065],{"className":45064},[684],[686,45066,45067],{"xmlns":688},[690,45068,45069,45163],{},[693,45070,45071,45077,45079,45081,45083,45085,45097,45099,45101,45103,45105,45107,45109,45115,45117,45119,45121,45123,45126,45132,45134,45136,45161],{},[1038,45072,45073,45075],{},[769,45074,21584],{},[769,45076,2525],{},[699,45078,2748],{"stretchy":766},[769,45080,6055],{},[699,45082,2757],{"stretchy":766},[699,45084,777],{},[1038,45086,45087,45089],{},[769,45088,21584],{},[693,45090,45091,45093,45095],{},[769,45092,2525],{},[699,45094,3325],{},[696,45096,150],{},[699,45098,2748],{"stretchy":766},[769,45100,6055],{},[699,45102,2757],{"stretchy":766},[699,45104,2605],{},[769,45106,43629],{},[699,45108,3675],{},[1038,45110,45111,45113],{},[769,45112,3922],{},[769,45114,2525],{},[699,45116,2748],{"stretchy":766},[769,45118,6055],{},[699,45120,2757],{"stretchy":766},[699,45122,1205],{"separator":713},[730,45124],{"width":45125},"1em",[1038,45127,45128,45130],{},[769,45129,3922],{},[769,45131,2525],{},[699,45133,919],{},[699,45135,3325],{},[3315,45137,45138,45145],{},[693,45139,45140,45143],{},[769,45141,45142],{"mathvariant":771},"∂",[769,45144,6728],{},[693,45146,45147,45149],{},[769,45148,45142],{"mathvariant":771},[1038,45150,45151,45153],{},[769,45152,21584],{},[693,45154,45155,45157,45159],{},[769,45156,2525],{},[699,45158,3325],{},[696,45160,150],{},[769,45162,26],{"mathvariant":771},[705,45164,45165],{"encoding":707},"F_m(x) = F_{m-1}(x) + \\eta \\cdot h_m(x), \\quad h_m \\approx -\\frac{\\partial L}{\\partial F_{m-1}}.",[148,45167,45169,45233,45307,45326,45440],{"className":45168,"ariaHidden":713},[712],[148,45170,45172,45175,45215,45218,45221,45224,45227,45230],{"className":45171},[717],[148,45173],{"className":45174,"style":800},[721],[148,45176,45178,45181],{"className":45177},[726],[148,45179,21584],{"className":45180,"style":5822},[726,1064],[148,45182,45184],{"className":45183},[977],[148,45185,45187,45207],{"className":45186},[981,1071],[148,45188,45190,45204],{"className":45189},[985],[148,45191,45193],{"className":45192,"style":1703},[989],[148,45194,45195,45198],{"style":22048},[148,45196],{"className":45197,"style":997},[996],[148,45199,45201],{"className":45200},[1001,1002,1003,1004],[148,45202,2525],{"className":45203},[726,1064,1004],[148,45205,1095],{"className":45206},[1094],[148,45208,45210],{"className":45209},[985],[148,45211,45213],{"className":45212,"style":1102},[989],[148,45214],{},[148,45216,2748],{"className":45217},[1242],[148,45219,6055],{"className":45220},[726,1064],[148,45222,2757],{"className":45223},[807],[148,45225],{"className":45226,"style":815},[730],[148,45228,777],{"className":45229},[819],[148,45231],{"className":45232,"style":815},[730],[148,45234,45236,45239,45289,45292,45295,45298,45301,45304],{"className":45235},[717],[148,45237],{"className":45238,"style":800},[721],[148,45240,45242,45245],{"className":45241},[726],[148,45243,21584],{"className":45244,"style":5822},[726,1064],[148,45246,45248],{"className":45247},[977],[148,45249,45251,45280],{"className":45250},[981,1071],[148,45252,45254,45277],{"className":45253},[985],[148,45255,45257],{"className":45256,"style":1078},[989],[148,45258,45259,45262],{"style":22048},[148,45260],{"className":45261,"style":997},[996],[148,45263,45265],{"className":45264},[1001,1002,1003,1004],[148,45266,45268,45271,45274],{"className":45267},[726,1004],[148,45269,2525],{"className":45270},[726,1064,1004],[148,45272,3325],{"className":45273},[735,1004],[148,45275,150],{"className":45276},[726,1004],[148,45278,1095],{"className":45279},[1094],[148,45281,45283],{"className":45282},[985],[148,45284,45287],{"className":45285,"style":45286},[989],"height:0.2083em;",[148,45288],{},[148,45290,2748],{"className":45291},[1242],[148,45293,6055],{"className":45294},[726,1064],[148,45296,2757],{"className":45297},[807],[148,45299],{"className":45300,"style":731},[730],[148,45302,2605],{"className":45303},[735],[148,45305],{"className":45306,"style":731},[730],[148,45308,45310,45314,45317,45320,45323],{"className":45309},[717],[148,45311],{"className":45312,"style":45313},[721],"height:0.6389em;vertical-align:-0.1944em;",[148,45315,43629],{"className":45316,"style":4185},[726,1064],[148,45318],{"className":45319,"style":731},[730],[148,45321,3675],{"className":45322},[735],[148,45324],{"className":45325,"style":731},[730],[148,45327,45329,45332,45372,45375,45378,45381,45384,45388,45391,45431,45434,45437],{"className":45328},[717],[148,45330],{"className":45331,"style":800},[721],[148,45333,45335,45338],{"className":45334},[726],[148,45336,3922],{"className":45337},[726,1064],[148,45339,45341],{"className":45340},[977],[148,45342,45344,45364],{"className":45343},[981,1071],[148,45345,45347,45361],{"className":45346},[985],[148,45348,45350],{"className":45349,"style":1703},[989],[148,45351,45352,45355],{"style":1081},[148,45353],{"className":45354,"style":997},[996],[148,45356,45358],{"className":45357},[1001,1002,1003,1004],[148,45359,2525],{"className":45360},[726,1064,1004],[148,45362,1095],{"className":45363},[1094],[148,45365,45367],{"className":45366},[985],[148,45368,45370],{"className":45369,"style":1102},[989],[148,45371],{},[148,45373,2748],{"className":45374},[1242],[148,45376,6055],{"className":45377},[726,1064],[148,45379,2757],{"className":45380},[807],[148,45382,1205],{"className":45383},[1250],[148,45385],{"className":45386,"style":45387},[730],"margin-right:1em;",[148,45389],{"className":45390,"style":835},[730],[148,45392,45394,45397],{"className":45393},[726],[148,45395,3922],{"className":45396},[726,1064],[148,45398,45400],{"className":45399},[977],[148,45401,45403,45423],{"className":45402},[981,1071],[148,45404,45406,45420],{"className":45405},[985],[148,45407,45409],{"className":45408,"style":1703},[989],[148,45410,45411,45414],{"style":1081},[148,45412],{"className":45413,"style":997},[996],[148,45415,45417],{"className":45416},[1001,1002,1003,1004],[148,45418,2525],{"className":45419},[726,1064,1004],[148,45421,1095],{"className":45422},[1094],[148,45424,45426],{"className":45425},[985],[148,45427,45429],{"className":45428,"style":1102},[989],[148,45430],{},[148,45432],{"className":45433,"style":815},[730],[148,45435,919],{"className":45436},[819],[148,45438],{"className":45439,"style":815},[730],[148,45441,45443,45447,45450,45574],{"className":45442},[717],[148,45444],{"className":45445,"style":45446},[721],"height:1.3669em;vertical-align:-0.4868em;",[148,45448,3325],{"className":45449},[726],[148,45451,45453,45456,45571],{"className":45452},[726],[148,45454],{"className":45455},[1242,3347],[148,45457,45459],{"className":45458},[3315],[148,45460,45462,45562],{"className":45461},[981,1071],[148,45463,45465,45559],{"className":45464},[985],[148,45466,45468,45534,45542],{"className":45467,"style":3360},[989],[148,45469,45470,45473],{"style":3363},[148,45471],{"className":45472,"style":3367},[996],[148,45474,45476],{"className":45475},[1001,1002,1003,1004],[148,45477,45479,45482],{"className":45478},[726,1004],[148,45480,45142],{"className":45481,"style":21074},[726,1004],[148,45483,45485,45488],{"className":45484},[726,1004],[148,45486,21584],{"className":45487,"style":5822},[726,1064,1004],[148,45489,45491],{"className":45490},[977],[148,45492,45494,45525],{"className":45493},[981,1071],[148,45495,45497,45522],{"className":45496},[985],[148,45498,45501],{"className":45499,"style":45500},[989],"height:0.3173em;",[148,45502,45504,45507],{"style":45503},"top:-2.357em;margin-left:-0.1389em;margin-right:0.0714em;",[148,45505],{"className":45506,"style":9145},[996],[148,45508,45510],{"className":45509},[1001,9149,9150,1004],[148,45511,45513,45516,45519],{"className":45512},[726,1004],[148,45514,2525],{"className":45515},[726,1064,1004],[148,45517,3325],{"className":45518},[735,1004],[148,45520,150],{"className":45521},[726,1004],[148,45523,1095],{"className":45524},[1094],[148,45526,45528],{"className":45527},[985],[148,45529,45532],{"className":45530,"style":45531},[989],"height:0.2025em;",[148,45533],{},[148,45535,45536,45539],{"style":3385},[148,45537],{"className":45538,"style":3367},[996],[148,45540],{"className":45541,"style":3393},[3392],[148,45543,45544,45547],{"style":3396},[148,45545],{"className":45546,"style":3367},[996],[148,45548,45550],{"className":45549},[1001,1002,1003,1004],[148,45551,45553,45556],{"className":45552},[726,1004],[148,45554,45142],{"className":45555,"style":21074},[726,1004],[148,45557,6728],{"className":45558},[726,1064,1004],[148,45560,1095],{"className":45561},[1094],[148,45563,45565],{"className":45564},[985],[148,45566,45569],{"className":45567,"style":45568},[989],"height:0.4868em;",[148,45570],{},[148,45572],{"className":45573},[807,3347],[148,45575,26],{"className":45576},[726],[85,45578,45579,45580,45700,45701,45809],{},"Для квадратичной функции потерь ",[148,45581,45583,45617],{"className":45582},[680],[148,45584,45586],{"className":45585},[684],[686,45587,45588],{"xmlns":688},[690,45589,45590,45614],{},[693,45591,45592,45594,45596,45598,45600,45602,45604,45610,45612],{},[769,45593,6728],{},[699,45595,777],{},[699,45597,2748],{"stretchy":766},[769,45599,6060],{},[699,45601,3325],{},[769,45603,21584],{},[921,45605,45606,45608],{},[699,45607,2757],{"stretchy":766},[696,45609,163],{},[769,45611,772],{"mathvariant":771},[696,45613,163],{},[705,45615,45616],{"encoding":707},"L = (y - F)^2\u002F2",[148,45618,45620,45638,45659],{"className":45619,"ariaHidden":713},[712],[148,45621,45623,45626,45629,45632,45635],{"className":45622},[717],[148,45624],{"className":45625,"style":1344},[721],[148,45627,6728],{"className":45628},[726,1064],[148,45630],{"className":45631,"style":815},[730],[148,45633,777],{"className":45634},[819],[148,45636],{"className":45637,"style":815},[730],[148,45639,45641,45644,45647,45650,45653,45656],{"className":45640},[717],[148,45642],{"className":45643,"style":800},[721],[148,45645,2748],{"className":45646},[1242],[148,45648,6060],{"className":45649,"style":4185},[726,1064],[148,45651],{"className":45652,"style":731},[730],[148,45654,3325],{"className":45655},[735],[148,45657],{"className":45658,"style":731},[730],[148,45660,45662,45665,45668,45697],{"className":45661},[717],[148,45663],{"className":45664,"style":14662},[721],[148,45666,21584],{"className":45667,"style":5822},[726,1064],[148,45669,45671,45674],{"className":45670},[807],[148,45672,2757],{"className":45673},[807],[148,45675,45677],{"className":45676},[977],[148,45678,45680],{"className":45679},[981],[148,45681,45683],{"className":45682},[985],[148,45684,45686],{"className":45685,"style":963},[989],[148,45687,45688,45691],{"style":992},[148,45689],{"className":45690,"style":997},[996],[148,45692,45694],{"className":45693},[1001,1002,1003,1004],[148,45695,163],{"className":45696},[726,1004],[148,45698,811],{"className":45699},[726]," отрицательный градиент равен ",[148,45702,45704,45732],{"className":45703},[680],[148,45705,45707],{"className":45706},[684],[686,45708,45709],{"xmlns":688},[690,45710,45711,45729],{},[693,45712,45713,45715,45717],{},[769,45714,6060],{},[699,45716,3325],{},[1038,45718,45719,45721],{},[769,45720,21584],{},[693,45722,45723,45725,45727],{},[769,45724,2525],{},[699,45726,3325],{},[696,45728,150],{},[705,45730,45731],{"encoding":707},"y - F_{m-1}",[148,45733,45735,45753],{"className":45734,"ariaHidden":713},[712],[148,45736,45738,45741,45744,45747,45750],{"className":45737},[717],[148,45739],{"className":45740,"style":26445},[721],[148,45742,6060],{"className":45743,"style":4185},[726,1064],[148,45745],{"className":45746,"style":731},[730],[148,45748,3325],{"className":45749},[735],[148,45751],{"className":45752,"style":731},[730],[148,45754,45756,45760],{"className":45755},[717],[148,45757],{"className":45758,"style":45759},[721],"height:0.8917em;vertical-align:-0.2083em;",[148,45761,45763,45766],{"className":45762},[726],[148,45764,21584],{"className":45765,"style":5822},[726,1064],[148,45767,45769],{"className":45768},[977],[148,45770,45772,45801],{"className":45771},[981,1071],[148,45773,45775,45798],{"className":45774},[985],[148,45776,45778],{"className":45777,"style":1078},[989],[148,45779,45780,45783],{"style":22048},[148,45781],{"className":45782,"style":997},[996],[148,45784,45786],{"className":45785},[1001,1002,1003,1004],[148,45787,45789,45792,45795],{"className":45788},[726,1004],[148,45790,2525],{"className":45791},[726,1064,1004],[148,45793,3325],{"className":45794},[735,1004],[148,45796,150],{"className":45797},[726,1004],[148,45799,1095],{"className":45800},[1094],[148,45802,45804],{"className":45803},[985],[148,45805,45807],{"className":45806,"style":45286},[989],[148,45808],{}," — обычным остаткам регрессии. Поэтому простейший случай бустинга — «деревья, обучающиеся предсказывать остатки предыдущих». Каждое дерево добавляет в ансамбль ту часть зависимости, которую предыдущие не объяснили.",[362,45811,364,45812,364,45816],{},[366,45813],{"src":45814,"alt":45815},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-07\u002Fgradient_boosting_residuals.svg","Градиентный бустинг: каждое дерево уменьшает остатки предыдущих",[370,45817,45818],{},"Градиентный бустинг как последовательное восстановление функции: первое дерево даёт грубое приближение, каждое следующее уменьшает остатки предыдущего ансамбля.",[85,45820,45821,45822,191,45825,297,45853,45856,45857,45885,45886,191,45889,45917,45918,45946,45947,45975,45976,297,45979,45982,45983,191,45986,46014,46015,46089,46090,46142,46143,46195,46196,26],{},"Гиперпараметры градиентного бустинга образуют связанный набор. ",[294,45823,45824],{},"Скорость обучения",[148,45826,45828,45841],{"className":45827},[680],[148,45829,45831],{"className":45830},[684],[686,45832,45833],{"xmlns":688},[690,45834,45835,45839],{},[693,45836,45837],{},[769,45838,43629],{},[705,45840,43632],{"encoding":707},[148,45842,45844],{"className":45843,"ariaHidden":713},[712],[148,45845,45847,45850],{"className":45846},[717],[148,45848],{"className":45849,"style":1579},[721],[148,45851,43629],{"className":45852,"style":4185},[726,1064],[92,45854,45855],{},"learning rate",") умножает вклад каждого дерева; при меньшем ",[148,45858,45860,45873],{"className":45859},[680],[148,45861,45863],{"className":45862},[684],[686,45864,45865],{"xmlns":688},[690,45866,45867,45871],{},[693,45868,45869],{},[769,45870,43629],{},[705,45872,43632],{"encoding":707},[148,45874,45876],{"className":45875,"ariaHidden":713},[712],[148,45877,45879,45882],{"className":45878},[717],[148,45880],{"className":45881,"style":1579},[721],[148,45883,43629],{"className":45884,"style":4185},[726,1064]," ансамбль учится медленнее, но обычно достигает лучшего качества при большем числе деревьев. ",[294,45887,45888],{},"Число деревьев",[148,45890,45892,45905],{"className":45891},[680],[148,45893,45895],{"className":45894},[684],[686,45896,45897],{"xmlns":688},[690,45898,45899,45903],{},[693,45900,45901],{},[769,45902,31079],{},[705,45904,31079],{"encoding":707},[148,45906,45908],{"className":45907,"ariaHidden":713},[712],[148,45909,45911,45914],{"className":45910},[717],[148,45912],{"className":45913,"style":1344},[721],[148,45915,31079],{"className":45916,"style":16240},[726,1064]," напрямую регулирует сложность ансамбля; при слишком большом ",[148,45919,45921,45934],{"className":45920},[680],[148,45922,45924],{"className":45923},[684],[686,45925,45926],{"xmlns":688},[690,45927,45928,45932],{},[693,45929,45930],{},[769,45931,31079],{},[705,45933,31079],{"encoding":707},[148,45935,45937],{"className":45936,"ariaHidden":713},[712],[148,45938,45940,45943],{"className":45939},[717],[148,45941],{"className":45942,"style":1344},[721],[148,45944,31079],{"className":45945,"style":16240},[726,1064]," возникает переобучение, поэтому ",[148,45948,45950,45963],{"className":45949},[680],[148,45951,45953],{"className":45952},[684],[686,45954,45955],{"xmlns":688},[690,45956,45957,45961],{},[693,45958,45959],{},[769,45960,31079],{},[705,45962,31079],{"encoding":707},[148,45964,45966],{"className":45965,"ariaHidden":713},[712],[148,45967,45969,45972],{"className":45968},[717],[148,45970],{"className":45971,"style":1344},[721],[148,45973,31079],{"className":45974,"style":16240},[726,1064]," обычно выбирается по валидации с ",[294,45977,45978],{},"ранней остановкой",[92,45980,45981],{},"early stopping",") — остановкой обучения при ухудшении валидационной метрики. ",[294,45984,45985],{},"Глубина деревьев",[148,45987,45989,46002],{"className":45988},[680],[148,45990,45992],{"className":45991},[684],[686,45993,45994],{"xmlns":688},[690,45995,45996,46000],{},[693,45997,45998],{},[769,45999,2437],{},[705,46001,2437],{"encoding":707},[148,46003,46005],{"className":46004,"ariaHidden":713},[712],[148,46006,46008,46011],{"className":46007},[717],[148,46009],{"className":46010,"style":2415},[721],[148,46012,2437],{"className":46013},[726,1064]," контролирует выразительность каждого слабого ученика: обычно ",[148,46016,46018,46044],{"className":46017},[680],[148,46019,46021],{"className":46020},[684],[686,46022,46023],{"xmlns":688},[690,46024,46025,46041],{},[693,46026,46027,46029,46031,46033,46035,46037,46039],{},[769,46028,2437],{},[699,46030,1369],{},[699,46032,6850],{"stretchy":766},[696,46034,179],{},[699,46036,1205],{"separator":713},[696,46038,249],{},[699,46040,6870],{"stretchy":766},[705,46042,46043],{"encoding":707},"d \\in [3, 8]",[148,46045,46047,46065],{"className":46046,"ariaHidden":713},[712],[148,46048,46050,46053,46056,46059,46062],{"className":46049},[717],[148,46051],{"className":46052,"style":3250},[721],[148,46054,2437],{"className":46055},[726,1064],[148,46057],{"className":46058,"style":815},[730],[148,46060,1369],{"className":46061},[819],[148,46063],{"className":46064,"style":815},[730],[148,46066,46068,46071,46074,46077,46080,46083,46086],{"className":46067},[717],[148,46069],{"className":46070,"style":800},[721],[148,46072,6850],{"className":46073},[1242],[148,46075,179],{"className":46076},[726],[148,46078,1205],{"className":46079},[1250],[148,46081],{"className":46082,"style":835},[730],[148,46084,249],{"className":46085},[726],[148,46087,6870],{"className":46088},[807],", более глубокие деревья учат сложные взаимодействия, но дают больше переобучения. Эти три гиперпараметра подбираются совместно: типичная связка — небольшой ",[148,46091,46093,46112],{"className":46092},[680],[148,46094,46096],{"className":46095},[684],[686,46097,46098],{"xmlns":688},[690,46099,46100,46109],{},[693,46101,46102,46104,46106],{},[769,46103,43629],{},[699,46105,777],{},[696,46107,46108],{},"0.05",[705,46110,46111],{"encoding":707},"\\eta = 0.05",[148,46113,46115,46133],{"className":46114,"ariaHidden":713},[712],[148,46116,46118,46121,46124,46127,46130],{"className":46117},[717],[148,46119],{"className":46120,"style":1579},[721],[148,46122,43629],{"className":46123,"style":4185},[726,1064],[148,46125],{"className":46126,"style":815},[730],[148,46128,777],{"className":46129},[819],[148,46131],{"className":46132,"style":815},[730],[148,46134,46136,46139],{"className":46135},[717],[148,46137],{"className":46138,"style":745},[721],[148,46140,46108],{"className":46141},[726],", большое ",[148,46144,46146,46165],{"className":46145},[680],[148,46147,46149],{"className":46148},[684],[686,46150,46151],{"xmlns":688},[690,46152,46153,46162],{},[693,46154,46155,46157,46159],{},[769,46156,31079],{},[699,46158,777],{},[696,46160,46161],{},"1000",[705,46163,46164],{"encoding":707},"M = 1000",[148,46166,46168,46186],{"className":46167,"ariaHidden":713},[712],[148,46169,46171,46174,46177,46180,46183],{"className":46170},[717],[148,46172],{"className":46173,"style":1344},[721],[148,46175,31079],{"className":46176,"style":16240},[726,1064],[148,46178],{"className":46179,"style":815},[730],[148,46181,777],{"className":46182},[819],[148,46184],{"className":46185,"style":815},[730],[148,46187,46189,46192],{"className":46188},[717],[148,46190],{"className":46191,"style":745},[721],[148,46193,46161],{"className":46194},[726]," с ранней остановкой, умеренное ",[148,46197,46199,46217],{"className":46198},[680],[148,46200,46202],{"className":46201},[684],[686,46203,46204],{"xmlns":688},[690,46205,46206,46214],{},[693,46207,46208,46210,46212],{},[769,46209,2437],{},[699,46211,777],{},[696,46213,213],{},[705,46215,46216],{"encoding":707},"d = 5",[148,46218,46220,46238],{"className":46219,"ariaHidden":713},[712],[148,46221,46223,46226,46229,46232,46235],{"className":46222},[717],[148,46224],{"className":46225,"style":2415},[721],[148,46227,2437],{"className":46228},[726,1064],[148,46230],{"className":46231,"style":815},[730],[148,46233,777],{"className":46234},[819],[148,46236],{"className":46237,"style":815},[730],[148,46239,46241,46244],{"className":46240},[717],[148,46242],{"className":46243,"style":745},[721],[148,46245,213],{"className":46246},[726],[85,46248,46249,46250,191,46253,389,46260,191,46263,46270],{},"Современные реализации градиентного бустинга — ",[294,46251,46252],{},"XGBoost",[140,46254,46256],{"className":46255},[143],[22,46257,46258],{"href":210},[148,46259,213],{},[294,46261,46262],{},"LightGBM",[140,46264,46266],{"className":46265},[143],[22,46267,46268],{"href":223},[148,46269,226],{}," — добавляют к классической схеме несколько улучшений. XGBoost использует расширенную регуляризацию (штрафы за число листьев и за величину предсказаний в листьях), точное вычисление производных второго порядка для шага обучения и оптимизации для разреженных данных. LightGBM применяет иную стратегию построения дерева — выращивание по листу с максимальным приростом качества, а не по уровню, — и гистограммную аппроксимацию для ускорения. На практике обе библиотеки на одинаковых данных дают сопоставимое качество, и выбор между ними часто определяется тем, что уже стоит в проекте и насколько быстро нужно обучаться: LightGBM обычно быстрее на больших датасетах, XGBoost — стабильнее по гиперпараметрам и лучше документирован для начинающих.",[85,46272,46273,46274,46277,46278,46281,46282,382,46310,389,46338,46366],{},"Сравнение бэггинга и бустинга по логике их работы фиксируется в нескольких пунктах. Бэггинг строит модели ",[294,46275,46276],{},"параллельно",", бустинг — ",[294,46279,46280],{},"последовательно",". Бэггинг снижает разброс, не трогая смещения; бустинг снижает и смещение, и разброс, но рискует переобучиться при избытке шагов. Бэггинг работает с моделями высокого разброса (глубокие деревья), бустинг — со слабыми моделями высокого смещения (мелкие деревья глубины 3–8). Бэггинг почти не требует настройки и устойчив к гиперпараметрам, бустинг сильно зависит от связки ",[148,46283,46285,46298],{"className":46284},[680],[148,46286,46288],{"className":46287},[684],[686,46289,46290],{"xmlns":688},[690,46291,46292,46296],{},[693,46293,46294],{},[769,46295,43629],{},[705,46297,43632],{"encoding":707},[148,46299,46301],{"className":46300,"ariaHidden":713},[712],[148,46302,46304,46307],{"className":46303},[717],[148,46305],{"className":46306,"style":1579},[721],[148,46308,43629],{"className":46309,"style":4185},[726,1064],[148,46311,46313,46326],{"className":46312},[680],[148,46314,46316],{"className":46315},[684],[686,46317,46318],{"xmlns":688},[690,46319,46320,46324],{},[693,46321,46322],{},[769,46323,31079],{},[705,46325,31079],{"encoding":707},[148,46327,46329],{"className":46328,"ariaHidden":713},[712],[148,46330,46332,46335],{"className":46331},[717],[148,46333],{"className":46334,"style":1344},[721],[148,46336,31079],{"className":46337,"style":16240},[726,1064],[148,46339,46341,46354],{"className":46340},[680],[148,46342,46344],{"className":46343},[684],[686,46345,46346],{"xmlns":688},[690,46347,46348,46352],{},[693,46349,46350],{},[769,46351,2437],{},[705,46353,2437],{"encoding":707},[148,46355,46357],{"className":46356,"ariaHidden":713},[712],[148,46358,46360,46363],{"className":46359},[717],[148,46361],{"className":46362,"style":2415},[721],[148,46364,2437],{"className":46365},[726,1064],", и его подбор — основная статья расходов на гиперпараметрический поиск.",[362,46368,364,46369,364,46373],{},[366,46370],{"src":46371,"alt":46372},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-07\u002Fbagging_vs_boosting.svg","Сравнение бэггинга и бустинга: параллельная и последовательная схемы обучения",[370,46374,46375],{},"Бэггинг обучает модели независимо на бутстрэп-выборках и усредняет предсказания; бустинг обучает модели последовательно, каждая следующая фокусируется на ошибках текущего ансамбля.",[85,46377,46378],{},"В практической дилемме «случайный лес или градиентный бустинг» однозначного ответа нет. На однородных табличных данных среднего размера, без жёстких ограничений по времени обучения, бустинг обычно даёт лучший результат на 1–3 процентных пункта. На задачах с большим числом шумных признаков, где требуется устойчивость, и при минимальном бюджете на настройку, выигрывает лес. И, как обсуждалось в теме 3, разница в 1–2 пункта при неустойчивой оценке статистически слаба, а сложность сопровождения у бустинга выше — поэтому начало проекта почти всегда с леса, а переход к бустингу — обоснованное решение по результатам анализа метрик.",[128,46380,46382],{"id":46381},"стэкинг","Стэкинг",[85,46384,46385,297,46387,5554,46390,46393,46394,297,46397,46400],{},[294,46386,46382],{},[92,46388,46389],{},"stacking",[148,46391,46392],{},"@wolpert1992stacked"," — третий путь к ансамблю, методологически отличный от бэггинга и бустинга. Вместо того чтобы соединять однотипные модели простым усреднением или голосованием, стэкинг обучает ",[294,46395,46396],{},"метамодель",[92,46398,46399],{},"meta-learner","), которая использует предсказания базовых моделей как признаки. Иерархия двухуровневая: на нижнем уровне (level-0) работают разнородные модели — например, случайный лес, градиентный бустинг, логистическая регрессия и k-NN; на верхнем уровне (level-1) метамодель учится оптимально комбинировать их выходы.",[85,46402,46403,46404,46407],{},"Принципиальный момент — как получать обучающие данные для метамодели. Если просто обучить базовые модели на полной выборке и взять их предсказания на ней же, метамодель обучится на сильно переобученных предсказаниях: для тренировочных объектов базовые модели часто почти безошибочны, а на новых объектах будут ошибаться, и метамодель не научится корректно их комбинировать. Корректная процедура — генерировать предсказания базовых моделей ",[294,46405,46406],{},"через кросс-валидацию",": для каждого блока кросс-валидации базовые модели обучаются на остальных блоках, и их предсказания для текущего блока становятся признаками метамодели. После обучения на этих cross-validated предсказаниях метамодель применяется к новым данным, для которых базовые модели уже обучены на полной выборке.",[85,46409,46410],{},"В качестве метамодели обычно берут простую: линейная или логистическая регрессия. Усложнённая метамодель часто переобучается на относительно небольшом наборе признаков (всего по одному значению от каждой базовой модели), и выигрыш от её гибкости съедается потерей качества. Логистическая регрессия с регуляризацией — стандартный выбор, дающий интерпретируемые веса базовых моделей.",[85,46412,46413,46414,46417],{},"Когда стэкинг работает лучше отдельных моделей? Когда базовые модели делают ",[294,46415,46416],{},"разные"," ошибки. Если случайный лес ошибается на одном подмножестве объектов, а градиентный бустинг — на другом, метамодель научится опираться на каждую модель там, где она сильна. Если же все базовые модели ошибаются на одних и тех же сложных примерах (что часто бывает с однотипными ансамблями деревьев), стэкинг даст микроскопический прирост и не оправдает усложнения пайплайна.",[85,46419,46420],{},"Практический баланс таков: стэкинг — инструмент финальной полировки качества в задачах, где значимы доли процентного пункта (соревнования, продакшен с большими ставками). Для прикладных проектов с разумным бюджетом обычно достаточно одной хорошо настроенной модели — случайного леса или градиентного бустинга. Сложность пайплайна, требования к воспроизводимости, риск ошибок в кросс-валидации генерируемых признаков — всё это делает стэкинг инструментом не первого выбора. Но как идея — комбинирование разнородных моделей через обучаемую метамодель — стэкинг прочно прописан в инструментарии прикладного машинного обучения.",[10,46422,560],{"id":559},[562,46424,46426,46429,46432,46435,46438,46441],{"className":46425},[565],[18,46427,46428],{"id":568},"Kohavi R. A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection. — Proceedings of the 14th International Joint Conference on Artificial Intelligence (IJCAI), 1995, С. 1137–1143.",[18,46430,46431],{"id":572},"Bergstra J., Bengio Y. Random Search for Hyper-Parameter Optimization. — Journal of Machine Learning Research, 2012, С. 281–305, https:\u002F\u002Fjmlr.org\u002Fpapers\u002Fv13\u002Fbergstra12a.html.",[18,46433,46434],{"id":576},"Breiman L. Bagging Predictors. — Machine Learning, 1996, С. 123–140, DOI: 10.1007\u002FBF00058655.",[18,46436,46437],{"id":580},"Friedman J. H. Greedy Function Approximation: A Gradient Boosting Machine. — The Annals of Statistics, 2001, С. 1189–1232, DOI: 10.1214\u002Faos\u002F1013203451.",[18,46439,46440],{"id":584},"Chen T., Guestrin C. XGBoost: A Scalable Tree Boosting System. — Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016, С. 785–794, DOI: 10.1145\u002F2939672.2939785.",[18,46442,46443],{"id":588},"Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W., Ye Q., Liu T. LightGBM: A Highly Efficient Gradient Boosting Decision Tree. — Advances in Neural Information Processing Systems 30 (NIPS 2017), 2017, С. 3146–3154.",{"title":35,"searchDepth":36,"depth":36,"links":46445},[46446,46450,46453,46458],{"id":40960,"depth":36,"text":40961,"children":46447},[46448,46449],{"id":40964,"depth":631,"text":40965},{"id":30791,"depth":631,"text":41321},{"id":43537,"depth":36,"text":43538,"children":46451},[46452],{"id":43541,"depth":631,"text":43542},{"id":43913,"depth":36,"text":43914,"children":46454},[46455,46456,46457],{"id":43929,"depth":631,"text":43930},{"id":44771,"depth":631,"text":44772},{"id":46381,"depth":631,"text":46382},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-07-content",{"title":40946,"description":40954},"courses\u002Faidt-iot-mii\u002Ftopic-07-content",7,"topic-07","nuGS5yQBh1_CGN7JyEoM0Pp-zw6jBtB1luJBEK_3zow",{"id":46467,"title":46468,"body":46469,"course_slug":39,"description":46476,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":51665,"navigation":44,"path":51666,"section":106,"seo":51667,"stem":51668,"topic_number":51669,"topic_slug":51670,"__hash__":51671},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-08-content.md","Тема 8. Нейронные сети и глубокое обучение",{"type":7,"value":46470,"toc":51649},[46471,46474,46477,46487,46490,46494,46498,46816,46993,47004,47008,47607,47616,48058,48460,48469,48845,48849,49931,50028,50276,50285,50472,50548,50552,50556,50612,50732,50793,50802,50836,50840,51273,51280,51461,51470,51480,51484,51488,51495,51508,51521,51556,51560,51563,51586,51589,51608,51610],[81,46472,46468],{"id":46473},"тема-8-нейронные-сети-и-глубокое-обучение",[85,46475,46476],{},"В темах 4–7 мы рассмотрели «классические» алгоритмы машинного обучения: логистическую регрессию, деревья решений, ансамбли, методы кластеризации. Все они исходят из того, что признаки уже подготовлены человеком, а сам алгоритм лишь подбирает решающее правило в относительно компактном пространстве. На неструктурированных данных — изображениях, звуковых сигналах, длинных текстах — эта схема пробуксовывает: подбор хороших признаков вручную сам становится трудоёмкой инженерной задачей, а итоговая модель работает не лучше посредственного человеческого эксперта.",[85,46478,46479,46480,297,46483,46486],{},"Нейронные сети предлагают другой подход: признаки извлекаются не отдельно, а совместно с решающим правилом — как часть одной оптимизируемой системы. Когда таких слоёв извлечения становится много, говорят о ",[294,46481,46482],{},"глубоком обучении",[92,46484,46485],{},"deep learning","). За последние пятнадцать лет именно глубокие сети сместили классические модели в задачах распознавания изображений, машинного перевода, синтеза речи и стали инженерной основой современных больших языковых моделей, упомянутых в теме 1.",[85,46488,46489],{},"Тема ставит три цели. Во-первых, разобрать, что такое искусственный нейрон и как из нейронов собирается многослойный перцептрон. Во-вторых, понять, как такая сеть обучается — что считается «ошибкой» и как её градиент проходит через слои. В-третьих, познакомиться с двумя ключевыми семействами архитектур — свёрточными и рекуррентными сетями, — а также с практическими приёмами, без которых глубокое обучение в реальных проектах не работает.",[10,46491,46493],{"id":46492},"основы-нейронных-сетей","Основы нейронных сетей",[128,46495,46497],{"id":46496},"биологическая-метафора-и-математическая-модель","Биологическая метафора и математическая модель",[85,46499,46500,46501,46504,46505,46645,46646,46786,46787,46815],{},"Историческая отправная точка — модель ",[294,46502,46503],{},"нейрона Маккаллока–Питтса"," (1943), которая упрощает биологический нейрон до бинарного логического элемента: входы ",[148,46506,46508,46538],{"className":46507},[680],[148,46509,46511],{"className":46510},[684],[686,46512,46513],{"xmlns":688},[690,46514,46515,46535],{},[693,46516,46517,46523,46525,46527,46529],{},[1038,46518,46519,46521],{},[769,46520,6055],{},[696,46522,150],{},[699,46524,1205],{"separator":713},[699,46526,1557],{},[699,46528,1205],{"separator":713},[1038,46530,46531,46533],{},[769,46532,6055],{},[769,46534,1566],{},[705,46536,46537],{"encoding":707},"x_1, \\dots, x_n",[148,46539,46541],{"className":46540,"ariaHidden":713},[712],[148,46542,46544,46547,46587,46590,46593,46596,46599,46602,46605],{"className":46543},[717],[148,46545],{"className":46546,"style":1579},[721],[148,46548,46550,46553],{"className":46549},[726],[148,46551,6055],{"className":46552},[726,1064],[148,46554,46556],{"className":46555},[977],[148,46557,46559,46579],{"className":46558},[981,1071],[148,46560,46562,46576],{"className":46561},[985],[148,46563,46565],{"className":46564,"style":1078},[989],[148,46566,46567,46570],{"style":1081},[148,46568],{"className":46569,"style":997},[996],[148,46571,46573],{"className":46572},[1001,1002,1003,1004],[148,46574,150],{"className":46575},[726,1004],[148,46577,1095],{"className":46578},[1094],[148,46580,46582],{"className":46581},[985],[148,46583,46585],{"className":46584,"style":1102},[989],[148,46586],{},[148,46588,1205],{"className":46589},[1250],[148,46591],{"className":46592,"style":835},[730],[148,46594,1557],{"className":46595},[1675],[148,46597],{"className":46598,"style":835},[730],[148,46600,1205],{"className":46601},[1250],[148,46603],{"className":46604,"style":835},[730],[148,46606,46608,46611],{"className":46607},[726],[148,46609,6055],{"className":46610},[726,1064],[148,46612,46614],{"className":46613},[977],[148,46615,46617,46637],{"className":46616},[981,1071],[148,46618,46620,46634],{"className":46619},[985],[148,46621,46623],{"className":46622,"style":1703},[989],[148,46624,46625,46628],{"style":1081},[148,46626],{"className":46627,"style":997},[996],[148,46629,46631],{"className":46630},[1001,1002,1003,1004],[148,46632,1566],{"className":46633},[726,1064,1004],[148,46635,1095],{"className":46636},[1094],[148,46638,46640],{"className":46639},[985],[148,46641,46643],{"className":46642,"style":1102},[989],[148,46644],{}," умножаются на веса ",[148,46647,46649,46679],{"className":46648},[680],[148,46650,46652],{"className":46651},[684],[686,46653,46654],{"xmlns":688},[690,46655,46656,46676],{},[693,46657,46658,46664,46666,46668,46670],{},[1038,46659,46660,46662],{},[769,46661,12482],{},[696,46663,150],{},[699,46665,1205],{"separator":713},[699,46667,1557],{},[699,46669,1205],{"separator":713},[1038,46671,46672,46674],{},[769,46673,12482],{},[769,46675,1566],{},[705,46677,46678],{"encoding":707},"w_1, \\dots, w_n",[148,46680,46682],{"className":46681,"ariaHidden":713},[712],[148,46683,46685,46688,46728,46731,46734,46737,46740,46743,46746],{"className":46684},[717],[148,46686],{"className":46687,"style":1579},[721],[148,46689,46691,46694],{"className":46690},[726],[148,46692,12482],{"className":46693,"style":12530},[726,1064],[148,46695,46697],{"className":46696},[977],[148,46698,46700,46720],{"className":46699},[981,1071],[148,46701,46703,46717],{"className":46702},[985],[148,46704,46706],{"className":46705,"style":1078},[989],[148,46707,46708,46711],{"style":14990},[148,46709],{"className":46710,"style":997},[996],[148,46712,46714],{"className":46713},[1001,1002,1003,1004],[148,46715,150],{"className":46716},[726,1004],[148,46718,1095],{"className":46719},[1094],[148,46721,46723],{"className":46722},[985],[148,46724,46726],{"className":46725,"style":1102},[989],[148,46727],{},[148,46729,1205],{"className":46730},[1250],[148,46732],{"className":46733,"style":835},[730],[148,46735,1557],{"className":46736},[1675],[148,46738],{"className":46739,"style":835},[730],[148,46741,1205],{"className":46742},[1250],[148,46744],{"className":46745,"style":835},[730],[148,46747,46749,46752],{"className":46748},[726],[148,46750,12482],{"className":46751,"style":12530},[726,1064],[148,46753,46755],{"className":46754},[977],[148,46756,46758,46778],{"className":46757},[981,1071],[148,46759,46761,46775],{"className":46760},[985],[148,46762,46764],{"className":46763,"style":1703},[989],[148,46765,46766,46769],{"style":14990},[148,46767],{"className":46768,"style":997},[996],[148,46770,46772],{"className":46771},[1001,1002,1003,1004],[148,46773,1566],{"className":46774},[726,1064,1004],[148,46776,1095],{"className":46777},[1094],[148,46779,46781],{"className":46780},[985],[148,46782,46784],{"className":46783,"style":1102},[989],[148,46785],{},", суммируются и сравниваются с порогом ",[148,46788,46790,46803],{"className":46789},[680],[148,46791,46793],{"className":46792},[684],[686,46794,46795],{"xmlns":688},[690,46796,46797,46801],{},[693,46798,46799],{},[769,46800,7811],{},[705,46802,7814],{"encoding":707},[148,46804,46806],{"className":46805,"ariaHidden":713},[712],[148,46807,46809,46812],{"className":46808},[717],[148,46810],{"className":46811,"style":2415},[721],[148,46813,7811],{"className":46814,"style":2774},[726,1064],"; выход равен единице, если сумма превзошла порог, и нулю иначе. В этой модели уже видны три ключевых компонента: взвешенная агрегация сигналов, нелинейное преобразование результата и обучаемые параметры — веса. Биологические оговорки — что реальный нейрон сложнее, что синаптические задержки переменны, что обработка частично аналоговая — для математического объекта вторичны; модель ценна именно как абстракция.",[85,46817,46818,46819,297,46822,46825,46826,46833,46834,46992],{},"Следующий шаг сделал Фрэнк Розенблатт в 1958 году, предложив ",[294,46820,46821],{},"перцептрон",[92,46823,46824],{},"perceptron",") — нейрон Маккаллока–Питтса, веса которого подбираются по примерам, а не задаются вручную ",[140,46827,46829],{"className":46828},[143],[22,46830,46831],{"href":146},[148,46832,150],{},". Если объекты двух классов линейно разделимы в пространстве признаков, правило обновления весов\n",[148,46835,46837,46875],{"className":46836},[680],[148,46838,46840],{"className":46839},[684],[686,46841,46842],{"xmlns":688},[690,46843,46844,46872],{},[693,46845,46846,46848,46850,46852,46854,46856,46858,46860,46862,46868,46870],{},[769,46847,12482],{},[699,46849,44917],{},[769,46851,12482],{},[699,46853,2605],{},[769,46855,43629],{},[699,46857,2748],{"stretchy":766},[769,46859,6060],{},[699,46861,3325],{},[6416,46863,46864,46866],{"accent":713},[769,46865,6060],{},[699,46867,6422],{},[699,46869,2757],{"stretchy":766},[769,46871,6055],{},[705,46873,46874],{"encoding":707},"w \\leftarrow w + \\eta (y - \\hat{y}) x",[148,46876,46878,46896,46914,46938],{"className":46877,"ariaHidden":713},[712],[148,46879,46881,46884,46887,46890,46893],{"className":46880},[717],[148,46882],{"className":46883,"style":2537},[721],[148,46885,12482],{"className":46886,"style":12530},[726,1064],[148,46888],{"className":46889,"style":815},[730],[148,46891,44917],{"className":46892},[819],[148,46894],{"className":46895,"style":815},[730],[148,46897,46899,46902,46905,46908,46911],{"className":46898},[717],[148,46900],{"className":46901,"style":24201},[721],[148,46903,12482],{"className":46904,"style":12530},[726,1064],[148,46906],{"className":46907,"style":731},[730],[148,46909,2605],{"className":46910},[735],[148,46912],{"className":46913,"style":731},[730],[148,46915,46917,46920,46923,46926,46929,46932,46935],{"className":46916},[717],[148,46918],{"className":46919,"style":800},[721],[148,46921,43629],{"className":46922,"style":4185},[726,1064],[148,46924,2748],{"className":46925},[1242],[148,46927,6060],{"className":46928,"style":4185},[726,1064],[148,46930],{"className":46931,"style":731},[730],[148,46933,3325],{"className":46934},[735],[148,46936],{"className":46937,"style":731},[730],[148,46939,46941,46944,46986,46989],{"className":46940},[717],[148,46942],{"className":46943,"style":800},[721],[148,46945,46947],{"className":46946},[726,6449],[148,46948,46950,46978],{"className":46949},[981,1071],[148,46951,46953,46975],{"className":46952},[985],[148,46954,46956,46964],{"className":46955,"style":2415},[989],[148,46957,46958,46961],{"style":6462},[148,46959],{"className":46960,"style":3367},[996],[148,46962,6060],{"className":46963,"style":4185},[726,1064],[148,46965,46966,46969],{"style":6462},[148,46967],{"className":46968,"style":3367},[996],[148,46970,46972],{"className":46971,"style":13404},[6478],[148,46973,6422],{"className":46974},[726],[148,46976,1095],{"className":46977},[1094],[148,46979,46981],{"className":46980},[985],[148,46982,46984],{"className":46983,"style":6492},[989],[148,46985],{},[148,46987,2757],{"className":46988},[807],[148,46990,6055],{"className":46991},[726,1064],"\nгарантированно сходится к разделяющей гиперплоскости за конечное число шагов. Это была первая обучаемая модель распознавания образов, и в конце 1950-х она породила волну энтузиазма, сопоставимую с современным AI-хайпом.",[85,46994,46995,46996,47003],{},"Эту волну во многом обнулила книга Минского и Пейперта 1969 года ",[140,46997,46999],{"className":46998},[143],[22,47000,47001],{"href":160},[148,47002,163],{},": одиночный перцептрон неспособен реализовать функцию «исключающего или» (XOR), потому что её таблица истинности линейно неразделима. Авторы строго показали, что для таких функций требуется промежуточный слой нейронов, а методов их обучения тогда не существовало. Содержательно вывод был справедлив, но истолкован он был шире, чем заслуживал: финансирование коннекционистских исследований резко сократилось, наступила первая «зима ИИ», о которой мы говорили в теме 1. Из этой истории полезно вынести два урока: ограничение модели стоит понимать буквально, не распространяя на её естественные обобщения; и инструмент, у которого «нет алгоритма обучения», не равен «инструменту, у которого его никогда не будет».",[128,47005,47007],{"id":47006},"многослойный-перцептрон","Многослойный перцептрон",[85,47009,47010,47011,297,47013,47016,47017,1318,47327,47423,47424,389,47498,47572,47573,47602,47603,47606],{},"Снять ограничение перцептрона позволяет сложение нескольких слоёв нейронов. ",[294,47012,47007],{},[92,47014,47015],{},"multilayer perceptron, MLP",") состоит из входного слоя признаков, одного или нескольких скрытых слоёв и выходного слоя, дающего предсказание. Каждый слой реализует аффинное преобразование с последующей нелинейной активацией:\n",[148,47018,47020,47103],{"className":47019},[680],[148,47021,47023],{"className":47022},[684],[686,47024,47025],{"xmlns":688},[690,47026,47027,47100],{},[693,47028,47029,47042,47044,47046,47049,47098],{},[921,47030,47031,47033],{},[769,47032,3922],{},[693,47034,47035,47037,47040],{},[699,47036,2748],{"stretchy":766},[769,47038,47039],{},"l",[699,47041,2757],{"stretchy":766},[699,47043,777],{},[769,47045,8391],{},[782,47047,47048],{}," ⁣",[693,47050,47051,47053,47066,47082,47084,47096],{},[699,47052,2748],{"fence":713},[921,47054,47055,47058],{},[769,47056,47057],{},"W",[693,47059,47060,47062,47064],{},[699,47061,2748],{"stretchy":766},[769,47063,47039],{},[699,47065,2757],{"stretchy":766},[921,47067,47068,47070],{},[769,47069,3922],{},[693,47071,47072,47074,47076,47078,47080],{},[699,47073,2748],{"stretchy":766},[769,47075,47039],{},[699,47077,3325],{},[696,47079,150],{},[699,47081,2757],{"stretchy":766},[699,47083,2605],{},[921,47085,47086,47088],{},[769,47087,2403],{},[693,47089,47090,47092,47094],{},[699,47091,2748],{"stretchy":766},[769,47093,47039],{},[699,47095,2757],{"stretchy":766},[699,47097,2757],{"fence":713},[699,47099,1205],{"separator":713},[705,47101,47102],{"encoding":707},"h^{(l)} = \\sigma\\!\\left(W^{(l)} h^{(l-1)} + b^{(l)}\\right),",[148,47104,47106,47160],{"className":47105,"ariaHidden":713},[712],[148,47107,47109,47112,47151,47154,47157],{"className":47108},[717],[148,47110],{"className":47111,"style":25352},[721],[148,47113,47115,47118],{"className":47114},[726],[148,47116,3922],{"className":47117},[726,1064],[148,47119,47121],{"className":47120},[977],[148,47122,47124],{"className":47123},[981],[148,47125,47127],{"className":47126},[985],[148,47128,47130],{"className":47129,"style":25352},[989],[148,47131,47132,47135],{"style":992},[148,47133],{"className":47134,"style":997},[996],[148,47136,47138],{"className":47137},[1001,1002,1003,1004],[148,47139,47141,47144,47148],{"className":47140},[726,1004],[148,47142,2748],{"className":47143},[1242,1004],[148,47145,47039],{"className":47146,"style":47147},[726,1064,1004],"margin-right:0.0197em;",[148,47149,2757],{"className":47150},[807,1004],[148,47152],{"className":47153,"style":815},[730],[148,47155,777],{"className":47156},[819],[148,47158],{"className":47159,"style":815},[730],[148,47161,47163,47167,47170,47174,47177,47321,47324],{"className":47162},[717],[148,47164],{"className":47165,"style":47166},[721],"height:1.238em;vertical-align:-0.35em;",[148,47168,8391],{"className":47169,"style":4185},[726,1064],[148,47171],{"className":47172,"style":47173},[730],"margin-right:-0.1667em;",[148,47175],{"className":47176,"style":835},[730],[148,47178,47180,47186,47224,47268,47271,47274,47277,47315],{"className":47179},[1675],[148,47181,47183],{"className":47182,"style":8930},[1242,8929],[148,47184,2748],{"className":47185},[8934,9150],[148,47187,47189,47192],{"className":47188},[726],[148,47190,47057],{"className":47191,"style":5822},[726,1064],[148,47193,47195],{"className":47194},[977],[148,47196,47198],{"className":47197},[981],[148,47199,47201],{"className":47200},[985],[148,47202,47204],{"className":47203,"style":25352},[989],[148,47205,47206,47209],{"style":992},[148,47207],{"className":47208,"style":997},[996],[148,47210,47212],{"className":47211},[1001,1002,1003,1004],[148,47213,47215,47218,47221],{"className":47214},[726,1004],[148,47216,2748],{"className":47217},[1242,1004],[148,47219,47039],{"className":47220,"style":47147},[726,1064,1004],[148,47222,2757],{"className":47223},[807,1004],[148,47225,47227,47230],{"className":47226},[726],[148,47228,3922],{"className":47229},[726,1064],[148,47231,47233],{"className":47232},[977],[148,47234,47236],{"className":47235},[981],[148,47237,47239],{"className":47238},[985],[148,47240,47242],{"className":47241,"style":25352},[989],[148,47243,47244,47247],{"style":992},[148,47245],{"className":47246,"style":997},[996],[148,47248,47250],{"className":47249},[1001,1002,1003,1004],[148,47251,47253,47256,47259,47262,47265],{"className":47252},[726,1004],[148,47254,2748],{"className":47255},[1242,1004],[148,47257,47039],{"className":47258,"style":47147},[726,1064,1004],[148,47260,3325],{"className":47261},[735,1004],[148,47263,150],{"className":47264},[726,1004],[148,47266,2757],{"className":47267},[807,1004],[148,47269],{"className":47270,"style":731},[730],[148,47272,2605],{"className":47273},[735],[148,47275],{"className":47276,"style":731},[730],[148,47278,47280,47283],{"className":47279},[726],[148,47281,2403],{"className":47282},[726,1064],[148,47284,47286],{"className":47285},[977],[148,47287,47289],{"className":47288},[981],[148,47290,47292],{"className":47291},[985],[148,47293,47295],{"className":47294,"style":25352},[989],[148,47296,47297,47300],{"style":992},[148,47298],{"className":47299,"style":997},[996],[148,47301,47303],{"className":47302},[1001,1002,1003,1004],[148,47304,47306,47309,47312],{"className":47305},[726,1004],[148,47307,2748],{"className":47308},[1242,1004],[148,47310,47039],{"className":47311,"style":47147},[726,1064,1004],[148,47313,2757],{"className":47314},[807,1004],[148,47316,47318],{"className":47317,"style":8930},[807,8929],[148,47319,2757],{"className":47320},[8934,9150],[148,47322],{"className":47323,"style":835},[730],[148,47325,1205],{"className":47326},[1250],[148,47328,47330,47358],{"className":47329},[680],[148,47331,47333],{"className":47332},[684],[686,47334,47335],{"xmlns":688},[690,47336,47337,47355],{},[693,47338,47339,47351,47353],{},[921,47340,47341,47343],{},[769,47342,3922],{},[693,47344,47345,47347,47349],{},[699,47346,2748],{"stretchy":766},[696,47348,973],{},[699,47350,2757],{"stretchy":766},[699,47352,777],{},[769,47354,6055],{},[705,47356,47357],{"encoding":707},"h^{(0)} = x",[148,47359,47361,47414],{"className":47360,"ariaHidden":713},[712],[148,47362,47364,47367,47405,47408,47411],{"className":47363},[717],[148,47365],{"className":47366,"style":25352},[721],[148,47368,47370,47373],{"className":47369},[726],[148,47371,3922],{"className":47372},[726,1064],[148,47374,47376],{"className":47375},[977],[148,47377,47379],{"className":47378},[981],[148,47380,47382],{"className":47381},[985],[148,47383,47385],{"className":47384,"style":25352},[989],[148,47386,47387,47390],{"style":992},[148,47388],{"className":47389,"style":997},[996],[148,47391,47393],{"className":47392},[1001,1002,1003,1004],[148,47394,47396,47399,47402],{"className":47395},[726,1004],[148,47397,2748],{"className":47398},[1242,1004],[148,47400,973],{"className":47401},[726,1004],[148,47403,2757],{"className":47404},[807,1004],[148,47406],{"className":47407,"style":815},[730],[148,47409,777],{"className":47410},[819],[148,47412],{"className":47413,"style":815},[730],[148,47415,47417,47420],{"className":47416},[717],[148,47418],{"className":47419,"style":2537},[721],[148,47421,6055],{"className":47422},[726,1064]," — вход, ",[148,47425,47427,47451],{"className":47426},[680],[148,47428,47430],{"className":47429},[684],[686,47431,47432],{"xmlns":688},[690,47433,47434,47448],{},[693,47435,47436],{},[921,47437,47438,47440],{},[769,47439,47057],{},[693,47441,47442,47444,47446],{},[699,47443,2748],{"stretchy":766},[769,47445,47039],{},[699,47447,2757],{"stretchy":766},[705,47449,47450],{"encoding":707},"W^{(l)}",[148,47452,47454],{"className":47453,"ariaHidden":713},[712],[148,47455,47457,47460],{"className":47456},[717],[148,47458],{"className":47459,"style":25352},[721],[148,47461,47463,47466],{"className":47462},[726],[148,47464,47057],{"className":47465,"style":5822},[726,1064],[148,47467,47469],{"className":47468},[977],[148,47470,47472],{"className":47471},[981],[148,47473,47475],{"className":47474},[985],[148,47476,47478],{"className":47477,"style":25352},[989],[148,47479,47480,47483],{"style":992},[148,47481],{"className":47482,"style":997},[996],[148,47484,47486],{"className":47485},[1001,1002,1003,1004],[148,47487,47489,47492,47495],{"className":47488},[726,1004],[148,47490,2748],{"className":47491},[1242,1004],[148,47493,47039],{"className":47494,"style":47147},[726,1064,1004],[148,47496,2757],{"className":47497},[807,1004],[148,47499,47501,47525],{"className":47500},[680],[148,47502,47504],{"className":47503},[684],[686,47505,47506],{"xmlns":688},[690,47507,47508,47522],{},[693,47509,47510],{},[921,47511,47512,47514],{},[769,47513,2403],{},[693,47515,47516,47518,47520],{},[699,47517,2748],{"stretchy":766},[769,47519,47039],{},[699,47521,2757],{"stretchy":766},[705,47523,47524],{"encoding":707},"b^{(l)}",[148,47526,47528],{"className":47527,"ariaHidden":713},[712],[148,47529,47531,47534],{"className":47530},[717],[148,47532],{"className":47533,"style":25352},[721],[148,47535,47537,47540],{"className":47536},[726],[148,47538,2403],{"className":47539},[726,1064],[148,47541,47543],{"className":47542},[977],[148,47544,47546],{"className":47545},[981],[148,47547,47549],{"className":47548},[985],[148,47550,47552],{"className":47551,"style":25352},[989],[148,47553,47554,47557],{"style":992},[148,47555],{"className":47556,"style":997},[996],[148,47558,47560],{"className":47559},[1001,1002,1003,1004],[148,47561,47563,47566,47569],{"className":47562},[726,1004],[148,47564,2748],{"className":47565},[1242,1004],[148,47567,47039],{"className":47568,"style":47147},[726,1064,1004],[148,47570,2757],{"className":47571},[807,1004]," — обучаемые параметры слоя, ",[148,47574,47576,47590],{"className":47575},[680],[148,47577,47579],{"className":47578},[684],[686,47580,47581],{"xmlns":688},[690,47582,47583,47587],{},[693,47584,47585],{},[769,47586,8391],{},[705,47588,47589],{"encoding":707},"\\sigma",[148,47591,47593],{"className":47592,"ariaHidden":713},[712],[148,47594,47596,47599],{"className":47595},[717],[148,47597],{"className":47598,"style":2537},[721],[148,47600,8391],{"className":47601,"style":4185},[726,1064]," — поэлементная активация. Нелинейность принципиальна: композиция чисто линейных слоёв снова даёт линейную функцию, никаких новых возможностей не появляется. Именно нелинейная активация делает MLP ",[294,47604,47605],{},"универсальным аппроксиматором"," — теорема Цыбенко 1989 года утверждает, что MLP с одним скрытым слоем достаточной ширины способен приблизить любую непрерывную функцию на компакте с произвольной точностью. Это теоретический результат: на практике глубокие сети с многими узкими слоями оказываются эффективнее по числу параметров, чем «плоские» с одним широким, — и именно эта эмпирика стоит за термином «глубокое обучение».",[362,47608,364,47609,364,47613],{},[366,47610],{"src":47611,"alt":47612},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-08\u002Fneuron_mlp.svg","Искусственный нейрон и архитектура многослойного перцептрона",[370,47614,47615],{},"Искусственный нейрон (слева) и архитектура многослойного перцептрона с двумя скрытыми слоями (справа)",[85,47617,47618,47619,47647,47648,191,47651,389,47799,191,47802,47849,47850,297,47853,47856,47857,47953,47954,48005,48006,48057],{},"Выбор функции активации ",[148,47620,47622,47635],{"className":47621},[680],[148,47623,47625],{"className":47624},[684],[686,47626,47627],{"xmlns":688},[690,47628,47629,47633],{},[693,47630,47631],{},[769,47632,8391],{},[705,47634,47589],{"encoding":707},[148,47636,47638],{"className":47637,"ariaHidden":713},[712],[148,47639,47641,47644],{"className":47640},[717],[148,47642],{"className":47643,"style":2537},[721],[148,47645,8391],{"className":47646,"style":4185},[726,1064]," влияет на свойства обучения сильнее, чем кажется. Исторически использовались ",[294,47649,47650],{},"сигмоида",[148,47652,47654,47698],{"className":47653},[680],[148,47655,47657],{"className":47656},[684],[686,47658,47659],{"xmlns":688},[690,47660,47661,47695],{},[693,47662,47663,47665,47667,47669,47671,47673,47675,47677,47679,47681,47683,47693],{},[769,47664,8391],{},[699,47666,2748],{"stretchy":766},[769,47668,12475],{},[699,47670,2757],{"stretchy":766},[699,47672,777],{},[696,47674,150],{},[769,47676,772],{"mathvariant":771},[699,47678,2748],{"stretchy":766},[696,47680,150],{},[699,47682,2605],{},[921,47684,47685,47687],{},[769,47686,12814],{},[693,47688,47689,47691],{},[699,47690,3325],{},[769,47692,12475],{},[699,47694,2757],{"stretchy":766},[705,47696,47697],{"encoding":707},"\\sigma(z) = 1\u002F(1 + e^{-z})",[148,47699,47701,47728,47753],{"className":47700,"ariaHidden":713},[712],[148,47702,47704,47707,47710,47713,47716,47719,47722,47725],{"className":47703},[717],[148,47705],{"className":47706,"style":800},[721],[148,47708,8391],{"className":47709,"style":4185},[726,1064],[148,47711,2748],{"className":47712},[1242],[148,47714,12475],{"className":47715,"style":12507},[726,1064],[148,47717,2757],{"className":47718},[807],[148,47720],{"className":47721,"style":815},[730],[148,47723,777],{"className":47724},[819],[148,47726],{"className":47727,"style":815},[730],[148,47729,47731,47734,47738,47741,47744,47747,47750],{"className":47730},[717],[148,47732],{"className":47733,"style":800},[721],[148,47735,47737],{"className":47736},[726],"1\u002F",[148,47739,2748],{"className":47740},[1242],[148,47742,150],{"className":47743},[726],[148,47745],{"className":47746,"style":731},[730],[148,47748,2605],{"className":47749},[735],[148,47751],{"className":47752,"style":731},[730],[148,47754,47756,47760,47796],{"className":47755},[717],[148,47757],{"className":47758,"style":47759},[721],"height:1.0213em;vertical-align:-0.25em;",[148,47761,47763,47766],{"className":47762},[726],[148,47764,12814],{"className":47765},[726,1064],[148,47767,47769],{"className":47768},[977],[148,47770,47772],{"className":47771},[981],[148,47773,47775],{"className":47774},[985],[148,47776,47779],{"className":47777,"style":47778},[989],"height:0.7713em;",[148,47780,47781,47784],{"style":992},[148,47782],{"className":47783,"style":997},[996],[148,47785,47787],{"className":47786},[1001,1002,1003,1004],[148,47788,47790,47793],{"className":47789},[726,1004],[148,47791,3325],{"className":47792},[726,1004],[148,47794,12475],{"className":47795,"style":12507},[726,1064,1004],[148,47797,2757],{"className":47798},[807],[294,47800,47801],{},"гиперболический тангенс",[148,47803,47805,47828],{"className":47804},[680],[148,47806,47808],{"className":47807},[684],[686,47809,47810],{"xmlns":688},[690,47811,47812,47825],{},[693,47813,47814,47817,47819,47821,47823],{},[769,47815,47816],{},"tanh",[699,47818,13929],{},[699,47820,2748],{"stretchy":766},[769,47822,12475],{},[699,47824,2757],{"stretchy":766},[705,47826,47827],{"encoding":707},"\\tanh(z)",[148,47829,47831],{"className":47830,"ariaHidden":713},[712],[148,47832,47834,47837,47840,47843,47846],{"className":47833},[717],[148,47835],{"className":47836,"style":800},[721],[148,47838,47816],{"className":47839},[7621],[148,47841,2748],{"className":47842},[1242],[148,47844,12475],{"className":47845,"style":12507},[726,1064],[148,47847,2757],{"className":47848},[807],": обе гладкие, ограниченные, биологически правдоподобные. Однако обе насыщаются при больших по модулю аргументах — их производная стремится к нулю, и обучение глубоких сетей через них замирает. С 2010-х доминирует ",[294,47851,47852],{},"ReLU",[92,47854,47855],{},"Rectified Linear Unit","): ",[148,47858,47860,47896],{"className":47859},[680],[148,47861,47863],{"className":47862},[684],[686,47864,47865],{"xmlns":688},[690,47866,47867,47893],{},[693,47868,47869,47871,47873,47875,47877,47879,47881,47883,47885,47887,47889,47891],{},[769,47870,8391],{},[699,47872,2748],{"stretchy":766},[769,47874,12475],{},[699,47876,2757],{"stretchy":766},[699,47878,777],{},[769,47880,16429],{},[699,47882,13929],{},[699,47884,2748],{"stretchy":766},[696,47886,973],{},[699,47888,1205],{"separator":713},[769,47890,12475],{},[699,47892,2757],{"stretchy":766},[705,47894,47895],{"encoding":707},"\\sigma(z) = \\max(0, z)",[148,47897,47899,47926],{"className":47898,"ariaHidden":713},[712],[148,47900,47902,47905,47908,47911,47914,47917,47920,47923],{"className":47901},[717],[148,47903],{"className":47904,"style":800},[721],[148,47906,8391],{"className":47907,"style":4185},[726,1064],[148,47909,2748],{"className":47910},[1242],[148,47912,12475],{"className":47913,"style":12507},[726,1064],[148,47915,2757],{"className":47916},[807],[148,47918],{"className":47919,"style":815},[730],[148,47921,777],{"className":47922},[819],[148,47924],{"className":47925,"style":815},[730],[148,47927,47929,47932,47935,47938,47941,47944,47947,47950],{"className":47928},[717],[148,47930],{"className":47931,"style":800},[721],[148,47933,16429],{"className":47934},[7621],[148,47936,2748],{"className":47937},[1242],[148,47939,973],{"className":47940},[726],[148,47942,1205],{"className":47943},[1250],[148,47945],{"className":47946,"style":835},[730],[148,47948,12475],{"className":47949,"style":12507},[726,1064],[148,47951,2757],{"className":47952},[807],". У ReLU кусочно-линейная форма, постоянная единичная производная при ",[148,47955,47957,47975],{"className":47956},[680],[148,47958,47960],{"className":47959},[684],[686,47961,47962],{"xmlns":688},[690,47963,47964,47972],{},[693,47965,47966,47968,47970],{},[769,47967,12475],{},[699,47969,3235],{},[696,47971,973],{},[705,47973,47974],{"encoding":707},"z > 0",[148,47976,47978,47996],{"className":47977,"ariaHidden":713},[712],[148,47979,47981,47984,47987,47990,47993],{"className":47980},[717],[148,47982],{"className":47983,"style":12609},[721],[148,47985,12475],{"className":47986,"style":12507},[726,1064],[148,47988],{"className":47989,"style":815},[730],[148,47991,3235],{"className":47992},[819],[148,47994],{"className":47995,"style":815},[730],[148,47997,47999,48002],{"className":47998},[717],[148,48000],{"className":48001,"style":745},[721],[148,48003,973],{"className":48004},[726]," и нулевая при ",[148,48007,48009,48027],{"className":48008},[680],[148,48010,48012],{"className":48011},[684],[686,48013,48014],{"xmlns":688},[690,48015,48016,48024],{},[693,48017,48018,48020,48022],{},[769,48019,12475],{},[699,48021,22333],{},[696,48023,973],{},[705,48025,48026],{"encoding":707},"z \u003C 0",[148,48028,48030,48048],{"className":48029,"ariaHidden":713},[712],[148,48031,48033,48036,48039,48042,48045],{"className":48032},[717],[148,48034],{"className":48035,"style":12609},[721],[148,48037,12475],{"className":48038,"style":12507},[726,1064],[148,48040],{"className":48041,"style":815},[730],[148,48043,22333],{"className":48044},[819],[148,48046],{"className":48047,"style":815},[730],[148,48049,48051,48054],{"className":48050},[717],[148,48052],{"className":48053,"style":745},[721],[148,48055,973],{"className":48056},[726],". Простота преобразования и неисчезающий градиент в положительной полуоси резко ускорили обучение глубоких архитектур; именно с переходом на ReLU связан прорыв AlexNet 2012 года, о котором мы вспоминали в теме 1.",[85,48059,48060,48061,48064,48065,48459],{},"Для выходного слоя выбор активации диктуется типом задачи. В бинарной классификации ставят сигмоиду — её выход интерпретируется как вероятность положительного класса. В многоклассовой — ",[294,48062,48063],{},"softmax",":\n",[148,48066,48068,48126],{"className":48067},[680],[148,48069,48071],{"className":48070},[684],[686,48072,48073],{"xmlns":688},[690,48074,48075,48123],{},[693,48076,48077,48079,48081,48083,48089,48091,48121],{},[782,48078,48063],{},[699,48080,2748],{"stretchy":766},[769,48082,12475],{},[1038,48084,48085,48087],{},[699,48086,2757],{"stretchy":766},[769,48088,2572],{},[699,48090,777],{},[3315,48092,48093,48103],{},[921,48094,48095,48097],{},[769,48096,12814],{},[1038,48098,48099,48101],{},[769,48100,12475],{},[769,48102,2572],{},[693,48104,48105,48111],{},[1038,48106,48107,48109],{},[699,48108,7436],{},[769,48110,14956],{},[921,48112,48113,48115],{},[769,48114,12814],{},[1038,48116,48117,48119],{},[769,48118,12475],{},[769,48120,14956],{},[699,48122,1205],{"separator":713},[705,48124,48125],{"encoding":707},"\\text{softmax}(z)_k = \\frac{e^{z_k}}{\\sum_{j} e^{z_j}},",[148,48127,48129,48196],{"className":48128,"ariaHidden":713},[712],[148,48130,48132,48135,48141,48144,48147,48187,48190,48193],{"className":48131},[717],[148,48133],{"className":48134,"style":800},[721],[148,48136,48138],{"className":48137},[726,5620],[148,48139,48063],{"className":48140},[726],[148,48142,2748],{"className":48143},[1242],[148,48145,12475],{"className":48146,"style":12507},[726,1064],[148,48148,48150,48153],{"className":48149},[807],[148,48151,2757],{"className":48152},[807],[148,48154,48156],{"className":48155},[977],[148,48157,48159,48179],{"className":48158},[981,1071],[148,48160,48162,48176],{"className":48161},[985],[148,48163,48165],{"className":48164,"style":12101},[989],[148,48166,48167,48170],{"style":1081},[148,48168],{"className":48169,"style":997},[996],[148,48171,48173],{"className":48172},[1001,1002,1003,1004],[148,48174,2572],{"className":48175,"style":2587},[726,1064,1004],[148,48177,1095],{"className":48178},[1094],[148,48180,48182],{"className":48181},[985],[148,48183,48185],{"className":48184,"style":1102},[989],[148,48186],{},[148,48188],{"className":48189,"style":815},[730],[148,48191,777],{"className":48192},[819],[148,48194],{"className":48195,"style":815},[730],[148,48197,48199,48203,48456],{"className":48198},[717],[148,48200],{"className":48201,"style":48202},[721],"height:1.5885em;vertical-align:-0.6775em;",[148,48204,48206,48209,48453],{"className":48205},[726],[148,48207],{"className":48208},[1242,3347],[148,48210,48212],{"className":48211},[3315],[148,48213,48215,48444],{"className":48214},[981,1071],[148,48216,48218,48441],{"className":48217},[985],[148,48219,48222,48354,48362],{"className":48220,"style":48221},[989],"height:0.911em;",[148,48223,48225,48228],{"style":48224},"top:-2.6447em;",[148,48226],{"className":48227,"style":3367},[996],[148,48229,48231],{"className":48230},[1001,1002,1003,1004],[148,48232,48234,48279,48283],{"className":48233},[726,1004],[148,48235,48237,48240],{"className":48236},[7621,1004],[148,48238,7436],{"className":48239,"style":7627},[7621,7625,7626,1004],[148,48241,48243],{"className":48242},[977],[148,48244,48246,48270],{"className":48245},[981,1071],[148,48247,48249,48267],{"className":48248},[985],[148,48250,48253],{"className":48251,"style":48252},[989],"height:0.1496em;",[148,48254,48255,48258],{"style":32757},[148,48256],{"className":48257,"style":9145},[996],[148,48259,48261],{"className":48260},[1001,9149,9150,1004],[148,48262,48264],{"className":48263},[726,1004],[148,48265,14956],{"className":48266,"style":15000},[726,1064,1004],[148,48268,1095],{"className":48269},[1094],[148,48271,48273],{"className":48272},[985],[148,48274,48277],{"className":48275,"style":48276},[989],"height:0.4603em;",[148,48278],{},[148,48280],{"className":48281,"style":48282},[730,1004],"margin-right:0.1952em;",[148,48284,48286,48289],{"className":48285},[726,1004],[148,48287,12814],{"className":48288},[726,1064,1004],[148,48290,48292],{"className":48291},[977],[148,48293,48295],{"className":48294},[981],[148,48296,48298],{"className":48297},[985],[148,48299,48302],{"className":48300,"style":48301},[989],"height:0.779em;",[148,48303,48305,48308],{"style":48304},"top:-2.9714em;margin-right:0.0714em;",[148,48306],{"className":48307,"style":9145},[996],[148,48309,48311],{"className":48310},[1001,9149,9150,1004],[148,48312,48314],{"className":48313},[726,1004],[148,48315,48317,48320],{"className":48316},[726,1004],[148,48318,12475],{"className":48319,"style":12507},[726,1064,1004],[148,48321,48323],{"className":48322},[977],[148,48324,48326,48345],{"className":48325},[981,1071],[148,48327,48329,48342],{"className":48328},[985],[148,48330,48332],{"className":48331,"style":7322},[989],[148,48333,48335,48339],{"style":48334},"top:-2.3448em;margin-left:-0.044em;margin-right:0.1em;",[148,48336],{"className":48337,"style":48338},[996],"height:2.6595em;",[148,48340,14956],{"className":48341,"style":15000},[726,1064,1004],[148,48343,1095],{"className":48344},[1094],[148,48346,48348],{"className":48347},[985],[148,48349,48352],{"className":48350,"style":48351},[989],"height:0.5092em;",[148,48353],{},[148,48355,48356,48359],{"style":3385},[148,48357],{"className":48358,"style":3367},[996],[148,48360],{"className":48361,"style":3393},[3392],[148,48363,48364,48367],{"style":3396},[148,48365],{"className":48366,"style":3367},[996],[148,48368,48370],{"className":48369},[1001,1002,1003,1004],[148,48371,48373],{"className":48372},[726,1004],[148,48374,48376,48379],{"className":48375},[726,1004],[148,48377,12814],{"className":48378},[726,1064,1004],[148,48380,48382],{"className":48381},[977],[148,48383,48385],{"className":48384},[981],[148,48386,48388],{"className":48387},[985],[148,48389,48391],{"className":48390,"style":32960},[989],[148,48392,48393,48396],{"style":32983},[148,48394],{"className":48395,"style":9145},[996],[148,48397,48399],{"className":48398},[1001,9149,9150,1004],[148,48400,48402],{"className":48401},[726,1004],[148,48403,48405,48408],{"className":48404},[726,1004],[148,48406,12475],{"className":48407,"style":12507},[726,1064,1004],[148,48409,48411],{"className":48410},[977],[148,48412,48414,48432],{"className":48413},[981,1071],[148,48415,48417,48429],{"className":48416},[985],[148,48418,48420],{"className":48419,"style":7322},[989],[148,48421,48422,48426],{"style":48334},[148,48423],{"className":48424,"style":48425},[996],"height:2.6944em;",[148,48427,2572],{"className":48428,"style":2587},[726,1064,1004],[148,48430,1095],{"className":48431},[1094],[148,48433,48435],{"className":48434},[985],[148,48436,48439],{"className":48437,"style":48438},[989],"height:0.3496em;",[148,48440],{},[148,48442,1095],{"className":48443},[1094],[148,48445,48447],{"className":48446},[985],[148,48448,48451],{"className":48449,"style":48450},[989],"height:0.6775em;",[148,48452],{},[148,48454],{"className":48455},[807,3347],[148,48457,1205],{"className":48458},[1250],"\nкоторая отображает вектор логитов в распределение вероятностей по классам. В регрессии выходной слой обычно линейный — без активации.",[362,48461,364,48462,364,48466],{},[366,48463],{"src":48464,"alt":48465},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-08\u002Factivation_functions.svg","Графики функций активации: сигмоида, тангенс гиперболический, ReLU",[370,48467,48468],{},"Функции активации: сигмоида, тангенс гиперболический, ReLU",[85,48470,48471,48472,297,48475,48478,48479,48763,48764,48844],{},"Вычисление предсказания по входу — ",[294,48473,48474],{},"прямое распространение",[92,48476,48477],{},"forward pass",") — сводится к последовательному применению ",[148,48480,48482,48556],{"className":48481},[680],[148,48483,48485],{"className":48484},[684],[686,48486,48487],{"xmlns":688},[690,48488,48489,48553],{},[693,48490,48491,48503,48505,48507,48509,48521,48537,48539,48551],{},[921,48492,48493,48495],{},[769,48494,3922],{},[693,48496,48497,48499,48501],{},[699,48498,2748],{"stretchy":766},[769,48500,47039],{},[699,48502,2757],{"stretchy":766},[699,48504,777],{},[769,48506,8391],{},[699,48508,2748],{"stretchy":766},[921,48510,48511,48513],{},[769,48512,47057],{},[693,48514,48515,48517,48519],{},[699,48516,2748],{"stretchy":766},[769,48518,47039],{},[699,48520,2757],{"stretchy":766},[921,48522,48523,48525],{},[769,48524,3922],{},[693,48526,48527,48529,48531,48533,48535],{},[699,48528,2748],{"stretchy":766},[769,48530,47039],{},[699,48532,3325],{},[696,48534,150],{},[699,48536,2757],{"stretchy":766},[699,48538,2605],{},[921,48540,48541,48543],{},[769,48542,2403],{},[693,48544,48545,48547,48549],{},[699,48546,2748],{"stretchy":766},[769,48548,47039],{},[699,48550,2757],{"stretchy":766},[699,48552,2757],{"stretchy":766},[705,48554,48555],{"encoding":707},"h^{(l)} = \\sigma(W^{(l)} h^{(l-1)} + b^{(l)})",[148,48557,48559,48612,48716],{"className":48558,"ariaHidden":713},[712],[148,48560,48562,48565,48603,48606,48609],{"className":48561},[717],[148,48563],{"className":48564,"style":25352},[721],[148,48566,48568,48571],{"className":48567},[726],[148,48569,3922],{"className":48570},[726,1064],[148,48572,48574],{"className":48573},[977],[148,48575,48577],{"className":48576},[981],[148,48578,48580],{"className":48579},[985],[148,48581,48583],{"className":48582,"style":25352},[989],[148,48584,48585,48588],{"style":992},[148,48586],{"className":48587,"style":997},[996],[148,48589,48591],{"className":48590},[1001,1002,1003,1004],[148,48592,48594,48597,48600],{"className":48593},[726,1004],[148,48595,2748],{"className":48596},[1242,1004],[148,48598,47039],{"className":48599,"style":47147},[726,1064,1004],[148,48601,2757],{"className":48602},[807,1004],[148,48604],{"className":48605,"style":815},[730],[148,48607,777],{"className":48608},[819],[148,48610],{"className":48611,"style":815},[730],[148,48613,48615,48619,48622,48625,48663,48707,48710,48713],{"className":48614},[717],[148,48616],{"className":48617,"style":48618},[721],"height:1.138em;vertical-align:-0.25em;",[148,48620,8391],{"className":48621,"style":4185},[726,1064],[148,48623,2748],{"className":48624},[1242],[148,48626,48628,48631],{"className":48627},[726],[148,48629,47057],{"className":48630,"style":5822},[726,1064],[148,48632,48634],{"className":48633},[977],[148,48635,48637],{"className":48636},[981],[148,48638,48640],{"className":48639},[985],[148,48641,48643],{"className":48642,"style":25352},[989],[148,48644,48645,48648],{"style":992},[148,48646],{"className":48647,"style":997},[996],[148,48649,48651],{"className":48650},[1001,1002,1003,1004],[148,48652,48654,48657,48660],{"className":48653},[726,1004],[148,48655,2748],{"className":48656},[1242,1004],[148,48658,47039],{"className":48659,"style":47147},[726,1064,1004],[148,48661,2757],{"className":48662},[807,1004],[148,48664,48666,48669],{"className":48665},[726],[148,48667,3922],{"className":48668},[726,1064],[148,48670,48672],{"className":48671},[977],[148,48673,48675],{"className":48674},[981],[148,48676,48678],{"className":48677},[985],[148,48679,48681],{"className":48680,"style":25352},[989],[148,48682,48683,48686],{"style":992},[148,48684],{"className":48685,"style":997},[996],[148,48687,48689],{"className":48688},[1001,1002,1003,1004],[148,48690,48692,48695,48698,48701,48704],{"className":48691},[726,1004],[148,48693,2748],{"className":48694},[1242,1004],[148,48696,47039],{"className":48697,"style":47147},[726,1064,1004],[148,48699,3325],{"className":48700},[735,1004],[148,48702,150],{"className":48703},[726,1004],[148,48705,2757],{"className":48706},[807,1004],[148,48708],{"className":48709,"style":731},[730],[148,48711,2605],{"className":48712},[735],[148,48714],{"className":48715,"style":731},[730],[148,48717,48719,48722,48760],{"className":48718},[717],[148,48720],{"className":48721,"style":48618},[721],[148,48723,48725,48728],{"className":48724},[726],[148,48726,2403],{"className":48727},[726,1064],[148,48729,48731],{"className":48730},[977],[148,48732,48734],{"className":48733},[981],[148,48735,48737],{"className":48736},[985],[148,48738,48740],{"className":48739,"style":25352},[989],[148,48741,48742,48745],{"style":992},[148,48743],{"className":48744,"style":997},[996],[148,48746,48748],{"className":48747},[1001,1002,1003,1004],[148,48749,48751,48754,48757],{"className":48750},[726,1004],[148,48752,2748],{"className":48753},[1242,1004],[148,48755,47039],{"className":48756,"style":47147},[726,1064,1004],[148,48758,2757],{"className":48759},[807,1004],[148,48761,2757],{"className":48762},[807]," для ",[148,48765,48767,48793],{"className":48766},[680],[148,48768,48770],{"className":48769},[684],[686,48771,48772],{"xmlns":688},[690,48773,48774,48790],{},[693,48775,48776,48778,48780,48782,48784,48786,48788],{},[769,48777,47039],{},[699,48779,777],{},[696,48781,150],{},[699,48783,1205],{"separator":713},[699,48785,1557],{},[699,48787,1205],{"separator":713},[769,48789,6728],{},[705,48791,48792],{"encoding":707},"l = 1, \\dots, L",[148,48794,48796,48814],{"className":48795,"ariaHidden":713},[712],[148,48797,48799,48802,48805,48808,48811],{"className":48798},[717],[148,48800],{"className":48801,"style":2415},[721],[148,48803,47039],{"className":48804,"style":47147},[726,1064],[148,48806],{"className":48807,"style":815},[730],[148,48809,777],{"className":48810},[819],[148,48812],{"className":48813,"style":815},[730],[148,48815,48817,48820,48823,48826,48829,48832,48835,48838,48841],{"className":48816},[717],[148,48818],{"className":48819,"style":35501},[721],[148,48821,150],{"className":48822},[726],[148,48824,1205],{"className":48825},[1250],[148,48827],{"className":48828,"style":835},[730],[148,48830,1557],{"className":48831},[1675],[148,48833],{"className":48834,"style":835},[730],[148,48836,1205],{"className":48837},[1250],[148,48839],{"className":48840,"style":835},[730],[148,48842,6728],{"className":48843},[726,1064],". Для одного объекта это последовательность матрично-векторных умножений; для батча — последовательность матрично-матричных, и именно на этой операции современные графические процессоры показывают свою силу.",[128,48846,48848],{"id":48847},"обучение-нейронных-сетей","Обучение нейронных сетей",[85,48850,48851,48852,297,48855,31547,48858,1318,49348,49425,49426,49546,49547,49550,49551,49930],{},"Обучение сети формулируется как задача минимизации функции потерь по параметрам. В классификации стандартный выбор — ",[294,48853,48854],{},"кросс-энтропия",[92,48856,48857],{},"cross-entropy",[148,48859,48861,48955],{"className":48860},[680],[148,48862,48864],{"className":48863},[684],[686,48865,48866],{"xmlns":688},[690,48867,48868,48952],{},[693,48869,48870,48872,48874,48876,48878,48880,48882,48888,48902,48916,48926,48928,48930,48944,48946,48948,48950],{},[769,48871,6728],{},[699,48873,2748],{"stretchy":766},[769,48875,7811],{},[699,48877,2757],{"stretchy":766},[699,48879,777],{},[699,48881,3325],{},[3315,48883,48884,48886],{},[696,48885,150],{},[769,48887,1566],{},[6195,48889,48890,48892,48900],{},[699,48891,7436],{},[693,48893,48894,48896,48898],{},[769,48895,6183],{},[699,48897,777],{},[696,48899,150],{},[769,48901,1566],{},[6195,48903,48904,48906,48914],{},[699,48905,7436],{},[693,48907,48908,48910,48912],{},[769,48909,2572],{},[699,48911,777],{},[696,48913,150],{},[769,48915,11360],{},[1038,48917,48918,48920],{},[769,48919,6060],{},[693,48921,48922,48924],{},[769,48923,6183],{},[769,48925,2572],{},[769,48927,13926],{},[699,48929,13929],{},[1038,48931,48932,48938],{},[6416,48933,48934,48936],{"accent":713},[769,48935,85],{},[699,48937,6422],{},[693,48939,48940,48942],{},[769,48941,6183],{},[769,48943,2572],{},[699,48945,2748],{"stretchy":766},[769,48947,7811],{},[699,48949,2757],{"stretchy":766},[699,48951,1205],{"separator":713},[705,48953,48954],{"encoding":707},"L(\\theta) = -\\frac{1}{n} \\sum_{i=1}^{n} \\sum_{k=1}^{K} y_{ik} \\log \\hat{p}_{ik}(\\theta),",[148,48956,48958,48985],{"className":48957,"ariaHidden":713},[712],[148,48959,48961,48964,48967,48970,48973,48976,48979,48982],{"className":48960},[717],[148,48962],{"className":48963,"style":800},[721],[148,48965,6728],{"className":48966},[726,1064],[148,48968,2748],{"className":48969},[1242],[148,48971,7811],{"className":48972,"style":2774},[726,1064],[148,48974,2757],{"className":48975},[807],[148,48977],{"className":48978,"style":815},[730],[148,48980,777],{"className":48981},[819],[148,48983],{"className":48984,"style":815},[730],[148,48986,48988,48992,48995,49063,49066,49129,49132,49196,49199,49243,49246,49251,49254,49336,49339,49342,49345],{"className":48987},[717],[148,48989],{"className":48990,"style":48991},[721],"height:1.3262em;vertical-align:-0.345em;",[148,48993,3325],{"className":48994},[726],[148,48996,48998,49001,49060],{"className":48997},[726],[148,48999],{"className":49000},[1242,3347],[148,49002,49004],{"className":49003},[3315],[148,49005,49007,49052],{"className":49006},[981,1071],[148,49008,49010,49049],{"className":49009},[985],[148,49011,49013,49027,49035],{"className":49012,"style":7563},[989],[148,49014,49015,49018],{"style":3363},[148,49016],{"className":49017,"style":3367},[996],[148,49019,49021],{"className":49020},[1001,1002,1003,1004],[148,49022,49024],{"className":49023},[726,1004],[148,49025,1566],{"className":49026},[726,1064,1004],[148,49028,49029,49032],{"style":3385},[148,49030],{"className":49031,"style":3367},[996],[148,49033],{"className":49034,"style":3393},[3392],[148,49036,49037,49040],{"style":3396},[148,49038],{"className":49039,"style":3367},[996],[148,49041,49043],{"className":49042},[1001,1002,1003,1004],[148,49044,49046],{"className":49045},[726,1004],[148,49047,150],{"className":49048},[726,1004],[148,49050,1095],{"className":49051},[1094],[148,49053,49055],{"className":49054},[985],[148,49056,49058],{"className":49057,"style":7609},[989],[148,49059],{},[148,49061],{"className":49062},[807,3347],[148,49064],{"className":49065,"style":835},[730],[148,49067,49069,49072],{"className":49068},[7621],[148,49070,7436],{"className":49071,"style":7627},[7621,7625,7626],[148,49073,49075],{"className":49074},[977],[148,49076,49078,49121],{"className":49077},[981,1071],[148,49079,49081,49118],{"className":49080},[985],[148,49082,49084,49104],{"className":49083,"style":7640},[989],[148,49085,49086,49089],{"style":7643},[148,49087],{"className":49088,"style":997},[996],[148,49090,49092],{"className":49091},[1001,1002,1003,1004],[148,49093,49095,49098,49101],{"className":49094},[726,1004],[148,49096,6183],{"className":49097},[726,1064,1004],[148,49099,777],{"className":49100},[819,1004],[148,49102,150],{"className":49103},[726,1004],[148,49105,49106,49109],{"style":7664},[148,49107],{"className":49108,"style":997},[996],[148,49110,49112],{"className":49111},[1001,1002,1003,1004],[148,49113,49115],{"className":49114},[726,1004],[148,49116,1566],{"className":49117},[726,1064,1004],[148,49119,1095],{"className":49120},[1094],[148,49122,49124],{"className":49123},[985],[148,49125,49127],{"className":49126,"style":7686},[989],[148,49128],{},[148,49130],{"className":49131,"style":835},[730],[148,49133,49135,49138],{"className":49134},[7621],[148,49136,7436],{"className":49137,"style":7627},[7621,7625,7626],[148,49139,49141],{"className":49140},[977],[148,49142,49144,49188],{"className":49143},[981,1071],[148,49145,49147,49185],{"className":49146},[985],[148,49148,49151,49171],{"className":49149,"style":49150},[989],"height:0.9812em;",[148,49152,49153,49156],{"style":7643},[148,49154],{"className":49155,"style":997},[996],[148,49157,49159],{"className":49158},[1001,1002,1003,1004],[148,49160,49162,49165,49168],{"className":49161},[726,1004],[148,49163,2572],{"className":49164,"style":2587},[726,1064,1004],[148,49166,777],{"className":49167},[819,1004],[148,49169,150],{"className":49170},[726,1004],[148,49172,49173,49176],{"style":7664},[148,49174],{"className":49175,"style":997},[996],[148,49177,49179],{"className":49178},[1001,1002,1003,1004],[148,49180,49182],{"className":49181},[726,1004],[148,49183,11360],{"className":49184,"style":11483},[726,1064,1004],[148,49186,1095],{"className":49187},[1094],[148,49189,49191],{"className":49190},[985],[148,49192,49194],{"className":49193,"style":7686},[989],[148,49195],{},[148,49197],{"className":49198,"style":835},[730],[148,49200,49202,49205],{"className":49201},[726],[148,49203,6060],{"className":49204,"style":4185},[726,1064],[148,49206,49208],{"className":49207},[977],[148,49209,49211,49235],{"className":49210},[981,1071],[148,49212,49214,49232],{"className":49213},[985],[148,49215,49217],{"className":49216,"style":12101},[989],[148,49218,49219,49222],{"style":6312},[148,49220],{"className":49221,"style":997},[996],[148,49223,49225],{"className":49224},[1001,1002,1003,1004],[148,49226,49228],{"className":49227},[726,1004],[148,49229,49231],{"className":49230,"style":2587},[726,1064,1004],"ik",[148,49233,1095],{"className":49234},[1094],[148,49236,49238],{"className":49237},[985],[148,49239,49241],{"className":49240,"style":1102},[989],[148,49242],{},[148,49244],{"className":49245,"style":835},[730],[148,49247,14226,49249],{"className":49248},[7621],[148,49250,4123],{"style":14229},[148,49252],{"className":49253,"style":835},[730],[148,49255,49257,49299],{"className":49256},[726],[148,49258,49260],{"className":49259},[726,6449],[148,49261,49263,49291],{"className":49262},[981,1071],[148,49264,49266,49288],{"className":49265},[985],[148,49267,49269,49277],{"className":49268,"style":2415},[989],[148,49270,49271,49274],{"style":6462},[148,49272],{"className":49273,"style":3367},[996],[148,49275,85],{"className":49276},[726,1064],[148,49278,49279,49282],{"style":6462},[148,49280],{"className":49281,"style":3367},[996],[148,49283,49285],{"className":49284,"style":7516},[6478],[148,49286,6422],{"className":49287},[726],[148,49289,1095],{"className":49290},[1094],[148,49292,49294],{"className":49293},[985],[148,49295,49297],{"className":49296,"style":6492},[989],[148,49298],{},[148,49300,49302],{"className":49301},[977],[148,49303,49305,49328],{"className":49304},[981,1071],[148,49306,49308,49325],{"className":49307},[985],[148,49309,49311],{"className":49310,"style":12101},[989],[148,49312,49313,49316],{"style":1081},[148,49314],{"className":49315,"style":997},[996],[148,49317,49319],{"className":49318},[1001,1002,1003,1004],[148,49320,49322],{"className":49321},[726,1004],[148,49323,49231],{"className":49324,"style":2587},[726,1064,1004],[148,49326,1095],{"className":49327},[1094],[148,49329,49331],{"className":49330},[985],[148,49332,49334],{"className":49333,"style":1102},[989],[148,49335],{},[148,49337,2748],{"className":49338},[1242],[148,49340,7811],{"className":49341,"style":2774},[726,1064],[148,49343,2757],{"className":49344},[807],[148,49346,1205],{"className":49347},[1250],[148,49349,49351,49373],{"className":49350},[680],[148,49352,49354],{"className":49353},[684],[686,49355,49356],{"xmlns":688},[690,49357,49358,49370],{},[693,49359,49360],{},[1038,49361,49362,49364],{},[769,49363,6060],{},[693,49365,49366,49368],{},[769,49367,6183],{},[769,49369,2572],{},[705,49371,49372],{"encoding":707},"y_{ik}",[148,49374,49376],{"className":49375,"ariaHidden":713},[712],[148,49377,49379,49382],{"className":49378},[717],[148,49380],{"className":49381,"style":1579},[721],[148,49383,49385,49388],{"className":49384},[726],[148,49386,6060],{"className":49387,"style":4185},[726,1064],[148,49389,49391],{"className":49390},[977],[148,49392,49394,49417],{"className":49393},[981,1071],[148,49395,49397,49414],{"className":49396},[985],[148,49398,49400],{"className":49399,"style":12101},[989],[148,49401,49402,49405],{"style":6312},[148,49403],{"className":49404,"style":997},[996],[148,49406,49408],{"className":49407},[1001,1002,1003,1004],[148,49409,49411],{"className":49410},[726,1004],[148,49412,49231],{"className":49413,"style":2587},[726,1064,1004],[148,49415,1095],{"className":49416},[1094],[148,49418,49420],{"className":49419},[985],[148,49421,49423],{"className":49422,"style":1102},[989],[148,49424],{}," — индикатор истинного класса, ",[148,49427,49429,49455],{"className":49428},[680],[148,49430,49432],{"className":49431},[684],[686,49433,49434],{"xmlns":688},[690,49435,49436,49452],{},[693,49437,49438],{},[1038,49439,49440,49446],{},[6416,49441,49442,49444],{"accent":713},[769,49443,85],{},[699,49445,6422],{},[693,49447,49448,49450],{},[769,49449,6183],{},[769,49451,2572],{},[705,49453,49454],{"encoding":707},"\\hat{p}_{ik}",[148,49456,49458],{"className":49457,"ariaHidden":713},[712],[148,49459,49461,49464],{"className":49460},[717],[148,49462],{"className":49463,"style":6934},[721],[148,49465,49467,49509],{"className":49466},[726],[148,49468,49470],{"className":49469},[726,6449],[148,49471,49473,49501],{"className":49472},[981,1071],[148,49474,49476,49498],{"className":49475},[985],[148,49477,49479,49487],{"className":49478,"style":2415},[989],[148,49480,49481,49484],{"style":6462},[148,49482],{"className":49483,"style":3367},[996],[148,49485,85],{"className":49486},[726,1064],[148,49488,49489,49492],{"style":6462},[148,49490],{"className":49491,"style":3367},[996],[148,49493,49495],{"className":49494,"style":7516},[6478],[148,49496,6422],{"className":49497},[726],[148,49499,1095],{"className":49500},[1094],[148,49502,49504],{"className":49503},[985],[148,49505,49507],{"className":49506,"style":6492},[989],[148,49508],{},[148,49510,49512],{"className":49511},[977],[148,49513,49515,49538],{"className":49514},[981,1071],[148,49516,49518,49535],{"className":49517},[985],[148,49519,49521],{"className":49520,"style":12101},[989],[148,49522,49523,49526],{"style":1081},[148,49524],{"className":49525,"style":997},[996],[148,49527,49529],{"className":49528},[1001,1002,1003,1004],[148,49530,49532],{"className":49531},[726,1004],[148,49533,49231],{"className":49534,"style":2587},[726,1064,1004],[148,49536,1095],{"className":49537},[1094],[148,49539,49541],{"className":49540},[985],[148,49542,49544],{"className":49543,"style":1102},[989],[148,49545],{}," — предсказанная вероятность. Эта потеря выводится из принципа максимума правдоподобия для категориального распределения и устроена так, что чем увереннее ошибочное предсказание, тем сильнее штраф. В регрессии аналог — ",[294,49548,49549],{},"средняя квадратичная ошибка"," (MSE): ",[148,49552,49554,49614],{"className":49553},[680],[148,49555,49557],{"className":49556},[684],[686,49558,49559],{"xmlns":688},[690,49560,49561,49611],{},[693,49562,49563,49565,49567,49569,49571,49573,49579,49585,49587,49593,49595,49605],{},[769,49564,6728],{},[699,49566,2748],{"stretchy":766},[769,49568,7811],{},[699,49570,2757],{"stretchy":766},[699,49572,777],{},[3315,49574,49575,49577],{},[696,49576,150],{},[769,49578,1566],{},[1038,49580,49581,49583],{},[699,49582,7436],{},[769,49584,6183],{},[699,49586,2748],{"stretchy":766},[1038,49588,49589,49591],{},[769,49590,6060],{},[769,49592,6183],{},[699,49594,3325],{},[1038,49596,49597,49603],{},[6416,49598,49599,49601],{"accent":713},[769,49600,6060],{},[699,49602,6422],{},[769,49604,6183],{},[921,49606,49607,49609],{},[699,49608,2757],{"stretchy":766},[696,49610,163],{},[705,49612,49613],{"encoding":707},"L(\\theta) = \\frac{1}{n} \\sum_{i} (y_i - \\hat{y}_i)^2",[148,49615,49617,49644,49816],{"className":49616,"ariaHidden":713},[712],[148,49618,49620,49623,49626,49629,49632,49635,49638,49641],{"className":49619},[717],[148,49621],{"className":49622,"style":800},[721],[148,49624,6728],{"className":49625},[726,1064],[148,49627,2748],{"className":49628},[1242],[148,49630,7811],{"className":49631,"style":2774},[726,1064],[148,49633,2757],{"className":49634},[807],[148,49636],{"className":49637,"style":815},[730],[148,49639,777],{"className":49640},[819],[148,49642],{"className":49643,"style":815},[730],[148,49645,49647,49650,49718,49721,49764,49767,49807,49810,49813],{"className":49646},[717],[148,49648],{"className":49649,"style":7544},[721],[148,49651,49653,49656,49715],{"className":49652},[726],[148,49654],{"className":49655},[1242,3347],[148,49657,49659],{"className":49658},[3315],[148,49660,49662,49707],{"className":49661},[981,1071],[148,49663,49665,49704],{"className":49664},[985],[148,49666,49668,49682,49690],{"className":49667,"style":7563},[989],[148,49669,49670,49673],{"style":3363},[148,49671],{"className":49672,"style":3367},[996],[148,49674,49676],{"className":49675},[1001,1002,1003,1004],[148,49677,49679],{"className":49678},[726,1004],[148,49680,1566],{"className":49681},[726,1064,1004],[148,49683,49684,49687],{"style":3385},[148,49685],{"className":49686,"style":3367},[996],[148,49688],{"className":49689,"style":3393},[3392],[148,49691,49692,49695],{"style":3396},[148,49693],{"className":49694,"style":3367},[996],[148,49696,49698],{"className":49697},[1001,1002,1003,1004],[148,49699,49701],{"className":49700},[726,1004],[148,49702,150],{"className":49703},[726,1004],[148,49705,1095],{"className":49706},[1094],[148,49708,49710],{"className":49709},[985],[148,49711,49713],{"className":49712,"style":7609},[989],[148,49714],{},[148,49716],{"className":49717},[807,3347],[148,49719],{"className":49720,"style":835},[730],[148,49722,49724,49727],{"className":49723},[7621],[148,49725,7436],{"className":49726,"style":7627},[7621,7625,7626],[148,49728,49730],{"className":49729},[977],[148,49731,49733,49756],{"className":49732},[981,1071],[148,49734,49736,49753],{"className":49735},[985],[148,49737,49739],{"className":49738,"style":15784},[989],[148,49740,49741,49744],{"style":7643},[148,49742],{"className":49743,"style":997},[996],[148,49745,49747],{"className":49746},[1001,1002,1003,1004],[148,49748,49750],{"className":49749},[726,1004],[148,49751,6183],{"className":49752},[726,1064,1004],[148,49754,1095],{"className":49755},[1094],[148,49757,49759],{"className":49758},[985],[148,49760,49762],{"className":49761,"style":7686},[989],[148,49763],{},[148,49765,2748],{"className":49766},[1242],[148,49768,49770,49773],{"className":49769},[726],[148,49771,6060],{"className":49772,"style":4185},[726,1064],[148,49774,49776],{"className":49775},[977],[148,49777,49779,49799],{"className":49778},[981,1071],[148,49780,49782,49796],{"className":49781},[985],[148,49783,49785],{"className":49784,"style":6263},[989],[148,49786,49787,49790],{"style":6312},[148,49788],{"className":49789,"style":997},[996],[148,49791,49793],{"className":49792},[1001,1002,1003,1004],[148,49794,6183],{"className":49795},[726,1064,1004],[148,49797,1095],{"className":49798},[1094],[148,49800,49802],{"className":49801},[985],[148,49803,49805],{"className":49804,"style":1102},[989],[148,49806],{},[148,49808],{"className":49809,"style":731},[730],[148,49811,3325],{"className":49812},[735],[148,49814],{"className":49815,"style":731},[730],[148,49817,49819,49822,49901],{"className":49818},[717],[148,49820],{"className":49821,"style":14662},[721],[148,49823,49825,49867],{"className":49824},[726],[148,49826,49828],{"className":49827},[726,6449],[148,49829,49831,49859],{"className":49830},[981,1071],[148,49832,49834,49856],{"className":49833},[985],[148,49835,49837,49845],{"className":49836,"style":2415},[989],[148,49838,49839,49842],{"style":6462},[148,49840],{"className":49841,"style":3367},[996],[148,49843,6060],{"className":49844,"style":4185},[726,1064],[148,49846,49847,49850],{"style":6462},[148,49848],{"className":49849,"style":3367},[996],[148,49851,49853],{"className":49852,"style":13404},[6478],[148,49854,6422],{"className":49855},[726],[148,49857,1095],{"className":49858},[1094],[148,49860,49862],{"className":49861},[985],[148,49863,49865],{"className":49864,"style":6492},[989],[148,49866],{},[148,49868,49870],{"className":49869},[977],[148,49871,49873,49893],{"className":49872},[981,1071],[148,49874,49876,49890],{"className":49875},[985],[148,49877,49879],{"className":49878,"style":6263},[989],[148,49880,49881,49884],{"style":6312},[148,49882],{"className":49883,"style":997},[996],[148,49885,49887],{"className":49886},[1001,1002,1003,1004],[148,49888,6183],{"className":49889},[726,1064,1004],[148,49891,1095],{"className":49892},[1094],[148,49894,49896],{"className":49895},[985],[148,49897,49899],{"className":49898,"style":1102},[989],[148,49900],{},[148,49902,49904,49907],{"className":49903},[807],[148,49905,2757],{"className":49906},[807],[148,49908,49910],{"className":49909},[977],[148,49911,49913],{"className":49912},[981],[148,49914,49916],{"className":49915},[985],[148,49917,49919],{"className":49918,"style":963},[989],[148,49920,49921,49924],{"style":992},[148,49922],{"className":49923,"style":997},[996],[148,49925,49927],{"className":49926},[1001,1002,1003,1004],[148,49928,163],{"className":49929},[726,1004],". Конкретная функция потерь — не деталь реализации, а отражение модели шума: квадратичная соответствует гауссовскому шуму, кросс-энтропия — категориальному, и подмена их «удобным» вариантом меняет, какую именно модель мы оптимизируем.",[85,49932,49933,49934,50012,50013,297,50016,50019,50020,50027],{},"Параметров в MLP — миллионы, перебирать их по сетке бессмысленно; ключ — градиентная оптимизация. Производная ",[148,49935,49937,49957],{"className":49936},[680],[148,49938,49940],{"className":49939},[684],[686,49941,49942],{"xmlns":688},[690,49943,49944,49954],{},[693,49945,49946,49952],{},[1038,49947,49948,49950],{},[769,49949,44928],{"mathvariant":771},[769,49951,7811],{},[769,49953,6728],{},[705,49955,49956],{"encoding":707},"\\nabla_{\\theta} L",[148,49958,49960],{"className":49959,"ariaHidden":713},[712],[148,49961,49963,49966,50009],{"className":49962},[717],[148,49964],{"className":49965,"style":14583},[721],[148,49967,49969,49972],{"className":49968},[726],[148,49970,44928],{"className":49971},[726],[148,49973,49975],{"className":49974},[977],[148,49976,49978,50001],{"className":49977},[981,1071],[148,49979,49981,49998],{"className":49980},[985],[148,49982,49984],{"className":49983,"style":12101},[989],[148,49985,49986,49989],{"style":1081},[148,49987],{"className":49988,"style":997},[996],[148,49990,49992],{"className":49991},[1001,1002,1003,1004],[148,49993,49995],{"className":49994},[726,1004],[148,49996,7811],{"className":49997,"style":2774},[726,1064,1004],[148,49999,1095],{"className":50000},[1094],[148,50002,50004],{"className":50003},[985],[148,50005,50007],{"className":50006,"style":1102},[989],[148,50008],{},[148,50010,6728],{"className":50011},[726,1064]," показывает, в каком направлении функция потерь растёт быстрее всего; шаг в противоположном направлении уменьшает ошибку. Алгоритм ",[294,50014,50015],{},"обратного распространения ошибки",[92,50017,50018],{},"backpropagation","), переоткрытый и систематизированный Румельхартом, Хинтоном и Уильямсом в 1986 году ",[140,50021,50023],{"className":50022},[143],[22,50024,50025],{"href":176},[148,50026,179],{},", даёт способ эффективно вычислить этот градиент через цепное правило.",[85,50029,50030,50031,50105,50106,50200,50201,50275],{},"Идея в следующем. Вычислим прямой проход и сохраним промежуточные активации ",[148,50032,50034,50058],{"className":50033},[680],[148,50035,50037],{"className":50036},[684],[686,50038,50039],{"xmlns":688},[690,50040,50041,50055],{},[693,50042,50043],{},[921,50044,50045,50047],{},[769,50046,3922],{},[693,50048,50049,50051,50053],{},[699,50050,2748],{"stretchy":766},[769,50052,47039],{},[699,50054,2757],{"stretchy":766},[705,50056,50057],{"encoding":707},"h^{(l)}",[148,50059,50061],{"className":50060,"ariaHidden":713},[712],[148,50062,50064,50067],{"className":50063},[717],[148,50065],{"className":50066,"style":25352},[721],[148,50068,50070,50073],{"className":50069},[726],[148,50071,3922],{"className":50072},[726,1064],[148,50074,50076],{"className":50075},[977],[148,50077,50079],{"className":50078},[981],[148,50080,50082],{"className":50081},[985],[148,50083,50085],{"className":50084,"style":25352},[989],[148,50086,50087,50090],{"style":992},[148,50088],{"className":50089,"style":997},[996],[148,50091,50093],{"className":50092},[1001,1002,1003,1004],[148,50094,50096,50099,50102],{"className":50095},[726,1004],[148,50097,2748],{"className":50098},[1242,1004],[148,50100,47039],{"className":50101,"style":47147},[726,1064,1004],[148,50103,2757],{"className":50104},[807,1004],". Тогда ",[148,50107,50109,50141],{"className":50108},[680],[148,50110,50112],{"className":50111},[684],[686,50113,50114],{"xmlns":688},[690,50115,50116,50138],{},[693,50117,50118,50120,50122,50124,50126],{},[769,50119,45142],{"mathvariant":771},[769,50121,6728],{},[769,50123,772],{"mathvariant":771},[769,50125,45142],{"mathvariant":771},[921,50127,50128,50130],{},[769,50129,47057],{},[693,50131,50132,50134,50136],{},[699,50133,2748],{"stretchy":766},[769,50135,6728],{},[699,50137,2757],{"stretchy":766},[705,50139,50140],{"encoding":707},"\\partial L \u002F \\partial W^{(L)}",[148,50142,50144],{"className":50143,"ariaHidden":713},[712],[148,50145,50147,50150,50153,50156,50159,50162],{"className":50146},[717],[148,50148],{"className":50149,"style":48618},[721],[148,50151,45142],{"className":50152,"style":21074},[726],[148,50154,6728],{"className":50155},[726,1064],[148,50157,772],{"className":50158},[726],[148,50160,45142],{"className":50161,"style":21074},[726],[148,50163,50165,50168],{"className":50164},[726],[148,50166,47057],{"className":50167,"style":5822},[726,1064],[148,50169,50171],{"className":50170},[977],[148,50172,50174],{"className":50173},[981],[148,50175,50177],{"className":50176},[985],[148,50178,50180],{"className":50179,"style":25352},[989],[148,50181,50182,50185],{"style":992},[148,50183],{"className":50184,"style":997},[996],[148,50186,50188],{"className":50187},[1001,1002,1003,1004],[148,50189,50191,50194,50197],{"className":50190},[726,1004],[148,50192,2748],{"className":50193},[1242,1004],[148,50195,6728],{"className":50196},[726,1064,1004],[148,50198,2757],{"className":50199},[807,1004]," — производная по последнему слою — выражается через ошибку на выходе и активацию предпоследнего слоя. Производная по предпоследнему слою получается умножением выходного градиента на ",[148,50202,50204,50228],{"className":50203},[680],[148,50205,50207],{"className":50206},[684],[686,50208,50209],{"xmlns":688},[690,50210,50211,50225],{},[693,50212,50213],{},[921,50214,50215,50217],{},[769,50216,47057],{},[693,50218,50219,50221,50223],{},[699,50220,2748],{"stretchy":766},[769,50222,6728],{},[699,50224,2757],{"stretchy":766},[705,50226,50227],{"encoding":707},"W^{(L)}",[148,50229,50231],{"className":50230,"ariaHidden":713},[712],[148,50232,50234,50237],{"className":50233},[717],[148,50235],{"className":50236,"style":25352},[721],[148,50238,50240,50243],{"className":50239},[726],[148,50241,47057],{"className":50242,"style":5822},[726,1064],[148,50244,50246],{"className":50245},[977],[148,50247,50249],{"className":50248},[981],[148,50250,50252],{"className":50251},[985],[148,50253,50255],{"className":50254,"style":25352},[989],[148,50256,50257,50260],{"style":992},[148,50258],{"className":50259,"style":997},[996],[148,50261,50263],{"className":50262},[1001,1002,1003,1004],[148,50264,50266,50269,50272],{"className":50265},[726,1004],[148,50267,2748],{"className":50268},[1242,1004],[148,50270,6728],{"className":50271},[726,1064,1004],[148,50273,2757],{"className":50274},[807,1004]," и производную активации; и так дальше — рекурсивно от последнего слоя к первому. Сложность одного шага градиента — порядка сложности прямого прохода, что и сделало обучение многослойных сетей вычислительно возможным.",[362,50277,364,50278,364,50282],{},[366,50279],{"src":50280,"alt":50281},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-08\u002Fbackprop_chain.svg","Прямой и обратный проход через сеть с применением цепного правила",[370,50283,50284],{},"Прямой проход вычисляет активации и потерю; обратный — распространяет градиент потерь по цепному правилу от выхода ко входу",[85,50286,50287,50288,297,50291,50294,50295,3157,50422,50450,50451,297,50454,50457,50458,297,50461,50464,50465,297,50468,50471],{},"Имея градиент, простейший оптимизатор — ",[294,50289,50290],{},"градиентный спуск",[92,50292,50293],{},"gradient descent",") — обновляет параметры по правилу ",[148,50296,50298,50328],{"className":50297},[680],[148,50299,50301],{"className":50300},[684],[686,50302,50303],{"xmlns":688},[690,50304,50305,50325],{},[693,50306,50307,50309,50311,50313,50315,50317,50323],{},[769,50308,7811],{},[699,50310,44917],{},[769,50312,7811],{},[699,50314,3325],{},[769,50316,43629],{},[1038,50318,50319,50321],{},[769,50320,44928],{"mathvariant":771},[769,50322,7811],{},[769,50324,6728],{},[705,50326,50327],{"encoding":707},"\\theta \\leftarrow \\theta - \\eta \\nabla_{\\theta} L",[148,50329,50331,50349,50367],{"className":50330,"ariaHidden":713},[712],[148,50332,50334,50337,50340,50343,50346],{"className":50333},[717],[148,50335],{"className":50336,"style":2415},[721],[148,50338,7811],{"className":50339,"style":2774},[726,1064],[148,50341],{"className":50342,"style":815},[730],[148,50344,44917],{"className":50345},[819],[148,50347],{"className":50348,"style":815},[730],[148,50350,50352,50355,50358,50361,50364],{"className":50351},[717],[148,50353],{"className":50354,"style":2620},[721],[148,50356,7811],{"className":50357,"style":2774},[726,1064],[148,50359],{"className":50360,"style":731},[730],[148,50362,3325],{"className":50363},[735],[148,50365],{"className":50366,"style":731},[730],[148,50368,50370,50373,50376,50419],{"className":50369},[717],[148,50371],{"className":50372,"style":35501},[721],[148,50374,43629],{"className":50375,"style":4185},[726,1064],[148,50377,50379,50382],{"className":50378},[726],[148,50380,44928],{"className":50381},[726],[148,50383,50385],{"className":50384},[977],[148,50386,50388,50411],{"className":50387},[981,1071],[148,50389,50391,50408],{"className":50390},[985],[148,50392,50394],{"className":50393,"style":12101},[989],[148,50395,50396,50399],{"style":1081},[148,50397],{"className":50398,"style":997},[996],[148,50400,50402],{"className":50401},[1001,1002,1003,1004],[148,50403,50405],{"className":50404},[726,1004],[148,50406,7811],{"className":50407,"style":2774},[726,1064,1004],[148,50409,1095],{"className":50410},[1094],[148,50412,50414],{"className":50413},[985],[148,50415,50417],{"className":50416,"style":1102},[989],[148,50418],{},[148,50420,6728],{"className":50421},[726,1064],[148,50423,50425,50438],{"className":50424},[680],[148,50426,50428],{"className":50427},[684],[686,50429,50430],{"xmlns":688},[690,50431,50432,50436],{},[693,50433,50434],{},[769,50435,43629],{},[705,50437,43632],{"encoding":707},[148,50439,50441],{"className":50440,"ariaHidden":713},[712],[148,50442,50444,50447],{"className":50443},[717],[148,50445],{"className":50446,"style":1579},[721],[148,50448,43629],{"className":50449,"style":4185},[726,1064]," — скорость обучения. На реальных датасетах вычислять полный градиент по всем объектам сразу слишком дорого, поэтому используется ",[294,50452,50453],{},"стохастический градиентный спуск",[92,50455,50456],{},"stochastic gradient descent, SGD","): на каждом шаге градиент оценивается по случайной подвыборке — ",[294,50459,50460],{},"мини-батчу",[92,50462,50463],{},"mini-batch",") фиксированного размера (обычно от 32 до 512 объектов). Один полный проход по всем обучающим данным — это ",[294,50466,50467],{},"эпоха",[92,50469,50470],{},"epoch","); типичное обучение длится десятки или сотни эпох.",[85,50473,50474,50475,50503,50504,50507,50508,50536,50537,191,50540,50547],{},"Скорость обучения — один из самых чувствительных гиперпараметров. Слишком большая ",[148,50476,50478,50491],{"className":50477},[680],[148,50479,50481],{"className":50480},[684],[686,50482,50483],{"xmlns":688},[690,50484,50485,50489],{},[693,50486,50487],{},[769,50488,43629],{},[705,50490,43632],{"encoding":707},[148,50492,50494],{"className":50493,"ariaHidden":713},[712],[148,50495,50497,50500],{"className":50496},[717],[148,50498],{"className":50499,"style":1579},[721],[148,50501,43629],{"className":50502,"style":4185},[726,1064]," заставляет оптимизатор «прыгать» через минимум, обучение расходится. Слишком маленькая — даёт стабильную, но мучительно медленную сходимость. Стандартный приём — ",[294,50505,50506],{},"расписание скорости обучения",": начать с относительно большой ",[148,50509,50511,50524],{"className":50510},[680],[148,50512,50514],{"className":50513},[684],[686,50515,50516],{"xmlns":688},[690,50517,50518,50522],{},[693,50519,50520],{},[769,50521,43629],{},[705,50523,43632],{"encoding":707},[148,50525,50527],{"className":50526,"ariaHidden":713},[712],[148,50528,50530,50533],{"className":50529},[717],[148,50531],{"className":50532,"style":1579},[721],[148,50534,43629],{"className":50535,"style":4185},[726,1064]," и уменьшать её по мере приближения к минимуму. В практической работе чаще всего применяется ",[294,50538,50539],{},"Adam",[140,50541,50543],{"className":50542},[143],[22,50544,50545],{"href":197},[148,50546,200],{}," — адаптивный оптимизатор, который автоматически масштабирует шаг по каждой координате параметра на основании скользящих средних градиента и его квадрата. Adam менее чувствителен к выбору исходной скорости обучения и хорошо себя ведёт на разнородных задачах, поэтому именно он стал «опцией по умолчанию» для большинства новых архитектур; SGD с моментом сохраняет преимущество там, где важна тонкая настройка обобщения, — в частности, в свёрточных сетях для зрения.",[10,50549,50551],{"id":50550},"глубокое-обучение","Глубокое обучение",[128,50553,50555],{"id":50554},"свёрточные-нейронные-сети","Свёрточные нейронные сети",[85,50557,50558,50559,50611],{},"MLP плохо приспособлен к изображениям. Картинка ",[148,50560,50562,50581],{"className":50561},[680],[148,50563,50565],{"className":50564},[684],[686,50566,50567],{"xmlns":688},[690,50568,50569,50578],{},[693,50570,50571,50574,50576],{},[696,50572,50573],{},"224",[699,50575,701],{},[696,50577,50573],{},[705,50579,50580],{"encoding":707},"224 \\times 224",[148,50582,50584,50602],{"className":50583,"ariaHidden":713},[712],[148,50585,50587,50590,50593,50596,50599],{"className":50586},[717],[148,50588],{"className":50589,"style":722},[721],[148,50591,50573],{"className":50592},[726],[148,50594],{"className":50595,"style":731},[730],[148,50597,701],{"className":50598},[735],[148,50600],{"className":50601,"style":731},[730],[148,50603,50605,50608],{"className":50604},[717],[148,50606],{"className":50607,"style":745},[721],[148,50609,50573],{"className":50610},[726]," пикселей — это вектор из примерно 150 тысяч признаков; даже скромный скрытый слой из 1000 нейронов потребует более 150 миллионов весов на одной матрице. Хуже того, такая сеть не «знает», что соседние пиксели связаны больше, чем удалённые: для неё все 150 тысяч входов равноправны, и сдвиг изображения на один пиксель формально означает совершенно другой вектор.",[85,50613,50614,297,50617,50620,50621,297,50624,50627,50628,11610,50678,50728,50729,1181],{},[294,50615,50616],{},"Свёрточная нейронная сеть",[92,50618,50619],{},"convolutional neural network, CNN",") опирается на два структурных соображения. Во-первых, локальные паттерны — края, углы, текстуры — обнаруживаются в маленьких окрестностях пикселя; нет нужды связывать каждый нейрон со всем изображением. Во-вторых, искомый паттерн (скажем, вертикальная граница) ведёт себя одинаково в любом месте картинки — параметры детектора этого паттерна можно разделять между всеми позициями. Эти соображения формализуются в ",[294,50622,50623],{},"операции свёртки",[92,50625,50626],{},"convolution","): к изображению применяется небольшое (обычно ",[148,50629,50631,50648],{"className":50630},[680],[148,50632,50634],{"className":50633},[684],[686,50635,50636],{"xmlns":688},[690,50637,50638,50646],{},[693,50639,50640,50642,50644],{},[696,50641,179],{},[699,50643,701],{},[696,50645,179],{},[705,50647,708],{"encoding":707},[148,50649,50651,50669],{"className":50650,"ariaHidden":713},[712],[148,50652,50654,50657,50660,50663,50666],{"className":50653},[717],[148,50655],{"className":50656,"style":722},[721],[148,50658,179],{"className":50659},[726],[148,50661],{"className":50662,"style":731},[730],[148,50664,701],{"className":50665},[735],[148,50667],{"className":50668,"style":731},[730],[148,50670,50672,50675],{"className":50671},[717],[148,50673],{"className":50674,"style":745},[721],[148,50676,179],{"className":50677},[726],[148,50679,50681,50698],{"className":50680},[680],[148,50682,50684],{"className":50683},[684],[686,50685,50686],{"xmlns":688},[690,50687,50688,50696],{},[693,50689,50690,50692,50694],{},[696,50691,213],{},[699,50693,701],{},[696,50695,213],{},[705,50697,43843],{"encoding":707},[148,50699,50701,50719],{"className":50700,"ariaHidden":713},[712],[148,50702,50704,50707,50710,50713,50716],{"className":50703},[717],[148,50705],{"className":50706,"style":722},[721],[148,50708,213],{"className":50709},[726],[148,50711],{"className":50712,"style":731},[730],[148,50714,701],{"className":50715},[735],[148,50717],{"className":50718,"style":731},[730],[148,50720,50722,50725],{"className":50721},[717],[148,50723],{"className":50724,"style":745},[721],[148,50726,213],{"className":50727},[726],") обучаемое ядро, скользящее по всем позициям и выдающее в каждой точке отклик; результат — карта признаков (англ. ",[92,50730,50731],{},"feature map",[85,50733,50734,50735,297,50738,50741,50742,50792],{},"Один свёрточный слой типично содержит десятки таких ядер, каждое из которых обучается реагировать на свой паттерн. После свёртки применяется поэлементная активация (обычно ReLU) и ",[294,50736,50737],{},"пулинг",[92,50739,50740],{},"pooling",") — операция понижения разрешения, чаще всего max-pooling: окно ",[148,50743,50745,50762],{"className":50744},[680],[148,50746,50748],{"className":50747},[684],[686,50749,50750],{"xmlns":688},[690,50751,50752,50760],{},[693,50753,50754,50756,50758],{},[696,50755,163],{},[699,50757,701],{},[696,50759,163],{},[705,50761,21454],{"encoding":707},[148,50763,50765,50783],{"className":50764,"ariaHidden":713},[712],[148,50766,50768,50771,50774,50777,50780],{"className":50767},[717],[148,50769],{"className":50770,"style":722},[721],[148,50772,163],{"className":50773},[726],[148,50775],{"className":50776,"style":731},[730],[148,50778,701],{"className":50779},[735],[148,50781],{"className":50782,"style":731},[730],[148,50784,50786,50789],{"className":50785},[717],[148,50787],{"className":50788,"style":745},[721],[148,50790,163],{"className":50791},[726]," заменяется максимальным значением внутри него. Пулинг даёт частичную инвариантность к сдвигу и сокращает вычислительные затраты в следующих слоях. По мере углубления сети размер карт признаков уменьшается, а их число — растёт: сеть переходит от низкоуровневых паттернов (края, цвета) к высокоуровневым (части объектов, текстуры) и, наконец, к семантике класса. Последние слои обычно полносвязные, и заключительный слой даёт распределение по классам через softmax.",[362,50794,364,50795,364,50799],{},[366,50796],{"src":50797,"alt":50798},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-08\u002Fcnn_layers.svg","Архитектура свёрточной сети: чередование свёрток и пулинга, уменьшение пространственного размера",[370,50800,50801],{},"Архитектура свёрточной сети: чередование свёрток и пулинга, уменьшение пространственного размера карт признаков с углублением",[85,50803,50804,50805,50808,50809,50816,50817,191,50820,50827,50828,50835],{},"Первая практически успешная CNN — ",[294,50806,50807],{},"LeNet-5"," Янна Лекуна 1998 года ",[140,50810,50812],{"className":50811},[143],[22,50813,50814],{"href":210},[148,50815,213],{}," — распознавала рукописные цифры на чеках американских банков; она содержала пять обучаемых слоёв и около 60 тысяч параметров. Дальнейшее развитие архитектуры — VGG, GoogLeNet, ResNet — связано в основном с увеличением глубины: от десятка слоёв в LeNet до сотен в ResNet-152. Обучение очень глубоких сетей долго упиралось в проблему деградации градиента; решение, предложенное в ",[294,50818,50819],{},"ResNet",[140,50821,50823],{"className":50822},[143],[22,50824,50825],{"href":223},[148,50826,226],{},", — добавить «обходные» соединения, прибавляющие вход слоя к его выходу. Такая остаточная структура устраняет затухание градиента и позволила обучать сети глубиной более ста слоёв. Победа AlexNet ",[140,50829,50831],{"className":50830},[143],[22,50832,50833],{"href":236},[148,50834,239],{}," на ImageNet в 2012 году считается датой рождения современного глубокого обучения; именно после неё CNN стали индустриальным стандартом распознавания изображений и легли в основу систем компьютерного зрения от автономного вождения до медицинской диагностики.",[128,50837,50839],{"id":50838},"рекуррентные-нейронные-сети","Рекуррентные нейронные сети",[85,50841,50842,50843,297,50846,50849,50850,50920,50921,51266,51267,297,51270,1181],{},"Для последовательностей — текстов, звуковых сигналов, временных рядов — нужен принципиально иной механизм: модель должна не только смотреть на текущий вход, но и помнить, что было раньше. ",[294,50844,50845],{},"Рекуррентная нейронная сеть",[92,50847,50848],{},"recurrent neural network, RNN",") поддерживает скрытое состояние ",[148,50851,50853,50871],{"className":50852},[680],[148,50854,50856],{"className":50855},[684],[686,50857,50858],{"xmlns":688},[690,50859,50860,50868],{},[693,50861,50862],{},[1038,50863,50864,50866],{},[769,50865,3922],{},[769,50867,8209],{},[705,50869,50870],{"encoding":707},"h_t",[148,50872,50874],{"className":50873,"ariaHidden":713},[712],[148,50875,50877,50880],{"className":50876},[717],[148,50878],{"className":50879,"style":5051},[721],[148,50881,50883,50886],{"className":50882},[726],[148,50884,3922],{"className":50885},[726,1064],[148,50887,50889],{"className":50888},[977],[148,50890,50892,50912],{"className":50891},[981,1071],[148,50893,50895,50909],{"className":50894},[985],[148,50896,50898],{"className":50897,"style":41091},[989],[148,50899,50900,50903],{"style":1081},[148,50901],{"className":50902,"style":997},[996],[148,50904,50906],{"className":50905},[1001,1002,1003,1004],[148,50907,8209],{"className":50908},[726,1064,1004],[148,50910,1095],{"className":50911},[1094],[148,50913,50915],{"className":50914},[985],[148,50916,50918],{"className":50917,"style":1102},[989],[148,50919],{},", которое обновляется на каждом шаге:\n",[148,50922,50924,50988],{"className":50923},[680],[148,50925,50927],{"className":50926},[684],[686,50928,50929],{"xmlns":688},[690,50930,50931,50985],{},[693,50932,50933,50939,50941,50943,50945,50951,50963,50965,50971,50977,50979,50981,50983],{},[1038,50934,50935,50937],{},[769,50936,3922],{},[769,50938,8209],{},[699,50940,777],{},[769,50942,8391],{},[699,50944,2748],{"stretchy":766},[1038,50946,50947,50949],{},[769,50948,47057],{},[769,50950,3922],{},[1038,50952,50953,50955],{},[769,50954,3922],{},[693,50956,50957,50959,50961],{},[769,50958,8209],{},[699,50960,3325],{},[696,50962,150],{},[699,50964,2605],{},[1038,50966,50967,50969],{},[769,50968,47057],{},[769,50970,6055],{},[1038,50972,50973,50975],{},[769,50974,6055],{},[769,50976,8209],{},[699,50978,2605],{},[769,50980,2403],{},[699,50982,2757],{"stretchy":766},[769,50984,26],{"mathvariant":771},[705,50986,50987],{"encoding":707},"h_t = \\sigma(W_h h_{t-1} + W_x x_t + b).",[148,50989,50991,51046,51156,51251],{"className":50990,"ariaHidden":713},[712],[148,50992,50994,50997,51037,51040,51043],{"className":50993},[717],[148,50995],{"className":50996,"style":5051},[721],[148,50998,51000,51003],{"className":50999},[726],[148,51001,3922],{"className":51002},[726,1064],[148,51004,51006],{"className":51005},[977],[148,51007,51009,51029],{"className":51008},[981,1071],[148,51010,51012,51026],{"className":51011},[985],[148,51013,51015],{"className":51014,"style":41091},[989],[148,51016,51017,51020],{"style":1081},[148,51018],{"className":51019,"style":997},[996],[148,51021,51023],{"className":51022},[1001,1002,1003,1004],[148,51024,8209],{"className":51025},[726,1064,1004],[148,51027,1095],{"className":51028},[1094],[148,51030,51032],{"className":51031},[985],[148,51033,51035],{"className":51034,"style":1102},[989],[148,51036],{},[148,51038],{"className":51039,"style":815},[730],[148,51041,777],{"className":51042},[819],[148,51044],{"className":51045,"style":815},[730],[148,51047,51049,51052,51055,51058,51098,51147,51150,51153],{"className":51048},[717],[148,51050],{"className":51051,"style":800},[721],[148,51053,8391],{"className":51054,"style":4185},[726,1064],[148,51056,2748],{"className":51057},[1242],[148,51059,51061,51064],{"className":51060},[726],[148,51062,47057],{"className":51063,"style":5822},[726,1064],[148,51065,51067],{"className":51066},[977],[148,51068,51070,51090],{"className":51069},[981,1071],[148,51071,51073,51087],{"className":51072},[985],[148,51074,51076],{"className":51075,"style":12101},[989],[148,51077,51078,51081],{"style":22048},[148,51079],{"className":51080,"style":997},[996],[148,51082,51084],{"className":51083},[1001,1002,1003,1004],[148,51085,3922],{"className":51086},[726,1064,1004],[148,51088,1095],{"className":51089},[1094],[148,51091,51093],{"className":51092},[985],[148,51094,51096],{"className":51095,"style":1102},[989],[148,51097],{},[148,51099,51101,51104],{"className":51100},[726],[148,51102,3922],{"className":51103},[726,1064],[148,51105,51107],{"className":51106},[977],[148,51108,51110,51139],{"className":51109},[981,1071],[148,51111,51113,51136],{"className":51112},[985],[148,51114,51116],{"className":51115,"style":1078},[989],[148,51117,51118,51121],{"style":1081},[148,51119],{"className":51120,"style":997},[996],[148,51122,51124],{"className":51123},[1001,1002,1003,1004],[148,51125,51127,51130,51133],{"className":51126},[726,1004],[148,51128,8209],{"className":51129},[726,1064,1004],[148,51131,3325],{"className":51132},[735,1004],[148,51134,150],{"className":51135},[726,1004],[148,51137,1095],{"className":51138},[1094],[148,51140,51142],{"className":51141},[985],[148,51143,51145],{"className":51144,"style":45286},[989],[148,51146],{},[148,51148],{"className":51149,"style":731},[730],[148,51151,2605],{"className":51152},[735],[148,51154],{"className":51155,"style":731},[730],[148,51157,51159,51162,51202,51242,51245,51248],{"className":51158},[717],[148,51160],{"className":51161,"style":14583},[721],[148,51163,51165,51168],{"className":51164},[726],[148,51166,47057],{"className":51167,"style":5822},[726,1064],[148,51169,51171],{"className":51170},[977],[148,51172,51174,51194],{"className":51173},[981,1071],[148,51175,51177,51191],{"className":51176},[985],[148,51178,51180],{"className":51179,"style":1703},[989],[148,51181,51182,51185],{"style":22048},[148,51183],{"className":51184,"style":997},[996],[148,51186,51188],{"className":51187},[1001,1002,1003,1004],[148,51189,6055],{"className":51190},[726,1064,1004],[148,51192,1095],{"className":51193},[1094],[148,51195,51197],{"className":51196},[985],[148,51198,51200],{"className":51199,"style":1102},[989],[148,51201],{},[148,51203,51205,51208],{"className":51204},[726],[148,51206,6055],{"className":51207},[726,1064],[148,51209,51211],{"className":51210},[977],[148,51212,51214,51234],{"className":51213},[981,1071],[148,51215,51217,51231],{"className":51216},[985],[148,51218,51220],{"className":51219,"style":41091},[989],[148,51221,51222,51225],{"style":1081},[148,51223],{"className":51224,"style":997},[996],[148,51226,51228],{"className":51227},[1001,1002,1003,1004],[148,51229,8209],{"className":51230},[726,1064,1004],[148,51232,1095],{"className":51233},[1094],[148,51235,51237],{"className":51236},[985],[148,51238,51240],{"className":51239,"style":1102},[989],[148,51241],{},[148,51243],{"className":51244,"style":731},[730],[148,51246,2605],{"className":51247},[735],[148,51249],{"className":51250,"style":731},[730],[148,51252,51254,51257,51260,51263],{"className":51253},[717],[148,51255],{"className":51256,"style":800},[721],[148,51258,2403],{"className":51259},[726,1064],[148,51261,2757],{"className":51262},[807],[148,51264,26],{"className":51265},[726],"\nЭто уравнение можно «развернуть» по времени и увидеть структуру очень глубокой сети, в которой одни и те же веса повторяются на каждом шаге. Соответственно, к ней применим обычный backpropagation, только распространение градиента идёт не по слоям статической архитектуры, а по временным шагам — отсюда название ",[294,51268,51269],{},"обратное распространение по времени",[92,51271,51272],{},"backpropagation through time, BPTT",[85,51274,51275,51276,51279],{},"Эта же структура порождает фундаментальную проблему: при длинных последовательностях градиент, проходящий через десятки временных шагов, либо экспоненциально затухает (модель не учится зависеть от далёкого прошлого), либо экспоненциально растёт (обучение становится численно нестабильным). Это ",[294,51277,51278],{},"проблема исчезающих и взрывающихся градиентов",", идентифицированная в 1991 году Зеппом Хохрайтером.",[85,51281,51282,51283,297,51286,51289,51290,51297,51298,51368,51369,297,51372,51375,51376,51445,51446,297,51449,51452,51453,51460],{},"Принципиальное решение — архитектура ",[294,51284,51285],{},"LSTM",[92,51287,51288],{},"Long Short-Term Memory","), предложенная Хохрайтером и Шмидхубером в 1997 году ",[140,51291,51293],{"className":51292},[143],[22,51294,51295],{"href":246},[148,51296,249],{},". LSTM добавляет к скрытому состоянию отдельный «канал памяти» ",[148,51299,51301,51319],{"className":51300},[680],[148,51302,51304],{"className":51303},[684],[686,51305,51306],{"xmlns":688},[690,51307,51308,51316],{},[693,51309,51310],{},[1038,51311,51312,51314],{},[769,51313,4801],{},[769,51315,8209],{},[705,51317,51318],{"encoding":707},"c_t",[148,51320,51322],{"className":51321,"ariaHidden":713},[712],[148,51323,51325,51328],{"className":51324},[717],[148,51326],{"className":51327,"style":1057},[721],[148,51329,51331,51334],{"className":51330},[726],[148,51332,4801],{"className":51333},[726,1064],[148,51335,51337],{"className":51336},[977],[148,51338,51340,51360],{"className":51339},[981,1071],[148,51341,51343,51357],{"className":51342},[985],[148,51344,51346],{"className":51345,"style":41091},[989],[148,51347,51348,51351],{"style":1081},[148,51349],{"className":51350,"style":997},[996],[148,51352,51354],{"className":51353},[1001,1002,1003,1004],[148,51355,8209],{"className":51356},[726,1064,1004],[148,51358,1095],{"className":51359},[1094],[148,51361,51363],{"className":51362},[985],[148,51364,51366],{"className":51365,"style":1102},[989],[148,51367],{}," и три обучаемых ",[294,51370,51371],{},"затвора",[92,51373,51374],{},"gates","): забывания, входной и выходной. Затвор забывания решает, какую часть прошлой памяти стереть; входной — какую новую информацию записать; выходной — что выдать наружу. Структура с аддитивным обновлением памяти и сигмоидными затворами устроена так, что градиент по каналу ",[148,51377,51379,51396],{"className":51378},[680],[148,51380,51382],{"className":51381},[684],[686,51383,51384],{"xmlns":688},[690,51385,51386,51394],{},[693,51387,51388],{},[1038,51389,51390,51392],{},[769,51391,4801],{},[769,51393,8209],{},[705,51395,51318],{"encoding":707},[148,51397,51399],{"className":51398,"ariaHidden":713},[712],[148,51400,51402,51405],{"className":51401},[717],[148,51403],{"className":51404,"style":1057},[721],[148,51406,51408,51411],{"className":51407},[726],[148,51409,4801],{"className":51410},[726,1064],[148,51412,51414],{"className":51413},[977],[148,51415,51417,51437],{"className":51416},[981,1071],[148,51418,51420,51434],{"className":51419},[985],[148,51421,51423],{"className":51422,"style":41091},[989],[148,51424,51425,51428],{"style":1081},[148,51426],{"className":51427,"style":997},[996],[148,51429,51431],{"className":51430},[1001,1002,1003,1004],[148,51432,8209],{"className":51433},[726,1064,1004],[148,51435,1095],{"className":51436},[1094],[148,51438,51440],{"className":51439},[985],[148,51441,51443],{"className":51442,"style":1102},[989],[148,51444],{}," может распространяться через многие временные шаги почти без затухания. Более компактный вариант с двумя затворами вместо трёх — ",[294,51447,51448],{},"GRU",[92,51450,51451],{},"Gated Recurrent Unit",") — предложен Чо и соавторами в 2014 году ",[140,51454,51456],{"className":51455},[143],[22,51457,51458],{"href":262},[148,51459,265],{},"; в большинстве практических задач он показывает сопоставимое с LSTM качество при меньшем числе параметров.",[362,51462,364,51463,364,51467],{},[366,51464],{"src":51465,"alt":51466},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-08\u002Frnn_lstm_unrolled.svg","Развёрнутая по времени RNN и схема LSTM-ячейки с затворами",[370,51468,51469],{},"Слева — рекуррентная сеть, развёрнутая по времени; справа — внутренняя структура LSTM-ячейки с затворами забывания, входа и выхода",[85,51471,51472,51473,297,51476,51479],{},"RNN и LSTM применялись в машинном переводе, синтезе и распознавании речи, анализе временных рядов в финансах и промышленности. В обработке естественного языка они доминировали примерно до 2017 года, когда были вытеснены архитектурой ",[294,51474,51475],{},"трансформер",[92,51477,51478],{},"transformer","), упомянутой в теме 1. Трансформеры избавились от последовательной зависимости вычислений по времени, заменив рекурренцию механизмом внимания, и оказались гораздо лучше распараллеливаемы на современных GPU. На длинных последовательностях с временной структурой LSTM и GRU всё ещё остаются разумным выбором, особенно когда объём данных умеренный, а задержки критичны; но во flagship-моделях обработки языка их время прошло.",[10,51481,51483],{"id":51482},"практические-аспекты","Практические аспекты",[128,51485,51487],{"id":51486},"борьба-с-переобучением-в-нейронных-сетях","Борьба с переобучением в нейронных сетях",[85,51489,51490,51491,51494],{},"Глубокие сети с миллионами параметров — это семейства с почти неограниченной выразительной силой. Без специальных мер они быстро запоминают обучающие данные, включая шум и случайные особенности; проблема ",[294,51492,51493],{},"переобучения",", обсуждавшаяся в теме 7 в контексте классических моделей, в глубоком обучении проявляется острее и принимает специфические формы.",[85,51496,51497,191,51500,51507],{},[294,51498,51499],{},"Dropout",[140,51501,51503],{"className":51502},[143],[22,51504,51505],{"href":275},[148,51506,278],{}," — простой и неожиданно эффективный приём, который в 2014 году стал стандартом. На каждом шаге обучения часть нейронов скрытых слоёв (обычно 20–50%) случайно «выключается» — их выход обнуляется. Сеть вынуждена обучать представления, в которых ни один отдельный нейрон не критичен; формально dropout эквивалентен обучению ансамбля экспоненциально большого числа подсетей, разделяющих параметры. На стадии предсказания dropout отключается, и используются все нейроны. Этот метод снижает переобучение, не увеличивая вычислительных затрат на обучение и не требуя ручной настройки сложности модели.",[85,51509,51510,191,51513,51520],{},[294,51511,51512],{},"Batch Normalization",[140,51514,51516],{"className":51515},[143],[22,51517,51518],{"href":310},[148,51519,313],{}," решает другую задачу — стабилизацию обучения. После каждого слоя авторы предлагают нормировать активации по статистикам мини-батча: вычесть среднее, разделить на стандартное отклонение, а затем применить обучаемые сдвиг и масштаб. Это сглаживает поверхность функции потерь, позволяет использовать большие скорости обучения и сильно сокращает время сходимости. Побочный эффект — лёгкая регуляризация: статистики батча содержат случайную компоненту, и каждый раз активации возмущаются по-разному. В современных архитектурах batch normalization (и его варианты — layer norm, group norm) практически обязательны.",[85,51522,51523,51526,51527,51555],{},[294,51524,51525],{},"Ранняя остановка"," — простейший приём из всех трёх. В процессе обучения регулярно (например, после каждой эпохи) измеряется метрика на валидационной выборке. Если она не улучшалась последние ",[148,51528,51530,51543],{"className":51529},[680],[148,51531,51533],{"className":51532},[684],[686,51534,51535],{"xmlns":688},[690,51536,51537,51541],{},[693,51538,51539],{},[769,51540,11360],{},[705,51542,11360],{"encoding":707},[148,51544,51546],{"className":51545,"ariaHidden":713},[712],[148,51547,51549,51552],{"className":51548},[717],[148,51550],{"className":51551,"style":1344},[721],[148,51553,11360],{"className":51554,"style":11483},[726,1064]," эпох, обучение прекращается и сохраняются веса, дававшие лучшее значение. По сути, ранняя остановка превращает число эпох обучения в гиперпараметр, подбираемый по валидации, — что напрямую отражает компромисс смещения и разброса, обсуждавшийся в теме 3: больше эпох сокращают смещение, но увеличивают разброс. Сочетание dropout, batch norm и ранней остановки покрывает большинство практических случаев; в специфических задачах добавляются weight decay (L2-регуляризация весов), аугментация данных и более сложные стратегии расписаний скорости обучения.",[128,51557,51559],{"id":51558},"фреймворки-глубокого-обучения","Фреймворки глубокого обучения",[85,51561,51562],{},"Реализовать прямой проход, backpropagation, оптимизатор и нужные слои с нуля — упражнение полезное, но в реальной работе это делается с помощью специализированных фреймворков. Их история — это история удачных архитектурных решений: ранний Theano задал идею автоматического дифференцирования вычислительного графа; TensorFlow от Google популяризовал статические графы и индустриальное развёртывание; PyTorch предложил динамические графы и удобный отладочный опыт, чем выиграл основную долю исследовательских проектов. Современная картина — PyTorch доминирует в исследованиях, TensorFlow удерживает позиции в продакшен-инфраструктуре, JAX занимает нишу высокопроизводительных научных вычислений.",[85,51564,51565,51566,51569,51570,51573,51574,51577,51578,51581,51582,51585],{},"В учебных целях нас будет интересовать ",[294,51567,51568],{},"Keras"," — высокоуровневый API, исходно созданный как обёртка над несколькими бэкендами, а с 2019 года официально интегрированный в TensorFlow в качестве основного интерфейса. Keras сокращает дистанцию между описанием архитектуры и работающей моделью: типичный «Hello, MLP» занимает десяток строк кода. Базовые абстракции три: ",[294,51571,51572],{},"модель"," (последовательность или граф слоёв), ",[294,51575,51576],{},"слой"," (Dense, Conv2D, LSTM, Dropout, BatchNormalization и так далее), и связка ",[294,51579,51580],{},"компиляция\u002Fобучение"," — на компиляции задаются оптимизатор, функция потерь и метрики, на обучении вызывается ",[5622,51583,51584],{},"model.fit(...)"," с обучающими данными и числом эпох.",[85,51587,51588],{},"Достоинство такого API — низкий порог входа и единообразие интерфейса для разных типов сетей: переход от MLP к CNN или RNN сводится к замене типов слоёв. Ограничение — некоторые специфические архитектуры с нестандартными петлями обратной связи или динамическим графом удобнее писать на низкоуровневом PyTorch. В лабораторной работе мы воспользуемся Keras для обучения сети на классическом датасете MNIST: будем менять количество слоёв, функции активации, регуляризацию и оптимизаторы, чтобы пронаблюдать, как описанные в этой теме элементы влияют на кривые обучения и итоговое качество.",[85,51590,51591,51592,51599,51600,51607],{},"Систематическое изложение глубокого обучения как дисциплины собрано в монографии Гудфеллоу, Бенжио и Курвилль ",[140,51593,51595],{"className":51594},[143],[22,51596,51597],{"href":329},[148,51598,332],{}," — это основной учебник по теме, дополняющий классический Бишоп ",[140,51601,51603],{"className":51602},[143],[22,51604,51605],{"href":339},[148,51606,342],{}," на стороне нейронных сетей. Курс ориентируется на эти источники как на расширенное чтение.",[10,51609,560],{"id":559},[562,51611,51613,51615,51618,51620,51623,51626,51629,51632,51635,51638,51641,51644,51647],{"className":51612},[565],[18,51614,613],{"id":568},[18,51616,51617],{"id":572},"Minsky M., Papert S. Perceptrons: An Introduction to Computational Geometry. — MIT Press, 1969.",[18,51619,617],{"id":576},[18,51621,51622],{"id":580},"Kingma D. P., Ba J. Adam: A Method for Stochastic Optimization. — Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015, https:\u002F\u002Farxiv.org\u002Fabs\u002F1412.6980.",[18,51624,51625],{"id":584},"LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition. — Proceedings of the IEEE, 1998, С. 2278–2324, DOI: 10.1109\u002F5.726791.",[18,51627,51628],{"id":588},"He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. — Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, С. 770–778, DOI: 10.1109\u002FCVPR.2016.90.",[18,51630,51631],{"id":592},"Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks. — Advances in Neural Information Processing Systems (NeurIPS), 2012, С. 1097–1105, https:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F4824-imagenet-classification-with-deep-convolutional-neural-networks.",[18,51633,51634],{"id":596},"Hochreiter S., Schmidhuber J. Long Short-Term Memory. — Neural Computation, 1997, С. 1735–1780, DOI: 10.1162\u002Fneco.1997.9.8.1735.",[18,51636,51637],{"id":600},"Cho K., van Merriënboer B., Gulcehre C., Bahdanau D., Bougares F., Schwenk H., Bengio Y. Learning Phrase Representations Using RNN Encoder–Decoder for Statistical Machine Translation. — Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014, С. 1724–1734, DOI: 10.3115\u002Fv1\u002FD14-1179.",[18,51639,51640],{"id":604},"Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. — Journal of Machine Learning Research, 2014, С. 1929–1958, https:\u002F\u002Fjmlr.org\u002Fpapers\u002Fv15\u002Fsrivastava14a.html.",[18,51642,51643],{"id":608},"Ioffe S., Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. — Proceedings of the 32nd International Conference on Machine Learning (ICML), 2015, С. 448–456, https:\u002F\u002Fproceedings.mlr.press\u002Fv37\u002Fioffe15.html.",[18,51645,51646],{"id":612},"Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016, https:\u002F\u002Fwww.deeplearningbook.org\u002F.",[18,51648,10803],{"id":616},{"title":35,"searchDepth":36,"depth":36,"links":51650},[51651,51656,51660,51664],{"id":46492,"depth":36,"text":46493,"children":51652},[51653,51654,51655],{"id":46496,"depth":631,"text":46497},{"id":47006,"depth":631,"text":47007},{"id":48847,"depth":631,"text":48848},{"id":50550,"depth":36,"text":50551,"children":51657},[51658,51659],{"id":50554,"depth":631,"text":50555},{"id":50838,"depth":631,"text":50839},{"id":51482,"depth":36,"text":51483,"children":51661},[51662,51663],{"id":51486,"depth":631,"text":51487},{"id":51558,"depth":631,"text":51559},{"id":559,"depth":36,"text":560},{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-08-content",{"title":46468,"description":46476},"courses\u002Faidt-iot-mii\u002Ftopic-08-content",8,"topic-08","6-e5upHTmPUc1L6FYdgmA7V8pmFahF4IEHSfUQttw-I",{"id":51673,"title":51674,"body":51675,"course_slug":39,"description":54620,"env_label":40,"env_url":40,"extension":41,"group":40,"is_course_project":43,"is_index":43,"level":40,"meta":54621,"navigation":44,"path":54622,"section":106,"seo":54623,"stem":54624,"topic_number":47,"topic_slug":54625,"__hash__":54626},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-09-content.md","Тема 9. NLP и современные модели ИИ",{"type":7,"value":51676,"toc":54604},[51677,51680,51687,51691,51695,51702,51709,51716,51719,51723,51733,51757,51767,51770,51778,51782,51850,52368,52377,52380,52384,52388,52398,52428,52619,52628,52648,52655,52659,52663,52680,53317,53978,54383,54392,54402,54413,54417,54442,54477,54486,54499,54519,54528,54532,54549,54567,54574,54581,54583],[81,51678,51674],{"id":51679},"тема-9-nlp-и-современные-модели-ии",[85,51681,51682,51683,51686],{},"В теме 8 мы дошли до рекуррентных сетей и их ограничений: последовательная обработка плохо распараллеливается, а градиенты, проходящие через десятки шагов, затухают или взрываются. Естественный язык — самая капризная из подобных областей: одно предложение может зависеть от слова, упомянутого тремя абзацами выше, а согласование подлежащего и сказуемого требует одновременно учитывать локальный контекст и удалённые синтаксические связи. Обработка естественного языка (англ. ",[92,51684,51685],{},"Natural Language Processing, NLP",") — целая инженерная и научная традиция, в которой сменилось несколько поколений методов. От частотных моделей и ручных правил мы прошли путь до больших языковых моделей, способных писать связный технический текст и решать школьные задачи по математике. В этой завершающей теме разберём логику этого пути: что давало каждое поколение методов, что вынуждало двигаться дальше и где у современных моделей проходит граница применимости.",[10,51688,51690],{"id":51689},"обработка-естественного-языка","Обработка естественного языка",[128,51692,51694],{"id":51693},"задачи-nlp","Задачи NLP",[85,51696,51697,51698,51701],{},"Под обработкой естественного языка традиционно понимают всё, что связано с компьютерным анализом и генерацией текста на человеческих языках. Каноничный обзор задач — учебник Юрафски и Мартина, переиздаваемый с 2000-х годов и фиксирующий выработанный сообществом понятийный аппарат ",[148,51699,51700],{},"@jurafsky2024slp",". Внутри этой большой области сложилось несколько устойчивых классов задач, каждый со своим способом постановки и метрикой качества.",[85,51703,51704,51705,51708],{},"Классификация текстов — задача присвоить документу одну или несколько меток из конечного списка. Сюда попадают распознавание спама, определение тематики новостной заметки, разметка обращений клиентов в службе поддержки по категориям. Частный, очень практичный случай — анализ тональности (англ. ",[92,51706,51707],{},"sentiment analysis","): требуется определить, выражает ли отзыв положительное, отрицательное или нейтральное отношение. Метрики стандартные — accuracy, F1, точность по классам, — то есть концептуально это та же классификация, что и в теме 4, просто над текстовыми объектами.",[85,51710,51711,51712,51715],{},"Извлечение информации — выделение из неструктурированного текста структурированных сущностей: имён людей, организаций, дат, географических объектов, отношений между ними. Близкая задача — ответы на вопросы (англ. ",[92,51713,51714],{},"question answering","), в которой система получает текст и вопрос и должна указать в тексте релевантный фрагмент. Машинный перевод — задача перевода текста с одного языка на другой; здесь метрика BLEU и её преемники сравнивают порождённый перевод с эталонными референсами. Генерация текста — широкий класс задач, включающий резюмирование, написание реплик в диалоге, продолжение начатого фрагмента; именно генерация дала самый громкий всплеск интереса к NLP в 2020-х.",[85,51717,51718],{},"Сложность всех этих задач упирается в один корень — устройство самого языка. Слова многозначны: «ключ» в технической документации, в музыкальном тексте и в туристическом блоге — три разных понятия. Смысл зависит от контекста: «банк закрыт» в финансовой и в географической новости значит совсем разное. Синтаксис не сводится к фиксированному порядку слов: предложения с одинаковыми словами могут передавать противоположный смысл. Морфологически богатые языки вроде русского добавляют свою сложность — одна лексема порождает десятки словоформ, между которыми частотные модели плохо различают связи. На фоне этих сложностей долгое время казалось, что NLP принципиально требует богатой лингвистической инженерии. Современные большие модели показали, что значительная часть структуры извлекается из больших объёмов сырых текстов автоматически. Но извлекается она не вместо лингвистики, а скорее как её эмпирическое продолжение — и почему это сработало, до конца понимают не все.",[128,51720,51722],{"id":51721},"предобработка-текста","Предобработка текста",[85,51724,51725,51726,297,51729,51732],{},"Прежде чем подавать текст в любую модель, его обычно приводят к удобоваримому виду. Базовая операция — ",[294,51727,51728],{},"токенизация",[92,51730,51731],{},"tokenization","): разбиение строки на минимальные единицы, с которыми будет работать модель. В простейшем случае токенами служат слова, отделённые пробелами и пунктуацией, в более тонком — морфемы или буквенные подстроки. Современные модели чаще всего работают с подсловными токенизаторами вроде Byte-Pair Encoding или SentencePiece: словарь формируется по статистике корпуса и содержит как целые частые слова, так и фрагменты редких. Это компромисс между размером словаря и способностью разбирать незнакомые слова — фамилии, термины, опечатки.",[85,51734,51735,51736,297,51739,51742,51743,297,51746,51749,51750,297,51753,51756],{},"После токенизации идёт ",[294,51737,51738],{},"нормализация",[92,51740,51741],{},"normalization",") — приведение разных написаний одного и того же слова к единому виду. Сюда входит понижение регистра, приведение даты и числа к канонической форме, иногда удаление диакритики. Дальше — ",[294,51744,51745],{},"лемматизация",[92,51747,51748],{},"lemmatization",") или ",[294,51751,51752],{},"стемминг",[92,51754,51755],{},"stemming","): сведение словоформы к лемме (бежал, бежит, побежим → бежать) или к усечённой основе. Лемматизация лингвистически корректнее, но требует словарей и морфоанализатора; стемминг — алгоритмическая отрубка окончаний по правилам, грубее, но дешевле. На русском языке без морфологической обработки работать тяжело: один глагол может встречаться в корпусе в десятках форм, и без лемматизации частотные методы дробят сигнал по словоформам.",[85,51758,51759,51760,297,51763,51766],{},"Удаление ",[294,51761,51762],{},"стоп-слов",[92,51764,51765],{},"stop words",") — высокочастотных служебных слов вроде «и», «в», «на» — оправдано тогда, когда модель работает по принципу мешка слов и информативность определяется частотой. Для нейросетевых моделей с обучаемыми эмбеддингами стоп-слова обычно не удаляют: служебные слова несут синтаксическую и прагматическую информацию, которую модель полезно учитывать. Пунктуацию убирают по тому же критерию — если модель её игнорирует, проще убрать; если использует, оставляют.",[85,51768,51769],{},"Общая логика такая: предобработка должна согласовываться с используемой моделью. Для классической логистической регрессии на TF-IDF лемматизация и удаление стоп-слов почти всегда улучшают качество. Для дообучения BERT — наоборот, лишняя предобработка ломает работу собственного токенизатора и ухудшает результат. Сводки экспериментов с этим эффектом фиксируются в практической литературе по NLP постоянно: одна и та же операция в одной модели полезна, в другой вредна, и слепо применять «стандартный пайплайн» нельзя.",[362,51771,364,51772,364,51776],{},[366,51773],{"src":51774,"alt":51775},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-09\u002Ftext_preprocessing_pipeline.svg","Конвейер предобработки текста: от сырой строки до числового вектора",[370,51777,51775],{},[128,51779,51781],{"id":51780},"числовое-представление-текста","Числовое представление текста",[85,51783,51784,51785,297,51788,51791,51792,51820,51821,51849],{},"Любая модель машинного обучения работает с числами; текст должен быть переведён в числовое представление. Историческое начало — модель ",[294,51786,51787],{},"мешка слов",[92,51789,51790],{},"bag of words, BoW","): документ представляется вектором, длина которого равна размеру словаря, а ",[148,51793,51795,51808],{"className":51794},[680],[148,51796,51798],{"className":51797},[684],[686,51799,51800],{"xmlns":688},[690,51801,51802,51806],{},[693,51803,51804],{},[769,51805,6183],{},[705,51807,6183],{"encoding":707},[148,51809,51811],{"className":51810,"ariaHidden":713},[712],[148,51812,51814,51817],{"className":51813},[717],[148,51815],{"className":51816,"style":19084},[721],[148,51818,6183],{"className":51819},[726,1064],"-я координата — частота встречаемости ",[148,51822,51824,51837],{"className":51823},[680],[148,51825,51827],{"className":51826},[684],[686,51828,51829],{"xmlns":688},[690,51830,51831,51835],{},[693,51832,51833],{},[769,51834,6183],{},[705,51836,6183],{"encoding":707},[148,51838,51840],{"className":51839,"ariaHidden":713},[712],[148,51841,51843,51846],{"className":51842},[717],[148,51844],{"className":51845,"style":19084},[721],[148,51847,6183],{"className":51848},[726,1064],"-го слова в документе. Порядок слов теряется, остаётся только частотный профиль. Несмотря на эту грубость, BoW работает в задачах классификации текстов на уровне, который трудно превзойти простыми методами: разница «спам \u002F не спам» вполне ловится по статистике слов, без понимания смысла.",[85,51851,51852,51853,297,51856,5554,51859,51862,51863,51891,51892,51920,51921,1318,52186,52250,52251,52279,52280,52331,52332,52360,52361,52364,52365,26],{},"Усиление BoW — ",[294,51854,51855],{},"TF-IDF",[92,51857,51858],{},"Term Frequency–Inverse Document Frequency",[148,51860,51861],{},"@salton1988tfidf",". Идея в том, что не все слова одинаково информативны: слово, встречающееся почти в каждом документе коллекции, малополезно для различения документов, а редкое слово несёт сильный сигнал. Вес терма ",[148,51864,51866,51879],{"className":51865},[680],[148,51867,51869],{"className":51868},[684],[686,51870,51871],{"xmlns":688},[690,51872,51873,51877],{},[693,51874,51875],{},[769,51876,8209],{},[705,51878,8209],{"encoding":707},[148,51880,51882],{"className":51881,"ariaHidden":713},[712],[148,51883,51885,51888],{"className":51884},[717],[148,51886],{"className":51887,"style":8221},[721],[148,51889,8209],{"className":51890},[726,1064]," в документе ",[148,51893,51895,51908],{"className":51894},[680],[148,51896,51898],{"className":51897},[684],[686,51899,51900],{"xmlns":688},[690,51901,51902,51906],{},[693,51903,51904],{},[769,51905,2437],{},[705,51907,2437],{"encoding":707},[148,51909,51911],{"className":51910,"ariaHidden":713},[712],[148,51912,51914,51917],{"className":51913},[717],[148,51915],{"className":51916,"style":2415},[721],[148,51918,2437],{"className":51919},[726,1064]," записывается как\n",[148,51922,51924,52002],{"className":51923},[680],[148,51925,51927],{"className":51926},[684],[686,51928,51929],{"xmlns":688},[690,51930,51931,51999],{},[693,51932,51933,51945,51947,51949,51951,51953,51955,51957,51963,51965,51967,51969,51971,51973,51975,51977,51979,51997],{},[693,51934,51935,51937,51939,51941,51943],{},[769,51936,8209],{"mathvariant":771},[769,51938,4112],{"mathvariant":771},[769,51940,6183],{"mathvariant":771},[769,51942,2437],{"mathvariant":771},[769,51944,4112],{"mathvariant":771},[699,51946,2748],{"stretchy":766},[769,51948,8209],{},[699,51950,1205],{"separator":713},[769,51952,2437],{},[699,51954,2757],{"stretchy":766},[699,51956,777],{},[693,51958,51959,51961],{},[769,51960,8209],{"mathvariant":771},[769,51962,4112],{"mathvariant":771},[699,51964,2748],{"stretchy":766},[769,51966,8209],{},[699,51968,1205],{"separator":713},[769,51970,2437],{},[699,51972,2757],{"stretchy":766},[699,51974,3675],{},[769,51976,13926],{},[699,51978,13929],{},[3315,51980,51981,51983],{},[769,51982,16208],{},[693,51984,51985,51991,51993,51995],{},[693,51986,51987,51989],{},[769,51988,2437],{"mathvariant":771},[769,51990,4112],{"mathvariant":771},[699,51992,2748],{"stretchy":766},[769,51994,8209],{},[699,51996,2757],{"stretchy":766},[699,51998,1205],{"separator":713},[705,52000,52001],{"encoding":707},"\\mathrm{tfidf}(t, d) = \\mathrm{tf}(t, d) \\cdot \\log \\frac{N}{\\mathrm{df}(t)},",[148,52003,52005,52046,52086],{"className":52004,"ariaHidden":713},[712],[148,52006,52008,52011,52019,52022,52025,52028,52031,52034,52037,52040,52043],{"className":52007},[717],[148,52009],{"className":52010,"style":800},[721],[148,52012,52014],{"className":52013},[726],[148,52015,52018],{"className":52016,"style":52017},[726,24990],"margin-right:0.0778em;","tfidf",[148,52020,2748],{"className":52021},[1242],[148,52023,8209],{"className":52024},[726,1064],[148,52026,1205],{"className":52027},[1250],[148,52029],{"className":52030,"style":835},[730],[148,52032,2437],{"className":52033},[726,1064],[148,52035,2757],{"className":52036},[807],[148,52038],{"className":52039,"style":815},[730],[148,52041,777],{"className":52042},[819],[148,52044],{"className":52045,"style":815},[730],[148,52047,52049,52052,52059,52062,52065,52068,52071,52074,52077,52080,52083],{"className":52048},[717],[148,52050],{"className":52051,"style":800},[721],[148,52053,52055],{"className":52054},[726],[148,52056,52058],{"className":52057,"style":52017},[726,24990],"tf",[148,52060,2748],{"className":52061},[1242],[148,52063,8209],{"className":52064},[726,1064],[148,52066,1205],{"className":52067},[1250],[148,52069],{"className":52070,"style":835},[730],[148,52072,2437],{"className":52073},[726,1064],[148,52075,2757],{"className":52076},[807],[148,52078],{"className":52079,"style":731},[730],[148,52081,3675],{"className":52082},[735],[148,52084],{"className":52085,"style":731},[730],[148,52087,52089,52093,52098,52101,52183],{"className":52088},[717],[148,52090],{"className":52091,"style":52092},[721],"height:1.3923em;vertical-align:-0.52em;",[148,52094,14226,52096],{"className":52095},[7621],[148,52097,4123],{"style":14229},[148,52099],{"className":52100,"style":835},[730],[148,52102,52104,52107,52180],{"className":52103},[726],[148,52105],{"className":52106},[1242,3347],[148,52108,52110],{"className":52109},[3315],[148,52111,52113,52172],{"className":52112},[981,1071],[148,52114,52116,52169],{"className":52115},[985],[148,52117,52120,52147,52155],{"className":52118,"style":52119},[989],"height:0.8723em;",[148,52121,52122,52125],{"style":3363},[148,52123],{"className":52124,"style":3367},[996],[148,52126,52128],{"className":52127},[1001,1002,1003,1004],[148,52129,52131,52138,52141,52144],{"className":52130},[726,1004],[148,52132,52134],{"className":52133},[726,1004],[148,52135,52137],{"className":52136,"style":52017},[726,24990,1004],"df",[148,52139,2748],{"className":52140},[1242,1004],[148,52142,8209],{"className":52143},[726,1064,1004],[148,52145,2757],{"className":52146},[807,1004],[148,52148,52149,52152],{"style":3385},[148,52150],{"className":52151,"style":3367},[996],[148,52153],{"className":52154,"style":3393},[3392],[148,52156,52157,52160],{"style":3396},[148,52158],{"className":52159,"style":3367},[996],[148,52161,52163],{"className":52162},[1001,1002,1003,1004],[148,52164,52166],{"className":52165},[726,1004],[148,52167,16208],{"className":52168,"style":16240},[726,1064,1004],[148,52170,1095],{"className":52171},[1094],[148,52173,52175],{"className":52174},[985],[148,52176,52178],{"className":52177,"style":36820},[989],[148,52179],{},[148,52181],{"className":52182},[807,3347],[148,52184,1205],{"className":52185},[1250],[148,52187,52189,52217],{"className":52188},[680],[148,52190,52192],{"className":52191},[684],[686,52193,52194],{"xmlns":688},[690,52195,52196,52214],{},[693,52197,52198,52204,52206,52208,52210,52212],{},[693,52199,52200,52202],{},[769,52201,8209],{"mathvariant":771},[769,52203,4112],{"mathvariant":771},[699,52205,2748],{"stretchy":766},[769,52207,8209],{},[699,52209,1205],{"separator":713},[769,52211,2437],{},[699,52213,2757],{"stretchy":766},[705,52215,52216],{"encoding":707},"\\mathrm{tf}(t, d)",[148,52218,52220],{"className":52219,"ariaHidden":713},[712],[148,52221,52223,52226,52232,52235,52238,52241,52244,52247],{"className":52222},[717],[148,52224],{"className":52225,"style":800},[721],[148,52227,52229],{"className":52228},[726],[148,52230,52058],{"className":52231,"style":52017},[726,24990],[148,52233,2748],{"className":52234},[1242],[148,52236,8209],{"className":52237},[726,1064],[148,52239,1205],{"className":52240},[1250],[148,52242],{"className":52243,"style":835},[730],[148,52245,2437],{"className":52246},[726,1064],[148,52248,2757],{"className":52249},[807]," — частота терма в документе, ",[148,52252,52254,52267],{"className":52253},[680],[148,52255,52257],{"className":52256},[684],[686,52258,52259],{"xmlns":688},[690,52260,52261,52265],{},[693,52262,52263],{},[769,52264,16208],{},[705,52266,16208],{"encoding":707},[148,52268,52270],{"className":52269,"ariaHidden":713},[712],[148,52271,52273,52276],{"className":52272},[717],[148,52274],{"className":52275,"style":1344},[721],[148,52277,16208],{"className":52278,"style":16240},[726,1064]," — общее число документов в коллекции, ",[148,52281,52283,52307],{"className":52282},[680],[148,52284,52286],{"className":52285},[684],[686,52287,52288],{"xmlns":688},[690,52289,52290,52304],{},[693,52291,52292,52298,52300,52302],{},[693,52293,52294,52296],{},[769,52295,2437],{"mathvariant":771},[769,52297,4112],{"mathvariant":771},[699,52299,2748],{"stretchy":766},[769,52301,8209],{},[699,52303,2757],{"stretchy":766},[705,52305,52306],{"encoding":707},"\\mathrm{df}(t)",[148,52308,52310],{"className":52309,"ariaHidden":713},[712],[148,52311,52313,52316,52322,52325,52328],{"className":52312},[717],[148,52314],{"className":52315,"style":800},[721],[148,52317,52319],{"className":52318},[726],[148,52320,52137],{"className":52321,"style":52017},[726,24990],[148,52323,2748],{"className":52324},[1242],[148,52326,8209],{"className":52327},[726,1064],[148,52329,2757],{"className":52330},[807]," — число документов, содержащих ",[148,52333,52335,52348],{"className":52334},[680],[148,52336,52338],{"className":52337},[684],[686,52339,52340],{"xmlns":688},[690,52341,52342,52346],{},[693,52343,52344],{},[769,52345,8209],{},[705,52347,8209],{"encoding":707},[148,52349,52351],{"className":52350,"ariaHidden":713},[712],[148,52352,52354,52357],{"className":52353},[717],[148,52355],{"className":52356,"style":8221},[721],[148,52358,8209],{"className":52359},[726,1064],". Логарифмический множитель — это ",[294,52362,52363],{},"обратная документная частота",", она тем выше, чем реже терм встречается в коллекции в целом. Полученные веса собирают в матрицу «документы × термы»; строки её — векторные представления документов, на которых работают классические алгоритмы информационного поиска и классификации. Подробное изложение TF-IDF и других схем взвешивания — в каноничном учебнике Маннинга по информационному поиску ",[148,52366,52367],{},"@manning2008ir",[362,52369,364,52370,364,52374],{},[366,52371],{"src":52372,"alt":52373},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-09\u002Fbow_tfidf_matrix.svg","Матрица документ-терм с весами TF-IDF",[370,52375,52376],{},"Матрица «документ–терм» с весами TF-IDF: каждая строка — числовой вектор документа",[85,52378,52379],{},"Ограничения частотных методов очевидны. Порядок слов теряется: «собака укусила человека» и «человек укусил собаку» получают одинаковый вектор. Семантические связи не отражаются: слова «врач» и «доктор» — разные координаты, и модель не знает, что они почти синонимы. Размерность вектора равна размеру словаря и при больших корпусах достигает сотен тысяч, что делает векторы разреженными и неудобными для нейронных моделей. И всё же частотные методы остаются полезным инструментом: они быстры, интерпретируемы, дают сильный baseline на классификации, а в задачах поиска вариант BM25, родственный TF-IDF, до сих пор конкурентоспособен против нейронных моделей. От частотного представления мы движемся не потому, что оно «устарело», а потому, что в задачах, требующих понимания смысла, его выразительной силы не хватает.",[10,52381,52383],{"id":52382},"векторные-представления-и-эмбеддинги","Векторные представления и эмбеддинги",[128,52385,52387],{"id":52386},"word-embeddings","Word Embeddings",[85,52389,52390,52391,297,52394,52397],{},"Преодолеть разреженность и отсутствие семантики удалось переходом к плотным ",[294,52392,52393],{},"векторным представлениям слов",[92,52395,52396],{},"word embeddings",") — отображениям словаря в евклидово пространство фиксированной невысокой размерности (обычно 50–300). Базовая идея уходит корнями к дистрибутивной гипотезе Зеллига Харриса: слова, встречающиеся в похожих контекстах, имеют похожий смысл. На лозунге Дж. Р. Фёрса это звучит как «You shall know a word by the company it keeps». Если научиться сжимать контексты в векторы и располагать в них слова так, чтобы близкие по употреблению оказывались рядом, мы получим геометрию, в которой «близость» соответствует семантическому родству.",[85,52399,52400,52401,52404,52405,52408,52409,297,52412,52415,52416,52419,52420,52427],{},"Технически прорыв связан с моделью ",[294,52402,52403],{},"Word2Vec"," Миколова и соавторов ",[148,52406,52407],{},"@mikolov2013w2v",". Они предложили простую и эффективно обучаемую нейросетевую архитектуру: одно скрытое слое-проекция и предсказательная цель. В варианте ",[294,52410,52411],{},"CBOW",[92,52413,52414],{},"Continuous Bag-of-Words",") сеть по контексту — нескольким соседним словам — предсказывает центральное слово. В варианте ",[294,52417,52418],{},"Skip-gram"," наоборот: по центральному слову предсказываются окружающие. После обучения веса проекционного слоя и оказываются искомыми эмбеддингами. Чуть позже появилась модель GloVe ",[140,52421,52423],{"className":52422},[143],[22,52424,52425],{"href":146},[148,52426,150],{},", строящая эмбеддинги напрямую из глобальной матрицы совместной встречаемости слов; вычислительно она другая, идеологически — близкая.",[85,52429,52430,52431,52565,52566,52614,52615,52618],{},"Полученные пространства обладают любопытным свойством, которое прямо отмечали авторы Word2Vec: семантические отношения проявляются как направления в пространстве. Векторная разность ",[148,52432,52434,52479],{"className":52433},[680],[148,52435,52437],{"className":52436},[684],[686,52438,52439],{"xmlns":688},[690,52440,52441,52476],{},[693,52442,52443,52447,52449,52452,52454,52456,52458,52460,52463,52465,52467,52469,52471,52474],{},[769,52444,52446],{"mathvariant":52445},"bold","v",[699,52448,2748],{"stretchy":766},[782,52450,52451],{},"king",[699,52453,2757],{"stretchy":766},[699,52455,3325],{},[769,52457,52446],{"mathvariant":52445},[699,52459,2748],{"stretchy":766},[782,52461,52462],{},"man",[699,52464,2757],{"stretchy":766},[699,52466,2605],{},[769,52468,52446],{"mathvariant":52445},[699,52470,2748],{"stretchy":766},[782,52472,52473],{},"woman",[699,52475,2757],{"stretchy":766},[705,52477,52478],{"encoding":707},"\\mathbf{v}(\\text{king}) - \\mathbf{v}(\\text{man}) + \\mathbf{v}(\\text{woman})",[148,52480,52482,52514,52544],{"className":52481,"ariaHidden":713},[712],[148,52483,52485,52488,52493,52496,52502,52505,52508,52511],{"className":52484},[717],[148,52486],{"className":52487,"style":800},[721],[148,52489,52446],{"className":52490,"style":52492},[726,52491],"mathbf","margin-right:0.016em;",[148,52494,2748],{"className":52495},[1242],[148,52497,52499],{"className":52498},[726,5620],[148,52500,52451],{"className":52501},[726],[148,52503,2757],{"className":52504},[807],[148,52506],{"className":52507,"style":731},[730],[148,52509,3325],{"className":52510},[735],[148,52512],{"className":52513,"style":731},[730],[148,52515,52517,52520,52523,52526,52532,52535,52538,52541],{"className":52516},[717],[148,52518],{"className":52519,"style":800},[721],[148,52521,52446],{"className":52522,"style":52492},[726,52491],[148,52524,2748],{"className":52525},[1242],[148,52527,52529],{"className":52528},[726,5620],[148,52530,52462],{"className":52531},[726],[148,52533,2757],{"className":52534},[807],[148,52536],{"className":52537,"style":731},[730],[148,52539,2605],{"className":52540},[735],[148,52542],{"className":52543,"style":731},[730],[148,52545,52547,52550,52553,52556,52562],{"className":52546},[717],[148,52548],{"className":52549,"style":800},[721],[148,52551,52446],{"className":52552,"style":52492},[726,52491],[148,52554,2748],{"className":52555},[1242],[148,52557,52559],{"className":52558},[726,5620],[148,52560,52473],{"className":52561},[726],[148,52563,2757],{"className":52564},[807]," оказывается ближайшим соседом к вектору ",[148,52567,52569,52590],{"className":52568},[680],[148,52570,52572],{"className":52571},[684],[686,52573,52574],{"xmlns":688},[690,52575,52576,52587],{},[693,52577,52578,52580,52582,52585],{},[769,52579,52446],{"mathvariant":52445},[699,52581,2748],{"stretchy":766},[782,52583,52584],{},"queen",[699,52586,2757],{"stretchy":766},[705,52588,52589],{"encoding":707},"\\mathbf{v}(\\text{queen})",[148,52591,52593],{"className":52592,"ariaHidden":713},[712],[148,52594,52596,52599,52602,52605,52611],{"className":52595},[717],[148,52597],{"className":52598,"style":800},[721],[148,52600,52446],{"className":52601,"style":52492},[726,52491],[148,52603,2748],{"className":52604},[1242],[148,52606,52608],{"className":52607},[726,5620],[148,52609,52584],{"className":52610},[726],[148,52612,2757],{"className":52613},[807],". Аналогично «Москва» относится к «Россия» примерно так же, как «Париж» к «Франция»: соответствующие направления почти параллельны. Эта ",[294,52616,52617],{},"семантическая арифметика"," долгое время служила витриной демонстраций — наглядной, но и переоценённой. На внимательной проверке оказалось, что часть аналогий работает за счёт особенностей датасета и метрики, а не за счёт «понимания» отношения. Тем не менее сам факт, что в обучённой без размеченных меток модели возникают согласованные с человеческой интуицией структуры — нетривиален и стал важным сигналом, что в больших корпусах текста закодировано много полезной информации.",[362,52620,364,52621,364,52625],{},[366,52622],{"src":52623,"alt":52624},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-09\u002Fword_embeddings_space.svg","Пространство эмбеддингов слов: семантические отношения как направления",[370,52626,52627],{},"Пространство эмбеддингов: семантически близкие слова расположены рядом, а отношения «страна–столица» и «мужской–женский род» проявляются как направления",[85,52629,52630,52631,297,52634,52637,52638,297,52641,5554,52644,52647],{},"Принципиальное практическое следствие — возможность ",[294,52632,52633],{},"передачи знаний",[92,52635,52636],{},"transfer learning","). Эмбеддинги, обученные на большом универсальном корпусе (Wikipedia, новости, веб-тексты), переиспользуются как готовые признаки в прикладной задаче на маленьком датасете. Раньше каждая команда строила модель «с нуля» на своём небольшом размеченном корпусе; с приходом предобученных эмбеддингов первый слой бесплатно достался от индустриального уровня моделей, и качество прикладных систем заметно подросло. Это была первая волна того, что позже назовут ",[294,52639,52640],{},"базовыми моделями",[92,52642,52643],{},"foundation models",[148,52645,52646],{},"@bommasani2021foundation"," — обучаемых единожды на огромных корпусах и переиспользуемых дальше.",[85,52649,52650,52651,52654],{},"У эмбеддингов Word2Vec и GloVe осталось одно фундаментальное ограничение, которое и подтолкнуло следующий шаг. Каждое слово получает один и тот же вектор вне зависимости от контекста, в котором оно встретилось. Слово «коса» в «острая коса» и «длинная коса» — это один и тот же вектор, и модель не различает значения. Преодолеть это смогли только модели, в которых представление слова зависит от его окружения в конкретном предложении — то есть ",[294,52652,52653],{},"контекстные эмбеддинги",". Архитектурно их обеспечили трансформеры.",[10,52656,52658],{"id":52657},"трансформеры-и-большие-языковые-модели","Трансформеры и большие языковые модели",[128,52660,52662],{"id":52661},"архитектура-трансформера","Архитектура трансформера",[85,52664,52665,52666,191,52669,52676,52677,52679],{},"В теме 8 мы видели, как рекуррентные сети LSTM и GRU справлялись с обработкой последовательностей и обходили проблему затухающих градиентов за счёт обучаемых механизмов памяти. Но один принципиальный недостаток у них оставался: вычисления в RNN последовательны по природе — следующее скрытое состояние зависит от предыдущего, — и это делает обучение медленным даже на GPU, ради которых перешли на нейронные модели. В 2017 году группа Васвани предложила радикальное решение: вообще отказаться от рекуррентности и оставить только ",[294,52667,52668],{},"механизм внимания",[140,52670,52672],{"className":52671},[143],[22,52673,52674],{"href":160},[148,52675,163],{},". Получившаяся архитектура — ",[294,52678,51475],{}," — допускает массивное распараллеливание и оказалась так удачно устроена, что за несколько лет вытеснила RNN практически из всех задач NLP.",[85,52681,52682,52683,297,52686,52689,52690,52830,52831,52859,52860,191,52863,297,52933,52936,52937,191,52940,297,53010,53013,53014,191,53017,297,53089,53092,53093,53121,53122,53150,53151,53284,53285,53313,53314,6425],{},"Центральная идея — ",[294,52684,52685],{},"самовнимание",[92,52687,52688],{},"self-attention","). Положим, на входе у нас последовательность токенов ",[148,52691,52693,52723],{"className":52692},[680],[148,52694,52696],{"className":52695},[684],[686,52697,52698],{"xmlns":688},[690,52699,52700,52720],{},[693,52701,52702,52708,52710,52712,52714],{},[1038,52703,52704,52706],{},[769,52705,6055],{},[696,52707,150],{},[699,52709,1205],{"separator":713},[699,52711,1557],{},[699,52713,1205],{"separator":713},[1038,52715,52716,52718],{},[769,52717,6055],{},[769,52719,1566],{},[705,52721,52722],{"encoding":707},"x_1, \\ldots, x_n",[148,52724,52726],{"className":52725,"ariaHidden":713},[712],[148,52727,52729,52732,52772,52775,52778,52781,52784,52787,52790],{"className":52728},[717],[148,52730],{"className":52731,"style":1579},[721],[148,52733,52735,52738],{"className":52734},[726],[148,52736,6055],{"className":52737},[726,1064],[148,52739,52741],{"className":52740},[977],[148,52742,52744,52764],{"className":52743},[981,1071],[148,52745,52747,52761],{"className":52746},[985],[148,52748,52750],{"className":52749,"style":1078},[989],[148,52751,52752,52755],{"style":1081},[148,52753],{"className":52754,"style":997},[996],[148,52756,52758],{"className":52757},[1001,1002,1003,1004],[148,52759,150],{"className":52760},[726,1004],[148,52762,1095],{"className":52763},[1094],[148,52765,52767],{"className":52766},[985],[148,52768,52770],{"className":52769,"style":1102},[989],[148,52771],{},[148,52773,1205],{"className":52774},[1250],[148,52776],{"className":52777,"style":835},[730],[148,52779,1557],{"className":52780},[1675],[148,52782],{"className":52783,"style":835},[730],[148,52785,1205],{"className":52786},[1250],[148,52788],{"className":52789,"style":835},[730],[148,52791,52793,52796],{"className":52792},[726],[148,52794,6055],{"className":52795},[726,1064],[148,52797,52799],{"className":52798},[977],[148,52800,52802,52822],{"className":52801},[981,1071],[148,52803,52805,52819],{"className":52804},[985],[148,52806,52808],{"className":52807,"style":1703},[989],[148,52809,52810,52813],{"style":1081},[148,52811],{"className":52812,"style":997},[996],[148,52814,52816],{"className":52815},[1001,1002,1003,1004],[148,52817,1566],{"className":52818},[726,1064,1004],[148,52820,1095],{"className":52821},[1094],[148,52823,52825],{"className":52824},[985],[148,52826,52828],{"className":52827,"style":1102},[989],[148,52829],{},", каждому из которых сопоставлен вектор представления. Для каждого токена мы хотим получить новое представление, обогащённое информацией о других токенах последовательности — причём так, чтобы модель сама решила, на какие именно обратить внимание. Технически это делается через три обучаемые линейные проекции: для токена ",[148,52832,52834,52847],{"className":52833},[680],[148,52835,52837],{"className":52836},[684],[686,52838,52839],{"xmlns":688},[690,52840,52841,52845],{},[693,52842,52843],{},[769,52844,6183],{},[705,52846,6183],{"encoding":707},[148,52848,52850],{"className":52849,"ariaHidden":713},[712],[148,52851,52853,52856],{"className":52852},[717],[148,52854],{"className":52855,"style":19084},[721],[148,52857,6183],{"className":52858},[726,1064]," вычисляются ",[294,52861,52862],{},"запрос",[148,52864,52866,52884],{"className":52865},[680],[148,52867,52869],{"className":52868},[684],[686,52870,52871],{"xmlns":688},[690,52872,52873,52881],{},[693,52874,52875],{},[1038,52876,52877,52879],{},[769,52878,29701],{"mathvariant":52445},[769,52880,6183],{},[705,52882,52883],{"encoding":707},"\\mathbf{q}_i",[148,52885,52887],{"className":52886,"ariaHidden":713},[712],[148,52888,52890,52893],{"className":52889},[717],[148,52891],{"className":52892,"style":45313},[721],[148,52894,52896,52899],{"className":52895},[726],[148,52897,29701],{"className":52898},[726,52491],[148,52900,52902],{"className":52901},[977],[148,52903,52905,52925],{"className":52904},[981,1071],[148,52906,52908,52922],{"className":52907},[985],[148,52909,52911],{"className":52910,"style":6263},[989],[148,52912,52913,52916],{"style":1081},[148,52914],{"className":52915,"style":997},[996],[148,52917,52919],{"className":52918},[1001,1002,1003,1004],[148,52920,6183],{"className":52921},[726,1064,1004],[148,52923,1095],{"className":52924},[1094],[148,52926,52928],{"className":52927},[985],[148,52929,52931],{"className":52930,"style":1102},[989],[148,52932],{},[92,52934,52935],{},"query","), ",[294,52938,52939],{},"ключ",[148,52941,52943,52961],{"className":52942},[680],[148,52944,52946],{"className":52945},[684],[686,52947,52948],{"xmlns":688},[690,52949,52950,52958],{},[693,52951,52952],{},[1038,52953,52954,52956],{},[769,52955,2572],{"mathvariant":52445},[769,52957,6183],{},[705,52959,52960],{"encoding":707},"\\mathbf{k}_i",[148,52962,52964],{"className":52963,"ariaHidden":713},[712],[148,52965,52967,52970],{"className":52966},[717],[148,52968],{"className":52969,"style":5051},[721],[148,52971,52973,52976],{"className":52972},[726],[148,52974,2572],{"className":52975},[726,52491],[148,52977,52979],{"className":52978},[977],[148,52980,52982,53002],{"className":52981},[981,1071],[148,52983,52985,52999],{"className":52984},[985],[148,52986,52988],{"className":52987,"style":6263},[989],[148,52989,52990,52993],{"style":1081},[148,52991],{"className":52992,"style":997},[996],[148,52994,52996],{"className":52995},[1001,1002,1003,1004],[148,52997,6183],{"className":52998},[726,1064,1004],[148,53000,1095],{"className":53001},[1094],[148,53003,53005],{"className":53004},[985],[148,53006,53008],{"className":53007,"style":1102},[989],[148,53009],{},[92,53011,53012],{},"key",") и ",[294,53015,53016],{},"значение",[148,53018,53020,53038],{"className":53019},[680],[148,53021,53023],{"className":53022},[684],[686,53024,53025],{"xmlns":688},[690,53026,53027,53035],{},[693,53028,53029],{},[1038,53030,53031,53033],{},[769,53032,52446],{"mathvariant":52445},[769,53034,6183],{},[705,53036,53037],{"encoding":707},"\\mathbf{v}_i",[148,53039,53041],{"className":53040,"ariaHidden":713},[712],[148,53042,53044,53048],{"className":53043},[717],[148,53045],{"className":53046,"style":53047},[721],"height:0.5944em;vertical-align:-0.15em;",[148,53049,53051,53054],{"className":53050},[726],[148,53052,52446],{"className":53053,"style":52492},[726,52491],[148,53055,53057],{"className":53056},[977],[148,53058,53060,53081],{"className":53059},[981,1071],[148,53061,53063,53078],{"className":53062},[985],[148,53064,53066],{"className":53065,"style":6263},[989],[148,53067,53069,53072],{"style":53068},"top:-2.55em;margin-left:-0.016em;margin-right:0.05em;",[148,53070],{"className":53071,"style":997},[996],[148,53073,53075],{"className":53074},[1001,1002,1003,1004],[148,53076,6183],{"className":53077},[726,1064,1004],[148,53079,1095],{"className":53080},[1094],[148,53082,53084],{"className":53083},[985],[148,53085,53087],{"className":53086,"style":1102},[989],[148,53088],{},[92,53090,53091],{},"value","). Релевантность токена ",[148,53094,53096,53109],{"className":53095},[680],[148,53097,53099],{"className":53098},[684],[686,53100,53101],{"xmlns":688},[690,53102,53103,53107],{},[693,53104,53105],{},[769,53106,14956],{},[705,53108,14956],{"encoding":707},[148,53110,53112],{"className":53111,"ariaHidden":713},[712],[148,53113,53115,53118],{"className":53114},[717],[148,53116],{"className":53117,"style":17555},[721],[148,53119,14956],{"className":53120,"style":15000},[726,1064]," для токена ",[148,53123,53125,53138],{"className":53124},[680],[148,53126,53128],{"className":53127},[684],[686,53129,53130],{"xmlns":688},[690,53131,53132,53136],{},[693,53133,53134],{},[769,53135,6183],{},[705,53137,6183],{"encoding":707},[148,53139,53141],{"className":53140,"ariaHidden":713},[712],[148,53142,53144,53147],{"className":53143},[717],[148,53145],{"className":53146,"style":19084},[721],[148,53148,6183],{"className":53149},[726,1064]," оценивается скалярным произведением ",[148,53152,53154,53180],{"className":53153},[680],[148,53155,53157],{"className":53156},[684],[686,53158,53159],{"xmlns":688},[690,53160,53161,53177],{},[693,53162,53163,53169,53171],{},[1038,53164,53165,53167],{},[769,53166,29701],{"mathvariant":52445},[769,53168,6183],{},[699,53170,3675],{},[1038,53172,53173,53175],{},[769,53174,2572],{"mathvariant":52445},[769,53176,14956],{},[705,53178,53179],{"encoding":707},"\\mathbf{q}_i \\cdot \\mathbf{k}_j",[148,53181,53183,53238],{"className":53182,"ariaHidden":713},[712],[148,53184,53186,53189,53229,53232,53235],{"className":53185},[717],[148,53187],{"className":53188,"style":45313},[721],[148,53190,53192,53195],{"className":53191},[726],[148,53193,29701],{"className":53194},[726,52491],[148,53196,53198],{"className":53197},[977],[148,53199,53201,53221],{"className":53200},[981,1071],[148,53202,53204,53218],{"className":53203},[985],[148,53205,53207],{"className":53206,"style":6263},[989],[148,53208,53209,53212],{"style":1081},[148,53210],{"className":53211,"style":997},[996],[148,53213,53215],{"className":53214},[1001,1002,1003,1004],[148,53216,6183],{"className":53217},[726,1064,1004],[148,53219,1095],{"className":53220},[1094],[148,53222,53224],{"className":53223},[985],[148,53225,53227],{"className":53226,"style":1102},[989],[148,53228],{},[148,53230],{"className":53231,"style":731},[730],[148,53233,3675],{"className":53234},[735],[148,53236],{"className":53237,"style":731},[730],[148,53239,53241,53244],{"className":53240},[717],[148,53242],{"className":53243,"style":24220},[721],[148,53245,53247,53250],{"className":53246},[726],[148,53248,2572],{"className":53249},[726,52491],[148,53251,53253],{"className":53252},[977],[148,53254,53256,53276],{"className":53255},[981,1071],[148,53257,53259,53273],{"className":53258},[985],[148,53260,53262],{"className":53261,"style":6263},[989],[148,53263,53264,53267],{"style":1081},[148,53265],{"className":53266,"style":997},[996],[148,53268,53270],{"className":53269},[1001,1002,1003,1004],[148,53271,14956],{"className":53272,"style":15000},[726,1064,1004],[148,53274,1095],{"className":53275},[1094],[148,53277,53279],{"className":53278},[985],[148,53280,53282],{"className":53281,"style":15010},[989],[148,53283],{},"; релевантности по всем ",[148,53286,53288,53301],{"className":53287},[680],[148,53289,53291],{"className":53290},[684],[686,53292,53293],{"xmlns":688},[690,53294,53295,53299],{},[693,53296,53297],{},[769,53298,14956],{},[705,53300,14956],{"encoding":707},[148,53302,53304],{"className":53303,"ariaHidden":713},[712],[148,53305,53307,53310],{"className":53306},[717],[148,53308],{"className":53309,"style":17555},[721],[148,53311,14956],{"className":53312,"style":15000},[726,1064]," нормируются softmax-ом, давая распределение ",[294,53315,53316],{},"весов внимания",[85,53318,53319],{},[148,53320,53322,53425],{"className":53321},[680],[148,53323,53325],{"className":53324},[684],[686,53326,53327],{"xmlns":688},[690,53328,53329,53422],{},[693,53330,53331,53342,53344,53420],{},[1038,53332,53333,53336],{},[769,53334,53335],{},"α",[693,53337,53338,53340],{},[769,53339,6183],{},[769,53341,14956],{},[699,53343,777],{},[3315,53345,53346,53376],{},[693,53347,53348,53350,53352,53354,53360,53362,53368,53370,53374],{},[769,53349,20955],{},[699,53351,13929],{},[699,53353,2748],{"stretchy":766},[1038,53355,53356,53358],{},[769,53357,29701],{"mathvariant":52445},[769,53359,6183],{},[699,53361,3675],{},[1038,53363,53364,53366],{},[769,53365,2572],{"mathvariant":52445},[769,53367,14956],{},[769,53369,772],{"mathvariant":771},[15628,53371,53372],{},[769,53373,2437],{},[699,53375,2757],{"stretchy":766},[693,53377,53378,53388,53390,53392,53394,53400,53402,53412,53414,53418],{},[1038,53379,53380,53382],{},[699,53381,7436],{},[921,53383,53384,53386],{},[769,53385,14956],{},[699,53387,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[769,53389,20955],{},[699,53391,13929],{},[699,53393,2748],{"stretchy":766},[1038,53395,53396,53398],{},[769,53397,29701],{"mathvariant":52445},[769,53399,6183],{},[699,53401,3675],{},[1038,53403,53404,53406],{},[769,53405,2572],{"mathvariant":52445},[921,53407,53408,53410],{},[769,53409,14956],{},[699,53411,4701],{"mathvariant":771,"lspace":4700,"rspace":4700},[769,53413,772],{"mathvariant":771},[15628,53415,53416],{},[769,53417,2437],{},[699,53419,2757],{"stretchy":766},[769,53421,26],{"mathvariant":771},[705,53423,53424],{"encoding":707},"\\alpha_{ij} = \\frac{\\exp(\\mathbf{q}_i \\cdot \\mathbf{k}_j \u002F \\sqrt{d})}{\\sum_{j'} \\exp(\\mathbf{q}_i \\cdot \\mathbf{k}_{j'} \u002F \\sqrt{d})}.",[148,53426,53428,53488],{"className":53427,"ariaHidden":713},[712],[148,53429,53431,53434,53479,53482,53485],{"className":53430},[717],[148,53432],{"className":53433,"style":14969},[721],[148,53435,53437,53441],{"className":53436},[726],[148,53438,53335],{"className":53439,"style":53440},[726,1064],"margin-right:0.0037em;",[148,53442,53444],{"className":53443},[977],[148,53445,53447,53471],{"className":53446},[981,1071],[148,53448,53450,53468],{"className":53449},[985],[148,53451,53453],{"className":53452,"style":6263},[989],[148,53454,53456,53459],{"style":53455},"top:-2.55em;margin-left:-0.0037em;margin-right:0.05em;",[148,53457],{"className":53458,"style":997},[996],[148,53460,53462],{"className":53461},[1001,1002,1003,1004],[148,53463,53465],{"className":53464},[726,1004],[148,53466,40606],{"className":53467,"style":15000},[726,1064,1004],[148,53469,1095],{"className":53470},[1094],[148,53472,53474],{"className":53473},[985],[148,53475,53477],{"className":53476,"style":15010},[989],[148,53478],{},[148,53480],{"className":53481,"style":815},[730],[148,53483,777],{"className":53484},[819],[148,53486],{"className":53487,"style":815},[730],[148,53489,53491,53495,53975],{"className":53490},[717],[148,53492],{"className":53493,"style":53494},[721],"height:1.9525em;vertical-align:-0.7887em;",[148,53496,53498,53501,53972],{"className":53497},[726],[148,53499],{"className":53500},[1242,3347],[148,53502,53504],{"className":53503},[3315],[148,53505,53507,53963],{"className":53506},[981,1071],[148,53508,53510,53960],{"className":53509},[985],[148,53511,53514,53789,53797],{"className":53512,"style":53513},[989],"height:1.1638em;",[148,53515,53517,53520],{"style":53516},"top:-2.5335em;",[148,53518],{"className":53519,"style":3367},[996],[148,53521,53523],{"className":53522},[1001,1002,1003,1004],[148,53524,53526,53601,53604,53616,53619,53659,53662,53733,53736,53786],{"className":53525},[726,1004],[148,53527,53529,53532],{"className":53528},[7621,1004],[148,53530,7436],{"className":53531,"style":7627},[7621,7625,7626,1004],[148,53533,53535],{"className":53534},[977],[148,53536,53538,53593],{"className":53537},[981,1071],[148,53539,53541,53590],{"className":53540},[985],[148,53542,53545],{"className":53543,"style":53544},[989],"height:0.2854em;",[148,53546,53548,53552],{"style":53547},"top:-2.2854em;margin-left:0em;margin-right:0.0714em;",[148,53549],{"className":53550,"style":53551},[996],"height:2.6068em;",[148,53553,53555],{"className":53554},[1001,9149,9150,1004],[148,53556,53558],{"className":53557},[726,1004],[148,53559,53561,53564],{"className":53560},[726,1004],[148,53562,14956],{"className":53563,"style":15000},[726,1064,1004],[148,53565,53567],{"className":53566},[977],[148,53568,53570],{"className":53569},[981],[148,53571,53573],{"className":53572},[985],[148,53574,53577],{"className":53575,"style":53576},[989],"height:0.8496em;",[148,53578,53580,53584],{"style":53579},"top:-2.8496em;margin-right:0.1em;",[148,53581],{"className":53582,"style":53583},[996],"height:2.5556em;",[148,53585,53587],{"className":53586},[726,1004],[148,53588,4701],{"className":53589},[726,1004],[148,53591,1095],{"className":53592},[1094],[148,53594,53596],{"className":53595},[985],[148,53597,53599],{"className":53598,"style":48276},[989],[148,53600],{},[148,53602],{"className":53603,"style":48282},[730,1004],[148,53605,53607,53610,53613],{"className":53606},[7621,1004],[148,53608,12814],{"className":53609},[1004],[148,53611,6055],{"className":53612},[1004],[148,53614,85],{"className":53615},[1004],[148,53617,2748],{"className":53618},[1242,1004],[148,53620,53622,53625],{"className":53621},[726,1004],[148,53623,29701],{"className":53624},[726,52491,1004],[148,53626,53628],{"className":53627},[977],[148,53629,53631,53651],{"className":53630},[981,1071],[148,53632,53634,53648],{"className":53633},[985],[148,53635,53637],{"className":53636,"style":16689},[989],[148,53638,53639,53642],{"style":16692},[148,53640],{"className":53641,"style":9145},[996],[148,53643,53645],{"className":53644},[1001,9149,9150,1004],[148,53646,6183],{"className":53647},[726,1064,1004],[148,53649,1095],{"className":53650},[1094],[148,53652,53654],{"className":53653},[985],[148,53655,53657],{"className":53656,"style":16711},[989],[148,53658],{},[148,53660,3675],{"className":53661},[735,1004],[148,53663,53665,53668],{"className":53664},[726,1004],[148,53666,2572],{"className":53667},[726,52491,1004],[148,53669,53671],{"className":53670},[977],[148,53672,53674,53724],{"className":53673},[981,1071],[148,53675,53677,53721],{"className":53676},[985],[148,53678,53680],{"className":53679,"style":7322},[989],[148,53681,53683,53686],{"style":53682},"top:-2.3448em;margin-left:0em;margin-right:0.0714em;",[148,53684],{"className":53685,"style":53551},[996],[148,53687,53689],{"className":53688},[1001,9149,9150,1004],[148,53690,53692],{"className":53691},[726,1004],[148,53693,53695,53698],{"className":53694},[726,1004],[148,53696,14956],{"className":53697,"style":15000},[726,1064,1004],[148,53699,53701],{"className":53700},[977],[148,53702,53704],{"className":53703},[981],[148,53705,53707],{"className":53706},[985],[148,53708,53710],{"className":53709,"style":53576},[989],[148,53711,53712,53715],{"style":53579},[148,53713],{"className":53714,"style":53583},[996],[148,53716,53718],{"className":53717},[726,1004],[148,53719,4701],{"className":53720},[726,1004],[148,53722,1095],{"className":53723},[1094],[148,53725,53727],{"className":53726},[985],[148,53728,53731],{"className":53729,"style":53730},[989],"height:0.4009em;",[148,53732],{},[148,53734,772],{"className":53735},[726,1004],[148,53737,53739],{"className":53738},[726,15743,1004],[148,53740,53742,53777],{"className":53741},[981,1071],[148,53743,53745,53774],{"className":53744},[985],[148,53746,53749,53761],{"className":53747,"style":53748},[989],"height:0.9378em;",[148,53750,53752,53755],{"className":53751,"style":6462},[9175],[148,53753],{"className":53754,"style":3367},[996],[148,53756,53758],{"className":53757,"style":17095},[726,1004],[148,53759,2437],{"className":53760},[726,1064,1004],[148,53762,53764,53767],{"style":53763},"top:-2.8978em;",[148,53765],{"className":53766,"style":3367},[996],[148,53768,53770],{"className":53769,"style":17108},[15958,1004],[9191,53771,53772],{"xmlns":9193,"width":9194,"height":17111,"viewBox":17112,"preserveAspectRatio":9197},[9199,53773],{"d":17115},[148,53775,1095],{"className":53776},[1094],[148,53778,53780],{"className":53779},[985],[148,53781,53784],{"className":53782,"style":53783},[989],"height:0.1022em;",[148,53785],{},[148,53787,2757],{"className":53788},[807,1004],[148,53790,53791,53794],{"style":3385},[148,53792],{"className":53793,"style":3367},[996],[148,53795],{"className":53796,"style":3393},[3392],[148,53798,53800,53803],{"style":53799},"top:-3.5073em;",[148,53801],{"className":53802,"style":3367},[996],[148,53804,53806],{"className":53805},[1001,1002,1003,1004],[148,53807,53809,53821,53824,53864,53867,53907,53910,53957],{"className":53808},[726,1004],[148,53810,53812,53815,53818],{"className":53811},[7621,1004],[148,53813,12814],{"className":53814},[1004],[148,53816,6055],{"className":53817},[1004],[148,53819,85],{"className":53820},[1004],[148,53822,2748],{"className":53823},[1242,1004],[148,53825,53827,53830],{"className":53826},[726,1004],[148,53828,29701],{"className":53829},[726,52491,1004],[148,53831,53833],{"className":53832},[977],[148,53834,53836,53856],{"className":53835},[981,1071],[148,53837,53839,53853],{"className":53838},[985],[148,53840,53842],{"className":53841,"style":16689},[989],[148,53843,53844,53847],{"style":16692},[148,53845],{"className":53846,"style":9145},[996],[148,53848,53850],{"className":53849},[1001,9149,9150,1004],[148,53851,6183],{"className":53852},[726,1064,1004],[148,53854,1095],{"className":53855},[1094],[148,53857,53859],{"className":53858},[985],[148,53860,53862],{"className":53861,"style":16711},[989],[148,53863],{},[148,53865,3675],{"className":53866},[735,1004],[148,53868,53870,53873],{"className":53869},[726,1004],[148,53871,2572],{"className":53872},[726,52491,1004],[148,53874,53876],{"className":53875},[977],[148,53877,53879,53899],{"className":53878},[981,1071],[148,53880,53882,53896],{"className":53881},[985],[148,53883,53885],{"className":53884,"style":16689},[989],[148,53886,53887,53890],{"style":16692},[148,53888],{"className":53889,"style":9145},[996],[148,53891,53893],{"className":53892},[1001,9149,9150,1004],[148,53894,14956],{"className":53895,"style":15000},[726,1064,1004],[148,53897,1095],{"className":53898},[1094],[148,53900,53902],{"className":53901},[985],[148,53903,53905],{"className":53904,"style":35917},[989],[148,53906],{},[148,53908,772],{"className":53909},[726,1004],[148,53911,53913],{"className":53912},[726,15743,1004],[148,53914,53916,53949],{"className":53915},[981,1071],[148,53917,53919,53946],{"className":53918},[985],[148,53920,53922,53934],{"className":53921,"style":53748},[989],[148,53923,53925,53928],{"className":53924,"style":6462},[9175],[148,53926],{"className":53927,"style":3367},[996],[148,53929,53931],{"className":53930,"style":17095},[726,1004],[148,53932,2437],{"className":53933},[726,1064,1004],[148,53935,53936,53939],{"style":53763},[148,53937],{"className":53938,"style":3367},[996],[148,53940,53942],{"className":53941,"style":17108},[15958,1004],[9191,53943,53944],{"xmlns":9193,"width":9194,"height":17111,"viewBox":17112,"preserveAspectRatio":9197},[9199,53945],{"d":17115},[148,53947,1095],{"className":53948},[1094],[148,53950,53952],{"className":53951},[985],[148,53953,53955],{"className":53954,"style":53783},[989],[148,53956],{},[148,53958,2757],{"className":53959},[807,1004],[148,53961,1095],{"className":53962},[1094],[148,53964,53966],{"className":53965},[985],[148,53967,53970],{"className":53968,"style":53969},[989],"height:0.7887em;",[148,53971],{},[148,53973],{"className":53974},[807,3347],[148,53976,26],{"className":53977},[726],[85,53979,53980,53981,3157,54059,54087,54088,54116,54117,54145,54146,54382],{},"Делитель ",[148,53982,53984,54000],{"className":53983},[680],[148,53985,53987],{"className":53986},[684],[686,53988,53989],{"xmlns":688},[690,53990,53991,53997],{},[693,53992,53993],{},[15628,53994,53995],{},[769,53996,2437],{},[705,53998,53999],{"encoding":707},"\\sqrt{d}",[148,54001,54003],{"className":54002,"ariaHidden":713},[712],[148,54004,54006,54010],{"className":54005},[717],[148,54007],{"className":54008,"style":54009},[721],"height:1.04em;vertical-align:-0.1078em;",[148,54011,54013],{"className":54012},[726,15743],[148,54014,54016,54050],{"className":54015},[981,1071],[148,54017,54019,54047],{"className":54018},[985],[148,54020,54022,54034],{"className":54021,"style":22103},[989],[148,54023,54025,54028],{"className":54024,"style":6462},[9175],[148,54026],{"className":54027,"style":3367},[996],[148,54029,54031],{"className":54030,"style":17095},[726],[148,54032,2437],{"className":54033},[726,1064],[148,54035,54037,54040],{"style":54036},"top:-2.8922em;",[148,54038],{"className":54039,"style":3367},[996],[148,54041,54043],{"className":54042,"style":17108},[15958],[9191,54044,54045],{"xmlns":9193,"width":9194,"height":17111,"viewBox":17112,"preserveAspectRatio":9197},[9199,54046],{"d":17115},[148,54048,1095],{"className":54049},[1094],[148,54051,54053],{"className":54052},[985],[148,54054,54057],{"className":54055,"style":54056},[989],"height:0.1078em;",[148,54058],{},[148,54060,54062,54075],{"className":54061},[680],[148,54063,54065],{"className":54064},[684],[686,54066,54067],{"xmlns":688},[690,54068,54069,54073],{},[693,54070,54071],{},[769,54072,2437],{},[705,54074,2437],{"encoding":707},[148,54076,54078],{"className":54077,"ariaHidden":713},[712],[148,54079,54081,54084],{"className":54080},[717],[148,54082],{"className":54083,"style":2415},[721],[148,54085,2437],{"className":54086},[726,1064]," — размерность ключей, нужен для численной устойчивости при больших ",[148,54089,54091,54104],{"className":54090},[680],[148,54092,54094],{"className":54093},[684],[686,54095,54096],{"xmlns":688},[690,54097,54098,54102],{},[693,54099,54100],{},[769,54101,2437],{},[705,54103,2437],{"encoding":707},[148,54105,54107],{"className":54106,"ariaHidden":713},[712],[148,54108,54110,54113],{"className":54109},[717],[148,54111],{"className":54112,"style":2415},[721],[148,54114,2437],{"className":54115},[726,1064],". Новое представление токена ",[148,54118,54120,54133],{"className":54119},[680],[148,54121,54123],{"className":54122},[684],[686,54124,54125],{"xmlns":688},[690,54126,54127,54131],{},[693,54128,54129],{},[769,54130,6183],{},[705,54132,6183],{"encoding":707},[148,54134,54136],{"className":54135,"ariaHidden":713},[712],[148,54137,54139,54142],{"className":54138},[717],[148,54140],{"className":54141,"style":19084},[721],[148,54143,6183],{"className":54144},[726,1064]," — взвешенная сумма значений: ",[148,54147,54149,54192],{"className":54148},[680],[148,54150,54152],{"className":54151},[684],[686,54153,54154],{"xmlns":688},[690,54155,54156,54189],{},[693,54157,54158,54165,54167,54173,54183],{},[1038,54159,54160,54163],{},[769,54161,54162],{"mathvariant":52445},"o",[769,54164,6183],{},[699,54166,777],{},[1038,54168,54169,54171],{},[699,54170,7436],{},[769,54172,14956],{},[1038,54174,54175,54177],{},[769,54176,53335],{},[693,54178,54179,54181],{},[769,54180,6183],{},[769,54182,14956],{},[1038,54184,54185,54187],{},[769,54186,52446],{"mathvariant":52445},[769,54188,14956],{},[705,54190,54191],{"encoding":707},"\\mathbf{o}_i = \\sum_j \\alpha_{ij} \\mathbf{v}_j",[148,54193,54195,54250],{"className":54194,"ariaHidden":713},[712],[148,54196,54198,54201,54241,54244,54247],{"className":54197},[717],[148,54199],{"className":54200,"style":53047},[721],[148,54202,54204,54207],{"className":54203},[726],[148,54205,54162],{"className":54206},[726,52491],[148,54208,54210],{"className":54209},[977],[148,54211,54213,54233],{"className":54212},[981,1071],[148,54214,54216,54230],{"className":54215},[985],[148,54217,54219],{"className":54218,"style":6263},[989],[148,54220,54221,54224],{"style":1081},[148,54222],{"className":54223,"style":997},[996],[148,54225,54227],{"className":54226},[1001,1002,1003,1004],[148,54228,6183],{"className":54229},[726,1064,1004],[148,54231,1095],{"className":54232},[1094],[148,54234,54236],{"className":54235},[985],[148,54237,54239],{"className":54238,"style":1102},[989],[148,54240],{},[148,54242],{"className":54243,"style":815},[730],[148,54245,777],{"className":54246},[819],[148,54248],{"className":54249,"style":815},[730],[148,54251,54253,54256,54296,54299,54342],{"className":54252},[717],[148,54254],{"className":54255,"style":16030},[721],[148,54257,54259,54262],{"className":54258},[7621],[148,54260,7436],{"className":54261,"style":7627},[7621,7625,7626],[148,54263,54265],{"className":54264},[977],[148,54266,54268,54288],{"className":54267},[981,1071],[148,54269,54271,54285],{"className":54270},[985],[148,54272,54274],{"className":54273,"style":15784},[989],[148,54275,54276,54279],{"style":7643},[148,54277],{"className":54278,"style":997},[996],[148,54280,54282],{"className":54281},[1001,1002,1003,1004],[148,54283,14956],{"className":54284,"style":15000},[726,1064,1004],[148,54286,1095],{"className":54287},[1094],[148,54289,54291],{"className":54290},[985],[148,54292,54294],{"className":54293,"style":15805},[989],[148,54295],{},[148,54297],{"className":54298,"style":835},[730],[148,54300,54302,54305],{"className":54301},[726],[148,54303,53335],{"className":54304,"style":53440},[726,1064],[148,54306,54308],{"className":54307},[977],[148,54309,54311,54334],{"className":54310},[981,1071],[148,54312,54314,54331],{"className":54313},[985],[148,54315,54317],{"className":54316,"style":6263},[989],[148,54318,54319,54322],{"style":53455},[148,54320],{"className":54321,"style":997},[996],[148,54323,54325],{"className":54324},[1001,1002,1003,1004],[148,54326,54328],{"className":54327},[726,1004],[148,54329,40606],{"className":54330,"style":15000},[726,1064,1004],[148,54332,1095],{"className":54333},[1094],[148,54335,54337],{"className":54336},[985],[148,54338,54340],{"className":54339,"style":15010},[989],[148,54341],{},[148,54343,54345,54348],{"className":54344},[726],[148,54346,52446],{"className":54347,"style":52492},[726,52491],[148,54349,54351],{"className":54350},[977],[148,54352,54354,54374],{"className":54353},[981,1071],[148,54355,54357,54371],{"className":54356},[985],[148,54358,54360],{"className":54359,"style":6263},[989],[148,54361,54362,54365],{"style":53068},[148,54363],{"className":54364,"style":997},[996],[148,54366,54368],{"className":54367},[1001,1002,1003,1004],[148,54369,14956],{"className":54370,"style":15000},[726,1064,1004],[148,54372,1095],{"className":54373},[1094],[148,54375,54377],{"className":54376},[985],[148,54378,54380],{"className":54379,"style":15010},[989],[148,54381],{},". Каждый токен таким образом «смотрит» на все остальные, причём степень внимания решается данными, а не правилами. Все скалярные произведения и взвешенные суммы вычисляются одной матричной операцией для всей последовательности — отсюда параллелизм.",[362,54384,364,54385,364,54389],{},[366,54386],{"src":54387,"alt":54388},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-09\u002Ftransformer_attention.svg","Механизм самовнимания: запросы, ключи, значения и матрица весов внимания",[370,54390,54391],{},"Самовнимание: для каждой пары токенов вычисляется вес, и новое представление каждого токена есть взвешенная сумма значений остальных",[85,54393,54394,54395,297,54398,54401],{},"Поскольку механизм внимания сам по себе симметричен относительно перестановок токенов (если перетасовать вход, перетасуется и выход в том же порядке), необходима явная подача информации о позиции. Решение — ",[294,54396,54397],{},"позиционное кодирование",[92,54399,54400],{},"positional encoding","): к векторному представлению каждого токена добавляется фиксированный или обучаемый вектор, зависящий от позиции. В оригинальной работе использовались синусоиды разной частоты; современные варианты — обучаемые или относительные (RoPE). Без позиционной информации трансформер «знал бы» только из каких слов состоит фраза, но не в каком порядке.",[85,54403,54404,54405,54408,54409,54412],{},"Полная архитектура трансформера состоит из стопок одинаковых блоков, каждый — слой самовнимания плюс позиционно-зависимый полносвязный слой, обвитые остаточными связями и нормализациями. В исходной работе блоки делились на два класса. ",[294,54406,54407],{},"Энкодер"," обрабатывает входную последовательность целиком, формируя её представление; внимание в нём двунаправленное — каждый токен видит и левый, и правый контекст. ",[294,54410,54411],{},"Декодер"," генерирует последовательность токен за токеном, причём внимание в нём маскированное: при генерации очередного токена модель видит только уже сгенерированные, что обеспечивает корректность авторегрессии. Энкодер и декодер связаны кросс-вниманием: декодер на каждом шаге обращается к выходу энкодера. Эта пара отлично подходит для машинного перевода, который и был исходной задачей.",[128,54414,54416],{"id":54415},"большие-языковые-модели-llm","Большие языковые модели (LLM)",[85,54418,54419,54420,297,54423,54426,54427,54434,54435,297,54438,54441],{},"Дальнейшая история — упрощение и масштабирование. Архитектурно оформились две ветви, использующие половинки исходного трансформера. ",[294,54421,54422],{},"BERT",[92,54424,54425],{},"Bidirectional Encoder Representations from Transformers",") Девлина и соавторов ",[140,54428,54430],{"className":54429},[143],[22,54431,54432],{"href":176},[148,54433,179],{}," — стопка энкодеров, обучаемая на двух задачах самообучения. Первая — ",[294,54436,54437],{},"маскированная языковая модель",[92,54439,54440],{},"masked language modeling, MLM","): из входного предложения случайно «занавешиваются» 15% токенов, и сеть учится их восстанавливать по двунаправленному контексту. Вторая — предсказание следующего предложения, помогающее модели понимать связь между фрагментами текста (последующие работы показали, что от неё можно отказаться без потерь). После предобучения на огромном корпусе BERT дообучается под конкретную задачу — классификацию, разметку, ответы на вопросы. Полученные представления оказались универсальнее предыдущих: один и тот же предобученный BERT через дообучение покрывает массу задач NLP, оставаясь сравнимо качественным.",[85,54443,54444,297,54447,54450,54451,54458,54459,54466,54467,297,54470,53013,54473,54476],{},[294,54445,54446],{},"GPT",[92,54448,54449],{},"Generative Pre-trained Transformer",") Радфорда и Брауна — стопка декодеров, обучаемая на классической задаче языкового моделирования: предсказание следующего токена по предыдущим. Внимание маскированное, направление одно — слева направо. На первый взгляд это шаг назад: BERT учитывает контекст с двух сторон, GPT — с одной. Но авторегрессивная постановка имеет одно ключевое преимущество — она напрямую порождает текст. С масштабированием это превратилось в основной актив: GPT-2 ",[140,54452,54454],{"className":54453},[143],[22,54455,54456],{"href":197},[148,54457,200],{}," и GPT-3 ",[140,54460,54462],{"className":54461},[143],[22,54463,54464],{"href":210},[148,54465,213],{}," показали, что при достаточном размере модели и корпуса языковая модель начинает работать как универсальный решатель задач. Не «обучи модель на классификации тональности», а «дай в подсказке несколько примеров — и она будет классифицировать». Этот режим — ",[294,54468,54469],{},"обучение в контексте",[92,54471,54472],{},"in-context learning",[294,54474,54475],{},"few-shot prompting"," — стал визитной карточкой больших языковых моделей.",[362,54478,364,54479,364,54483],{},[366,54480],{"src":54481,"alt":54482},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-09\u002Fbert_vs_gpt.svg","BERT и GPT: энкодер с маскированной языковой моделью против декодера с авторегрессией",[370,54484,54485],{},"Две архитектурные ветви: BERT обучается восстанавливать замаскированные токены по двустороннему контексту, GPT — предсказывать следующий токен авторегрессивно",[85,54487,54488,54489,297,54492,5554,54495,54498],{},"Масштабирование принесло качественно новые эффекты. Авторы работы об ",[294,54490,54491],{},"эмерджентных способностях",[92,54493,54494],{},"emergent abilities",[148,54496,54497],{},"@wei2022emergent"," показали, что ряд задач — арифметика в несколько шагов, программирование, выполнение инструкций — у моделей малого размера решается на уровне случайного угадывания, а после прохождения некоторого порога параметров и токенов обучения качество резко возрастает. Поведение разрывное, а не плавно растущее, что само по себе нетривиально. Стоит оговориться, что и сама эмерджентность позже была частично переинтерпретирована: на ряде задач разрыв исчезает при смене метрики на непрерывную, и тогда оказывается, что качество росло всё время, просто бинарная метрика не показывала прогресса до пересечения порога. То есть эмерджентность отчасти артефакт измерения, отчасти — реальный фазовый эффект; единого мнения пока нет.",[85,54500,54501,54502,297,54505,54508,54509,297,54512,54515,54516,54518],{},"В практическом плане работать с LLM можно тремя способами. Первый — ",[294,54503,54504],{},"дообучение",[92,54506,54507],{},"fine-tuning",") на собственных данных: модель получает несколько эпох обучения на размеченной выборке вашей задачи и адаптируется под неё. Второй — ",[294,54510,54511],{},"промпт-инжиниринг",[92,54513,54514],{},"prompt engineering","): без изменения весов модели тщательно подбирается формулировка запроса. Третий, промежуточный, — ",[294,54517,54469],{}," с несколькими примерами в промпте. У всех трёх подходов своя экономика: дообучение требует данных и вычислительных ресурсов, но даёт более стабильное качество; промптинг ничего не требует, но качество чувствительно к мелочам формулировки. С появлением методов параметрически-эффективного дообучения вроде LoRA граница между подходами размылась.",[362,54520,364,54521,364,54525],{},[366,54522],{"src":54523,"alt":54524},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-09\u002Fllm_fine_tuning_vs_prompting.svg","Базовая модель, fine-tuning и промптинг",[370,54526,54527],{},"Базовая модель и три способа её применения: дообучение под задачу, промптинг без изменения весов, обучение в контексте на нескольких примерах",[128,54529,54531],{"id":54530},"границы-и-ответственность","Границы и ответственность",[85,54533,54534,54535,297,54538,54541,54542,297,54545,54548],{},"Громкие демонстрации возможностей LLM не отменяют их ограничений, и обсуждать их без перекоса в сторону хайпа — обязанность учебного курса. Самое известное явление — ",[294,54536,54537],{},"галлюцинации",[92,54539,54540],{},"hallucinations","): модель уверенно генерирует фактически ложный текст, который грамматически и стилистически безупречен. Происходит это потому, что языковая модель предсказывает правдоподобные продолжения, а не истинные факты — она оптимизирована под распределение текста, а не под истинность. Никакого внутреннего механизма «знать, что знаешь, и не знать, что не знаешь» в чистом виде в архитектуре нет. Частично проблему смягчают подходы вроде ",[294,54543,54544],{},"поисково-усиленной генерации",[92,54546,54547],{},"retrieval-augmented generation","): модель сначала ищет релевантные документы в внешней базе, затем генерирует ответ, опираясь на них. Полностью устранить галлюцинации этим не удаётся.",[85,54550,54551,54552,54559,54560,297,54563,54566],{},"Бендер и соавторы в работе со звучным названием «о опасностях стохастических попугаев» ",[140,54553,54555],{"className":54554},[143],[22,54556,54557],{"href":223},[148,54558,226],{}," обобщили целый класс проблем больших языковых моделей. Корпус, на котором обучается модель, отражает структуру интернет-текстов: предвзятости, стереотипы, исторические перекосы попадают в обученные веса и воспроизводятся в выводе. Расовые и гендерные стереотипы в результатах — не баг отдельной модели, а свойство данных. Энергетическая стоимость обучения и углеродный след — отдельный вопрос. Авторские права на тренировочные данные — другой, и пока не разрешённый юридически. Возможность массового производства дезинформации, ",[294,54561,54562],{},"дипфейков",[92,54564,54565],{},"deepfakes",") и автоматизированной мошеннической переписки — практический вопрос национальной безопасности.",[85,54568,54569,54570,54573],{},"В индустрии сложился набор требований к ответственной разработке и применению ИИ, кратко обозначаемый аббревиатурой FAT — ",[294,54571,54572],{},"fairness, accountability, transparency"," — справедливость, подотчётность, прозрачность. Справедливость требует, чтобы модель не давала систематически худших результатов для конкретных групп людей; для этого нужно измерять качество по группам, а не только в среднем. Подотчётность означает, что у системы есть владелец, который отвечает за её решения; неконкретное «алгоритм решил» — плохой ответ перед регулятором или судом. Прозрачность подразумевает, что пользователь знает, с моделью какого класса он взаимодействует, на каких данных она обучена, какие у неё известные ограничения. С большими языковыми моделями полная прозрачность пока недостижима — внутренние представления слишком сложны для интерпретации, — но это нормативный ориентир, к которому стоит стремиться.",[85,54575,54576,54577,54580],{},"Отдельный сюжет — ",[294,54578,54579],{},"критическая оценка возможностей"," модели. На стандартных бенчмарках LLM проходят впечатляющий рост качества; на задачах, не похожих на тренировочный распределение, тот же рост может оказаться иллюзорным. Способность к рассуждению часто оказывается тонкой имитацией: при незаметных перестановках формулировок задачи качество может рассыпаться. Это не значит, что у моделей нет реальных возможностей — значит, что замерять их нужно осторожно, желательно на задачах, для которых модель явно не оптимизировалась.",[10,54582,560],{"id":559},[562,54584,54586,54589,54592,54595,54598,54601],{"className":54585},[565],[18,54587,54588],{"id":568},"Pennington J., Socher R., Manning C. D. GloVe: Global Vectors for Word Representation. — Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014, С. 1532–1543, DOI: 10.3115\u002Fv1\u002FD14-1162.",[18,54590,54591],{"id":572},"Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. Attention Is All You Need. — Advances in Neural Information Processing Systems (NeurIPS), 2017, https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762.",[18,54593,54594],{"id":576},"Devlin J., Chang M., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. — Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT), 2019, С. 4171–4186, DOI: 10.18653\u002Fv1\u002FN19-1423.",[18,54596,54597],{"id":580},"Radford A., Wu J., Child R., Luan D., Amodei D., Sutskever I. Language Models Are Unsupervised Multitask Learners. — 2019, https:\u002F\u002Fcdn.openai.com\u002Fbetter-language-models\u002Flanguage_models_are_unsupervised_multitask_learners.pdf.",[18,54599,54600],{"id":584},"Brown T. B., Mann B., Ryder N., Subbiah M., Kaplan J., Dhariwal P., Neelakantan A., Shyam P., Sastry G., Askell A., others. Language Models Are Few-Shot Learners. — Advances in Neural Information Processing Systems (NeurIPS), 2020, https:\u002F\u002Farxiv.org\u002Fabs\u002F2005.14165.",[18,54602,54603],{"id":588},"Bender E. M., Gebru T., McMillan-Major A., Shmitchell S. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. — Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT), 2021, С. 610–623, DOI: 10.1145\u002F3442188.3445922.",{"title":35,"searchDepth":36,"depth":36,"links":54605},[54606,54611,54614,54619],{"id":51689,"depth":36,"text":51690,"children":54607},[54608,54609,54610],{"id":51693,"depth":631,"text":51694},{"id":51721,"depth":631,"text":51722},{"id":51780,"depth":631,"text":51781},{"id":52382,"depth":36,"text":52383,"children":54612},[54613],{"id":52386,"depth":631,"text":52387},{"id":52657,"depth":36,"text":52658,"children":54615},[54616,54617,54618],{"id":52661,"depth":631,"text":52662},{"id":54415,"depth":631,"text":54416},{"id":54530,"depth":631,"text":54531},{"id":559,"depth":36,"text":560},"В теме 8 мы дошли до рекуррентных сетей и их ограничений: последовательная обработка плохо распараллеливается, а градиенты, проходящие через десятки шагов, затухают или взрываются. Естественный язык — самая капризная из подобных областей: одно предложение может зависеть от слова, упомянутого тремя абзацами выше, а согласование подлежащего и сказуемого требует одновременно учитывать локальный контекст и удалённые синтаксические связи. Обработка естественного языка (англ. Natural Language Processing, NLP) — целая инженерная и научная традиция, в которой сменилось несколько поколений методов. От частотных моделей и ручных правил мы прошли путь до больших языковых моделей, способных писать связный технический текст и решать школьные задачи по математике. В этой завершающей теме разберём логику этого пути: что давало каждое поколение методов, что вынуждало двигаться дальше и где у современных моделей проходит граница применимости.",{},"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-09-content",{"title":51674,"description":54620},"courses\u002Faidt-iot-mii\u002Ftopic-09-content","topic-09","Rx54mhh3jPzvakR_6AgsqfRi7W9uoRNXNCbVk3eyHzk",1779455410464]