[{"data":1,"prerenderedAt":12277},["ShallowReactive",2],{"topic:aidt-iot-mii:topic-05":3},{"content":4,"pz":12206,"lr":12206,"additional":12206,"courseMeta":12218},{"id":5,"title":6,"body":7,"course_slug":12205,"description":17,"env_label":12206,"env_url":12206,"extension":12207,"group":12206,"is_course_project":12208,"is_index":12208,"level":12206,"meta":12209,"navigation":12210,"path":12211,"section":12212,"seo":12213,"stem":12214,"topic_number":12215,"topic_slug":12216,"__hash__":12217},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-05-content.md","Тема 5. Регрессия",{"type":8,"value":9,"toc":12188},"minimark",[10,14,18,21,26,31,961,964,967,996,1059,1063,1067,2191,3430,4217,4230,4233,4310,4316,4325,4360,4532,4542,4546,4735,4878,4885,6137,7054,7619,7628,8135,8268,8388,8397,8428,8432,8436,8439,8933,9085,9474,9859,9868,11032,11182,11244,11333,11337,11347,11622,11817,11824,12064,12073,12138,12159,12162,12166],[11,12,6],"h1",{"id":13},"тема-5-регрессия",[15,16,17],"p",{},"В теме 4 мы разобрали задачу классификации — предсказание меток из конечного множества. Сейчас рассмотрим зеркальный по форме, но содержательно отличающийся класс задач: предсказание непрерывной величины. Регрессия — самый изученный раздел статистического обучения; именно с неё, исторически и педагогически, начинается обучение с учителем. На её материале удобно ввести понятия, которые в более сложных моделях остаются скрытыми за инженерным аппаратом: геометрию метода наименьших квадратов, смысл регуляризации, диагностику остатков.",[15,19,20],{},"Курс ориентирован на инженеров интернета вещей, и регрессия здесь — рабочий инструмент. Калибровка сенсоров, восстановление пропусков в телеметрии, оценка ресурса батареи, прогноз нагрузки на канал связи — все эти задачи в простейшей постановке сводятся к регрессии. Поэтому мы пройдём её не как абстрактную статистическую процедуру, а как способ получения практически полезных предсказаний, понимая ограничения и сценарии отказа.",[22,23,25],"h2",{"id":24},"задача-регрессии","Задача регрессии",[27,28,30],"h3",{"id":29},"постановка-задачи","Постановка задачи",[15,32,33,34,309,310,440,441,534,535,696,697,960],{},"В рамках регрессии задача обучения с учителем формулируется так. Имеется выборка ",[35,36,39,110],"span",{"className":37},[38],"katex",[35,40,43],{"className":41},[42],"katex-mathml",[44,45,47],"math",{"xmlns":46},"http:\u002F\u002Fwww.w3.org\u002F1998\u002FMath\u002FMathML",[48,49,50,105],"semantics",{},[51,52,53,58,61,71,75,82,85],"mrow",{},[54,55,57],"mo",{"stretchy":56},"false","{",[54,59,60],{"stretchy":56},"(",[62,63,64,68],"msub",{},[65,66,67],"mi",{},"x",[65,69,70],{},"i",[54,72,74],{"separator":73},"true",",",[62,76,77,80],{},[65,78,79],{},"y",[65,81,70],{},[54,83,84],{"stretchy":56},")",[86,87,88,91,102],"msubsup",{},[54,89,90],{"stretchy":56},"}",[51,92,93,95,98],{},[65,94,70],{},[54,96,97],{},"=",[99,100,101],"mn",{},"1",[65,103,104],{},"n",[106,107,109],"annotation",{"encoding":108},"application\u002Fx-tex","\\{(x_i, y_i)\\}_{i=1}^{n}",[35,111,114],{"className":112,"ariaHidden":73},[113],"katex-html",[35,115,118,123,128,186,190,195,237,241],{"className":116},[117],"base",[35,119],{"className":120,"style":122},[121],"strut","height:1.0087em;vertical-align:-0.2587em;",[35,124,127],{"className":125},[126],"mopen","{(",[35,129,132,136],{"className":130},[131],"mord",[35,133,67],{"className":134},[131,135],"mathnormal",[35,137,140],{"className":138},[139],"msupsub",[35,141,145,177],{"className":142},[143,144],"vlist-t","vlist-t2",[35,146,149,172],{"className":147},[148],"vlist-r",[35,150,154],{"className":151,"style":153},[152],"vlist","height:0.3117em;",[35,155,157,162],{"style":156},"top:-2.55em;margin-left:0em;margin-right:0.05em;",[35,158],{"className":159,"style":161},[160],"pstrut","height:2.7em;",[35,163,169],{"className":164},[165,166,167,168],"sizing","reset-size6","size3","mtight",[35,170,70],{"className":171},[131,135,168],[35,173,176],{"className":174},[175],"vlist-s","​",[35,178,180],{"className":179},[148],[35,181,184],{"className":182,"style":183},[152],"height:0.15em;",[35,185],{},[35,187,74],{"className":188},[189],"mpunct",[35,191],{"className":192,"style":194},[193],"mspace","margin-right:0.1667em;",[35,196,198,202],{"className":197},[131],[35,199,79],{"className":200,"style":201},[131,135],"margin-right:0.0359em;",[35,203,205],{"className":204},[139],[35,206,208,229],{"className":207},[143,144],[35,209,211,226],{"className":210},[148],[35,212,214],{"className":213,"style":153},[152],[35,215,217,220],{"style":216},"top:-2.55em;margin-left:-0.0359em;margin-right:0.05em;",[35,218],{"className":219,"style":161},[160],[35,221,223],{"className":222},[165,166,167,168],[35,224,70],{"className":225},[131,135,168],[35,227,176],{"className":228},[175],[35,230,232],{"className":231},[148],[35,233,235],{"className":234,"style":183},[152],[35,236],{},[35,238,84],{"className":239},[240],"mclose",[35,242,244,247],{"className":243},[240],[35,245,90],{"className":246},[240],[35,248,250],{"className":249},[139],[35,251,253,300],{"className":252},[143,144],[35,254,256,297],{"className":255},[148],[35,257,260,282],{"className":258,"style":259},[152],"height:0.6644em;",[35,261,263,266],{"style":262},"top:-2.4413em;margin-left:0em;margin-right:0.05em;",[35,264],{"className":265,"style":161},[160],[35,267,269],{"className":268},[165,166,167,168],[35,270,272,275,279],{"className":271},[131,168],[35,273,70],{"className":274},[131,135,168],[35,276,97],{"className":277},[278,168],"mrel",[35,280,101],{"className":281},[131,168],[35,283,285,288],{"style":284},"top:-3.063em;margin-right:0.05em;",[35,286],{"className":287,"style":161},[160],[35,289,291],{"className":290},[165,166,167,168],[35,292,294],{"className":293},[131,168],[35,295,104],{"className":296},[131,135,168],[35,298,176],{"className":299},[175],[35,301,303],{"className":302},[148],[35,304,307],{"className":305,"style":306},[152],"height:0.2587em;",[35,308],{},", где ",[35,311,313,343],{"className":312},[38],[35,314,316],{"className":315},[42],[44,317,318],{"xmlns":46},[48,319,320,340],{},[51,321,322,328,331],{},[62,323,324,326],{},[65,325,67],{},[65,327,70],{},[54,329,330],{},"∈",[332,333,334,338],"msup",{},[65,335,337],{"mathvariant":336},"double-struck","R",[65,339,15],{},[106,341,342],{"encoding":108},"x_i \\in \\mathbb{R}^p",[35,344,346,403],{"className":345,"ariaHidden":73},[113],[35,347,349,353,393,397,400],{"className":348},[117],[35,350],{"className":351,"style":352},[121],"height:0.6891em;vertical-align:-0.15em;",[35,354,356,359],{"className":355},[131],[35,357,67],{"className":358},[131,135],[35,360,362],{"className":361},[139],[35,363,365,385],{"className":364},[143,144],[35,366,368,382],{"className":367},[148],[35,369,371],{"className":370,"style":153},[152],[35,372,373,376],{"style":156},[35,374],{"className":375,"style":161},[160],[35,377,379],{"className":378},[165,166,167,168],[35,380,70],{"className":381},[131,135,168],[35,383,176],{"className":384},[175],[35,386,388],{"className":387},[148],[35,389,391],{"className":390,"style":183},[152],[35,392],{},[35,394],{"className":395,"style":396},[193],"margin-right:0.2778em;",[35,398,330],{"className":399},[278],[35,401],{"className":402,"style":396},[193],[35,404,406,410],{"className":405},[117],[35,407],{"className":408,"style":409},[121],"height:0.6889em;",[35,411,413,417],{"className":412},[131],[35,414,337],{"className":415},[131,416],"mathbb",[35,418,420],{"className":419},[139],[35,421,423],{"className":422},[143],[35,424,426],{"className":425},[148],[35,427,429],{"className":428,"style":259},[152],[35,430,431,434],{"style":284},[35,432],{"className":433,"style":161},[160],[35,435,437],{"className":436},[165,166,167,168],[35,438,15],{"className":439},[131,135,168]," — вектор признаков, а ",[35,442,444,466],{"className":443},[38],[35,445,447],{"className":446},[42],[44,448,449],{"xmlns":46},[48,450,451,463],{},[51,452,453,459,461],{},[62,454,455,457],{},[65,456,79],{},[65,458,70],{},[54,460,330],{},[65,462,337],{"mathvariant":336},[106,464,465],{"encoding":108},"y_i \\in \\mathbb{R}",[35,467,469,525],{"className":468,"ariaHidden":73},[113],[35,470,472,476,516,519,522],{"className":471},[117],[35,473],{"className":474,"style":475},[121],"height:0.7335em;vertical-align:-0.1944em;",[35,477,479,482],{"className":478},[131],[35,480,79],{"className":481,"style":201},[131,135],[35,483,485],{"className":484},[139],[35,486,488,508],{"className":487},[143,144],[35,489,491,505],{"className":490},[148],[35,492,494],{"className":493,"style":153},[152],[35,495,496,499],{"style":216},[35,497],{"className":498,"style":161},[160],[35,500,502],{"className":501},[165,166,167,168],[35,503,70],{"className":504},[131,135,168],[35,506,176],{"className":507},[175],[35,509,511],{"className":510},[148],[35,512,514],{"className":513,"style":183},[152],[35,515],{},[35,517],{"className":518,"style":396},[193],[35,520,330],{"className":521},[278],[35,523],{"className":524,"style":396},[193],[35,526,528,531],{"className":527},[117],[35,529],{"className":530,"style":409},[121],[35,532,337],{"className":533},[131,416]," — наблюдаемая непрерывная величина. Требуется построить функцию ",[35,536,538,573],{"className":537},[38],[35,539,541],{"className":540},[42],[44,542,543],{"xmlns":46},[48,544,545,570],{},[51,546,547,556,559,565,568],{},[548,549,550,553],"mover",{"accent":73},[65,551,552],{},"f",[54,554,555],{},"^",[54,557,558],{},":",[332,560,561,563],{},[65,562,337],{"mathvariant":336},[65,564,15],{},[54,566,567],{},"→",[65,569,337],{"mathvariant":336},[106,571,572],{"encoding":108},"\\hat{f}: \\mathbb{R}^p \\to \\mathbb{R}",[35,574,576,643,687],{"className":575,"ariaHidden":73},[113],[35,577,579,583,634,637,640],{"className":578},[117],[35,580],{"className":581,"style":582},[121],"height:1.1523em;vertical-align:-0.1944em;",[35,584,587],{"className":585},[131,586],"accent",[35,588,590,625],{"className":589},[143,144],[35,591,593,622],{"className":592},[148],[35,594,597,608],{"className":595,"style":596},[152],"height:0.9579em;",[35,598,600,604],{"style":599},"top:-3em;",[35,601],{"className":602,"style":603},[160],"height:3em;",[35,605,552],{"className":606,"style":607},[131,135],"margin-right:0.1076em;",[35,609,611,614],{"style":610},"top:-3.2634em;",[35,612],{"className":613,"style":603},[160],[35,615,619],{"className":616,"style":618},[617],"accent-body","left:-0.0833em;",[35,620,555],{"className":621},[131],[35,623,176],{"className":624},[175],[35,626,628],{"className":627},[148],[35,629,632],{"className":630,"style":631},[152],"height:0.1944em;",[35,633],{},[35,635],{"className":636,"style":396},[193],[35,638,558],{"className":639},[278],[35,641],{"className":642,"style":396},[193],[35,644,646,649,678,681,684],{"className":645},[117],[35,647],{"className":648,"style":409},[121],[35,650,652,655],{"className":651},[131],[35,653,337],{"className":654},[131,416],[35,656,658],{"className":657},[139],[35,659,661],{"className":660},[143],[35,662,664],{"className":663},[148],[35,665,667],{"className":666,"style":259},[152],[35,668,669,672],{"style":284},[35,670],{"className":671,"style":161},[160],[35,673,675],{"className":674},[165,166,167,168],[35,676,15],{"className":677},[131,135,168],[35,679],{"className":680,"style":396},[193],[35,682,567],{"className":683},[278],[35,685],{"className":686,"style":396},[193],[35,688,690,693],{"className":689},[117],[35,691],{"className":692,"style":409},[121],[35,694,337],{"className":695},[131,416],", минимизирующую ожидаемые потери на новых данных из того же распределения. Типичный выбор функции потерь — квадратичная ",[35,698,700,763],{"className":699},[38],[35,701,703],{"className":702},[42],[44,704,705],{"xmlns":46},[48,706,707,760],{},[51,708,709,712,714,716,718,724,726,728,730,732,734,736,738,741,747,749,751,753],{},[65,710,711],{},"L",[54,713,60],{"stretchy":56},[65,715,79],{},[54,717,74],{"separator":73},[548,719,720,722],{"accent":73},[65,721,552],{},[54,723,555],{},[54,725,60],{"stretchy":56},[65,727,67],{},[54,729,84],{"stretchy":56},[54,731,84],{"stretchy":56},[54,733,97],{},[54,735,60],{"stretchy":56},[65,737,79],{},[54,739,740],{},"−",[548,742,743,745],{"accent":73},[65,744,552],{},[54,746,555],{},[54,748,60],{"stretchy":56},[65,750,67],{},[54,752,84],{"stretchy":56},[332,754,755,757],{},[54,756,84],{"stretchy":56},[99,758,759],{},"2",[106,761,762],{"encoding":108},"L(y, \\hat{f}(x)) = (y - \\hat{f}(x))^2",[35,764,766,849,873],{"className":765,"ariaHidden":73},[113],[35,767,769,773,776,779,782,785,788,830,833,836,840,843,846],{"className":768},[117],[35,770],{"className":771,"style":772},[121],"height:1.2079em;vertical-align:-0.25em;",[35,774,711],{"className":775},[131,135],[35,777,60],{"className":778},[126],[35,780,79],{"className":781,"style":201},[131,135],[35,783,74],{"className":784},[189],[35,786],{"className":787,"style":194},[193],[35,789,791],{"className":790},[131,586],[35,792,794,822],{"className":793},[143,144],[35,795,797,819],{"className":796},[148],[35,798,800,808],{"className":799,"style":596},[152],[35,801,802,805],{"style":599},[35,803],{"className":804,"style":603},[160],[35,806,552],{"className":807,"style":607},[131,135],[35,809,810,813],{"style":610},[35,811],{"className":812,"style":603},[160],[35,814,816],{"className":815,"style":618},[617],[35,817,555],{"className":818},[131],[35,820,176],{"className":821},[175],[35,823,825],{"className":824},[148],[35,826,828],{"className":827,"style":631},[152],[35,829],{},[35,831,60],{"className":832},[126],[35,834,67],{"className":835},[131,135],[35,837,839],{"className":838},[240],"))",[35,841],{"className":842,"style":396},[193],[35,844,97],{"className":845},[278],[35,847],{"className":848,"style":396},[193],[35,850,852,856,859,862,866,870],{"className":851},[117],[35,853],{"className":854,"style":855},[121],"height:1em;vertical-align:-0.25em;",[35,857,60],{"className":858},[126],[35,860,79],{"className":861,"style":201},[131,135],[35,863],{"className":864,"style":865},[193],"margin-right:0.2222em;",[35,867,740],{"className":868},[869],"mbin",[35,871],{"className":872,"style":865},[193],[35,874,876,879,921,924,927,930],{"className":875},[117],[35,877],{"className":878,"style":772},[121],[35,880,882],{"className":881},[131,586],[35,883,885,913],{"className":884},[143,144],[35,886,888,910],{"className":887},[148],[35,889,891,899],{"className":890,"style":596},[152],[35,892,893,896],{"style":599},[35,894],{"className":895,"style":603},[160],[35,897,552],{"className":898,"style":607},[131,135],[35,900,901,904],{"style":610},[35,902],{"className":903,"style":603},[160],[35,905,907],{"className":906,"style":618},[617],[35,908,555],{"className":909},[131],[35,911,176],{"className":912},[175],[35,914,916],{"className":915},[148],[35,917,919],{"className":918,"style":631},[152],[35,920],{},[35,922,60],{"className":923},[126],[35,925,67],{"className":926},[131,135],[35,928,84],{"className":929},[240],[35,931,933,936],{"className":932},[240],[35,934,84],{"className":935},[240],[35,937,939],{"className":938},[139],[35,940,942],{"className":941},[143],[35,943,945],{"className":944},[148],[35,946,949],{"className":947,"style":948},[152],"height:0.8141em;",[35,950,951,954],{"style":284},[35,952],{"className":953,"style":161},[160],[35,955,957],{"className":956},[165,166,167,168],[35,958,759],{"className":959},[131,168],", чему мы посвятим основное внимание; альтернативы (абсолютная, Хьюбера) рассмотрим в разделе про метрики.",[15,962,963],{},"Принципиальное отличие от классификации лежит не в алгоритмическом аппарате, а в характере выходного пространства. Метка класса дискретна: между «спам» и «не спам» нет промежуточных значений, и ошибка либо есть, либо нет. Непрерывная переменная упорядочена и метризована: предсказание 102 при истинной 100 — на порядок лучше, чем 200, и именно эта градация ошибки структурирует всю задачу. Отсюда естественность квадратичной потери: она наказывает большие отклонения сильнее малых, что согласуется с практическим восприятием качества прогноза.",[15,965,966],{},"Часто из этой же постановки выводят и второе отличие: в классификации мы оцениваем дискретное событие, а в регрессии — числовую величину, у которой есть единицы измерения. Это влечёт прозаическое, но важное практическое следствие: метрика качества имеет тот же физический смысл, что и предсказываемая величина. Ошибка модели по температуре измеряется в градусах, по цене — в рублях, по току потребления — в миллиамперах. Возможность интерпретировать значение метрики напрямую — большое преимущество регрессии перед классификацией, где «accuracy 0.93» сама по себе ни о чём не говорит без контекста.",[15,968,969,970,974,975,979,980,983,984,987,988,991,992,995],{},"Прикладных задач регрессии, релевантных для интернета вещей и встраиваемых систем, немало. ",[971,972,973],"strong",{},"Калибровка датчика"," (англ. ",[976,977,978],"em",{},"sensor calibration","): по сырым показаниям АЦП и температуре окружающей среды восстановить истинное физическое значение измеряемой величины — давления, концентрации газа, силы тока. ",[971,981,982],{},"Восстановление пропусков"," в потоке телеметрии: если соседние пакеты пришли, а текущий потерян, по контексту оценивается пропущенное значение. ",[971,985,986],{},"Прогноз срока службы"," литий-ионной батареи: по истории циклов заряда-разряда, температуре эксплуатации и текущему сопротивлению предсказать остаточную ёмкость. ",[971,989,990],{},"Прогноз энергопотребления"," узла на следующий час по графику активности и расписанию задач. ",[971,993,994],{},"Оценка ослабления сигнала"," в канале радиосвязи как функция расстояния, рельефа и плотности застройки — классическая задача планирования покрытия.",[15,997,998,999,1028,1029,1058],{},"Не всякая численная зависимость — задача регрессии в обсуждаемом смысле. Если связь между ",[35,1000,1002,1015],{"className":1001},[38],[35,1003,1005],{"className":1004},[42],[44,1006,1007],{"xmlns":46},[48,1008,1009,1013],{},[51,1010,1011],{},[65,1012,67],{},[106,1014,67],{"encoding":108},[35,1016,1018],{"className":1017,"ariaHidden":73},[113],[35,1019,1021,1025],{"className":1020},[117],[35,1022],{"className":1023,"style":1024},[121],"height:0.4306em;",[35,1026,67],{"className":1027},[131,135]," и ",[35,1030,1032,1045],{"className":1031},[38],[35,1033,1035],{"className":1034},[42],[44,1036,1037],{"xmlns":46},[48,1038,1039,1043],{},[51,1040,1041],{},[65,1042,79],{},[106,1044,79],{"encoding":108},[35,1046,1048],{"className":1047,"ariaHidden":73},[113],[35,1049,1051,1055],{"className":1050},[117],[35,1052],{"className":1053,"style":1054},[121],"height:0.625em;vertical-align:-0.1944em;",[35,1056,79],{"className":1057,"style":201},[131,135]," выводится из физического закона аналитически (например, из формулы Стокса для оседающей частицы), модель строить не нужно — нужно подставить значения. Регрессия становится осмысленной, когда зависимость либо неизвестна, либо настолько сложна, что эмпирическая аппроксимация по данным дешевле и точнее, чем явная физическая модель.",[22,1060,1062],{"id":1061},"методы-регрессии","Методы регрессии",[27,1064,1066],{"id":1065},"линейная-регрессия","Линейная регрессия",[15,1068,1069,1070,1712,1713,1783,1784,1987,1988,2016,2017,2089,2090,2118,2119,2190],{},"Простейшая, и при этом самая полезная как точка отсчёта, модель регрессии — линейная. Положим\n",[35,1071,1073,1178],{"className":1072},[38],[35,1074,1076],{"className":1075},[42],[44,1077,1078],{"xmlns":46},[48,1079,1080,1175],{},[51,1081,1082,1088,1090,1092,1094,1096,1104,1107,1113,1119,1121,1127,1133,1135,1138,1140,1146,1152,1154,1160,1162,1170,1172],{},[548,1083,1084,1086],{"accent":73},[65,1085,552],{},[54,1087,555],{},[54,1089,60],{"stretchy":56},[65,1091,67],{},[54,1093,84],{"stretchy":56},[54,1095,97],{},[62,1097,1098,1101],{},[65,1099,1100],{},"β",[99,1102,1103],{},"0",[54,1105,1106],{},"+",[62,1108,1109,1111],{},[65,1110,1100],{},[99,1112,101],{},[62,1114,1115,1117],{},[65,1116,67],{},[99,1118,101],{},[54,1120,1106],{},[62,1122,1123,1125],{},[65,1124,1100],{},[99,1126,759],{},[62,1128,1129,1131],{},[65,1130,67],{},[99,1132,759],{},[54,1134,1106],{},[54,1136,1137],{},"…",[54,1139,1106],{},[62,1141,1142,1144],{},[65,1143,1100],{},[65,1145,15],{},[62,1147,1148,1150],{},[65,1149,67],{},[65,1151,15],{},[54,1153,97],{},[62,1155,1156,1158],{},[65,1157,1100],{},[99,1159,1103],{},[54,1161,1106],{},[332,1163,1164,1166],{},[65,1165,67],{},[65,1167,1169],{"mathvariant":1168},"normal","⊤",[65,1171,1100],{},[65,1173,1174],{"mathvariant":1168},".",[106,1176,1177],{"encoding":108},"\\hat{f}(x) = \\beta_0 + \\beta_1 x_1 + \\beta_2 x_2 + \\ldots + \\beta_p x_p = \\beta_0 + x^\\top \\beta.",[35,1179,1181,1247,1306,1401,1496,1516,1614,1669],{"className":1180,"ariaHidden":73},[113],[35,1182,1184,1187,1229,1232,1235,1238,1241,1244],{"className":1183},[117],[35,1185],{"className":1186,"style":772},[121],[35,1188,1190],{"className":1189},[131,586],[35,1191,1193,1221],{"className":1192},[143,144],[35,1194,1196,1218],{"className":1195},[148],[35,1197,1199,1207],{"className":1198,"style":596},[152],[35,1200,1201,1204],{"style":599},[35,1202],{"className":1203,"style":603},[160],[35,1205,552],{"className":1206,"style":607},[131,135],[35,1208,1209,1212],{"style":610},[35,1210],{"className":1211,"style":603},[160],[35,1213,1215],{"className":1214,"style":618},[617],[35,1216,555],{"className":1217},[131],[35,1219,176],{"className":1220},[175],[35,1222,1224],{"className":1223},[148],[35,1225,1227],{"className":1226,"style":631},[152],[35,1228],{},[35,1230,60],{"className":1231},[126],[35,1233,67],{"className":1234},[131,135],[35,1236,84],{"className":1237},[240],[35,1239],{"className":1240,"style":396},[193],[35,1242,97],{"className":1243},[278],[35,1245],{"className":1246,"style":396},[193],[35,1248,1250,1254,1297,1300,1303],{"className":1249},[117],[35,1251],{"className":1252,"style":1253},[121],"height:0.8889em;vertical-align:-0.1944em;",[35,1255,1257,1261],{"className":1256},[131],[35,1258,1100],{"className":1259,"style":1260},[131,135],"margin-right:0.0528em;",[35,1262,1264],{"className":1263},[139],[35,1265,1267,1289],{"className":1266},[143,144],[35,1268,1270,1286],{"className":1269},[148],[35,1271,1274],{"className":1272,"style":1273},[152],"height:0.3011em;",[35,1275,1277,1280],{"style":1276},"top:-2.55em;margin-left:-0.0528em;margin-right:0.05em;",[35,1278],{"className":1279,"style":161},[160],[35,1281,1283],{"className":1282},[165,166,167,168],[35,1284,1103],{"className":1285},[131,168],[35,1287,176],{"className":1288},[175],[35,1290,1292],{"className":1291},[148],[35,1293,1295],{"className":1294,"style":183},[152],[35,1296],{},[35,1298],{"className":1299,"style":865},[193],[35,1301,1106],{"className":1302},[869],[35,1304],{"className":1305,"style":865},[193],[35,1307,1309,1312,1352,1392,1395,1398],{"className":1308},[117],[35,1310],{"className":1311,"style":1253},[121],[35,1313,1315,1318],{"className":1314},[131],[35,1316,1100],{"className":1317,"style":1260},[131,135],[35,1319,1321],{"className":1320},[139],[35,1322,1324,1344],{"className":1323},[143,144],[35,1325,1327,1341],{"className":1326},[148],[35,1328,1330],{"className":1329,"style":1273},[152],[35,1331,1332,1335],{"style":1276},[35,1333],{"className":1334,"style":161},[160],[35,1336,1338],{"className":1337},[165,166,167,168],[35,1339,101],{"className":1340},[131,168],[35,1342,176],{"className":1343},[175],[35,1345,1347],{"className":1346},[148],[35,1348,1350],{"className":1349,"style":183},[152],[35,1351],{},[35,1353,1355,1358],{"className":1354},[131],[35,1356,67],{"className":1357},[131,135],[35,1359,1361],{"className":1360},[139],[35,1362,1364,1384],{"className":1363},[143,144],[35,1365,1367,1381],{"className":1366},[148],[35,1368,1370],{"className":1369,"style":1273},[152],[35,1371,1372,1375],{"style":156},[35,1373],{"className":1374,"style":161},[160],[35,1376,1378],{"className":1377},[165,166,167,168],[35,1379,101],{"className":1380},[131,168],[35,1382,176],{"className":1383},[175],[35,1385,1387],{"className":1386},[148],[35,1388,1390],{"className":1389,"style":183},[152],[35,1391],{},[35,1393],{"className":1394,"style":865},[193],[35,1396,1106],{"className":1397},[869],[35,1399],{"className":1400,"style":865},[193],[35,1402,1404,1407,1447,1487,1490,1493],{"className":1403},[117],[35,1405],{"className":1406,"style":1253},[121],[35,1408,1410,1413],{"className":1409},[131],[35,1411,1100],{"className":1412,"style":1260},[131,135],[35,1414,1416],{"className":1415},[139],[35,1417,1419,1439],{"className":1418},[143,144],[35,1420,1422,1436],{"className":1421},[148],[35,1423,1425],{"className":1424,"style":1273},[152],[35,1426,1427,1430],{"style":1276},[35,1428],{"className":1429,"style":161},[160],[35,1431,1433],{"className":1432},[165,166,167,168],[35,1434,759],{"className":1435},[131,168],[35,1437,176],{"className":1438},[175],[35,1440,1442],{"className":1441},[148],[35,1443,1445],{"className":1444,"style":183},[152],[35,1446],{},[35,1448,1450,1453],{"className":1449},[131],[35,1451,67],{"className":1452},[131,135],[35,1454,1456],{"className":1455},[139],[35,1457,1459,1479],{"className":1458},[143,144],[35,1460,1462,1476],{"className":1461},[148],[35,1463,1465],{"className":1464,"style":1273},[152],[35,1466,1467,1470],{"style":156},[35,1468],{"className":1469,"style":161},[160],[35,1471,1473],{"className":1472},[165,166,167,168],[35,1474,759],{"className":1475},[131,168],[35,1477,176],{"className":1478},[175],[35,1480,1482],{"className":1481},[148],[35,1483,1485],{"className":1484,"style":183},[152],[35,1486],{},[35,1488],{"className":1489,"style":865},[193],[35,1491,1106],{"className":1492},[869],[35,1494],{"className":1495,"style":865},[193],[35,1497,1499,1503,1507,1510,1513],{"className":1498},[117],[35,1500],{"className":1501,"style":1502},[121],"height:0.6667em;vertical-align:-0.0833em;",[35,1504,1137],{"className":1505},[1506],"minner",[35,1508],{"className":1509,"style":865},[193],[35,1511,1106],{"className":1512},[869],[35,1514],{"className":1515,"style":865},[193],[35,1517,1519,1523,1565,1605,1608,1611],{"className":1518},[117],[35,1520],{"className":1521,"style":1522},[121],"height:0.9805em;vertical-align:-0.2861em;",[35,1524,1526,1529],{"className":1525},[131],[35,1527,1100],{"className":1528,"style":1260},[131,135],[35,1530,1532],{"className":1531},[139],[35,1533,1535,1556],{"className":1534},[143,144],[35,1536,1538,1553],{"className":1537},[148],[35,1539,1542],{"className":1540,"style":1541},[152],"height:0.1514em;",[35,1543,1544,1547],{"style":1276},[35,1545],{"className":1546,"style":161},[160],[35,1548,1550],{"className":1549},[165,166,167,168],[35,1551,15],{"className":1552},[131,135,168],[35,1554,176],{"className":1555},[175],[35,1557,1559],{"className":1558},[148],[35,1560,1563],{"className":1561,"style":1562},[152],"height:0.2861em;",[35,1564],{},[35,1566,1568,1571],{"className":1567},[131],[35,1569,67],{"className":1570},[131,135],[35,1572,1574],{"className":1573},[139],[35,1575,1577,1597],{"className":1576},[143,144],[35,1578,1580,1594],{"className":1579},[148],[35,1581,1583],{"className":1582,"style":1541},[152],[35,1584,1585,1588],{"style":156},[35,1586],{"className":1587,"style":161},[160],[35,1589,1591],{"className":1590},[165,166,167,168],[35,1592,15],{"className":1593},[131,135,168],[35,1595,176],{"className":1596},[175],[35,1598,1600],{"className":1599},[148],[35,1601,1603],{"className":1602,"style":1562},[152],[35,1604],{},[35,1606],{"className":1607,"style":396},[193],[35,1609,97],{"className":1610},[278],[35,1612],{"className":1613,"style":396},[193],[35,1615,1617,1620,1660,1663,1666],{"className":1616},[117],[35,1618],{"className":1619,"style":1253},[121],[35,1621,1623,1626],{"className":1622},[131],[35,1624,1100],{"className":1625,"style":1260},[131,135],[35,1627,1629],{"className":1628},[139],[35,1630,1632,1652],{"className":1631},[143,144],[35,1633,1635,1649],{"className":1634},[148],[35,1636,1638],{"className":1637,"style":1273},[152],[35,1639,1640,1643],{"style":1276},[35,1641],{"className":1642,"style":161},[160],[35,1644,1646],{"className":1645},[165,166,167,168],[35,1647,1103],{"className":1648},[131,168],[35,1650,176],{"className":1651},[175],[35,1653,1655],{"className":1654},[148],[35,1656,1658],{"className":1657,"style":183},[152],[35,1659],{},[35,1661],{"className":1662,"style":865},[193],[35,1664,1106],{"className":1665},[869],[35,1667],{"className":1668,"style":865},[193],[35,1670,1672,1676,1706,1709],{"className":1671},[117],[35,1673],{"className":1674,"style":1675},[121],"height:1.0435em;vertical-align:-0.1944em;",[35,1677,1679,1682],{"className":1678},[131],[35,1680,67],{"className":1681},[131,135],[35,1683,1685],{"className":1684},[139],[35,1686,1688],{"className":1687},[143],[35,1689,1691],{"className":1690},[148],[35,1692,1695],{"className":1693,"style":1694},[152],"height:0.8491em;",[35,1696,1697,1700],{"style":284},[35,1698],{"className":1699,"style":161},[160],[35,1701,1703],{"className":1702},[165,166,167,168],[35,1704,1169],{"className":1705},[131,168],[35,1707,1100],{"className":1708,"style":1260},[131,135],[35,1710,1174],{"className":1711},[131],"\nПараметрами модели служат свободный член ",[35,1714,1716,1734],{"className":1715},[38],[35,1717,1719],{"className":1718},[42],[44,1720,1721],{"xmlns":46},[48,1722,1723,1731],{},[51,1724,1725],{},[62,1726,1727,1729],{},[65,1728,1100],{},[99,1730,1103],{},[106,1732,1733],{"encoding":108},"\\beta_0",[35,1735,1737],{"className":1736,"ariaHidden":73},[113],[35,1738,1740,1743],{"className":1739},[117],[35,1741],{"className":1742,"style":1253},[121],[35,1744,1746,1749],{"className":1745},[131],[35,1747,1100],{"className":1748,"style":1260},[131,135],[35,1750,1752],{"className":1751},[139],[35,1753,1755,1775],{"className":1754},[143,144],[35,1756,1758,1772],{"className":1757},[148],[35,1759,1761],{"className":1760,"style":1273},[152],[35,1762,1763,1766],{"style":1276},[35,1764],{"className":1765,"style":161},[160],[35,1767,1769],{"className":1768},[165,166,167,168],[35,1770,1103],{"className":1771},[131,168],[35,1773,176],{"className":1774},[175],[35,1776,1778],{"className":1777},[148],[35,1779,1781],{"className":1780,"style":183},[152],[35,1782],{}," и вектор коэффициентов ",[35,1785,1787,1829],{"className":1786},[38],[35,1788,1790],{"className":1789},[42],[44,1791,1792],{"xmlns":46},[48,1793,1794,1826],{},[51,1795,1796,1798,1800,1802,1808,1810,1812,1814,1820],{},[65,1797,1100],{},[54,1799,97],{},[54,1801,60],{"stretchy":56},[62,1803,1804,1806],{},[65,1805,1100],{},[99,1807,101],{},[54,1809,74],{"separator":73},[54,1811,1137],{},[54,1813,74],{"separator":73},[62,1815,1816,1818],{},[65,1817,1100],{},[65,1819,15],{},[332,1821,1822,1824],{},[54,1823,84],{"stretchy":56},[65,1825,1169],{"mathvariant":1168},[106,1827,1828],{"encoding":108},"\\beta = (\\beta_1, \\ldots, \\beta_p)^\\top",[35,1830,1832,1850],{"className":1831,"ariaHidden":73},[113],[35,1833,1835,1838,1841,1844,1847],{"className":1834},[117],[35,1836],{"className":1837,"style":1253},[121],[35,1839,1100],{"className":1840,"style":1260},[131,135],[35,1842],{"className":1843,"style":396},[193],[35,1845,97],{"className":1846},[278],[35,1848],{"className":1849,"style":396},[193],[35,1851,1853,1857,1860,1900,1903,1906,1909,1912,1915,1918,1958],{"className":1852},[117],[35,1854],{"className":1855,"style":1856},[121],"height:1.1352em;vertical-align:-0.2861em;",[35,1858,60],{"className":1859},[126],[35,1861,1863,1866],{"className":1862},[131],[35,1864,1100],{"className":1865,"style":1260},[131,135],[35,1867,1869],{"className":1868},[139],[35,1870,1872,1892],{"className":1871},[143,144],[35,1873,1875,1889],{"className":1874},[148],[35,1876,1878],{"className":1877,"style":1273},[152],[35,1879,1880,1883],{"style":1276},[35,1881],{"className":1882,"style":161},[160],[35,1884,1886],{"className":1885},[165,166,167,168],[35,1887,101],{"className":1888},[131,168],[35,1890,176],{"className":1891},[175],[35,1893,1895],{"className":1894},[148],[35,1896,1898],{"className":1897,"style":183},[152],[35,1899],{},[35,1901,74],{"className":1902},[189],[35,1904],{"className":1905,"style":194},[193],[35,1907,1137],{"className":1908},[1506],[35,1910],{"className":1911,"style":194},[193],[35,1913,74],{"className":1914},[189],[35,1916],{"className":1917,"style":194},[193],[35,1919,1921,1924],{"className":1920},[131],[35,1922,1100],{"className":1923,"style":1260},[131,135],[35,1925,1927],{"className":1926},[139],[35,1928,1930,1950],{"className":1929},[143,144],[35,1931,1933,1947],{"className":1932},[148],[35,1934,1936],{"className":1935,"style":1541},[152],[35,1937,1938,1941],{"style":1276},[35,1939],{"className":1940,"style":161},[160],[35,1942,1944],{"className":1943},[165,166,167,168],[35,1945,15],{"className":1946},[131,135,168],[35,1948,176],{"className":1949},[175],[35,1951,1953],{"className":1952},[148],[35,1954,1956],{"className":1955,"style":1562},[152],[35,1957],{},[35,1959,1961,1964],{"className":1960},[240],[35,1962,84],{"className":1963},[240],[35,1965,1967],{"className":1966},[139],[35,1968,1970],{"className":1969},[143],[35,1971,1973],{"className":1972},[148],[35,1974,1976],{"className":1975,"style":1694},[152],[35,1977,1978,1981],{"style":284},[35,1979],{"className":1980,"style":161},[160],[35,1982,1984],{"className":1983},[165,166,167,168],[35,1985,1169],{"className":1986},[131,168],". Модель утверждает, что ожидаемое значение ",[35,1989,1991,2004],{"className":1990},[38],[35,1992,1994],{"className":1993},[42],[44,1995,1996],{"xmlns":46},[48,1997,1998,2002],{},[51,1999,2000],{},[65,2001,79],{},[106,2003,79],{"encoding":108},[35,2005,2007],{"className":2006,"ariaHidden":73},[113],[35,2008,2010,2013],{"className":2009},[117],[35,2011],{"className":2012,"style":1054},[121],[35,2014,79],{"className":2015,"style":201},[131,135]," при фиксированных значениях признаков складывается из вкладов каждого признака, взятых с собственными весами. Эта структура — линейная комбинация — настолько проста, что коэффициенты допускают прямую интерпретацию: ",[35,2018,2020,2039],{"className":2019},[38],[35,2021,2023],{"className":2022},[42],[44,2024,2025],{"xmlns":46},[48,2026,2027,2036],{},[51,2028,2029],{},[62,2030,2031,2033],{},[65,2032,1100],{},[65,2034,2035],{},"j",[106,2037,2038],{"encoding":108},"\\beta_j",[35,2040,2042],{"className":2041,"ariaHidden":73},[113],[35,2043,2045,2048],{"className":2044},[117],[35,2046],{"className":2047,"style":1522},[121],[35,2049,2051,2054],{"className":2050},[131],[35,2052,1100],{"className":2053,"style":1260},[131,135],[35,2055,2057],{"className":2056},[139],[35,2058,2060,2081],{"className":2059},[143,144],[35,2061,2063,2078],{"className":2062},[148],[35,2064,2066],{"className":2065,"style":153},[152],[35,2067,2068,2071],{"style":1276},[35,2069],{"className":2070,"style":161},[160],[35,2072,2074],{"className":2073},[165,166,167,168],[35,2075,2035],{"className":2076,"style":2077},[131,135,168],"margin-right:0.0572em;",[35,2079,176],{"className":2080},[175],[35,2082,2084],{"className":2083},[148],[35,2085,2087],{"className":2086,"style":1562},[152],[35,2088],{}," показывает, на сколько в среднем изменится ",[35,2091,2093,2106],{"className":2092},[38],[35,2094,2096],{"className":2095},[42],[44,2097,2098],{"xmlns":46},[48,2099,2100,2104],{},[51,2101,2102],{},[65,2103,79],{},[106,2105,79],{"encoding":108},[35,2107,2109],{"className":2108,"ariaHidden":73},[113],[35,2110,2112,2115],{"className":2111},[117],[35,2113],{"className":2114,"style":1054},[121],[35,2116,79],{"className":2117,"style":201},[131,135]," при единичном изменении ",[35,2120,2122,2140],{"className":2121},[38],[35,2123,2125],{"className":2124},[42],[44,2126,2127],{"xmlns":46},[48,2128,2129,2137],{},[51,2130,2131],{},[62,2132,2133,2135],{},[65,2134,67],{},[65,2136,2035],{},[106,2138,2139],{"encoding":108},"x_j",[35,2141,2143],{"className":2142,"ariaHidden":73},[113],[35,2144,2146,2150],{"className":2145},[117],[35,2147],{"className":2148,"style":2149},[121],"height:0.7167em;vertical-align:-0.2861em;",[35,2151,2153,2156],{"className":2152},[131],[35,2154,67],{"className":2155},[131,135],[35,2157,2159],{"className":2158},[139],[35,2160,2162,2182],{"className":2161},[143,144],[35,2163,2165,2179],{"className":2164},[148],[35,2166,2168],{"className":2167,"style":153},[152],[35,2169,2170,2173],{"style":156},[35,2171],{"className":2172,"style":161},[160],[35,2174,2176],{"className":2175},[165,166,167,168],[35,2177,2035],{"className":2178,"style":2077},[131,135,168],[35,2180,176],{"className":2181},[175],[35,2183,2185],{"className":2184},[148],[35,2186,2188],{"className":2187,"style":1562},[152],[35,2189],{}," при неизменных остальных признаках.",[15,2192,2193,2194,974,2197,2200,2201,2607,2608,2729,2730,2811,2812,2937,2938,2967,2968,2971,2972,3098,3099,3163,3164,3390,3391,3395,3396,3399,3400,3429],{},"Подбор коэффициентов осуществляется ",[971,2195,2196],{},"методом наименьших квадратов",[976,2198,2199],{},"ordinary least squares, OLS","): минимизируется сумма квадратов отклонений предсказаний от наблюдений\n",[35,2202,2204,2286],{"className":2203},[38],[35,2205,2207],{"className":2206},[42],[44,2208,2209],{"xmlns":46},[48,2210,2211,2283],{},[51,2212,2213,2222,2224,2226,2228,2230,2245,2281],{},[51,2214,2215,2217,2220],{},[65,2216,337],{"mathvariant":1168},[65,2218,2219],{"mathvariant":1168},"S",[65,2221,2219],{"mathvariant":1168},[54,2223,60],{"stretchy":56},[65,2225,1100],{},[54,2227,84],{"stretchy":56},[54,2229,97],{},[86,2231,2232,2235,2243],{},[54,2233,2234],{},"∑",[51,2236,2237,2239,2241],{},[65,2238,70],{},[54,2240,97],{},[99,2242,101],{},[65,2244,104],{},[332,2246,2247,2279],{},[51,2248,2249,2251,2257,2259,2265,2267,2275,2277],{},[54,2250,60],{"fence":73},[62,2252,2253,2255],{},[65,2254,79],{},[65,2256,70],{},[54,2258,740],{},[62,2260,2261,2263],{},[65,2262,1100],{},[99,2264,1103],{},[54,2266,740],{},[86,2268,2269,2271,2273],{},[65,2270,67],{},[65,2272,70],{},[65,2274,1169],{"mathvariant":1168},[65,2276,1100],{},[54,2278,84],{"fence":73},[99,2280,759],{},[65,2282,1174],{"mathvariant":1168},[106,2284,2285],{"encoding":108},"\\mathrm{RSS}(\\beta) = \\sum_{i=1}^{n} \\left(y_i - \\beta_0 - x_i^\\top \\beta\\right)^2.",[35,2287,2289,2321],{"className":2288,"ariaHidden":73},[113],[35,2290,2292,2295,2303,2306,2309,2312,2315,2318],{"className":2291},[117],[35,2293],{"className":2294,"style":855},[121],[35,2296,2298],{"className":2297},[131],[35,2299,2302],{"className":2300},[131,2301],"mathrm","RSS",[35,2304,60],{"className":2305},[126],[35,2307,1100],{"className":2308,"style":1260},[131,135],[35,2310,84],{"className":2311},[240],[35,2313],{"className":2314,"style":396},[193],[35,2316,97],{"className":2317},[278],[35,2319],{"className":2320,"style":396},[193],[35,2322,2324,2328,2399,2402,2601,2604],{"className":2323},[117],[35,2325],{"className":2326,"style":2327},[121],"height:1.404em;vertical-align:-0.35em;",[35,2329,2332,2338],{"className":2330},[2331],"mop",[35,2333,2234],{"className":2334,"style":2337},[2331,2335,2336],"op-symbol","small-op","position:relative;top:0em;",[35,2339,2341],{"className":2340},[139],[35,2342,2344,2390],{"className":2343},[143,144],[35,2345,2347,2387],{"className":2346},[148],[35,2348,2351,2372],{"className":2349,"style":2350},[152],"height:0.8043em;",[35,2352,2354,2357],{"style":2353},"top:-2.4003em;margin-left:0em;margin-right:0.05em;",[35,2355],{"className":2356,"style":161},[160],[35,2358,2360],{"className":2359},[165,166,167,168],[35,2361,2363,2366,2369],{"className":2362},[131,168],[35,2364,70],{"className":2365},[131,135,168],[35,2367,97],{"className":2368},[278,168],[35,2370,101],{"className":2371},[131,168],[35,2373,2375,2378],{"style":2374},"top:-3.2029em;margin-right:0.05em;",[35,2376],{"className":2377,"style":161},[160],[35,2379,2381],{"className":2380},[165,166,167,168],[35,2382,2384],{"className":2383},[131,168],[35,2385,104],{"className":2386},[131,135,168],[35,2388,176],{"className":2389},[175],[35,2391,2393],{"className":2392},[148],[35,2394,2397],{"className":2395,"style":2396},[152],"height:0.2997em;",[35,2398],{},[35,2400],{"className":2401,"style":194},[193],[35,2403,2405,2576],{"className":2404},[1506],[35,2406,2408,2418,2458,2461,2464,2467,2507,2510,2513,2516,2567,2570],{"className":2407},[1506],[35,2409,2413],{"className":2410,"style":2412},[126,2411],"delimcenter","top:0em;",[35,2414,60],{"className":2415},[2416,2417],"delimsizing","size1",[35,2419,2421,2424],{"className":2420},[131],[35,2422,79],{"className":2423,"style":201},[131,135],[35,2425,2427],{"className":2426},[139],[35,2428,2430,2450],{"className":2429},[143,144],[35,2431,2433,2447],{"className":2432},[148],[35,2434,2436],{"className":2435,"style":153},[152],[35,2437,2438,2441],{"style":216},[35,2439],{"className":2440,"style":161},[160],[35,2442,2444],{"className":2443},[165,166,167,168],[35,2445,70],{"className":2446},[131,135,168],[35,2448,176],{"className":2449},[175],[35,2451,2453],{"className":2452},[148],[35,2454,2456],{"className":2455,"style":183},[152],[35,2457],{},[35,2459],{"className":2460,"style":865},[193],[35,2462,740],{"className":2463},[869],[35,2465],{"className":2466,"style":865},[193],[35,2468,2470,2473],{"className":2469},[131],[35,2471,1100],{"className":2472,"style":1260},[131,135],[35,2474,2476],{"className":2475},[139],[35,2477,2479,2499],{"className":2478},[143,144],[35,2480,2482,2496],{"className":2481},[148],[35,2483,2485],{"className":2484,"style":1273},[152],[35,2486,2487,2490],{"style":1276},[35,2488],{"className":2489,"style":161},[160],[35,2491,2493],{"className":2492},[165,166,167,168],[35,2494,1103],{"className":2495},[131,168],[35,2497,176],{"className":2498},[175],[35,2500,2502],{"className":2501},[148],[35,2503,2505],{"className":2504,"style":183},[152],[35,2506],{},[35,2508],{"className":2509,"style":865},[193],[35,2511,740],{"className":2512},[869],[35,2514],{"className":2515,"style":865},[193],[35,2517,2519,2522],{"className":2518},[131],[35,2520,67],{"className":2521},[131,135],[35,2523,2525],{"className":2524},[139],[35,2526,2528,2559],{"className":2527},[143,144],[35,2529,2531,2556],{"className":2530},[148],[35,2532,2534,2545],{"className":2533,"style":1694},[152],[35,2535,2536,2539],{"style":262},[35,2537],{"className":2538,"style":161},[160],[35,2540,2542],{"className":2541},[165,166,167,168],[35,2543,70],{"className":2544},[131,135,168],[35,2546,2547,2550],{"style":284},[35,2548],{"className":2549,"style":161},[160],[35,2551,2553],{"className":2552},[165,166,167,168],[35,2554,1169],{"className":2555},[131,168],[35,2557,176],{"className":2558},[175],[35,2560,2562],{"className":2561},[148],[35,2563,2565],{"className":2564,"style":306},[152],[35,2566],{},[35,2568,1100],{"className":2569,"style":1260},[131,135],[35,2571,2573],{"className":2572,"style":2412},[240,2411],[35,2574,84],{"className":2575},[2416,2417],[35,2577,2579],{"className":2578},[139],[35,2580,2582],{"className":2581},[143],[35,2583,2585],{"className":2584},[148],[35,2586,2589],{"className":2587,"style":2588},[152],"height:1.054em;",[35,2590,2592,2595],{"style":2591},"top:-3.3029em;margin-right:0.05em;",[35,2593],{"className":2594,"style":161},[160],[35,2596,2598],{"className":2597},[165,166,167,168],[35,2599,759],{"className":2600},[131,168],[35,2602],{"className":2603,"style":194},[193],[35,2605,1174],{"className":2606},[131],"\nЕсли ввести расширенную матрицу признаков ",[35,2609,2611,2649],{"className":2610},[38],[35,2612,2614],{"className":2613},[42],[44,2615,2616],{"xmlns":46},[48,2617,2618,2646],{},[51,2619,2620,2623,2625],{},[65,2621,2622],{},"X",[54,2624,330],{},[332,2626,2627,2629],{},[65,2628,337],{"mathvariant":336},[51,2630,2631,2633,2636,2638,2640,2642,2644],{},[65,2632,104],{},[54,2634,2635],{},"×",[54,2637,60],{"stretchy":56},[65,2639,15],{},[54,2641,1106],{},[99,2643,101],{},[54,2645,84],{"stretchy":56},[106,2647,2648],{"encoding":108},"X \\in \\mathbb{R}^{n \\times (p+1)}",[35,2650,2652,2672],{"className":2651,"ariaHidden":73},[113],[35,2653,2655,2659,2663,2666,2669],{"className":2654},[117],[35,2656],{"className":2657,"style":2658},[121],"height:0.7224em;vertical-align:-0.0391em;",[35,2660,2622],{"className":2661,"style":2662},[131,135],"margin-right:0.0785em;",[35,2664],{"className":2665,"style":396},[193],[35,2667,330],{"className":2668},[278],[35,2670],{"className":2671,"style":396},[193],[35,2673,2675,2679],{"className":2674},[117],[35,2676],{"className":2677,"style":2678},[121],"height:0.888em;",[35,2680,2682,2685],{"className":2681},[131],[35,2683,337],{"className":2684},[131,416],[35,2686,2688],{"className":2687},[139],[35,2689,2691],{"className":2690},[143],[35,2692,2694],{"className":2693},[148],[35,2695,2697],{"className":2696,"style":2678},[152],[35,2698,2699,2702],{"style":284},[35,2700],{"className":2701,"style":161},[160],[35,2703,2705],{"className":2704},[165,166,167,168],[35,2706,2708,2711,2714,2717,2720,2723,2726],{"className":2707},[131,168],[35,2709,104],{"className":2710},[131,135,168],[35,2712,2635],{"className":2713},[869,168],[35,2715,60],{"className":2716},[126,168],[35,2718,15],{"className":2719},[131,135,168],[35,2721,1106],{"className":2722},[869,168],[35,2724,101],{"className":2725},[131,168],[35,2727,84],{"className":2728},[240,168],", в первом столбце которой стоят единицы (для свободного члена), и вектор откликов ",[35,2731,2733,2755],{"className":2732},[38],[35,2734,2736],{"className":2735},[42],[44,2737,2738],{"xmlns":46},[48,2739,2740,2752],{},[51,2741,2742,2744,2746],{},[65,2743,79],{},[54,2745,330],{},[332,2747,2748,2750],{},[65,2749,337],{"mathvariant":336},[65,2751,104],{},[106,2753,2754],{"encoding":108},"y \\in \\mathbb{R}^n",[35,2756,2758,2776],{"className":2757,"ariaHidden":73},[113],[35,2759,2761,2764,2767,2770,2773],{"className":2760},[117],[35,2762],{"className":2763,"style":475},[121],[35,2765,79],{"className":2766,"style":201},[131,135],[35,2768],{"className":2769,"style":396},[193],[35,2771,330],{"className":2772},[278],[35,2774],{"className":2775,"style":396},[193],[35,2777,2779,2782],{"className":2778},[117],[35,2780],{"className":2781,"style":409},[121],[35,2783,2785,2788],{"className":2784},[131],[35,2786,337],{"className":2787},[131,416],[35,2789,2791],{"className":2790},[139],[35,2792,2794],{"className":2793},[143],[35,2795,2797],{"className":2796},[148],[35,2798,2800],{"className":2799,"style":259},[152],[35,2801,2802,2805],{"style":284},[35,2803],{"className":2804,"style":161},[160],[35,2806,2808],{"className":2807},[165,166,167,168],[35,2809,104],{"className":2810},[131,135,168],", задача принимает компактный вид ",[35,2813,2815,2852],{"className":2814},[38],[35,2816,2818],{"className":2817},[42],[44,2819,2820],{"xmlns":46},[48,2821,2822,2849],{},[51,2823,2824,2827,2829,2831,2833,2835,2841,2843,2846],{},[65,2825,2826],{"mathvariant":1168},"∥",[65,2828,79],{},[54,2830,740],{},[65,2832,2622],{},[65,2834,1100],{},[332,2836,2837,2839],{},[65,2838,2826],{"mathvariant":1168},[99,2840,759],{},[54,2842,567],{},[65,2844,2845],{},"min",[54,2847,2848],{},"⁡",[106,2850,2851],{"encoding":108},"\\|y - X\\beta\\|^2 \\to \\min",[35,2853,2855,2876,2927],{"className":2854,"ariaHidden":73},[113],[35,2856,2858,2861,2864,2867,2870,2873],{"className":2857},[117],[35,2859],{"className":2860,"style":855},[121],[35,2862,2826],{"className":2863},[131],[35,2865,79],{"className":2866,"style":201},[131,135],[35,2868],{"className":2869,"style":865},[193],[35,2871,740],{"className":2872},[869],[35,2874],{"className":2875,"style":865},[193],[35,2877,2879,2883,2886,2889,2918,2921,2924],{"className":2878},[117],[35,2880],{"className":2881,"style":2882},[121],"height:1.0641em;vertical-align:-0.25em;",[35,2884,2622],{"className":2885,"style":2662},[131,135],[35,2887,1100],{"className":2888,"style":1260},[131,135],[35,2890,2892,2895],{"className":2891},[131],[35,2893,2826],{"className":2894},[131],[35,2896,2898],{"className":2897},[139],[35,2899,2901],{"className":2900},[143],[35,2902,2904],{"className":2903},[148],[35,2905,2907],{"className":2906,"style":948},[152],[35,2908,2909,2912],{"style":284},[35,2910],{"className":2911,"style":161},[160],[35,2913,2915],{"className":2914},[165,166,167,168],[35,2916,759],{"className":2917},[131,168],[35,2919],{"className":2920,"style":396},[193],[35,2922,567],{"className":2923},[278],[35,2925],{"className":2926,"style":396},[193],[35,2928,2930,2934],{"className":2929},[117],[35,2931],{"className":2932,"style":2933},[121],"height:0.6679em;",[35,2935,2845],{"className":2936},[2331],". Дифференцируя по ",[35,2939,2941,2955],{"className":2940},[38],[35,2942,2944],{"className":2943},[42],[44,2945,2946],{"xmlns":46},[48,2947,2948,2952],{},[51,2949,2950],{},[65,2951,1100],{},[106,2953,2954],{"encoding":108},"\\beta",[35,2956,2958],{"className":2957,"ariaHidden":73},[113],[35,2959,2961,2964],{"className":2960},[117],[35,2962],{"className":2963,"style":1253},[121],[35,2965,1100],{"className":2966,"style":1260},[131,135]," и приравнивая нулю, получаем ",[971,2969,2970],{},"нормальные уравнения"," ",[35,2973,2975,3007],{"className":2974},[38],[35,2976,2978],{"className":2977},[42],[44,2979,2980],{"xmlns":46},[48,2981,2982,3004],{},[51,2983,2984,2990,2992,2994,2996,3002],{},[332,2985,2986,2988],{},[65,2987,2622],{},[65,2989,1169],{"mathvariant":1168},[65,2991,2622],{},[65,2993,1100],{},[54,2995,97],{},[332,2997,2998,3000],{},[65,2999,2622],{},[65,3001,1169],{"mathvariant":1168},[65,3003,79],{},[106,3005,3006],{"encoding":108},"X^\\top X \\beta = X^\\top y",[35,3008,3010,3060],{"className":3009,"ariaHidden":73},[113],[35,3011,3013,3016,3045,3048,3051,3054,3057],{"className":3012},[117],[35,3014],{"className":3015,"style":1675},[121],[35,3017,3019,3022],{"className":3018},[131],[35,3020,2622],{"className":3021,"style":2662},[131,135],[35,3023,3025],{"className":3024},[139],[35,3026,3028],{"className":3027},[143],[35,3029,3031],{"className":3030},[148],[35,3032,3034],{"className":3033,"style":1694},[152],[35,3035,3036,3039],{"style":284},[35,3037],{"className":3038,"style":161},[160],[35,3040,3042],{"className":3041},[165,166,167,168],[35,3043,1169],{"className":3044},[131,168],[35,3046,2622],{"className":3047,"style":2662},[131,135],[35,3049,1100],{"className":3050,"style":1260},[131,135],[35,3052],{"className":3053,"style":396},[193],[35,3055,97],{"className":3056},[278],[35,3058],{"className":3059,"style":396},[193],[35,3061,3063,3066,3095],{"className":3062},[117],[35,3064],{"className":3065,"style":1675},[121],[35,3067,3069,3072],{"className":3068},[131],[35,3070,2622],{"className":3071,"style":2662},[131,135],[35,3073,3075],{"className":3074},[139],[35,3076,3078],{"className":3077},[143],[35,3079,3081],{"className":3080},[148],[35,3082,3084],{"className":3083,"style":1694},[152],[35,3085,3086,3089],{"style":284},[35,3087],{"className":3088,"style":161},[160],[35,3090,3092],{"className":3091},[165,166,167,168],[35,3093,1169],{"className":3094},[131,168],[35,3096,79],{"className":3097,"style":201},[131,135],", а при невырожденности ",[35,3100,3102,3122],{"className":3101},[38],[35,3103,3105],{"className":3104},[42],[44,3106,3107],{"xmlns":46},[48,3108,3109,3119],{},[51,3110,3111,3117],{},[332,3112,3113,3115],{},[65,3114,2622],{},[65,3116,1169],{"mathvariant":1168},[65,3118,2622],{},[106,3120,3121],{"encoding":108},"X^\\top X",[35,3123,3125],{"className":3124,"ariaHidden":73},[113],[35,3126,3128,3131,3160],{"className":3127},[117],[35,3129],{"className":3130,"style":1694},[121],[35,3132,3134,3137],{"className":3133},[131],[35,3135,2622],{"className":3136,"style":2662},[131,135],[35,3138,3140],{"className":3139},[139],[35,3141,3143],{"className":3142},[143],[35,3144,3146],{"className":3145},[148],[35,3147,3149],{"className":3148,"style":1694},[152],[35,3150,3151,3154],{"style":284},[35,3152],{"className":3153,"style":161},[160],[35,3155,3157],{"className":3156},[165,166,167,168],[35,3158,1169],{"className":3159},[131,168],[35,3161,2622],{"className":3162,"style":2662},[131,135]," — замкнутую формулу\n",[35,3165,3167,3217],{"className":3166},[38],[35,3168,3170],{"className":3169},[42],[44,3171,3172],{"xmlns":46},[48,3173,3174,3214],{},[51,3175,3176,3182,3184,3186,3192,3194,3204,3210,3212],{},[548,3177,3178,3180],{"accent":73},[65,3179,1100],{},[54,3181,555],{},[54,3183,97],{},[54,3185,60],{"stretchy":56},[332,3187,3188,3190],{},[65,3189,2622],{},[65,3191,1169],{"mathvariant":1168},[65,3193,2622],{},[332,3195,3196,3198],{},[54,3197,84],{"stretchy":56},[51,3199,3200,3202],{},[54,3201,740],{},[99,3203,101],{},[332,3205,3206,3208],{},[65,3207,2622],{},[65,3209,1169],{"mathvariant":1168},[65,3211,79],{},[65,3213,1174],{"mathvariant":1168},[106,3215,3216],{"encoding":108},"\\hat{\\beta} = (X^\\top X)^{-1} X^\\top y.",[35,3218,3220,3278],{"className":3219,"ariaHidden":73},[113],[35,3221,3223,3226,3269,3272,3275],{"className":3222},[117],[35,3224],{"className":3225,"style":582},[121],[35,3227,3229],{"className":3228},[131,586],[35,3230,3232,3261],{"className":3231},[143,144],[35,3233,3235,3258],{"className":3234},[148],[35,3236,3238,3246],{"className":3237,"style":596},[152],[35,3239,3240,3243],{"style":599},[35,3241],{"className":3242,"style":603},[160],[35,3244,1100],{"className":3245,"style":1260},[131,135],[35,3247,3248,3251],{"style":610},[35,3249],{"className":3250,"style":603},[160],[35,3252,3255],{"className":3253,"style":3254},[617],"left:-0.1667em;",[35,3256,555],{"className":3257},[131],[35,3259,176],{"className":3260},[175],[35,3262,3264],{"className":3263},[148],[35,3265,3267],{"className":3266,"style":631},[152],[35,3268],{},[35,3270],{"className":3271,"style":396},[193],[35,3273,97],{"className":3274},[278],[35,3276],{"className":3277,"style":396},[193],[35,3279,3281,3285,3288,3317,3320,3355,3384,3387],{"className":3280},[117],[35,3282],{"className":3283,"style":3284},[121],"height:1.0991em;vertical-align:-0.25em;",[35,3286,60],{"className":3287},[126],[35,3289,3291,3294],{"className":3290},[131],[35,3292,2622],{"className":3293,"style":2662},[131,135],[35,3295,3297],{"className":3296},[139],[35,3298,3300],{"className":3299},[143],[35,3301,3303],{"className":3302},[148],[35,3304,3306],{"className":3305,"style":1694},[152],[35,3307,3308,3311],{"style":284},[35,3309],{"className":3310,"style":161},[160],[35,3312,3314],{"className":3313},[165,166,167,168],[35,3315,1169],{"className":3316},[131,168],[35,3318,2622],{"className":3319,"style":2662},[131,135],[35,3321,3323,3326],{"className":3322},[240],[35,3324,84],{"className":3325},[240],[35,3327,3329],{"className":3328},[139],[35,3330,3332],{"className":3331},[143],[35,3333,3335],{"className":3334},[148],[35,3336,3338],{"className":3337,"style":948},[152],[35,3339,3340,3343],{"style":284},[35,3341],{"className":3342,"style":161},[160],[35,3344,3346],{"className":3345},[165,166,167,168],[35,3347,3349,3352],{"className":3348},[131,168],[35,3350,740],{"className":3351},[131,168],[35,3353,101],{"className":3354},[131,168],[35,3356,3358,3361],{"className":3357},[131],[35,3359,2622],{"className":3360,"style":2662},[131,135],[35,3362,3364],{"className":3363},[139],[35,3365,3367],{"className":3366},[143],[35,3368,3370],{"className":3369},[148],[35,3371,3373],{"className":3372,"style":1694},[152],[35,3374,3375,3378],{"style":284},[35,3376],{"className":3377,"style":161},[160],[35,3379,3381],{"className":3380},[165,166,167,168],[35,3382,1169],{"className":3383},[131,168],[35,3385,79],{"className":3386,"style":201},[131,135],[35,3388,1174],{"className":3389},[131],"\nСуществование явного решения отличает OLS от подавляющего большинства методов машинного обучения, где параметры подбираются итеративно. Это не означает, что в реальных библиотеках формула применяется напрямую: численно устойчивые реализации (в ",[3392,3393,3394],"code",{},"scikit-learn",", ",[3392,3397,3398],{},"statsmodels",") опираются на QR- или SVD-разложение матрицы ",[35,3401,3403,3416],{"className":3402},[38],[35,3404,3406],{"className":3405},[42],[44,3407,3408],{"xmlns":46},[48,3409,3410,3414],{},[51,3411,3412],{},[65,3413,2622],{},[106,3415,2622],{"encoding":108},[35,3417,3419],{"className":3418,"ariaHidden":73},[113],[35,3420,3422,3426],{"className":3421},[117],[35,3423],{"className":3424,"style":3425},[121],"height:0.6833em;",[35,3427,2622],{"className":3428,"style":2662},[131,135],", что позволяет избежать обращения возможно плохо обусловленной матрицы.",[15,3431,3432,3433,3461,3462,3521,3522,3550,3551,3695,3696,3724,3725,3844,3845,3873,3874,4081,4082,4216],{},"Геометрическая интерпретация даёт ещё один взгляд на ту же задачу. Столбцы матрицы ",[35,3434,3436,3449],{"className":3435},[38],[35,3437,3439],{"className":3438},[42],[44,3440,3441],{"xmlns":46},[48,3442,3443,3447],{},[51,3444,3445],{},[65,3446,2622],{},[106,3448,2622],{"encoding":108},[35,3450,3452],{"className":3451,"ariaHidden":73},[113],[35,3453,3455,3458],{"className":3454},[117],[35,3456],{"className":3457,"style":3425},[121],[35,3459,2622],{"className":3460,"style":2662},[131,135]," порождают подпространство в ",[35,3463,3465,3483],{"className":3464},[38],[35,3466,3468],{"className":3467},[42],[44,3469,3470],{"xmlns":46},[48,3471,3472,3480],{},[51,3473,3474],{},[332,3475,3476,3478],{},[65,3477,337],{"mathvariant":336},[65,3479,104],{},[106,3481,3482],{"encoding":108},"\\mathbb{R}^n",[35,3484,3486],{"className":3485,"ariaHidden":73},[113],[35,3487,3489,3492],{"className":3488},[117],[35,3490],{"className":3491,"style":409},[121],[35,3493,3495,3498],{"className":3494},[131],[35,3496,337],{"className":3497},[131,416],[35,3499,3501],{"className":3500},[139],[35,3502,3504],{"className":3503},[143],[35,3505,3507],{"className":3506},[148],[35,3508,3510],{"className":3509,"style":259},[152],[35,3511,3512,3515],{"style":284},[35,3513],{"className":3514,"style":161},[160],[35,3516,3518],{"className":3517},[165,166,167,168],[35,3519,104],{"className":3520},[131,135,168]," — линейные комбинации признаков. Метод наименьших квадратов проецирует вектор откликов ",[35,3523,3525,3538],{"className":3524},[38],[35,3526,3528],{"className":3527},[42],[44,3529,3530],{"xmlns":46},[48,3531,3532,3536],{},[51,3533,3534],{},[65,3535,79],{},[106,3537,79],{"encoding":108},[35,3539,3541],{"className":3540,"ariaHidden":73},[113],[35,3542,3544,3547],{"className":3543},[117],[35,3545],{"className":3546,"style":1054},[121],[35,3548,79],{"className":3549,"style":201},[131,135]," на это подпространство; предсказание ",[35,3552,3554,3582],{"className":3553},[38],[35,3555,3557],{"className":3556},[42],[44,3558,3559],{"xmlns":46},[48,3560,3561,3579],{},[51,3562,3563,3569,3571,3573],{},[548,3564,3565,3567],{"accent":73},[65,3566,79],{},[54,3568,555],{},[54,3570,97],{},[65,3572,2622],{},[548,3574,3575,3577],{"accent":73},[65,3576,1100],{},[54,3578,555],{},[106,3580,3581],{"encoding":108},"\\hat{y} = X\\hat{\\beta}",[35,3583,3585,3644],{"className":3584,"ariaHidden":73},[113],[35,3586,3588,3591,3635,3638,3641],{"className":3587},[117],[35,3589],{"className":3590,"style":1253},[121],[35,3592,3594],{"className":3593},[131,586],[35,3595,3597,3627],{"className":3596},[143,144],[35,3598,3600,3624],{"className":3599},[148],[35,3601,3604,3612],{"className":3602,"style":3603},[152],"height:0.6944em;",[35,3605,3606,3609],{"style":599},[35,3607],{"className":3608,"style":603},[160],[35,3610,79],{"className":3611,"style":201},[131,135],[35,3613,3614,3617],{"style":599},[35,3615],{"className":3616,"style":603},[160],[35,3618,3621],{"className":3619,"style":3620},[617],"left:-0.1944em;",[35,3622,555],{"className":3623},[131],[35,3625,176],{"className":3626},[175],[35,3628,3630],{"className":3629},[148],[35,3631,3633],{"className":3632,"style":631},[152],[35,3634],{},[35,3636],{"className":3637,"style":396},[193],[35,3639,97],{"className":3640},[278],[35,3642],{"className":3643,"style":396},[193],[35,3645,3647,3650,3653],{"className":3646},[117],[35,3648],{"className":3649,"style":582},[121],[35,3651,2622],{"className":3652,"style":2662},[131,135],[35,3654,3656],{"className":3655},[131,586],[35,3657,3659,3687],{"className":3658},[143,144],[35,3660,3662,3684],{"className":3661},[148],[35,3663,3665,3673],{"className":3664,"style":596},[152],[35,3666,3667,3670],{"style":599},[35,3668],{"className":3669,"style":603},[160],[35,3671,1100],{"className":3672,"style":1260},[131,135],[35,3674,3675,3678],{"style":610},[35,3676],{"className":3677,"style":603},[160],[35,3679,3681],{"className":3680,"style":3254},[617],[35,3682,555],{"className":3683},[131],[35,3685,176],{"className":3686},[175],[35,3688,3690],{"className":3689},[148],[35,3691,3693],{"className":3692,"style":631},[152],[35,3694],{}," — ближайшая к ",[35,3697,3699,3712],{"className":3698},[38],[35,3700,3702],{"className":3701},[42],[44,3703,3704],{"xmlns":46},[48,3705,3706,3710],{},[51,3707,3708],{},[65,3709,79],{},[106,3711,79],{"encoding":108},[35,3713,3715],{"className":3714,"ariaHidden":73},[113],[35,3716,3718,3721],{"className":3717},[117],[35,3719],{"className":3720,"style":1054},[121],[35,3722,79],{"className":3723,"style":201},[131,135]," точка подпространства в евклидовой метрике, а вектор остатков ",[35,3726,3728,3755],{"className":3727},[38],[35,3729,3731],{"className":3730},[42],[44,3732,3733],{"xmlns":46},[48,3734,3735,3752],{},[51,3736,3737,3740,3742,3744,3746],{},[65,3738,3739],{},"r",[54,3741,97],{},[65,3743,79],{},[54,3745,740],{},[548,3747,3748,3750],{"accent":73},[65,3749,79],{},[54,3751,555],{},[106,3753,3754],{"encoding":108},"r = y - \\hat{y}",[35,3756,3758,3777,3796],{"className":3757,"ariaHidden":73},[113],[35,3759,3761,3764,3768,3771,3774],{"className":3760},[117],[35,3762],{"className":3763,"style":1024},[121],[35,3765,3739],{"className":3766,"style":3767},[131,135],"margin-right:0.0278em;",[35,3769],{"className":3770,"style":396},[193],[35,3772,97],{"className":3773},[278],[35,3775],{"className":3776,"style":396},[193],[35,3778,3780,3784,3787,3790,3793],{"className":3779},[117],[35,3781],{"className":3782,"style":3783},[121],"height:0.7778em;vertical-align:-0.1944em;",[35,3785,79],{"className":3786,"style":201},[131,135],[35,3788],{"className":3789,"style":865},[193],[35,3791,740],{"className":3792},[869],[35,3794],{"className":3795,"style":865},[193],[35,3797,3799,3802],{"className":3798},[117],[35,3800],{"className":3801,"style":1253},[121],[35,3803,3805],{"className":3804},[131,586],[35,3806,3808,3836],{"className":3807},[143,144],[35,3809,3811,3833],{"className":3810},[148],[35,3812,3814,3822],{"className":3813,"style":3603},[152],[35,3815,3816,3819],{"style":599},[35,3817],{"className":3818,"style":603},[160],[35,3820,79],{"className":3821,"style":201},[131,135],[35,3823,3824,3827],{"style":599},[35,3825],{"className":3826,"style":603},[160],[35,3828,3830],{"className":3829,"style":3620},[617],[35,3831,555],{"className":3832},[131],[35,3834,176],{"className":3835},[175],[35,3837,3839],{"className":3838},[148],[35,3840,3842],{"className":3841,"style":631},[152],[35,3843],{}," ортогонален всем столбцам ",[35,3846,3848,3861],{"className":3847},[38],[35,3849,3851],{"className":3850},[42],[44,3852,3853],{"xmlns":46},[48,3854,3855,3859],{},[51,3856,3857],{},[65,3858,2622],{},[106,3860,2622],{"encoding":108},[35,3862,3864],{"className":3863,"ariaHidden":73},[113],[35,3865,3867,3870],{"className":3866},[117],[35,3868],{"className":3869,"style":3425},[121],[35,3871,2622],{"className":3872,"style":2662},[131,135],". В пространстве признаков (другая, более привычная картина) гиперплоскость ",[35,3875,3877,3919],{"className":3876},[38],[35,3878,3880],{"className":3879},[42],[44,3881,3882],{"xmlns":46},[48,3883,3884,3916],{},[51,3885,3886,3892,3894,3896,3898,3900,3906,3908,3914],{},[548,3887,3888,3890],{"accent":73},[65,3889,552],{},[54,3891,555],{},[54,3893,60],{"stretchy":56},[65,3895,67],{},[54,3897,84],{"stretchy":56},[54,3899,97],{},[62,3901,3902,3904],{},[65,3903,1100],{},[99,3905,1103],{},[54,3907,1106],{},[332,3909,3910,3912],{},[65,3911,67],{},[65,3913,1169],{"mathvariant":1168},[65,3915,1100],{},[106,3917,3918],{"encoding":108},"\\hat{f}(x) = \\beta_0 + x^\\top \\beta",[35,3920,3922,3988,4043],{"className":3921,"ariaHidden":73},[113],[35,3923,3925,3928,3970,3973,3976,3979,3982,3985],{"className":3924},[117],[35,3926],{"className":3927,"style":772},[121],[35,3929,3931],{"className":3930},[131,586],[35,3932,3934,3962],{"className":3933},[143,144],[35,3935,3937,3959],{"className":3936},[148],[35,3938,3940,3948],{"className":3939,"style":596},[152],[35,3941,3942,3945],{"style":599},[35,3943],{"className":3944,"style":603},[160],[35,3946,552],{"className":3947,"style":607},[131,135],[35,3949,3950,3953],{"style":610},[35,3951],{"className":3952,"style":603},[160],[35,3954,3956],{"className":3955,"style":618},[617],[35,3957,555],{"className":3958},[131],[35,3960,176],{"className":3961},[175],[35,3963,3965],{"className":3964},[148],[35,3966,3968],{"className":3967,"style":631},[152],[35,3969],{},[35,3971,60],{"className":3972},[126],[35,3974,67],{"className":3975},[131,135],[35,3977,84],{"className":3978},[240],[35,3980],{"className":3981,"style":396},[193],[35,3983,97],{"className":3984},[278],[35,3986],{"className":3987,"style":396},[193],[35,3989,3991,3994,4034,4037,4040],{"className":3990},[117],[35,3992],{"className":3993,"style":1253},[121],[35,3995,3997,4000],{"className":3996},[131],[35,3998,1100],{"className":3999,"style":1260},[131,135],[35,4001,4003],{"className":4002},[139],[35,4004,4006,4026],{"className":4005},[143,144],[35,4007,4009,4023],{"className":4008},[148],[35,4010,4012],{"className":4011,"style":1273},[152],[35,4013,4014,4017],{"style":1276},[35,4015],{"className":4016,"style":161},[160],[35,4018,4020],{"className":4019},[165,166,167,168],[35,4021,1103],{"className":4022},[131,168],[35,4024,176],{"className":4025},[175],[35,4027,4029],{"className":4028},[148],[35,4030,4032],{"className":4031,"style":183},[152],[35,4033],{},[35,4035],{"className":4036,"style":865},[193],[35,4038,1106],{"className":4039},[869],[35,4041],{"className":4042,"style":865},[193],[35,4044,4046,4049,4078],{"className":4045},[117],[35,4047],{"className":4048,"style":1675},[121],[35,4050,4052,4055],{"className":4051},[131],[35,4053,67],{"className":4054},[131,135],[35,4056,4058],{"className":4057},[139],[35,4059,4061],{"className":4060},[143],[35,4062,4064],{"className":4063},[148],[35,4065,4067],{"className":4066,"style":1694},[152],[35,4068,4069,4072],{"style":284},[35,4070],{"className":4071,"style":161},[160],[35,4073,4075],{"className":4074},[165,166,167,168],[35,4076,1169],{"className":4077},[131,168],[35,4079,1100],{"className":4080,"style":1260},[131,135]," проходит сквозь облако точек ",[35,4083,4085,4115],{"className":4084},[38],[35,4086,4088],{"className":4087},[42],[44,4089,4090],{"xmlns":46},[48,4091,4092,4112],{},[51,4093,4094,4096,4102,4104,4110],{},[54,4095,60],{"stretchy":56},[62,4097,4098,4100],{},[65,4099,67],{},[65,4101,70],{},[54,4103,74],{"separator":73},[62,4105,4106,4108],{},[65,4107,79],{},[65,4109,70],{},[54,4111,84],{"stretchy":56},[106,4113,4114],{"encoding":108},"(x_i, y_i)",[35,4116,4118],{"className":4117,"ariaHidden":73},[113],[35,4119,4121,4124,4127,4167,4170,4173,4213],{"className":4120},[117],[35,4122],{"className":4123,"style":855},[121],[35,4125,60],{"className":4126},[126],[35,4128,4130,4133],{"className":4129},[131],[35,4131,67],{"className":4132},[131,135],[35,4134,4136],{"className":4135},[139],[35,4137,4139,4159],{"className":4138},[143,144],[35,4140,4142,4156],{"className":4141},[148],[35,4143,4145],{"className":4144,"style":153},[152],[35,4146,4147,4150],{"style":156},[35,4148],{"className":4149,"style":161},[160],[35,4151,4153],{"className":4152},[165,166,167,168],[35,4154,70],{"className":4155},[131,135,168],[35,4157,176],{"className":4158},[175],[35,4160,4162],{"className":4161},[148],[35,4163,4165],{"className":4164,"style":183},[152],[35,4166],{},[35,4168,74],{"className":4169},[189],[35,4171],{"className":4172,"style":194},[193],[35,4174,4176,4179],{"className":4175},[131],[35,4177,79],{"className":4178,"style":201},[131,135],[35,4180,4182],{"className":4181},[139],[35,4183,4185,4205],{"className":4184},[143,144],[35,4186,4188,4202],{"className":4187},[148],[35,4189,4191],{"className":4190,"style":153},[152],[35,4192,4193,4196],{"style":216},[35,4194],{"className":4195,"style":161},[160],[35,4197,4199],{"className":4198},[165,166,167,168],[35,4200,70],{"className":4201},[131,135,168],[35,4203,176],{"className":4204},[175],[35,4206,4208],{"className":4207},[148],[35,4209,4211],{"className":4210,"style":183},[152],[35,4212],{},[35,4214,84],{"className":4215},[240]," так, чтобы суммарный квадрат вертикальных отклонений был минимален. Иллюстрация для одномерного случая показана ниже.",[4218,4219,4220,4221,4220,4226],"figure",{},"\n  ",[4222,4223],"img",{"src":4224,"alt":4225},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Flinear_regression_fit.svg","Линейная регрессия: облако точек, OLS-прямая и вертикальные остатки",[4227,4228,4229],"figcaption",{},"Метод наименьших квадратов в одномерном случае: прямая минимизирует сумму квадратов вертикальных отклонений от точек выборки",[15,4231,4232],{},"За простотой линейной модели стоит набор теоретических допущений, выполнение которых превращает OLS в оптимальную оценку (теорема Гаусса—Маркова), а нарушение — в источник систематических ошибок. Перечислим их и обозначим практические последствия.",[15,4234,4235,4238,4239,4309],{},[971,4236,4237],{},"Линейность связи"," — само ядро модели: предполагается, что условное среднее ",[35,4240,4242,4270],{"className":4241},[38],[35,4243,4245],{"className":4244},[42],[44,4246,4247],{"xmlns":46},[48,4248,4249,4267],{},[51,4250,4251,4254,4257,4259,4262,4264],{},[65,4252,4253],{"mathvariant":336},"E",[54,4255,4256],{"stretchy":56},"[",[65,4258,79],{},[54,4260,4261],{},"∣",[65,4263,67],{},[54,4265,4266],{"stretchy":56},"]",[106,4268,4269],{"encoding":108},"\\mathbb{E}[y \\mid x]",[35,4271,4273,4297],{"className":4272,"ariaHidden":73},[113],[35,4274,4276,4279,4282,4285,4288,4291,4294],{"className":4275},[117],[35,4277],{"className":4278,"style":855},[121],[35,4280,4253],{"className":4281},[131,416],[35,4283,4256],{"className":4284},[126],[35,4286,79],{"className":4287,"style":201},[131,135],[35,4289],{"className":4290,"style":396},[193],[35,4292,4261],{"className":4293},[278],[35,4295],{"className":4296,"style":396},[193],[35,4298,4300,4303,4306],{"className":4299},[117],[35,4301],{"className":4302,"style":855},[121],[35,4304,67],{"className":4305},[131,135],[35,4307,4266],{"className":4308},[240]," есть линейная функция признаков. Если истинная зависимость существенно нелинейна, линейная модель даст высокое смещение независимо от размера выборки. Распространённый приём — введение нелинейных преобразований признаков (квадраты, логарифмы, перекрёстные произведения) — формально оставляет модель линейной по параметрам, но линейной по новым признакам.",[15,4311,4312,4315],{},[971,4313,4314],{},"Независимость наблюдений."," Метод предполагает, что объекты выборки не связаны между собой. Для временных рядов и пространственных данных это допущение нарушается: соседние во времени или в пространстве наблюдения скоррелированы, что приводит к недооценке стандартных ошибок коэффициентов. В таких задачах применяют либо специализированные модели (авторегрессионные, геостатистические), либо корректируют ковариационную матрицу оценок.",[15,4317,4318,974,4321,4324],{},[971,4319,4320],{},"Гомоскедастичность",[976,4322,4323],{},"homoscedasticity",") — постоянство дисперсии остатков. Если дисперсия ошибки растёт с величиной предсказываемой переменной (типичная ситуация для цен, доходов, концентраций), оценки коэффициентов остаются несмещёнными, но перестают быть эффективными, а доверительные интервалы становятся некорректными. Симптомы и диагностику гетероскедастичности мы разберём в разделе про анализ остатков.",[15,4326,4327,4330,4331,4359],{},[971,4328,4329],{},"Нормальность ошибок."," Для несмещённости и состоятельности оценок нормальность не нужна — она требуется только для построения точных доверительных интервалов и проверки гипотез о значимости коэффициентов в малых выборках. При ",[35,4332,4334,4347],{"className":4333},[38],[35,4335,4337],{"className":4336},[42],[44,4338,4339],{"xmlns":46},[48,4340,4341,4345],{},[51,4342,4343],{},[65,4344,104],{},[106,4346,104],{"encoding":108},[35,4348,4350],{"className":4349,"ariaHidden":73},[113],[35,4351,4353,4356],{"className":4352},[117],[35,4354],{"className":4355,"style":1024},[121],[35,4357,104],{"className":4358},[131,135]," в сотни и тысячи центральная предельная теорема обеспечивает асимптотическую нормальность оценок и без этого допущения.",[15,4361,4362,4365,4366,4394,4395,4458,4459,4531],{},[971,4363,4364],{},"Отсутствие мультиколлинеарности."," Если столбцы матрицы ",[35,4367,4369,4382],{"className":4368},[38],[35,4370,4372],{"className":4371},[42],[44,4373,4374],{"xmlns":46},[48,4375,4376,4380],{},[51,4377,4378],{},[65,4379,2622],{},[106,4381,2622],{"encoding":108},[35,4383,4385],{"className":4384,"ariaHidden":73},[113],[35,4386,4388,4391],{"className":4387},[117],[35,4389],{"className":4390,"style":3425},[121],[35,4392,2622],{"className":4393,"style":2662},[131,135]," почти линейно зависимы, ",[35,4396,4398,4417],{"className":4397},[38],[35,4399,4401],{"className":4400},[42],[44,4402,4403],{"xmlns":46},[48,4404,4405,4415],{},[51,4406,4407,4413],{},[332,4408,4409,4411],{},[65,4410,2622],{},[65,4412,1169],{"mathvariant":1168},[65,4414,2622],{},[106,4416,3121],{"encoding":108},[35,4418,4420],{"className":4419,"ariaHidden":73},[113],[35,4421,4423,4426,4455],{"className":4422},[117],[35,4424],{"className":4425,"style":1694},[121],[35,4427,4429,4432],{"className":4428},[131],[35,4430,2622],{"className":4431,"style":2662},[131,135],[35,4433,4435],{"className":4434},[139],[35,4436,4438],{"className":4437},[143],[35,4439,4441],{"className":4440},[148],[35,4442,4444],{"className":4443,"style":1694},[152],[35,4445,4446,4449],{"style":284},[35,4447],{"className":4448,"style":161},[160],[35,4450,4452],{"className":4451},[165,166,167,168],[35,4453,1169],{"className":4454},[131,168],[35,4456,2622],{"className":4457,"style":2662},[131,135]," становится плохо обусловленной: её определитель близок к нулю, обращение численно неустойчиво, а коэффициенты ",[35,4460,4462,4480],{"className":4461},[38],[35,4463,4465],{"className":4464},[42],[44,4466,4467],{"xmlns":46},[48,4468,4469,4477],{},[51,4470,4471],{},[548,4472,4473,4475],{"accent":73},[65,4474,1100],{},[54,4476,555],{},[106,4478,4479],{"encoding":108},"\\hat{\\beta}",[35,4481,4483],{"className":4482,"ariaHidden":73},[113],[35,4484,4486,4489],{"className":4485},[117],[35,4487],{"className":4488,"style":582},[121],[35,4490,4492],{"className":4491},[131,586],[35,4493,4495,4523],{"className":4494},[143,144],[35,4496,4498,4520],{"className":4497},[148],[35,4499,4501,4509],{"className":4500,"style":596},[152],[35,4502,4503,4506],{"style":599},[35,4504],{"className":4505,"style":603},[160],[35,4507,1100],{"className":4508,"style":1260},[131,135],[35,4510,4511,4514],{"style":610},[35,4512],{"className":4513,"style":603},[160],[35,4515,4517],{"className":4516,"style":3254},[617],[35,4518,555],{"className":4519},[131],[35,4521,176],{"className":4522},[175],[35,4524,4526],{"className":4525},[148],[35,4527,4529],{"className":4528,"style":631},[152],[35,4530],{}," — высоковариативны и сильно меняются при малых изменениях данных. К этому случаю мы переходим в следующем разделе.",[15,4533,4534,4535,1028,4538,4541],{},"Полное обоснование оптимальности OLS и подробный разбор допущений — в ",[35,4536,4537],{},"@hastie2009esl, гл. 3",[35,4539,4540],{},"@james2013isl, гл. 3",". На нашем уровне достаточно запомнить, что линейная регрессия — рабочая модель в широком классе задач, но её результаты осмыслены только при критической оценке выполнения допущений.",[27,4543,4545],{"id":4544},"регуляризованные-модели","Регуляризованные модели",[15,4547,4548,4549,974,4552,4555,4556,4670,4671,4734],{},"Обозначенная выше ",[971,4550,4551],{},"мультиколлинеарность",[976,4553,4554],{},"multicollinearity",") — типичная болезнь линейных моделей с большим числом признаков, особенно в инженерных задачах, где признаки часто получаются из одного и того же физического процесса и сильно скоррелированы (например, температура датчика, температура корпуса и температура окружающей среды). Симптомы: коэффициенты ",[35,4557,4559,4581],{"className":4558},[38],[35,4560,4562],{"className":4561},[42],[44,4563,4564],{"xmlns":46},[48,4565,4566,4578],{},[51,4567,4568],{},[62,4569,4570,4576],{},[548,4571,4572,4574],{"accent":73},[65,4573,1100],{},[54,4575,555],{},[65,4577,2035],{},[106,4579,4580],{"encoding":108},"\\hat{\\beta}_j",[35,4582,4584],{"className":4583,"ariaHidden":73},[113],[35,4585,4587,4591],{"className":4586},[117],[35,4588],{"className":4589,"style":4590},[121],"height:1.244em;vertical-align:-0.2861em;",[35,4592,4594,4636],{"className":4593},[131],[35,4595,4597],{"className":4596},[131,586],[35,4598,4600,4628],{"className":4599},[143,144],[35,4601,4603,4625],{"className":4602},[148],[35,4604,4606,4614],{"className":4605,"style":596},[152],[35,4607,4608,4611],{"style":599},[35,4609],{"className":4610,"style":603},[160],[35,4612,1100],{"className":4613,"style":1260},[131,135],[35,4615,4616,4619],{"style":610},[35,4617],{"className":4618,"style":603},[160],[35,4620,4622],{"className":4621,"style":3254},[617],[35,4623,555],{"className":4624},[131],[35,4626,176],{"className":4627},[175],[35,4629,4631],{"className":4630},[148],[35,4632,4634],{"className":4633,"style":631},[152],[35,4635],{},[35,4637,4639],{"className":4638},[139],[35,4640,4642,4662],{"className":4641},[143,144],[35,4643,4645,4659],{"className":4644},[148],[35,4646,4648],{"className":4647,"style":153},[152],[35,4649,4650,4653],{"style":1276},[35,4651],{"className":4652,"style":161},[160],[35,4654,4656],{"className":4655},[165,166,167,168],[35,4657,2035],{"className":4658,"style":2077},[131,135,168],[35,4660,176],{"className":4661},[175],[35,4663,4665],{"className":4664},[148],[35,4666,4668],{"className":4667,"style":1562},[152],[35,4669],{}," принимают неоправданно большие значения противоположных знаков, при добавлении или исключении одной точки модель меняется радикально, новая обучающая выборка даёт совершенно иные коэффициенты при той же качественной картине. Корень проблемы — в матрице ",[35,4672,4674,4693],{"className":4673},[38],[35,4675,4677],{"className":4676},[42],[44,4678,4679],{"xmlns":46},[48,4680,4681,4691],{},[51,4682,4683,4689],{},[332,4684,4685,4687],{},[65,4686,2622],{},[65,4688,1169],{"mathvariant":1168},[65,4690,2622],{},[106,4692,3121],{"encoding":108},[35,4694,4696],{"className":4695,"ariaHidden":73},[113],[35,4697,4699,4702,4731],{"className":4698},[117],[35,4700],{"className":4701,"style":1694},[121],[35,4703,4705,4708],{"className":4704},[131],[35,4706,2622],{"className":4707,"style":2662},[131,135],[35,4709,4711],{"className":4710},[139],[35,4712,4714],{"className":4713},[143],[35,4715,4717],{"className":4716},[148],[35,4718,4720],{"className":4719,"style":1694},[152],[35,4721,4722,4725],{"style":284},[35,4723],{"className":4724,"style":161},[160],[35,4726,4728],{"className":4727},[165,166,167,168],[35,4729,1169],{"className":4730},[131,168],[35,4732,2622],{"className":4733,"style":2662},[131,135],": её собственные числа близки к нулю, и решение нормальных уравнений усиливает шум данных.",[15,4736,4737,4738,4741,4742,4770,4771,4824,4825,4877],{},"Сопутствующая беда — ",[971,4739,4740],{},"переобучение",": при достаточно большом ",[35,4743,4745,4758],{"className":4744},[38],[35,4746,4748],{"className":4747},[42],[44,4749,4750],{"xmlns":46},[48,4751,4752,4756],{},[51,4753,4754],{},[65,4755,15],{},[106,4757,15],{"encoding":108},[35,4759,4761],{"className":4760,"ariaHidden":73},[113],[35,4762,4764,4767],{"className":4763},[117],[35,4765],{"className":4766,"style":1054},[121],[35,4768,15],{"className":4769},[131,135],", особенно при ",[35,4772,4774,4793],{"className":4773},[38],[35,4775,4777],{"className":4776},[42],[44,4778,4779],{"xmlns":46},[48,4780,4781,4790],{},[51,4782,4783,4785,4788],{},[65,4784,15],{},[54,4786,4787],{},"≈",[65,4789,104],{},[106,4791,4792],{"encoding":108},"p \\approx n",[35,4794,4796,4815],{"className":4795,"ariaHidden":73},[113],[35,4797,4799,4803,4806,4809,4812],{"className":4798},[117],[35,4800],{"className":4801,"style":4802},[121],"height:0.6776em;vertical-align:-0.1944em;",[35,4804,15],{"className":4805},[131,135],[35,4807],{"className":4808,"style":396},[193],[35,4810,4787],{"className":4811},[278],[35,4813],{"className":4814,"style":396},[193],[35,4816,4818,4821],{"className":4817},[117],[35,4819],{"className":4820,"style":1024},[121],[35,4822,104],{"className":4823},[131,135]," или ",[35,4826,4828,4847],{"className":4827},[38],[35,4829,4831],{"className":4830},[42],[44,4832,4833],{"xmlns":46},[48,4834,4835,4844],{},[51,4836,4837,4839,4842],{},[65,4838,15],{},[54,4840,4841],{},">",[65,4843,104],{},[106,4845,4846],{"encoding":108},"p > n",[35,4848,4850,4868],{"className":4849,"ariaHidden":73},[113],[35,4851,4853,4856,4859,4862,4865],{"className":4852},[117],[35,4854],{"className":4855,"style":475},[121],[35,4857,15],{"className":4858},[131,135],[35,4860],{"className":4861,"style":396},[193],[35,4863,4841],{"className":4864},[278],[35,4866],{"className":4867,"style":396},[193],[35,4869,4871,4874],{"className":4870},[117],[35,4872],{"className":4873,"style":1024},[121],[35,4875,104],{"className":4876},[131,135],", OLS подгоняет шум обучающей выборки, и качество на новых данных катастрофически падает. Как было показано в теме 3, эта ситуация — крайнее правое плечо U-образной кривой ошибки от сложности.",[15,4879,4880,4881,4884],{},"Общий рецепт борьбы с обоими явлениями — ",[971,4882,4883],{},"регуляризация",": к функции потерь добавляется штраф за величину коэффициентов. Конкретный вид штрафа порождает разные модели.",[15,4886,4887,974,4890,4893,4894,4905,4906,5593,5594,5648,5649,5700,5701,5753,5754,6037,6038,6072,6073,6136],{},[971,4888,4889],{},"Ridge-регрессия",[976,4891,4892],{},"ridge regression",") ",[4895,4896,4899],"sup",{"className":4897},[4898],"cite",[4900,4901,4903],"a",{"href":4902},"#ref-1",[35,4904,101],{}," использует квадратичный штраф:\n",[35,4907,4909,5033],{"className":4908},[38],[35,4910,4912],{"className":4911},[42],[44,4913,4914],{"xmlns":46},[48,4915,4916,5030],{},[51,4917,4918,4930,4932,4935,4937,4947,5028],{},[332,4919,4920,4926],{},[548,4921,4922,4924],{"accent":73},[65,4923,1100],{},[54,4925,555],{},[4927,4928,4929],"mtext",{},"ridge",[54,4931,97],{},[65,4933,4934],{},"arg",[54,4936,2848],{},[62,4938,4939,4945],{},[51,4940,4941,4943],{},[65,4942,2845],{},[54,4944,2848],{},[65,4946,1100],{},[51,4948,4949,4951,4965,4967,4973,4975,4981,4983,4991,4993,4999,5001,5004,5018,5026],{},[54,4950,60],{"fence":73},[86,4952,4953,4955,4963],{},[54,4954,2234],{},[51,4956,4957,4959,4961],{},[65,4958,70],{},[54,4960,97],{},[99,4962,101],{},[65,4964,104],{},[54,4966,60],{"stretchy":56},[62,4968,4969,4971],{},[65,4970,79],{},[65,4972,70],{},[54,4974,740],{},[62,4976,4977,4979],{},[65,4978,1100],{},[99,4980,1103],{},[54,4982,740],{},[86,4984,4985,4987,4989],{},[65,4986,67],{},[65,4988,70],{},[65,4990,1169],{"mathvariant":1168},[65,4992,1100],{},[332,4994,4995,4997],{},[54,4996,84],{"stretchy":56},[99,4998,759],{},[54,5000,1106],{},[65,5002,5003],{},"λ",[86,5005,5006,5008,5016],{},[54,5007,2234],{},[51,5009,5010,5012,5014],{},[65,5011,2035],{},[54,5013,97],{},[99,5015,101],{},[65,5017,15],{},[86,5019,5020,5022,5024],{},[65,5021,1100],{},[65,5023,2035],{},[99,5025,759],{},[54,5027,84],{"fence":73},[65,5029,1174],{"mathvariant":1168},[106,5031,5032],{"encoding":108},"\\hat{\\beta}^{\\text{ridge}} = \\arg\\min_\\beta \\left( \\sum_{i=1}^{n} (y_i - \\beta_0 - x_i^\\top \\beta)^2 + \\lambda \\sum_{j=1}^{p} \\beta_j^2 \\right).",[35,5034,5036,5126],{"className":5035,"ariaHidden":73},[113],[35,5037,5039,5042,5117,5120,5123],{"className":5038},[117],[35,5040],{"className":5041,"style":582},[121],[35,5043,5045,5087],{"className":5044},[131],[35,5046,5048],{"className":5047},[131,586],[35,5049,5051,5079],{"className":5050},[143,144],[35,5052,5054,5076],{"className":5053},[148],[35,5055,5057,5065],{"className":5056,"style":596},[152],[35,5058,5059,5062],{"style":599},[35,5060],{"className":5061,"style":603},[160],[35,5063,1100],{"className":5064,"style":1260},[131,135],[35,5066,5067,5070],{"style":610},[35,5068],{"className":5069,"style":603},[160],[35,5071,5073],{"className":5072,"style":3254},[617],[35,5074,555],{"className":5075},[131],[35,5077,176],{"className":5078},[175],[35,5080,5082],{"className":5081},[148],[35,5083,5085],{"className":5084,"style":631},[152],[35,5086],{},[35,5088,5090],{"className":5089},[139],[35,5091,5093],{"className":5092},[143],[35,5094,5096],{"className":5095},[148],[35,5097,5099],{"className":5098,"style":1694},[152],[35,5100,5101,5104],{"style":284},[35,5102],{"className":5103,"style":161},[160],[35,5105,5107],{"className":5106},[165,166,167,168],[35,5108,5110],{"className":5109},[131,168],[35,5111,5114],{"className":5112},[131,5113,168],"text",[35,5115,4929],{"className":5116},[131,168],[35,5118],{"className":5119,"style":396},[193],[35,5121,97],{"className":5122},[278],[35,5124],{"className":5125,"style":396},[193],[35,5127,5129,5133,5141,5144,5186,5189,5587,5590],{"className":5128},[117],[35,5130],{"className":5131,"style":5132},[121],"height:1.8em;vertical-align:-0.65em;",[35,5134,5136,5137],{"className":5135},[2331],"ar",[35,5138,5140],{"style":5139},"margin-right:0.0139em;","g",[35,5142],{"className":5143,"style":194},[193],[35,5145,5147,5150],{"className":5146},[2331],[35,5148,2845],{"className":5149},[2331],[35,5151,5153],{"className":5152},[139],[35,5154,5156,5178],{"className":5155},[143,144],[35,5157,5159,5175],{"className":5158},[148],[35,5160,5163],{"className":5161,"style":5162},[152],"height:0.3361em;",[35,5164,5166,5169],{"style":5165},"top:-2.55em;margin-right:0.05em;",[35,5167],{"className":5168,"style":161},[160],[35,5170,5172],{"className":5171},[165,166,167,168],[35,5173,1100],{"className":5174,"style":1260},[131,135,168],[35,5176,176],{"className":5177},[175],[35,5179,5181],{"className":5180},[148],[35,5182,5184],{"className":5183,"style":1562},[152],[35,5185],{},[35,5187],{"className":5188,"style":194},[193],[35,5190,5192,5199,5262,5265,5305,5308,5311,5314,5354,5357,5360,5363,5414,5417,5446,5449,5452,5455,5458,5461,5525,5528,5581],{"className":5191},[1506],[35,5193,5195],{"className":5194,"style":2412},[126,2411],[35,5196,60],{"className":5197},[2416,5198],"size2",[35,5200,5202,5205],{"className":5201},[2331],[35,5203,2234],{"className":5204,"style":2337},[2331,2335,2336],[35,5206,5208],{"className":5207},[139],[35,5209,5211,5254],{"className":5210},[143,144],[35,5212,5214,5251],{"className":5213},[148],[35,5215,5217,5237],{"className":5216,"style":2350},[152],[35,5218,5219,5222],{"style":2353},[35,5220],{"className":5221,"style":161},[160],[35,5223,5225],{"className":5224},[165,166,167,168],[35,5226,5228,5231,5234],{"className":5227},[131,168],[35,5229,70],{"className":5230},[131,135,168],[35,5232,97],{"className":5233},[278,168],[35,5235,101],{"className":5236},[131,168],[35,5238,5239,5242],{"style":2374},[35,5240],{"className":5241,"style":161},[160],[35,5243,5245],{"className":5244},[165,166,167,168],[35,5246,5248],{"className":5247},[131,168],[35,5249,104],{"className":5250},[131,135,168],[35,5252,176],{"className":5253},[175],[35,5255,5257],{"className":5256},[148],[35,5258,5260],{"className":5259,"style":2396},[152],[35,5261],{},[35,5263,60],{"className":5264},[126],[35,5266,5268,5271],{"className":5267},[131],[35,5269,79],{"className":5270,"style":201},[131,135],[35,5272,5274],{"className":5273},[139],[35,5275,5277,5297],{"className":5276},[143,144],[35,5278,5280,5294],{"className":5279},[148],[35,5281,5283],{"className":5282,"style":153},[152],[35,5284,5285,5288],{"style":216},[35,5286],{"className":5287,"style":161},[160],[35,5289,5291],{"className":5290},[165,166,167,168],[35,5292,70],{"className":5293},[131,135,168],[35,5295,176],{"className":5296},[175],[35,5298,5300],{"className":5299},[148],[35,5301,5303],{"className":5302,"style":183},[152],[35,5304],{},[35,5306],{"className":5307,"style":865},[193],[35,5309,740],{"className":5310},[869],[35,5312],{"className":5313,"style":865},[193],[35,5315,5317,5320],{"className":5316},[131],[35,5318,1100],{"className":5319,"style":1260},[131,135],[35,5321,5323],{"className":5322},[139],[35,5324,5326,5346],{"className":5325},[143,144],[35,5327,5329,5343],{"className":5328},[148],[35,5330,5332],{"className":5331,"style":1273},[152],[35,5333,5334,5337],{"style":1276},[35,5335],{"className":5336,"style":161},[160],[35,5338,5340],{"className":5339},[165,166,167,168],[35,5341,1103],{"className":5342},[131,168],[35,5344,176],{"className":5345},[175],[35,5347,5349],{"className":5348},[148],[35,5350,5352],{"className":5351,"style":183},[152],[35,5353],{},[35,5355],{"className":5356,"style":865},[193],[35,5358,740],{"className":5359},[869],[35,5361],{"className":5362,"style":865},[193],[35,5364,5366,5369],{"className":5365},[131],[35,5367,67],{"className":5368},[131,135],[35,5370,5372],{"className":5371},[139],[35,5373,5375,5406],{"className":5374},[143,144],[35,5376,5378,5403],{"className":5377},[148],[35,5379,5381,5392],{"className":5380,"style":1694},[152],[35,5382,5383,5386],{"style":262},[35,5384],{"className":5385,"style":161},[160],[35,5387,5389],{"className":5388},[165,166,167,168],[35,5390,70],{"className":5391},[131,135,168],[35,5393,5394,5397],{"style":284},[35,5395],{"className":5396,"style":161},[160],[35,5398,5400],{"className":5399},[165,166,167,168],[35,5401,1169],{"className":5402},[131,168],[35,5404,176],{"className":5405},[175],[35,5407,5409],{"className":5408},[148],[35,5410,5412],{"className":5411,"style":306},[152],[35,5413],{},[35,5415,1100],{"className":5416,"style":1260},[131,135],[35,5418,5420,5423],{"className":5419},[240],[35,5421,84],{"className":5422},[240],[35,5424,5426],{"className":5425},[139],[35,5427,5429],{"className":5428},[143],[35,5430,5432],{"className":5431},[148],[35,5433,5435],{"className":5434,"style":948},[152],[35,5436,5437,5440],{"style":284},[35,5438],{"className":5439,"style":161},[160],[35,5441,5443],{"className":5442},[165,166,167,168],[35,5444,759],{"className":5445},[131,168],[35,5447],{"className":5448,"style":865},[193],[35,5450,1106],{"className":5451},[869],[35,5453],{"className":5454,"style":865},[193],[35,5456,5003],{"className":5457},[131,135],[35,5459],{"className":5460,"style":194},[193],[35,5462,5464,5467],{"className":5463},[2331],[35,5465,2234],{"className":5466,"style":2337},[2331,2335,2336],[35,5468,5470],{"className":5469},[139],[35,5471,5473,5516],{"className":5472},[143,144],[35,5474,5476,5513],{"className":5475},[148],[35,5477,5479,5499],{"className":5478,"style":2350},[152],[35,5480,5481,5484],{"style":2353},[35,5482],{"className":5483,"style":161},[160],[35,5485,5487],{"className":5486},[165,166,167,168],[35,5488,5490,5493,5496],{"className":5489},[131,168],[35,5491,2035],{"className":5492,"style":2077},[131,135,168],[35,5494,97],{"className":5495},[278,168],[35,5497,101],{"className":5498},[131,168],[35,5500,5501,5504],{"style":2374},[35,5502],{"className":5503,"style":161},[160],[35,5505,5507],{"className":5506},[165,166,167,168],[35,5508,5510],{"className":5509},[131,168],[35,5511,15],{"className":5512},[131,135,168],[35,5514,176],{"className":5515},[175],[35,5517,5519],{"className":5518},[148],[35,5520,5523],{"className":5521,"style":5522},[152],"height:0.4358em;",[35,5524],{},[35,5526],{"className":5527,"style":194},[193],[35,5529,5531,5534],{"className":5530},[131],[35,5532,1100],{"className":5533,"style":1260},[131,135],[35,5535,5537],{"className":5536},[139],[35,5538,5540,5572],{"className":5539},[143,144],[35,5541,5543,5569],{"className":5542},[148],[35,5544,5546,5558],{"className":5545,"style":948},[152],[35,5547,5549,5552],{"style":5548},"top:-2.4413em;margin-left:-0.0528em;margin-right:0.05em;",[35,5550],{"className":5551,"style":161},[160],[35,5553,5555],{"className":5554},[165,166,167,168],[35,5556,2035],{"className":5557,"style":2077},[131,135,168],[35,5559,5560,5563],{"style":284},[35,5561],{"className":5562,"style":161},[160],[35,5564,5566],{"className":5565},[165,166,167,168],[35,5567,759],{"className":5568},[131,168],[35,5570,176],{"className":5571},[175],[35,5573,5575],{"className":5574},[148],[35,5576,5579],{"className":5577,"style":5578},[152],"height:0.3948em;",[35,5580],{},[35,5582,5584],{"className":5583,"style":2412},[240,2411],[35,5585,84],{"className":5586},[2416,5198],[35,5588],{"className":5589,"style":194},[193],[35,5591,1174],{"className":5592},[131],"\nПараметр ",[35,5595,5597,5616],{"className":5596},[38],[35,5598,5600],{"className":5599},[42],[44,5601,5602],{"xmlns":46},[48,5603,5604,5613],{},[51,5605,5606,5608,5611],{},[65,5607,5003],{},[54,5609,5610],{},"≥",[99,5612,1103],{},[106,5614,5615],{"encoding":108},"\\lambda \\geq 0",[35,5617,5619,5638],{"className":5618,"ariaHidden":73},[113],[35,5620,5622,5626,5629,5632,5635],{"className":5621},[117],[35,5623],{"className":5624,"style":5625},[121],"height:0.8304em;vertical-align:-0.136em;",[35,5627,5003],{"className":5628},[131,135],[35,5630],{"className":5631,"style":396},[193],[35,5633,5610],{"className":5634},[278],[35,5636],{"className":5637,"style":396},[193],[35,5639,5641,5645],{"className":5640},[117],[35,5642],{"className":5643,"style":5644},[121],"height:0.6444em;",[35,5646,1103],{"className":5647},[131]," управляет силой регуляризации: при ",[35,5650,5652,5670],{"className":5651},[38],[35,5653,5655],{"className":5654},[42],[44,5656,5657],{"xmlns":46},[48,5658,5659,5667],{},[51,5660,5661,5663,5665],{},[65,5662,5003],{},[54,5664,97],{},[99,5666,1103],{},[106,5668,5669],{"encoding":108},"\\lambda = 0",[35,5671,5673,5691],{"className":5672,"ariaHidden":73},[113],[35,5674,5676,5679,5682,5685,5688],{"className":5675},[117],[35,5677],{"className":5678,"style":3603},[121],[35,5680,5003],{"className":5681},[131,135],[35,5683],{"className":5684,"style":396},[193],[35,5686,97],{"className":5687},[278],[35,5689],{"className":5690,"style":396},[193],[35,5692,5694,5697],{"className":5693},[117],[35,5695],{"className":5696,"style":5644},[121],[35,5698,1103],{"className":5699},[131]," получаем OLS, при ",[35,5702,5704,5723],{"className":5703},[38],[35,5705,5707],{"className":5706},[42],[44,5708,5709],{"xmlns":46},[48,5710,5711,5720],{},[51,5712,5713,5715,5717],{},[65,5714,5003],{},[54,5716,567],{},[65,5718,5719],{"mathvariant":1168},"∞",[106,5721,5722],{"encoding":108},"\\lambda \\to \\infty",[35,5724,5726,5744],{"className":5725,"ariaHidden":73},[113],[35,5727,5729,5732,5735,5738,5741],{"className":5728},[117],[35,5730],{"className":5731,"style":3603},[121],[35,5733,5003],{"className":5734},[131,135],[35,5736],{"className":5737,"style":396},[193],[35,5739,567],{"className":5740},[278],[35,5742],{"className":5743,"style":396},[193],[35,5745,5747,5750],{"className":5746},[117],[35,5748],{"className":5749,"style":1024},[121],[35,5751,5719],{"className":5752},[131]," все коэффициенты стягиваются к нулю. Для центрированных признаков существует замкнутая формула ",[35,5755,5757,5816],{"className":5756},[38],[35,5758,5760],{"className":5759},[42],[44,5761,5762],{"xmlns":46},[48,5763,5764,5813],{},[51,5765,5766,5776,5778,5780,5786,5788,5790,5792,5795,5805,5811],{},[332,5767,5768,5774],{},[548,5769,5770,5772],{"accent":73},[65,5771,1100],{},[54,5773,555],{},[4927,5775,4929],{},[54,5777,97],{},[54,5779,60],{"stretchy":56},[332,5781,5782,5784],{},[65,5783,2622],{},[65,5785,1169],{"mathvariant":1168},[65,5787,2622],{},[54,5789,1106],{},[65,5791,5003],{},[65,5793,5794],{},"I",[332,5796,5797,5799],{},[54,5798,84],{"stretchy":56},[51,5800,5801,5803],{},[54,5802,740],{},[99,5804,101],{},[332,5806,5807,5809],{},[65,5808,2622],{},[65,5810,1169],{"mathvariant":1168},[65,5812,79],{},[106,5814,5815],{"encoding":108},"\\hat{\\beta}^{\\text{ridge}} = (X^\\top X + \\lambda I)^{-1} X^\\top y",[35,5817,5819,5908,5958],{"className":5818,"ariaHidden":73},[113],[35,5820,5822,5825,5899,5902,5905],{"className":5821},[117],[35,5823],{"className":5824,"style":582},[121],[35,5826,5828,5870],{"className":5827},[131],[35,5829,5831],{"className":5830},[131,586],[35,5832,5834,5862],{"className":5833},[143,144],[35,5835,5837,5859],{"className":5836},[148],[35,5838,5840,5848],{"className":5839,"style":596},[152],[35,5841,5842,5845],{"style":599},[35,5843],{"className":5844,"style":603},[160],[35,5846,1100],{"className":5847,"style":1260},[131,135],[35,5849,5850,5853],{"style":610},[35,5851],{"className":5852,"style":603},[160],[35,5854,5856],{"className":5855,"style":3254},[617],[35,5857,555],{"className":5858},[131],[35,5860,176],{"className":5861},[175],[35,5863,5865],{"className":5864},[148],[35,5866,5868],{"className":5867,"style":631},[152],[35,5869],{},[35,5871,5873],{"className":5872},[139],[35,5874,5876],{"className":5875},[143],[35,5877,5879],{"className":5878},[148],[35,5880,5882],{"className":5881,"style":1694},[152],[35,5883,5884,5887],{"style":284},[35,5885],{"className":5886,"style":161},[160],[35,5888,5890],{"className":5889},[165,166,167,168],[35,5891,5893],{"className":5892},[131,168],[35,5894,5896],{"className":5895},[131,5113,168],[35,5897,4929],{"className":5898},[131,168],[35,5900],{"className":5901,"style":396},[193],[35,5903,97],{"className":5904},[278],[35,5906],{"className":5907,"style":396},[193],[35,5909,5911,5914,5917,5946,5949,5952,5955],{"className":5910},[117],[35,5912],{"className":5913,"style":3284},[121],[35,5915,60],{"className":5916},[126],[35,5918,5920,5923],{"className":5919},[131],[35,5921,2622],{"className":5922,"style":2662},[131,135],[35,5924,5926],{"className":5925},[139],[35,5927,5929],{"className":5928},[143],[35,5930,5932],{"className":5931},[148],[35,5933,5935],{"className":5934,"style":1694},[152],[35,5936,5937,5940],{"style":284},[35,5938],{"className":5939,"style":161},[160],[35,5941,5943],{"className":5942},[165,166,167,168],[35,5944,1169],{"className":5945},[131,168],[35,5947,2622],{"className":5948,"style":2662},[131,135],[35,5950],{"className":5951,"style":865},[193],[35,5953,1106],{"className":5954},[869],[35,5956],{"className":5957,"style":865},[193],[35,5959,5961,5964,5967,5970,6005,6034],{"className":5960},[117],[35,5962],{"className":5963,"style":3284},[121],[35,5965,5003],{"className":5966},[131,135],[35,5968,5794],{"className":5969,"style":2662},[131,135],[35,5971,5973,5976],{"className":5972},[240],[35,5974,84],{"className":5975},[240],[35,5977,5979],{"className":5978},[139],[35,5980,5982],{"className":5981},[143],[35,5983,5985],{"className":5984},[148],[35,5986,5988],{"className":5987,"style":948},[152],[35,5989,5990,5993],{"style":284},[35,5991],{"className":5992,"style":161},[160],[35,5994,5996],{"className":5995},[165,166,167,168],[35,5997,5999,6002],{"className":5998},[131,168],[35,6000,740],{"className":6001},[131,168],[35,6003,101],{"className":6004},[131,168],[35,6006,6008,6011],{"className":6007},[131],[35,6009,2622],{"className":6010,"style":2662},[131,135],[35,6012,6014],{"className":6013},[139],[35,6015,6017],{"className":6016},[143],[35,6018,6020],{"className":6019},[148],[35,6021,6023],{"className":6022,"style":1694},[152],[35,6024,6025,6028],{"style":284},[35,6026],{"className":6027,"style":161},[160],[35,6029,6031],{"className":6030},[165,166,167,168],[35,6032,1169],{"className":6033},[131,168],[35,6035,79],{"className":6036,"style":201},[131,135]," — её часто называют «лекарством Хёрла»: добавление ",[35,6039,6041,6057],{"className":6040},[38],[35,6042,6044],{"className":6043},[42],[44,6045,6046],{"xmlns":46},[48,6047,6048,6054],{},[51,6049,6050,6052],{},[65,6051,5003],{},[65,6053,5794],{},[106,6055,6056],{"encoding":108},"\\lambda I",[35,6058,6060],{"className":6059,"ariaHidden":73},[113],[35,6061,6063,6066,6069],{"className":6062},[117],[35,6064],{"className":6065,"style":3603},[121],[35,6067,5003],{"className":6068},[131,135],[35,6070,5794],{"className":6071,"style":2662},[131,135]," к ",[35,6074,6076,6095],{"className":6075},[38],[35,6077,6079],{"className":6078},[42],[44,6080,6081],{"xmlns":46},[48,6082,6083,6093],{},[51,6084,6085,6091],{},[332,6086,6087,6089],{},[65,6088,2622],{},[65,6090,1169],{"mathvariant":1168},[65,6092,2622],{},[106,6094,3121],{"encoding":108},[35,6096,6098],{"className":6097,"ariaHidden":73},[113],[35,6099,6101,6104,6133],{"className":6100},[117],[35,6102],{"className":6103,"style":1694},[121],[35,6105,6107,6110],{"className":6106},[131],[35,6108,2622],{"className":6109,"style":2662},[131,135],[35,6111,6113],{"className":6112},[139],[35,6114,6116],{"className":6115},[143],[35,6117,6119],{"className":6118},[148],[35,6120,6122],{"className":6121,"style":1694},[152],[35,6123,6124,6127],{"style":284},[35,6125],{"className":6126,"style":161},[160],[35,6128,6130],{"className":6129},[165,166,167,168],[35,6131,1169],{"className":6132},[131,168],[35,6134,2622],{"className":6135,"style":2662},[131,135]," снимает плохую обусловленность ценой смещения оценки. Метод предложен Хёрлом и Кеннардом в 1970 году именно как ответ на мультиколлинеарность; за полвека он превратился в инструмент общего назначения.",[15,6138,6139,974,6142,4893,6145,6153,6154,6225,6226,6896,6897,974,6900,6903,6904,6933,6934,7046,7047,974,7050,7053],{},[971,6140,6141],{},"Lasso-регрессия",[976,6143,6144],{},"least absolute shrinkage and selection operator",[4895,6146,6148],{"className":6147},[4898],[4900,6149,6151],{"href":6150},"#ref-2",[35,6152,759],{}," использует штраф по ",[35,6155,6157,6175],{"className":6156},[38],[35,6158,6160],{"className":6159},[42],[44,6161,6162],{"xmlns":46},[48,6163,6164,6172],{},[51,6165,6166],{},[62,6167,6168,6170],{},[65,6169,711],{},[99,6171,101],{},[106,6173,6174],{"encoding":108},"L_1",[35,6176,6178],{"className":6177,"ariaHidden":73},[113],[35,6179,6181,6185],{"className":6180},[117],[35,6182],{"className":6183,"style":6184},[121],"height:0.8333em;vertical-align:-0.15em;",[35,6186,6188,6191],{"className":6187},[131],[35,6189,711],{"className":6190},[131,135],[35,6192,6194],{"className":6193},[139],[35,6195,6197,6217],{"className":6196},[143,144],[35,6198,6200,6214],{"className":6199},[148],[35,6201,6203],{"className":6202,"style":1273},[152],[35,6204,6205,6208],{"style":156},[35,6206],{"className":6207,"style":161},[160],[35,6209,6211],{"className":6210},[165,166,167,168],[35,6212,101],{"className":6213},[131,168],[35,6215,176],{"className":6216},[175],[35,6218,6220],{"className":6219},[148],[35,6221,6223],{"className":6222,"style":183},[152],[35,6224],{},"-норме:\n",[35,6227,6229,6352],{"className":6228},[38],[35,6230,6232],{"className":6231},[42],[44,6233,6234],{"xmlns":46},[48,6235,6236,6349],{},[51,6237,6238,6249,6251,6253,6255,6265,6347],{},[332,6239,6240,6246],{},[548,6241,6242,6244],{"accent":73},[65,6243,1100],{},[54,6245,555],{},[4927,6247,6248],{},"lasso",[54,6250,97],{},[65,6252,4934],{},[54,6254,2848],{},[62,6256,6257,6263],{},[51,6258,6259,6261],{},[65,6260,2845],{},[54,6262,2848],{},[65,6264,1100],{},[51,6266,6267,6269,6283,6285,6291,6293,6299,6301,6309,6311,6317,6319,6321,6335,6337,6343,6345],{},[54,6268,60],{"fence":73},[86,6270,6271,6273,6281],{},[54,6272,2234],{},[51,6274,6275,6277,6279],{},[65,6276,70],{},[54,6278,97],{},[99,6280,101],{},[65,6282,104],{},[54,6284,60],{"stretchy":56},[62,6286,6287,6289],{},[65,6288,79],{},[65,6290,70],{},[54,6292,740],{},[62,6294,6295,6297],{},[65,6296,1100],{},[99,6298,1103],{},[54,6300,740],{},[86,6302,6303,6305,6307],{},[65,6304,67],{},[65,6306,70],{},[65,6308,1169],{"mathvariant":1168},[65,6310,1100],{},[332,6312,6313,6315],{},[54,6314,84],{"stretchy":56},[99,6316,759],{},[54,6318,1106],{},[65,6320,5003],{},[86,6322,6323,6325,6333],{},[54,6324,2234],{},[51,6326,6327,6329,6331],{},[65,6328,2035],{},[54,6330,97],{},[99,6332,101],{},[65,6334,15],{},[65,6336,4261],{"mathvariant":1168},[62,6338,6339,6341],{},[65,6340,1100],{},[65,6342,2035],{},[65,6344,4261],{"mathvariant":1168},[54,6346,84],{"fence":73},[65,6348,1174],{"mathvariant":1168},[106,6350,6351],{"encoding":108},"\\hat{\\beta}^{\\text{lasso}} = \\arg\\min_\\beta \\left( \\sum_{i=1}^{n} (y_i - \\beta_0 - x_i^\\top \\beta)^2 + \\lambda \\sum_{j=1}^{p} |\\beta_j| \\right).",[35,6353,6355,6444],{"className":6354,"ariaHidden":73},[113],[35,6356,6358,6361,6435,6438,6441],{"className":6357},[117],[35,6359],{"className":6360,"style":582},[121],[35,6362,6364,6406],{"className":6363},[131],[35,6365,6367],{"className":6366},[131,586],[35,6368,6370,6398],{"className":6369},[143,144],[35,6371,6373,6395],{"className":6372},[148],[35,6374,6376,6384],{"className":6375,"style":596},[152],[35,6377,6378,6381],{"style":599},[35,6379],{"className":6380,"style":603},[160],[35,6382,1100],{"className":6383,"style":1260},[131,135],[35,6385,6386,6389],{"style":610},[35,6387],{"className":6388,"style":603},[160],[35,6390,6392],{"className":6391,"style":3254},[617],[35,6393,555],{"className":6394},[131],[35,6396,176],{"className":6397},[175],[35,6399,6401],{"className":6400},[148],[35,6402,6404],{"className":6403,"style":631},[152],[35,6405],{},[35,6407,6409],{"className":6408},[139],[35,6410,6412],{"className":6411},[143],[35,6413,6415],{"className":6414},[148],[35,6416,6418],{"className":6417,"style":1694},[152],[35,6419,6420,6423],{"style":284},[35,6421],{"className":6422,"style":161},[160],[35,6424,6426],{"className":6425},[165,166,167,168],[35,6427,6429],{"className":6428},[131,168],[35,6430,6432],{"className":6431},[131,5113,168],[35,6433,6248],{"className":6434},[131,168],[35,6436],{"className":6437,"style":396},[193],[35,6439,97],{"className":6440},[278],[35,6442],{"className":6443,"style":396},[193],[35,6445,6447,6450,6455,6458,6498,6501,6890,6893],{"className":6446},[117],[35,6448],{"className":6449,"style":5132},[121],[35,6451,5136,6453],{"className":6452},[2331],[35,6454,5140],{"style":5139},[35,6456],{"className":6457,"style":194},[193],[35,6459,6461,6464],{"className":6460},[2331],[35,6462,2845],{"className":6463},[2331],[35,6465,6467],{"className":6466},[139],[35,6468,6470,6490],{"className":6469},[143,144],[35,6471,6473,6487],{"className":6472},[148],[35,6474,6476],{"className":6475,"style":5162},[152],[35,6477,6478,6481],{"style":5165},[35,6479],{"className":6480,"style":161},[160],[35,6482,6484],{"className":6483},[165,166,167,168],[35,6485,1100],{"className":6486,"style":1260},[131,135,168],[35,6488,176],{"className":6489},[175],[35,6491,6493],{"className":6492},[148],[35,6494,6496],{"className":6495,"style":1562},[152],[35,6497],{},[35,6499],{"className":6500,"style":194},[193],[35,6502,6504,6510,6573,6576,6616,6619,6622,6625,6665,6668,6671,6674,6725,6728,6757,6760,6763,6766,6769,6772,6835,6838,6841,6881,6884],{"className":6503},[1506],[35,6505,6507],{"className":6506,"style":2412},[126,2411],[35,6508,60],{"className":6509},[2416,5198],[35,6511,6513,6516],{"className":6512},[2331],[35,6514,2234],{"className":6515,"style":2337},[2331,2335,2336],[35,6517,6519],{"className":6518},[139],[35,6520,6522,6565],{"className":6521},[143,144],[35,6523,6525,6562],{"className":6524},[148],[35,6526,6528,6548],{"className":6527,"style":2350},[152],[35,6529,6530,6533],{"style":2353},[35,6531],{"className":6532,"style":161},[160],[35,6534,6536],{"className":6535},[165,166,167,168],[35,6537,6539,6542,6545],{"className":6538},[131,168],[35,6540,70],{"className":6541},[131,135,168],[35,6543,97],{"className":6544},[278,168],[35,6546,101],{"className":6547},[131,168],[35,6549,6550,6553],{"style":2374},[35,6551],{"className":6552,"style":161},[160],[35,6554,6556],{"className":6555},[165,166,167,168],[35,6557,6559],{"className":6558},[131,168],[35,6560,104],{"className":6561},[131,135,168],[35,6563,176],{"className":6564},[175],[35,6566,6568],{"className":6567},[148],[35,6569,6571],{"className":6570,"style":2396},[152],[35,6572],{},[35,6574,60],{"className":6575},[126],[35,6577,6579,6582],{"className":6578},[131],[35,6580,79],{"className":6581,"style":201},[131,135],[35,6583,6585],{"className":6584},[139],[35,6586,6588,6608],{"className":6587},[143,144],[35,6589,6591,6605],{"className":6590},[148],[35,6592,6594],{"className":6593,"style":153},[152],[35,6595,6596,6599],{"style":216},[35,6597],{"className":6598,"style":161},[160],[35,6600,6602],{"className":6601},[165,166,167,168],[35,6603,70],{"className":6604},[131,135,168],[35,6606,176],{"className":6607},[175],[35,6609,6611],{"className":6610},[148],[35,6612,6614],{"className":6613,"style":183},[152],[35,6615],{},[35,6617],{"className":6618,"style":865},[193],[35,6620,740],{"className":6621},[869],[35,6623],{"className":6624,"style":865},[193],[35,6626,6628,6631],{"className":6627},[131],[35,6629,1100],{"className":6630,"style":1260},[131,135],[35,6632,6634],{"className":6633},[139],[35,6635,6637,6657],{"className":6636},[143,144],[35,6638,6640,6654],{"className":6639},[148],[35,6641,6643],{"className":6642,"style":1273},[152],[35,6644,6645,6648],{"style":1276},[35,6646],{"className":6647,"style":161},[160],[35,6649,6651],{"className":6650},[165,166,167,168],[35,6652,1103],{"className":6653},[131,168],[35,6655,176],{"className":6656},[175],[35,6658,6660],{"className":6659},[148],[35,6661,6663],{"className":6662,"style":183},[152],[35,6664],{},[35,6666],{"className":6667,"style":865},[193],[35,6669,740],{"className":6670},[869],[35,6672],{"className":6673,"style":865},[193],[35,6675,6677,6680],{"className":6676},[131],[35,6678,67],{"className":6679},[131,135],[35,6681,6683],{"className":6682},[139],[35,6684,6686,6717],{"className":6685},[143,144],[35,6687,6689,6714],{"className":6688},[148],[35,6690,6692,6703],{"className":6691,"style":1694},[152],[35,6693,6694,6697],{"style":262},[35,6695],{"className":6696,"style":161},[160],[35,6698,6700],{"className":6699},[165,166,167,168],[35,6701,70],{"className":6702},[131,135,168],[35,6704,6705,6708],{"style":284},[35,6706],{"className":6707,"style":161},[160],[35,6709,6711],{"className":6710},[165,166,167,168],[35,6712,1169],{"className":6713},[131,168],[35,6715,176],{"className":6716},[175],[35,6718,6720],{"className":6719},[148],[35,6721,6723],{"className":6722,"style":306},[152],[35,6724],{},[35,6726,1100],{"className":6727,"style":1260},[131,135],[35,6729,6731,6734],{"className":6730},[240],[35,6732,84],{"className":6733},[240],[35,6735,6737],{"className":6736},[139],[35,6738,6740],{"className":6739},[143],[35,6741,6743],{"className":6742},[148],[35,6744,6746],{"className":6745,"style":948},[152],[35,6747,6748,6751],{"style":284},[35,6749],{"className":6750,"style":161},[160],[35,6752,6754],{"className":6753},[165,166,167,168],[35,6755,759],{"className":6756},[131,168],[35,6758],{"className":6759,"style":865},[193],[35,6761,1106],{"className":6762},[869],[35,6764],{"className":6765,"style":865},[193],[35,6767,5003],{"className":6768},[131,135],[35,6770],{"className":6771,"style":194},[193],[35,6773,6775,6778],{"className":6774},[2331],[35,6776,2234],{"className":6777,"style":2337},[2331,2335,2336],[35,6779,6781],{"className":6780},[139],[35,6782,6784,6827],{"className":6783},[143,144],[35,6785,6787,6824],{"className":6786},[148],[35,6788,6790,6810],{"className":6789,"style":2350},[152],[35,6791,6792,6795],{"style":2353},[35,6793],{"className":6794,"style":161},[160],[35,6796,6798],{"className":6797},[165,166,167,168],[35,6799,6801,6804,6807],{"className":6800},[131,168],[35,6802,2035],{"className":6803,"style":2077},[131,135,168],[35,6805,97],{"className":6806},[278,168],[35,6808,101],{"className":6809},[131,168],[35,6811,6812,6815],{"style":2374},[35,6813],{"className":6814,"style":161},[160],[35,6816,6818],{"className":6817},[165,166,167,168],[35,6819,6821],{"className":6820},[131,168],[35,6822,15],{"className":6823},[131,135,168],[35,6825,176],{"className":6826},[175],[35,6828,6830],{"className":6829},[148],[35,6831,6833],{"className":6832,"style":5522},[152],[35,6834],{},[35,6836],{"className":6837,"style":194},[193],[35,6839,4261],{"className":6840},[131],[35,6842,6844,6847],{"className":6843},[131],[35,6845,1100],{"className":6846,"style":1260},[131,135],[35,6848,6850],{"className":6849},[139],[35,6851,6853,6873],{"className":6852},[143,144],[35,6854,6856,6870],{"className":6855},[148],[35,6857,6859],{"className":6858,"style":153},[152],[35,6860,6861,6864],{"style":1276},[35,6862],{"className":6863,"style":161},[160],[35,6865,6867],{"className":6866},[165,166,167,168],[35,6868,2035],{"className":6869,"style":2077},[131,135,168],[35,6871,176],{"className":6872},[175],[35,6874,6876],{"className":6875},[148],[35,6877,6879],{"className":6878,"style":1562},[152],[35,6880],{},[35,6882,4261],{"className":6883},[131],[35,6885,6887],{"className":6886,"style":2412},[240,2411],[35,6888,84],{"className":6889},[2416,5198],[35,6891],{"className":6892,"style":194},[193],[35,6894,1174],{"className":6895},[131],"\nЗамкнутого решения здесь нет — задача негладкая в нуле, — но существуют эффективные алгоритмы (координатный спуск, LARS), реализованные во всех современных библиотеках. Принципиальное отличие от ridge — ",[971,6898,6899],{},"разреженность",[976,6901,6902],{},"sparsity",") решения: при достаточно большом ",[35,6905,6907,6921],{"className":6906},[38],[35,6908,6910],{"className":6909},[42],[44,6911,6912],{"xmlns":46},[48,6913,6914,6918],{},[51,6915,6916],{},[65,6917,5003],{},[106,6919,6920],{"encoding":108},"\\lambda",[35,6922,6924],{"className":6923,"ariaHidden":73},[113],[35,6925,6927,6930],{"className":6926},[117],[35,6928],{"className":6929,"style":3603},[121],[35,6931,5003],{"className":6932},[131,135]," часть коэффициентов ",[35,6935,6937,6958],{"className":6936},[38],[35,6938,6940],{"className":6939},[42],[44,6941,6942],{"xmlns":46},[48,6943,6944,6956],{},[51,6945,6946],{},[62,6947,6948,6954],{},[548,6949,6950,6952],{"accent":73},[65,6951,1100],{},[54,6953,555],{},[65,6955,2035],{},[106,6957,4580],{"encoding":108},[35,6959,6961],{"className":6960,"ariaHidden":73},[113],[35,6962,6964,6967],{"className":6963},[117],[35,6965],{"className":6966,"style":4590},[121],[35,6968,6970,7012],{"className":6969},[131],[35,6971,6973],{"className":6972},[131,586],[35,6974,6976,7004],{"className":6975},[143,144],[35,6977,6979,7001],{"className":6978},[148],[35,6980,6982,6990],{"className":6981,"style":596},[152],[35,6983,6984,6987],{"style":599},[35,6985],{"className":6986,"style":603},[160],[35,6988,1100],{"className":6989,"style":1260},[131,135],[35,6991,6992,6995],{"style":610},[35,6993],{"className":6994,"style":603},[160],[35,6996,6998],{"className":6997,"style":3254},[617],[35,6999,555],{"className":7000},[131],[35,7002,176],{"className":7003},[175],[35,7005,7007],{"className":7006},[148],[35,7008,7010],{"className":7009,"style":631},[152],[35,7011],{},[35,7013,7015],{"className":7014},[139],[35,7016,7018,7038],{"className":7017},[143,144],[35,7019,7021,7035],{"className":7020},[148],[35,7022,7024],{"className":7023,"style":153},[152],[35,7025,7026,7029],{"style":1276},[35,7027],{"className":7028,"style":161},[160],[35,7030,7032],{"className":7031},[165,166,167,168],[35,7033,2035],{"className":7034,"style":2077},[131,135,168],[35,7036,176],{"className":7037},[175],[35,7039,7041],{"className":7040},[148],[35,7042,7044],{"className":7043,"style":1562},[152],[35,7045],{}," обращается в точный ноль, а соответствующие признаки автоматически исключаются из модели. Lasso, таким образом, совмещает регуляризацию с ",[971,7048,7049],{},"отбором признаков",[976,7051,7052],{},"feature selection","), что особенно ценно в высокоразмерных задачах: модель не только лучше обобщает, но и оказывается короче в записи и интерпретации.",[15,7055,7056,7057,309,7164,7215,7216,7267,7268,7338,7339,7408,7409,7478,7479,7548,7549,7618],{},"Геометрически разница между ridge и lasso объясняется формой области ограничения. Эквивалентная формулировка задачи — минимизация RSS при ограничении ",[35,7058,7060,7089],{"className":7059},[38],[35,7061,7063],{"className":7062},[42],[44,7064,7065],{"xmlns":46},[48,7066,7067,7086],{},[51,7068,7069,7071,7073,7080,7083],{},[65,7070,2826],{"mathvariant":1168},[65,7072,1100],{},[62,7074,7075,7077],{},[65,7076,2826],{"mathvariant":1168},[65,7078,7079],{},"q",[54,7081,7082],{},"≤",[65,7084,7085],{},"t",[106,7087,7088],{"encoding":108},"\\|\\beta\\|_q \\leq t",[35,7090,7092,7154],{"className":7091,"ariaHidden":73},[113],[35,7093,7095,7099,7102,7105,7145,7148,7151],{"className":7094},[117],[35,7096],{"className":7097,"style":7098},[121],"height:1.0361em;vertical-align:-0.2861em;",[35,7100,2826],{"className":7101},[131],[35,7103,1100],{"className":7104,"style":1260},[131,135],[35,7106,7108,7111],{"className":7107},[131],[35,7109,2826],{"className":7110},[131],[35,7112,7114],{"className":7113},[139],[35,7115,7117,7137],{"className":7116},[143,144],[35,7118,7120,7134],{"className":7119},[148],[35,7121,7123],{"className":7122,"style":1541},[152],[35,7124,7125,7128],{"style":156},[35,7126],{"className":7127,"style":161},[160],[35,7129,7131],{"className":7130},[165,166,167,168],[35,7132,7079],{"className":7133,"style":201},[131,135,168],[35,7135,176],{"className":7136},[175],[35,7138,7140],{"className":7139},[148],[35,7141,7143],{"className":7142,"style":1562},[152],[35,7144],{},[35,7146],{"className":7147,"style":396},[193],[35,7149,7082],{"className":7150},[278],[35,7152],{"className":7153,"style":396},[193],[35,7155,7157,7161],{"className":7156},[117],[35,7158],{"className":7159,"style":7160},[121],"height:0.6151em;",[35,7162,7085],{"className":7163},[131,135],[35,7165,7167,7185],{"className":7166},[38],[35,7168,7170],{"className":7169},[42],[44,7171,7172],{"xmlns":46},[48,7173,7174,7182],{},[51,7175,7176,7178,7180],{},[65,7177,7079],{},[54,7179,97],{},[99,7181,759],{},[106,7183,7184],{"encoding":108},"q = 2",[35,7186,7188,7206],{"className":7187,"ariaHidden":73},[113],[35,7189,7191,7194,7197,7200,7203],{"className":7190},[117],[35,7192],{"className":7193,"style":1054},[121],[35,7195,7079],{"className":7196,"style":201},[131,135],[35,7198],{"className":7199,"style":396},[193],[35,7201,97],{"className":7202},[278],[35,7204],{"className":7205,"style":396},[193],[35,7207,7209,7212],{"className":7208},[117],[35,7210],{"className":7211,"style":5644},[121],[35,7213,759],{"className":7214},[131]," для ridge и ",[35,7217,7219,7237],{"className":7218},[38],[35,7220,7222],{"className":7221},[42],[44,7223,7224],{"xmlns":46},[48,7225,7226,7234],{},[51,7227,7228,7230,7232],{},[65,7229,7079],{},[54,7231,97],{},[99,7233,101],{},[106,7235,7236],{"encoding":108},"q = 1",[35,7238,7240,7258],{"className":7239,"ariaHidden":73},[113],[35,7241,7243,7246,7249,7252,7255],{"className":7242},[117],[35,7244],{"className":7245,"style":1054},[121],[35,7247,7079],{"className":7248,"style":201},[131,135],[35,7250],{"className":7251,"style":396},[193],[35,7253,97],{"className":7254},[278],[35,7256],{"className":7257,"style":396},[193],[35,7259,7261,7264],{"className":7260},[117],[35,7262],{"className":7263,"style":5644},[121],[35,7265,101],{"className":7266},[131]," для lasso. Множество, заданное ",[35,7269,7271,7289],{"className":7270},[38],[35,7272,7274],{"className":7273},[42],[44,7275,7276],{"xmlns":46},[48,7277,7278,7286],{},[51,7279,7280],{},[62,7281,7282,7284],{},[65,7283,711],{},[99,7285,759],{},[106,7287,7288],{"encoding":108},"L_2",[35,7290,7292],{"className":7291,"ariaHidden":73},[113],[35,7293,7295,7298],{"className":7294},[117],[35,7296],{"className":7297,"style":6184},[121],[35,7299,7301,7304],{"className":7300},[131],[35,7302,711],{"className":7303},[131,135],[35,7305,7307],{"className":7306},[139],[35,7308,7310,7330],{"className":7309},[143,144],[35,7311,7313,7327],{"className":7312},[148],[35,7314,7316],{"className":7315,"style":1273},[152],[35,7317,7318,7321],{"style":156},[35,7319],{"className":7320,"style":161},[160],[35,7322,7324],{"className":7323},[165,166,167,168],[35,7325,759],{"className":7326},[131,168],[35,7328,176],{"className":7329},[175],[35,7331,7333],{"className":7332},[148],[35,7334,7336],{"className":7335,"style":183},[152],[35,7337],{},"-нормой, — шар (круг в двумерии); множество ",[35,7340,7342,7359],{"className":7341},[38],[35,7343,7345],{"className":7344},[42],[44,7346,7347],{"xmlns":46},[48,7348,7349,7357],{},[51,7350,7351],{},[62,7352,7353,7355],{},[65,7354,711],{},[99,7356,101],{},[106,7358,6174],{"encoding":108},[35,7360,7362],{"className":7361,"ariaHidden":73},[113],[35,7363,7365,7368],{"className":7364},[117],[35,7366],{"className":7367,"style":6184},[121],[35,7369,7371,7374],{"className":7370},[131],[35,7372,711],{"className":7373},[131,135],[35,7375,7377],{"className":7376},[139],[35,7378,7380,7400],{"className":7379},[143,144],[35,7381,7383,7397],{"className":7382},[148],[35,7384,7386],{"className":7385,"style":1273},[152],[35,7387,7388,7391],{"style":156},[35,7389],{"className":7390,"style":161},[160],[35,7392,7394],{"className":7393},[165,166,167,168],[35,7395,101],{"className":7396},[131,168],[35,7398,176],{"className":7399},[175],[35,7401,7403],{"className":7402},[148],[35,7404,7406],{"className":7405,"style":183},[152],[35,7407],{},"-нормы — кубоктаэдр (ромб). Линии уровня RSS — эллипсы, центрированные в OLS-решении; точка касания эллипса с ограничением и даёт регуляризованное решение. Угловые точки ",[35,7410,7412,7429],{"className":7411},[38],[35,7413,7415],{"className":7414},[42],[44,7416,7417],{"xmlns":46},[48,7418,7419,7427],{},[51,7420,7421],{},[62,7422,7423,7425],{},[65,7424,711],{},[99,7426,101],{},[106,7428,6174],{"encoding":108},[35,7430,7432],{"className":7431,"ariaHidden":73},[113],[35,7433,7435,7438],{"className":7434},[117],[35,7436],{"className":7437,"style":6184},[121],[35,7439,7441,7444],{"className":7440},[131],[35,7442,711],{"className":7443},[131,135],[35,7445,7447],{"className":7446},[139],[35,7448,7450,7470],{"className":7449},[143,144],[35,7451,7453,7467],{"className":7452},[148],[35,7454,7456],{"className":7455,"style":1273},[152],[35,7457,7458,7461],{"style":156},[35,7459],{"className":7460,"style":161},[160],[35,7462,7464],{"className":7463},[165,166,167,168],[35,7465,101],{"className":7466},[131,168],[35,7468,176],{"className":7469},[175],[35,7471,7473],{"className":7472},[148],[35,7474,7476],{"className":7475,"style":183},[152],[35,7477],{},"-ромба лежат на координатных осях, и касание чаще всего происходит именно в них — соответствующие ",[35,7480,7482,7499],{"className":7481},[38],[35,7483,7485],{"className":7484},[42],[44,7486,7487],{"xmlns":46},[48,7488,7489,7497],{},[51,7490,7491],{},[62,7492,7493,7495],{},[65,7494,1100],{},[65,7496,2035],{},[106,7498,2038],{"encoding":108},[35,7500,7502],{"className":7501,"ariaHidden":73},[113],[35,7503,7505,7508],{"className":7504},[117],[35,7506],{"className":7507,"style":1522},[121],[35,7509,7511,7514],{"className":7510},[131],[35,7512,1100],{"className":7513,"style":1260},[131,135],[35,7515,7517],{"className":7516},[139],[35,7518,7520,7540],{"className":7519},[143,144],[35,7521,7523,7537],{"className":7522},[148],[35,7524,7526],{"className":7525,"style":153},[152],[35,7527,7528,7531],{"style":1276},[35,7529],{"className":7530,"style":161},[160],[35,7532,7534],{"className":7533},[165,166,167,168],[35,7535,2035],{"className":7536,"style":2077},[131,135,168],[35,7538,176],{"className":7539},[175],[35,7541,7543],{"className":7542},[148],[35,7544,7546],{"className":7545,"style":1562},[152],[35,7547],{}," зануляются. Сферическая ",[35,7550,7552,7569],{"className":7551},[38],[35,7553,7555],{"className":7554},[42],[44,7556,7557],{"xmlns":46},[48,7558,7559,7567],{},[51,7560,7561],{},[62,7562,7563,7565],{},[65,7564,711],{},[99,7566,759],{},[106,7568,7288],{"encoding":108},[35,7570,7572],{"className":7571,"ariaHidden":73},[113],[35,7573,7575,7578],{"className":7574},[117],[35,7576],{"className":7577,"style":6184},[121],[35,7579,7581,7584],{"className":7580},[131],[35,7582,711],{"className":7583},[131,135],[35,7585,7587],{"className":7586},[139],[35,7588,7590,7610],{"className":7589},[143,144],[35,7591,7593,7607],{"className":7592},[148],[35,7594,7596],{"className":7595,"style":1273},[152],[35,7597,7598,7601],{"style":156},[35,7599],{"className":7600,"style":161},[160],[35,7602,7604],{"className":7603},[165,166,167,168],[35,7605,759],{"className":7606},[131,168],[35,7608,176],{"className":7609},[175],[35,7611,7613],{"className":7612},[148],[35,7614,7616],{"className":7615,"style":183},[152],[35,7617],{},"-граница углов не имеет, и зануление невозможно: коэффициенты лишь стягиваются к нулю, не достигая его.",[4218,7620,4220,7621,4220,7625],{},[4222,7622],{"src":7623,"alt":7624},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fridge_lasso_geometry.svg","Геометрия ridge и lasso: контуры RSS и области ограничений в двумерии",[4227,7626,7627],{},"Геометрическая интерпретация регуляризации: касание контуров RSS с круговой ($L_2$) и ромбической ($L_1$) областями ограничений. У lasso касание часто происходит в углу ромба, что зануляет один из коэффициентов",[15,7629,7630,2971,7633,7642,7643,8134],{},[971,7631,7632],{},"Elastic Net",[4895,7634,7636],{"className":7635},[4898],[4900,7637,7639],{"href":7638},"#ref-3",[35,7640,7641],{},"3"," комбинирует оба штрафа:\n",[35,7644,7646,7745],{"className":7645},[38],[35,7647,7649],{"className":7648},[42],[44,7650,7651],{"xmlns":46},[48,7652,7653,7742],{},[51,7654,7655,7666,7668,7670,7672,7682,7740],{},[332,7656,7657,7663],{},[548,7658,7659,7661],{"accent":73},[65,7660,1100],{},[54,7662,555],{},[4927,7664,7665],{},"en",[54,7667,97],{},[65,7669,4934],{},[54,7671,2848],{},[62,7673,7674,7680],{},[51,7675,7676,7678],{},[65,7677,2845],{},[54,7679,2848],{},[65,7681,1100],{},[51,7683,7684,7686,7694,7696,7698,7700,7702,7708,7710,7712,7718,7720,7726,7728,7730,7738],{},[54,7685,60],{"fence":73},[51,7687,7688,7690,7692],{},[65,7689,337],{"mathvariant":1168},[65,7691,2219],{"mathvariant":1168},[65,7693,2219],{"mathvariant":1168},[54,7695,60],{"stretchy":56},[65,7697,1100],{},[54,7699,84],{"stretchy":56},[54,7701,1106],{},[62,7703,7704,7706],{},[65,7705,5003],{},[99,7707,101],{},[65,7709,2826],{"mathvariant":1168},[65,7711,1100],{},[62,7713,7714,7716],{},[65,7715,2826],{"mathvariant":1168},[99,7717,101],{},[54,7719,1106],{},[62,7721,7722,7724],{},[65,7723,5003],{},[99,7725,759],{},[65,7727,2826],{"mathvariant":1168},[65,7729,1100],{},[86,7731,7732,7734,7736],{},[65,7733,2826],{"mathvariant":1168},[99,7735,759],{},[99,7737,759],{},[54,7739,84],{"fence":73},[65,7741,1174],{"mathvariant":1168},[106,7743,7744],{"encoding":108},"\\hat{\\beta}^{\\text{en}} = \\arg\\min_\\beta \\left( \\mathrm{RSS}(\\beta) + \\lambda_1 \\|\\beta\\|_1 + \\lambda_2 \\|\\beta\\|_2^2 \\right).",[35,7746,7748,7837],{"className":7747,"ariaHidden":73},[113],[35,7749,7751,7754,7828,7831,7834],{"className":7750},[117],[35,7752],{"className":7753,"style":582},[121],[35,7755,7757,7799],{"className":7756},[131],[35,7758,7760],{"className":7759},[131,586],[35,7761,7763,7791],{"className":7762},[143,144],[35,7764,7766,7788],{"className":7765},[148],[35,7767,7769,7777],{"className":7768,"style":596},[152],[35,7770,7771,7774],{"style":599},[35,7772],{"className":7773,"style":603},[160],[35,7775,1100],{"className":7776,"style":1260},[131,135],[35,7778,7779,7782],{"style":610},[35,7780],{"className":7781,"style":603},[160],[35,7783,7785],{"className":7784,"style":3254},[617],[35,7786,555],{"className":7787},[131],[35,7789,176],{"className":7790},[175],[35,7792,7794],{"className":7793},[148],[35,7795,7797],{"className":7796,"style":631},[152],[35,7798],{},[35,7800,7802],{"className":7801},[139],[35,7803,7805],{"className":7804},[143],[35,7806,7808],{"className":7807},[148],[35,7809,7811],{"className":7810,"style":259},[152],[35,7812,7813,7816],{"style":284},[35,7814],{"className":7815,"style":161},[160],[35,7817,7819],{"className":7818},[165,166,167,168],[35,7820,7822],{"className":7821},[131,168],[35,7823,7825],{"className":7824},[131,5113,168],[35,7826,7665],{"className":7827},[131,168],[35,7829],{"className":7830,"style":396},[193],[35,7832,97],{"className":7833},[278],[35,7835],{"className":7836,"style":396},[193],[35,7838,7840,7844,7849,7852,7892,7895,8128,8131],{"className":7839},[117],[35,7841],{"className":7842,"style":7843},[121],"height:1.2em;vertical-align:-0.35em;",[35,7845,5136,7847],{"className":7846},[2331],[35,7848,5140],{"style":5139},[35,7850],{"className":7851,"style":194},[193],[35,7853,7855,7858],{"className":7854},[2331],[35,7856,2845],{"className":7857},[2331],[35,7859,7861],{"className":7860},[139],[35,7862,7864,7884],{"className":7863},[143,144],[35,7865,7867,7881],{"className":7866},[148],[35,7868,7870],{"className":7869,"style":5162},[152],[35,7871,7872,7875],{"style":5165},[35,7873],{"className":7874,"style":161},[160],[35,7876,7878],{"className":7877},[165,166,167,168],[35,7879,1100],{"className":7880,"style":1260},[131,135,168],[35,7882,176],{"className":7883},[175],[35,7885,7887],{"className":7886},[148],[35,7888,7890],{"className":7889,"style":1562},[152],[35,7891],{},[35,7893],{"className":7894,"style":194},[193],[35,7896,7898,7904,7910,7913,7916,7919,7922,7925,7928,7968,7971,7974,8014,8017,8020,8023,8063,8066,8069,8122],{"className":7897},[1506],[35,7899,7901],{"className":7900,"style":2412},[126,2411],[35,7902,60],{"className":7903},[2416,2417],[35,7905,7907],{"className":7906},[131],[35,7908,2302],{"className":7909},[131,2301],[35,7911,60],{"className":7912},[126],[35,7914,1100],{"className":7915,"style":1260},[131,135],[35,7917,84],{"className":7918},[240],[35,7920],{"className":7921,"style":865},[193],[35,7923,1106],{"className":7924},[869],[35,7926],{"className":7927,"style":865},[193],[35,7929,7931,7934],{"className":7930},[131],[35,7932,5003],{"className":7933},[131,135],[35,7935,7937],{"className":7936},[139],[35,7938,7940,7960],{"className":7939},[143,144],[35,7941,7943,7957],{"className":7942},[148],[35,7944,7946],{"className":7945,"style":1273},[152],[35,7947,7948,7951],{"style":156},[35,7949],{"className":7950,"style":161},[160],[35,7952,7954],{"className":7953},[165,166,167,168],[35,7955,101],{"className":7956},[131,168],[35,7958,176],{"className":7959},[175],[35,7961,7963],{"className":7962},[148],[35,7964,7966],{"className":7965,"style":183},[152],[35,7967],{},[35,7969,2826],{"className":7970},[131],[35,7972,1100],{"className":7973,"style":1260},[131,135],[35,7975,7977,7980],{"className":7976},[131],[35,7978,2826],{"className":7979},[131],[35,7981,7983],{"className":7982},[139],[35,7984,7986,8006],{"className":7985},[143,144],[35,7987,7989,8003],{"className":7988},[148],[35,7990,7992],{"className":7991,"style":1273},[152],[35,7993,7994,7997],{"style":156},[35,7995],{"className":7996,"style":161},[160],[35,7998,8000],{"className":7999},[165,166,167,168],[35,8001,101],{"className":8002},[131,168],[35,8004,176],{"className":8005},[175],[35,8007,8009],{"className":8008},[148],[35,8010,8012],{"className":8011,"style":183},[152],[35,8013],{},[35,8015],{"className":8016,"style":865},[193],[35,8018,1106],{"className":8019},[869],[35,8021],{"className":8022,"style":865},[193],[35,8024,8026,8029],{"className":8025},[131],[35,8027,5003],{"className":8028},[131,135],[35,8030,8032],{"className":8031},[139],[35,8033,8035,8055],{"className":8034},[143,144],[35,8036,8038,8052],{"className":8037},[148],[35,8039,8041],{"className":8040,"style":1273},[152],[35,8042,8043,8046],{"style":156},[35,8044],{"className":8045,"style":161},[160],[35,8047,8049],{"className":8048},[165,166,167,168],[35,8050,759],{"className":8051},[131,168],[35,8053,176],{"className":8054},[175],[35,8056,8058],{"className":8057},[148],[35,8059,8061],{"className":8060,"style":183},[152],[35,8062],{},[35,8064,2826],{"className":8065},[131],[35,8067,1100],{"className":8068,"style":1260},[131,135],[35,8070,8072,8075],{"className":8071},[131],[35,8073,2826],{"className":8074},[131],[35,8076,8078],{"className":8077},[139],[35,8079,8081,8113],{"className":8080},[143,144],[35,8082,8084,8110],{"className":8083},[148],[35,8085,8087,8099],{"className":8086,"style":948},[152],[35,8088,8090,8093],{"style":8089},"top:-2.4519em;margin-left:0em;margin-right:0.05em;",[35,8091],{"className":8092,"style":161},[160],[35,8094,8096],{"className":8095},[165,166,167,168],[35,8097,759],{"className":8098},[131,168],[35,8100,8101,8104],{"style":284},[35,8102],{"className":8103,"style":161},[160],[35,8105,8107],{"className":8106},[165,166,167,168],[35,8108,759],{"className":8109},[131,168],[35,8111,176],{"className":8112},[175],[35,8114,8116],{"className":8115},[148],[35,8117,8120],{"className":8118,"style":8119},[152],"height:0.2481em;",[35,8121],{},[35,8123,8125],{"className":8124,"style":2412},[240,2411],[35,8126,84],{"className":8127},[2416,2417],[35,8129],{"className":8130,"style":194},[193],[35,8132,1174],{"className":8133},[131],"\nМетод сохраняет разреженность lasso и устойчивость ridge к коррелированным признакам. Lasso в группе сильно коррелированных переменных склонен выбирать одну случайную и зануление остальных; elastic net в той же ситуации распределяет коэффициенты между ними. Для большинства инженерных задач, где коррелированные признаки возникают естественно, elastic net надёжнее «чистого» lasso.",[15,8136,8137,8138,8166,8167,8169,8170,8173,8174,974,8177,8180,8181,8209,8210,8238,8239,8267],{},"Выбор коэффициента регуляризации ",[35,8139,8141,8154],{"className":8140},[38],[35,8142,8144],{"className":8143},[42],[44,8145,8146],{"xmlns":46},[48,8147,8148,8152],{},[51,8149,8150],{},[65,8151,5003],{},[106,8153,6920],{"encoding":108},[35,8155,8157],{"className":8156,"ariaHidden":73},[113],[35,8158,8160,8163],{"className":8159},[117],[35,8161],{"className":8162,"style":3603},[121],[35,8164,5003],{"className":8165},[131,135]," (в ",[3392,8168,3394],{}," — параметр ",[3392,8171,8172],{},"alpha",") — отдельная задача. Слишком малое значение оставляет проблемы OLS нерешёнными, слишком большое — занижает все коэффициенты, превращая модель в близкую к нулевой. Стандартный приём — ",[971,8175,8176],{},"кросс-валидация",[976,8178,8179],{},"cross-validation","): на сетке значений ",[35,8182,8184,8197],{"className":8183},[38],[35,8185,8187],{"className":8186},[42],[44,8188,8189],{"xmlns":46},[48,8190,8191,8195],{},[51,8192,8193],{},[65,8194,5003],{},[106,8196,6920],{"encoding":108},[35,8198,8200],{"className":8199,"ariaHidden":73},[113],[35,8201,8203,8206],{"className":8202},[117],[35,8204],{"className":8205,"style":3603},[121],[35,8207,5003],{"className":8208},[131,135]," модель многократно обучается на части данных и проверяется на оставшейся, после чего выбирается то ",[35,8211,8213,8226],{"className":8212},[38],[35,8214,8216],{"className":8215},[42],[44,8217,8218],{"xmlns":46},[48,8219,8220,8224],{},[51,8221,8222],{},[65,8223,5003],{},[106,8225,6920],{"encoding":108},[35,8227,8229],{"className":8228,"ariaHidden":73},[113],[35,8230,8232,8235],{"className":8231},[117],[35,8233],{"className":8234,"style":3603},[121],[35,8236,5003],{"className":8237},[131,135],", при котором средняя ошибка на валидационных частях минимальна. Систематическое обсуждение кросс-валидации мы вынесем в тему 7, посвящённую методам оценки качества; на данный момент достаточно понимать, что ",[35,8240,8242,8255],{"className":8241},[38],[35,8243,8245],{"className":8244},[42],[44,8246,8247],{"xmlns":46},[48,8248,8249,8253],{},[51,8250,8251],{},[65,8252,5003],{},[106,8254,6920],{"encoding":108},[35,8256,8258],{"className":8257,"ariaHidden":73},[113],[35,8259,8261,8264],{"className":8260},[117],[35,8262],{"className":8263,"style":3603},[121],[35,8265,5003],{"className":8266},[131,135]," — гиперпараметр, и подбирается он на отдельной выборке, а не на обучающей.",[15,8269,8270,8271,8299,8300,974,8303,8306,8307,8358,8359,8387],{},"Полезно посмотреть на то, как меняются коэффициенты модели при варьировании ",[35,8272,8274,8287],{"className":8273},[38],[35,8275,8277],{"className":8276},[42],[44,8278,8279],{"xmlns":46},[48,8280,8281,8285],{},[51,8282,8283],{},[65,8284,5003],{},[106,8286,6920],{"encoding":108},[35,8288,8290],{"className":8289,"ariaHidden":73},[113],[35,8291,8293,8296],{"className":8292},[117],[35,8294],{"className":8295,"style":3603},[121],[35,8297,5003],{"className":8298},[131,135]," — так называемый ",[971,8301,8302],{},"путь регуляризации",[976,8304,8305],{},"regularization path","). У ridge все коэффициенты плавно стягиваются к нулю, не достигая его до ",[35,8308,8310,8328],{"className":8309},[38],[35,8311,8313],{"className":8312},[42],[44,8314,8315],{"xmlns":46},[48,8316,8317,8325],{},[51,8318,8319,8321,8323],{},[65,8320,5003],{},[54,8322,97],{},[65,8324,5719],{"mathvariant":1168},[106,8326,8327],{"encoding":108},"\\lambda = \\infty",[35,8329,8331,8349],{"className":8330,"ariaHidden":73},[113],[35,8332,8334,8337,8340,8343,8346],{"className":8333},[117],[35,8335],{"className":8336,"style":3603},[121],[35,8338,5003],{"className":8339},[131,135],[35,8341],{"className":8342,"style":396},[193],[35,8344,97],{"className":8345},[278],[35,8347],{"className":8348,"style":396},[193],[35,8350,8352,8355],{"className":8351},[117],[35,8353],{"className":8354,"style":1024},[121],[35,8356,5719],{"className":8357},[131],". У lasso коэффициенты «выключаются» в дискретные моменты, образуя ломаную линию: при увеличении ",[35,8360,8362,8375],{"className":8361},[38],[35,8363,8365],{"className":8364},[42],[44,8366,8367],{"xmlns":46},[48,8368,8369,8373],{},[51,8370,8371],{},[65,8372,5003],{},[106,8374,6920],{"encoding":108},[35,8376,8378],{"className":8377,"ariaHidden":73},[113],[35,8379,8381,8384],{"className":8380},[117],[35,8382],{"className":8383,"style":3603},[121],[35,8385,5003],{"className":8386},[131,135]," всё больше признаков отбрасываются.",[4218,8389,4220,8390,4220,8394],{},[4222,8391],{"src":8392,"alt":8393},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fregularization_path.svg","Пути регуляризации для ridge и lasso: зависимость коэффициентов от параметра регуляризации",[4227,8395,8396],{},"Поведение коэффициентов при увеличении силы регуляризации: ridge стягивает их плавно, lasso последовательно зануляет",[15,8398,8399,8400,1174],{},"Регуляризация изменяет смысл коэффициентов: они больше не являются несмещёнными оценками влияния признаков. Это плата за устойчивость и качество предсказаний. Если задача — именно интерпретация коэффициентов как причинных эффектов (что характерно для статистики и эконометрики, но в машинном обучении встречается реже), регуляризация требует осторожной интерпретации. Если задача — предсказание на новых данных, регуляризованные модели почти всегда выигрывают у «чистого» OLS, особенно при большом ",[35,8401,8403,8416],{"className":8402},[38],[35,8404,8406],{"className":8405},[42],[44,8407,8408],{"xmlns":46},[48,8409,8410,8414],{},[51,8411,8412],{},[65,8413,15],{},[106,8415,15],{"encoding":108},[35,8417,8419],{"className":8418,"ariaHidden":73},[113],[35,8420,8422,8425],{"className":8421},[117],[35,8423],{"className":8424,"style":1054},[121],[35,8426,15],{"className":8427},[131,135],[22,8429,8431],{"id":8430},"оценка-качества-регрессионных-моделей","Оценка качества регрессионных моделей",[27,8433,8435],{"id":8434},"метрики","Метрики",[15,8437,8438],{},"Оценка предсказательной способности модели регрессии опирается на несколько стандартных метрик, каждая из которых высвечивает свою сторону ошибки. Важно использовать их в комплексе и понимать, в каких задачах какая ведущая.",[15,8440,8441,974,8444,8447,8448,8866,8867,8932],{},[971,8442,8443],{},"Среднеквадратичная ошибка",[976,8445,8446],{},"mean squared error, MSE",") определяется как среднее квадратов отклонений:\n",[35,8449,8451,8523],{"className":8450},[38],[35,8452,8454],{"className":8453},[42],[44,8455,8456],{"xmlns":46},[48,8457,8458,8520],{},[51,8459,8460,8469,8471,8478,8492,8494,8500,8502,8512,8518],{},[51,8461,8462,8465,8467],{},[65,8463,8464],{"mathvariant":1168},"M",[65,8466,2219],{"mathvariant":1168},[65,8468,4253],{"mathvariant":1168},[54,8470,97],{},[8472,8473,8474,8476],"mfrac",{},[99,8475,101],{},[65,8477,104],{},[86,8479,8480,8482,8490],{},[54,8481,2234],{},[51,8483,8484,8486,8488],{},[65,8485,70],{},[54,8487,97],{},[99,8489,101],{},[65,8491,104],{},[54,8493,60],{"stretchy":56},[62,8495,8496,8498],{},[65,8497,79],{},[65,8499,70],{},[54,8501,740],{},[62,8503,8504,8510],{},[548,8505,8506,8508],{"accent":73},[65,8507,79],{},[54,8509,555],{},[65,8511,70],{},[332,8513,8514,8516],{},[54,8515,84],{"stretchy":56},[99,8517,759],{},[65,8519,1174],{"mathvariant":1168},[106,8521,8522],{"encoding":108},"\\mathrm{MSE} = \\frac{1}{n} \\sum_{i=1}^{n} (y_i - \\hat{y}_i)^2.",[35,8524,8526,8548,8749],{"className":8525,"ariaHidden":73},[113],[35,8527,8529,8532,8539,8542,8545],{"className":8528},[117],[35,8530],{"className":8531,"style":3425},[121],[35,8533,8535],{"className":8534},[131],[35,8536,8538],{"className":8537},[131,2301],"MSE",[35,8540],{"className":8541,"style":396},[193],[35,8543,97],{"className":8544},[278],[35,8546],{"className":8547,"style":396},[193],[35,8549,8551,8555,8631,8634,8697,8700,8740,8743,8746],{"className":8550},[117],[35,8552],{"className":8553,"style":8554},[121],"height:1.1901em;vertical-align:-0.345em;",[35,8556,8558,8562,8628],{"className":8557},[131],[35,8559],{"className":8560},[126,8561],"nulldelimiter",[35,8563,8565],{"className":8564},[8472],[35,8566,8568,8619],{"className":8567},[143,144],[35,8569,8571,8616],{"className":8570},[148],[35,8572,8575,8590,8601],{"className":8573,"style":8574},[152],"height:0.8451em;",[35,8576,8578,8581],{"style":8577},"top:-2.655em;",[35,8579],{"className":8580,"style":603},[160],[35,8582,8584],{"className":8583},[165,166,167,168],[35,8585,8587],{"className":8586},[131,168],[35,8588,104],{"className":8589},[131,135,168],[35,8591,8593,8596],{"style":8592},"top:-3.23em;",[35,8594],{"className":8595,"style":603},[160],[35,8597],{"className":8598,"style":8600},[8599],"frac-line","border-bottom-width:0.04em;",[35,8602,8604,8607],{"style":8603},"top:-3.394em;",[35,8605],{"className":8606,"style":603},[160],[35,8608,8610],{"className":8609},[165,166,167,168],[35,8611,8613],{"className":8612},[131,168],[35,8614,101],{"className":8615},[131,168],[35,8617,176],{"className":8618},[175],[35,8620,8622],{"className":8621},[148],[35,8623,8626],{"className":8624,"style":8625},[152],"height:0.345em;",[35,8627],{},[35,8629],{"className":8630},[240,8561],[35,8632],{"className":8633,"style":194},[193],[35,8635,8637,8640],{"className":8636},[2331],[35,8638,2234],{"className":8639,"style":2337},[2331,2335,2336],[35,8641,8643],{"className":8642},[139],[35,8644,8646,8689],{"className":8645},[143,144],[35,8647,8649,8686],{"className":8648},[148],[35,8650,8652,8672],{"className":8651,"style":2350},[152],[35,8653,8654,8657],{"style":2353},[35,8655],{"className":8656,"style":161},[160],[35,8658,8660],{"className":8659},[165,166,167,168],[35,8661,8663,8666,8669],{"className":8662},[131,168],[35,8664,70],{"className":8665},[131,135,168],[35,8667,97],{"className":8668},[278,168],[35,8670,101],{"className":8671},[131,168],[35,8673,8674,8677],{"style":2374},[35,8675],{"className":8676,"style":161},[160],[35,8678,8680],{"className":8679},[165,166,167,168],[35,8681,8683],{"className":8682},[131,168],[35,8684,104],{"className":8685},[131,135,168],[35,8687,176],{"className":8688},[175],[35,8690,8692],{"className":8691},[148],[35,8693,8695],{"className":8694,"style":2396},[152],[35,8696],{},[35,8698,60],{"className":8699},[126],[35,8701,8703,8706],{"className":8702},[131],[35,8704,79],{"className":8705,"style":201},[131,135],[35,8707,8709],{"className":8708},[139],[35,8710,8712,8732],{"className":8711},[143,144],[35,8713,8715,8729],{"className":8714},[148],[35,8716,8718],{"className":8717,"style":153},[152],[35,8719,8720,8723],{"style":216},[35,8721],{"className":8722,"style":161},[160],[35,8724,8726],{"className":8725},[165,166,167,168],[35,8727,70],{"className":8728},[131,135,168],[35,8730,176],{"className":8731},[175],[35,8733,8735],{"className":8734},[148],[35,8736,8738],{"className":8737,"style":183},[152],[35,8739],{},[35,8741],{"className":8742,"style":865},[193],[35,8744,740],{"className":8745},[869],[35,8747],{"className":8748,"style":865},[193],[35,8750,8752,8755,8834,8863],{"className":8751},[117],[35,8753],{"className":8754,"style":2882},[121],[35,8756,8758,8800],{"className":8757},[131],[35,8759,8761],{"className":8760},[131,586],[35,8762,8764,8792],{"className":8763},[143,144],[35,8765,8767,8789],{"className":8766},[148],[35,8768,8770,8778],{"className":8769,"style":3603},[152],[35,8771,8772,8775],{"style":599},[35,8773],{"className":8774,"style":603},[160],[35,8776,79],{"className":8777,"style":201},[131,135],[35,8779,8780,8783],{"style":599},[35,8781],{"className":8782,"style":603},[160],[35,8784,8786],{"className":8785,"style":3620},[617],[35,8787,555],{"className":8788},[131],[35,8790,176],{"className":8791},[175],[35,8793,8795],{"className":8794},[148],[35,8796,8798],{"className":8797,"style":631},[152],[35,8799],{},[35,8801,8803],{"className":8802},[139],[35,8804,8806,8826],{"className":8805},[143,144],[35,8807,8809,8823],{"className":8808},[148],[35,8810,8812],{"className":8811,"style":153},[152],[35,8813,8814,8817],{"style":216},[35,8815],{"className":8816,"style":161},[160],[35,8818,8820],{"className":8819},[165,166,167,168],[35,8821,70],{"className":8822},[131,135,168],[35,8824,176],{"className":8825},[175],[35,8827,8829],{"className":8828},[148],[35,8830,8832],{"className":8831,"style":183},[152],[35,8833],{},[35,8835,8837,8840],{"className":8836},[240],[35,8838,84],{"className":8839},[240],[35,8841,8843],{"className":8842},[139],[35,8844,8846],{"className":8845},[143],[35,8847,8849],{"className":8848},[148],[35,8850,8852],{"className":8851,"style":948},[152],[35,8853,8854,8857],{"style":284},[35,8855],{"className":8856,"style":161},[160],[35,8858,8860],{"className":8859},[165,166,167,168],[35,8861,759],{"className":8862},[131,168],[35,8864,1174],{"className":8865},[131],"\nЭто та же величина, которая минимизируется при обучении OLS, и в этом смысле — естественная метрика для линейной регрессии. У MSE есть содержательное теоретическое свойство: её оптимизирует условное математическое ожидание ",[35,8868,8870,8893],{"className":8869},[38],[35,8871,8873],{"className":8872},[42],[44,8874,8875],{"xmlns":46},[48,8876,8877,8891],{},[51,8878,8879,8881,8883,8885,8887,8889],{},[65,8880,4253],{"mathvariant":336},[54,8882,4256],{"stretchy":56},[65,8884,79],{},[54,8886,4261],{},[65,8888,67],{},[54,8890,4266],{"stretchy":56},[106,8892,4269],{"encoding":108},[35,8894,8896,8920],{"className":8895,"ariaHidden":73},[113],[35,8897,8899,8902,8905,8908,8911,8914,8917],{"className":8898},[117],[35,8900],{"className":8901,"style":855},[121],[35,8903,4253],{"className":8904},[131,416],[35,8906,4256],{"className":8907},[126],[35,8909,79],{"className":8910,"style":201},[131,135],[35,8912],{"className":8913,"style":396},[193],[35,8915,4261],{"className":8916},[278],[35,8918],{"className":8919,"style":396},[193],[35,8921,8923,8926,8929],{"className":8922},[117],[35,8924],{"className":8925,"style":855},[121],[35,8927,67],{"className":8928},[131,135],[35,8930,4266],{"className":8931},[240],". То есть модель, обучаемая минимизацией MSE, стремится предсказывать именно среднее значение отклика. Недостаток MSE — её единицы измерения: квадрат единиц предсказываемой величины. Для прогноза температуры в градусах MSE измеряется в градусах в квадрате, что неинтуитивно.",[15,8934,8935,8936,974,8939,8942,8943,9084],{},"Эту проблему снимает ",[971,8937,8938],{},"корень из MSE",[976,8940,8941],{},"root mean squared error, RMSE","):\n",[35,8944,8946,8983],{"className":8945},[38],[35,8947,8949],{"className":8948},[42],[44,8950,8951],{"xmlns":46},[48,8952,8953,8980],{},[51,8954,8955,8965,8967,8978],{},[51,8956,8957,8959,8961,8963],{},[65,8958,337],{"mathvariant":1168},[65,8960,8464],{"mathvariant":1168},[65,8962,2219],{"mathvariant":1168},[65,8964,4253],{"mathvariant":1168},[54,8966,97],{},[8968,8969,8970],"msqrt",{},[51,8971,8972,8974,8976],{},[65,8973,8464],{"mathvariant":1168},[65,8975,2219],{"mathvariant":1168},[65,8977,4253],{"mathvariant":1168},[65,8979,1174],{"mathvariant":1168},[106,8981,8982],{"encoding":108},"\\mathrm{RMSE} = \\sqrt{\\mathrm{MSE}}.",[35,8984,8986,9008],{"className":8985,"ariaHidden":73},[113],[35,8987,8989,8992,8999,9002,9005],{"className":8988},[117],[35,8990],{"className":8991,"style":3425},[121],[35,8993,8995],{"className":8994},[131],[35,8996,8998],{"className":8997},[131,2301],"RMSE",[35,9000],{"className":9001,"style":396},[193],[35,9003,97],{"className":9004},[278],[35,9006],{"className":9007,"style":396},[193],[35,9009,9011,9015,9081],{"className":9010},[117],[35,9012],{"className":9013,"style":9014},[121],"height:1.04em;vertical-align:-0.1133em;",[35,9016,9019],{"className":9017},[131,9018],"sqrt",[35,9020,9022,9072],{"className":9021},[143,144],[35,9023,9025,9069],{"className":9024},[148],[35,9026,9029,9046],{"className":9027,"style":9028},[152],"height:0.9267em;",[35,9030,9033,9036],{"className":9031,"style":599},[9032],"svg-align",[35,9034],{"className":9035,"style":603},[160],[35,9037,9040],{"className":9038,"style":9039},[131],"padding-left:0.833em;",[35,9041,9043],{"className":9042},[131],[35,9044,8538],{"className":9045},[131,2301],[35,9047,9049,9052],{"style":9048},"top:-2.8867em;",[35,9050],{"className":9051,"style":603},[160],[35,9053,9057],{"className":9054,"style":9056},[9055],"hide-tail","min-width:0.853em;height:1.08em;",[9058,9059,9065],"svg",{"xmlns":9060,"width":9061,"height":9062,"viewBox":9063,"preserveAspectRatio":9064},"http:\u002F\u002Fwww.w3.org\u002F2000\u002Fsvg","400em","1.08em","0 0 400000 1080","xMinYMin slice",[9066,9067],"path",{"d":9068},"M95,702\nc-2.7,0,-7.17,-2.7,-13.5,-8c-5.8,-5.3,-9.5,-10,-9.5,-14\nc0,-2,0.3,-3.3,1,-4c1.3,-2.7,23.83,-20.7,67.5,-54\nc44.2,-33.3,65.8,-50.3,66.5,-51c1.3,-1.3,3,-2,5,-2c4.7,0,8.7,3.3,12,10\ns173,378,173,378c0.7,0,35.3,-71,104,-213c68.7,-142,137.5,-285,206.5,-429\nc69,-144,104.5,-217.7,106.5,-221\nl0 -0\nc5.3,-9.3,12,-14,20,-14\nH400000v40H845.2724\ns-225.272,467,-225.272,467s-235,486,-235,486c-2.7,4.7,-9,7,-19,7\nc-6,0,-10,-1,-12,-3s-194,-422,-194,-422s-65,47,-65,47z\nM834 80h400000v40h-400000z",[35,9070,176],{"className":9071},[175],[35,9073,9075],{"className":9074},[148],[35,9076,9079],{"className":9077,"style":9078},[152],"height:0.1133em;",[35,9080],{},[35,9082,1174],{"className":9083},[131],"\nRMSE возвращается в единицы предсказываемой величины и интерпретируется как типичная величина ошибки. Если для прогноза заряда батареи RMSE равен 3%, мы понимаем порядок отклонения. RMSE — фактический стандарт отчётности в инженерных регрессионных задачах.",[15,9086,9087,974,9090,9093,9094,9473],{},[971,9088,9089],{},"Средняя абсолютная ошибка",[976,9091,9092],{},"mean absolute error, MAE",") использует модули вместо квадратов:\n",[35,9095,9097,9164],{"className":9096},[38],[35,9098,9100],{"className":9099},[42],[44,9101,9102],{"xmlns":46},[48,9103,9104,9161],{},[51,9105,9106,9115,9117,9123,9137,9139,9145,9147,9157,9159],{},[51,9107,9108,9110,9113],{},[65,9109,8464],{"mathvariant":1168},[65,9111,9112],{"mathvariant":1168},"A",[65,9114,4253],{"mathvariant":1168},[54,9116,97],{},[8472,9118,9119,9121],{},[99,9120,101],{},[65,9122,104],{},[86,9124,9125,9127,9135],{},[54,9126,2234],{},[51,9128,9129,9131,9133],{},[65,9130,70],{},[54,9132,97],{},[99,9134,101],{},[65,9136,104],{},[65,9138,4261],{"mathvariant":1168},[62,9140,9141,9143],{},[65,9142,79],{},[65,9144,70],{},[54,9146,740],{},[62,9148,9149,9155],{},[548,9150,9151,9153],{"accent":73},[65,9152,79],{},[54,9154,555],{},[65,9156,70],{},[65,9158,4261],{"mathvariant":1168},[65,9160,1174],{"mathvariant":1168},[106,9162,9163],{"encoding":108},"\\mathrm{MAE} = \\frac{1}{n} \\sum_{i=1}^{n} |y_i - \\hat{y}_i|.",[35,9165,9167,9189,9384],{"className":9166,"ariaHidden":73},[113],[35,9168,9170,9173,9180,9183,9186],{"className":9169},[117],[35,9171],{"className":9172,"style":3425},[121],[35,9174,9176],{"className":9175},[131],[35,9177,9179],{"className":9178},[131,2301],"MAE",[35,9181],{"className":9182,"style":396},[193],[35,9184,97],{"className":9185},[278],[35,9187],{"className":9188,"style":396},[193],[35,9190,9192,9195,9263,9266,9329,9332,9335,9375,9378,9381],{"className":9191},[117],[35,9193],{"className":9194,"style":8554},[121],[35,9196,9198,9201,9260],{"className":9197},[131],[35,9199],{"className":9200},[126,8561],[35,9202,9204],{"className":9203},[8472],[35,9205,9207,9252],{"className":9206},[143,144],[35,9208,9210,9249],{"className":9209},[148],[35,9211,9213,9227,9235],{"className":9212,"style":8574},[152],[35,9214,9215,9218],{"style":8577},[35,9216],{"className":9217,"style":603},[160],[35,9219,9221],{"className":9220},[165,166,167,168],[35,9222,9224],{"className":9223},[131,168],[35,9225,104],{"className":9226},[131,135,168],[35,9228,9229,9232],{"style":8592},[35,9230],{"className":9231,"style":603},[160],[35,9233],{"className":9234,"style":8600},[8599],[35,9236,9237,9240],{"style":8603},[35,9238],{"className":9239,"style":603},[160],[35,9241,9243],{"className":9242},[165,166,167,168],[35,9244,9246],{"className":9245},[131,168],[35,9247,101],{"className":9248},[131,168],[35,9250,176],{"className":9251},[175],[35,9253,9255],{"className":9254},[148],[35,9256,9258],{"className":9257,"style":8625},[152],[35,9259],{},[35,9261],{"className":9262},[240,8561],[35,9264],{"className":9265,"style":194},[193],[35,9267,9269,9272],{"className":9268},[2331],[35,9270,2234],{"className":9271,"style":2337},[2331,2335,2336],[35,9273,9275],{"className":9274},[139],[35,9276,9278,9321],{"className":9277},[143,144],[35,9279,9281,9318],{"className":9280},[148],[35,9282,9284,9304],{"className":9283,"style":2350},[152],[35,9285,9286,9289],{"style":2353},[35,9287],{"className":9288,"style":161},[160],[35,9290,9292],{"className":9291},[165,166,167,168],[35,9293,9295,9298,9301],{"className":9294},[131,168],[35,9296,70],{"className":9297},[131,135,168],[35,9299,97],{"className":9300},[278,168],[35,9302,101],{"className":9303},[131,168],[35,9305,9306,9309],{"style":2374},[35,9307],{"className":9308,"style":161},[160],[35,9310,9312],{"className":9311},[165,166,167,168],[35,9313,9315],{"className":9314},[131,168],[35,9316,104],{"className":9317},[131,135,168],[35,9319,176],{"className":9320},[175],[35,9322,9324],{"className":9323},[148],[35,9325,9327],{"className":9326,"style":2396},[152],[35,9328],{},[35,9330],{"className":9331,"style":194},[193],[35,9333,4261],{"className":9334},[131],[35,9336,9338,9341],{"className":9337},[131],[35,9339,79],{"className":9340,"style":201},[131,135],[35,9342,9344],{"className":9343},[139],[35,9345,9347,9367],{"className":9346},[143,144],[35,9348,9350,9364],{"className":9349},[148],[35,9351,9353],{"className":9352,"style":153},[152],[35,9354,9355,9358],{"style":216},[35,9356],{"className":9357,"style":161},[160],[35,9359,9361],{"className":9360},[165,166,167,168],[35,9362,70],{"className":9363},[131,135,168],[35,9365,176],{"className":9366},[175],[35,9368,9370],{"className":9369},[148],[35,9371,9373],{"className":9372,"style":183},[152],[35,9374],{},[35,9376],{"className":9377,"style":865},[193],[35,9379,740],{"className":9380},[869],[35,9382],{"className":9383,"style":865},[193],[35,9385,9387,9390,9469],{"className":9386},[117],[35,9388],{"className":9389,"style":855},[121],[35,9391,9393,9435],{"className":9392},[131],[35,9394,9396],{"className":9395},[131,586],[35,9397,9399,9427],{"className":9398},[143,144],[35,9400,9402,9424],{"className":9401},[148],[35,9403,9405,9413],{"className":9404,"style":3603},[152],[35,9406,9407,9410],{"style":599},[35,9408],{"className":9409,"style":603},[160],[35,9411,79],{"className":9412,"style":201},[131,135],[35,9414,9415,9418],{"style":599},[35,9416],{"className":9417,"style":603},[160],[35,9419,9421],{"className":9420,"style":3620},[617],[35,9422,555],{"className":9423},[131],[35,9425,176],{"className":9426},[175],[35,9428,9430],{"className":9429},[148],[35,9431,9433],{"className":9432,"style":631},[152],[35,9434],{},[35,9436,9438],{"className":9437},[139],[35,9439,9441,9461],{"className":9440},[143,144],[35,9442,9444,9458],{"className":9443},[148],[35,9445,9447],{"className":9446,"style":153},[152],[35,9448,9449,9452],{"style":216},[35,9450],{"className":9451,"style":161},[160],[35,9453,9455],{"className":9454},[165,166,167,168],[35,9456,70],{"className":9457},[131,135,168],[35,9459,176],{"className":9460},[175],[35,9462,9464],{"className":9463},[148],[35,9465,9467],{"className":9466,"style":183},[152],[35,9468],{},[35,9470,9472],{"className":9471},[131],"∣.","\nКлючевое отличие от MSE и RMSE — степенная зависимость от величины ошибки. MSE «тянет» сильно за большие отклонения: ошибка в 10 единиц вносит вклад 100, ошибка в 100 — вклад 10 000. MAE наказывает все ошибки линейно. Из этого вытекает разная чувствительность к выбросам: одна аномальная точка с большой ошибкой может удвоить MSE, но MAE сдвинет несущественно. В практических терминах — если задача такова, что крупные ошибки катастрофичны (промышленный сенсор, авионика), MSE\u002FRMSE предпочтительнее, потому что метрика «вознаграждает» модель за устранение хвостовых отклонений. Если задача такова, что в данных есть выбросы, не отражающие типичное поведение, и нас интересует медианное качество — выигрывает MAE.",[15,9475,9476,9477,9659,9660,9858],{},"Глубже эта же разница проявляется в том, какую центральную тенденцию минимизирует каждая метрика: MSE — среднее, MAE — медиану. Это не идиоматическое замечание, а строгий факт: ",[35,9478,9480,9538],{"className":9479},[38],[35,9481,9483],{"className":9482},[42],[44,9484,9485],{"xmlns":46},[48,9486,9487,9535],{},[51,9488,9489,9491,9493,9504,9506,9508,9510,9512,9514,9516,9518,9529,9531,9533],{},[65,9490,4934],{},[54,9492,2848],{},[62,9494,9495,9501],{},[51,9496,9497,9499],{},[65,9498,2845],{},[54,9500,2848],{},[65,9502,9503],{},"c",[65,9505,4253],{"mathvariant":336},[65,9507,4261],{"mathvariant":1168},[65,9509,79],{},[54,9511,740],{},[65,9513,9503],{},[65,9515,4261],{"mathvariant":1168},[54,9517,97],{},[51,9519,9520,9523,9526],{},[65,9521,9522],{"mathvariant":1168},"m",[65,9524,9525],{"mathvariant":1168},"e",[65,9527,9528],{"mathvariant":1168},"d",[54,9530,60],{"stretchy":56},[65,9532,79],{},[54,9534,84],{"stretchy":56},[106,9536,9537],{"encoding":108},"\\arg\\min_c \\mathbb{E}|y - c| = \\mathrm{med}(y)",[35,9539,9541,9616,9637],{"className":9540,"ariaHidden":73},[113],[35,9542,9544,9547,9552,9555,9595,9598,9601,9604,9607,9610,9613],{"className":9543},[117],[35,9545],{"className":9546,"style":855},[121],[35,9548,5136,9550],{"className":9549},[2331],[35,9551,5140],{"style":5139},[35,9553],{"className":9554,"style":194},[193],[35,9556,9558,9561],{"className":9557},[2331],[35,9559,2845],{"className":9560},[2331],[35,9562,9564],{"className":9563},[139],[35,9565,9567,9587],{"className":9566},[143,144],[35,9568,9570,9584],{"className":9569},[148],[35,9571,9573],{"className":9572,"style":1541},[152],[35,9574,9575,9578],{"style":5165},[35,9576],{"className":9577,"style":161},[160],[35,9579,9581],{"className":9580},[165,166,167,168],[35,9582,9503],{"className":9583},[131,135,168],[35,9585,176],{"className":9586},[175],[35,9588,9590],{"className":9589},[148],[35,9591,9593],{"className":9592,"style":183},[152],[35,9594],{},[35,9596],{"className":9597,"style":194},[193],[35,9599,4253],{"className":9600},[131,416],[35,9602,4261],{"className":9603},[131],[35,9605,79],{"className":9606,"style":201},[131,135],[35,9608],{"className":9609,"style":865},[193],[35,9611,740],{"className":9612},[869],[35,9614],{"className":9615,"style":865},[193],[35,9617,9619,9622,9625,9628,9631,9634],{"className":9618},[117],[35,9620],{"className":9621,"style":855},[121],[35,9623,9503],{"className":9624},[131,135],[35,9626,4261],{"className":9627},[131],[35,9629],{"className":9630,"style":396},[193],[35,9632,97],{"className":9633},[278],[35,9635],{"className":9636,"style":396},[193],[35,9638,9640,9643,9650,9653,9656],{"className":9639},[117],[35,9641],{"className":9642,"style":855},[121],[35,9644,9646],{"className":9645},[131],[35,9647,9649],{"className":9648},[131,2301],"med",[35,9651,60],{"className":9652},[126],[35,9654,79],{"className":9655,"style":201},[131,135],[35,9657,84],{"className":9658},[240],", тогда как ",[35,9661,9663,9715],{"className":9662},[38],[35,9664,9666],{"className":9665},[42],[44,9667,9668],{"xmlns":46},[48,9669,9670,9712],{},[51,9671,9672,9674,9676,9686,9688,9690,9692,9694,9696,9702,9704,9706,9708,9710],{},[65,9673,4934],{},[54,9675,2848],{},[62,9677,9678,9684],{},[51,9679,9680,9682],{},[65,9681,2845],{},[54,9683,2848],{},[65,9685,9503],{},[65,9687,4253],{"mathvariant":336},[54,9689,60],{"stretchy":56},[65,9691,79],{},[54,9693,740],{},[65,9695,9503],{},[332,9697,9698,9700],{},[54,9699,84],{"stretchy":56},[99,9701,759],{},[54,9703,97],{},[65,9705,4253],{"mathvariant":336},[54,9707,4256],{"stretchy":56},[65,9709,79],{},[54,9711,4266],{"stretchy":56},[106,9713,9714],{"encoding":108},"\\arg\\min_c \\mathbb{E}(y - c)^2 = \\mathbb{E}[y]",[35,9716,9718,9793,9840],{"className":9717,"ariaHidden":73},[113],[35,9719,9721,9724,9729,9732,9772,9775,9778,9781,9784,9787,9790],{"className":9720},[117],[35,9722],{"className":9723,"style":855},[121],[35,9725,5136,9727],{"className":9726},[2331],[35,9728,5140],{"style":5139},[35,9730],{"className":9731,"style":194},[193],[35,9733,9735,9738],{"className":9734},[2331],[35,9736,2845],{"className":9737},[2331],[35,9739,9741],{"className":9740},[139],[35,9742,9744,9764],{"className":9743},[143,144],[35,9745,9747,9761],{"className":9746},[148],[35,9748,9750],{"className":9749,"style":1541},[152],[35,9751,9752,9755],{"style":5165},[35,9753],{"className":9754,"style":161},[160],[35,9756,9758],{"className":9757},[165,166,167,168],[35,9759,9503],{"className":9760},[131,135,168],[35,9762,176],{"className":9763},[175],[35,9765,9767],{"className":9766},[148],[35,9768,9770],{"className":9769,"style":183},[152],[35,9771],{},[35,9773],{"className":9774,"style":194},[193],[35,9776,4253],{"className":9777},[131,416],[35,9779,60],{"className":9780},[126],[35,9782,79],{"className":9783,"style":201},[131,135],[35,9785],{"className":9786,"style":865},[193],[35,9788,740],{"className":9789},[869],[35,9791],{"className":9792,"style":865},[193],[35,9794,9796,9799,9802,9831,9834,9837],{"className":9795},[117],[35,9797],{"className":9798,"style":2882},[121],[35,9800,9503],{"className":9801},[131,135],[35,9803,9805,9808],{"className":9804},[240],[35,9806,84],{"className":9807},[240],[35,9809,9811],{"className":9810},[139],[35,9812,9814],{"className":9813},[143],[35,9815,9817],{"className":9816},[148],[35,9818,9820],{"className":9819,"style":948},[152],[35,9821,9822,9825],{"style":284},[35,9823],{"className":9824,"style":161},[160],[35,9826,9828],{"className":9827},[165,166,167,168],[35,9829,759],{"className":9830},[131,168],[35,9832],{"className":9833,"style":396},[193],[35,9835,97],{"className":9836},[278],[35,9838],{"className":9839,"style":396},[193],[35,9841,9843,9846,9849,9852,9855],{"className":9842},[117],[35,9844],{"className":9845,"style":855},[121],[35,9847,4253],{"className":9848},[131,416],[35,9850,4256],{"className":9851},[126],[35,9853,79],{"className":9854,"style":201},[131,135],[35,9856,4266],{"className":9857},[240],". Модель, обученная минимизацией MAE, систематически смещена к медианному предсказанию; модель, обученная минимизацией MSE, — к среднему.",[4218,9860,4220,9861,4220,9865],{},[4222,9862],{"src":9863,"alt":9864},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fmse_mae_r2.svg","Сравнение MSE и MAE: вклад выброса в каждую метрику",[4227,9866,9867],{},"Влияние выброса на метрики качества: квадратичный штраф непропорционально усиливает вклад аномальной точки в MSE, тогда как MAE остаётся устойчивой",[15,9869,9870,2971,9873,974,9933,9936,9937,10603,10604,10677,10678,10759,10760,10841,10842,10913,10914,10972,10973,11031],{},[971,9871,9872],{},"Коэффициент детерминации",[35,9874,9876,9894],{"className":9875},[38],[35,9877,9879],{"className":9878},[42],[44,9880,9881],{"xmlns":46},[48,9882,9883,9891],{},[51,9884,9885],{},[332,9886,9887,9889],{},[65,9888,337],{},[99,9890,759],{},[106,9892,9893],{"encoding":108},"R^2",[35,9895,9897],{"className":9896,"ariaHidden":73},[113],[35,9898,9900,9903],{"className":9899},[117],[35,9901],{"className":9902,"style":948},[121],[35,9904,9906,9910],{"className":9905},[131],[35,9907,337],{"className":9908,"style":9909},[131,135],"margin-right:0.0077em;",[35,9911,9913],{"className":9912},[139],[35,9914,9916],{"className":9915},[143],[35,9917,9919],{"className":9918},[148],[35,9920,9922],{"className":9921,"style":948},[152],[35,9923,9924,9927],{"style":284},[35,9925],{"className":9926,"style":161},[160],[35,9928,9930],{"className":9929},[165,166,167,168],[35,9931,759],{"className":9932},[131,168],[976,9934,9935],{},"coefficient of determination",") измеряет долю дисперсии целевой переменной, которую объясняет модель:\n",[35,9938,9940,10049],{"className":9939},[38],[35,9941,9943],{"className":9942},[42],[44,9944,9945],{"xmlns":46},[48,9946,9947,10046],{},[51,9948,9949,9955,9957,9959,9961,10044],{},[332,9950,9951,9953],{},[65,9952,337],{},[99,9954,759],{},[54,9956,97],{},[99,9958,101],{},[54,9960,740],{},[8472,9962,9963,10005],{},[51,9964,9965,9979,9981,9987,9989,9999],{},[86,9966,9967,9969,9977],{},[54,9968,2234],{},[51,9970,9971,9973,9975],{},[65,9972,70],{},[54,9974,97],{},[99,9976,101],{},[65,9978,104],{},[54,9980,60],{"stretchy":56},[62,9982,9983,9985],{},[65,9984,79],{},[65,9986,70],{},[54,9988,740],{},[62,9990,9991,9997],{},[548,9992,9993,9995],{"accent":73},[65,9994,79],{},[54,9996,555],{},[65,9998,70],{},[332,10000,10001,10003],{},[54,10002,84],{"stretchy":56},[99,10004,759],{},[51,10006,10007,10021,10023,10029,10031,10038],{},[86,10008,10009,10011,10019],{},[54,10010,2234],{},[51,10012,10013,10015,10017],{},[65,10014,70],{},[54,10016,97],{},[99,10018,101],{},[65,10020,104],{},[54,10022,60],{"stretchy":56},[62,10024,10025,10027],{},[65,10026,79],{},[65,10028,70],{},[54,10030,740],{},[548,10032,10033,10035],{"accent":73},[65,10034,79],{},[54,10036,10037],{},"ˉ",[332,10039,10040,10042],{},[54,10041,84],{"stretchy":56},[99,10043,759],{},[65,10045,1174],{"mathvariant":1168},[106,10047,10048],{"encoding":108},"R^2 = 1 - \\frac{\\sum_{i=1}^{n} (y_i - \\hat{y}_i)^2}{\\sum_{i=1}^{n} (y_i - \\bar{y})^2}.",[35,10050,10052,10096,10115],{"className":10051,"ariaHidden":73},[113],[35,10053,10055,10058,10087,10090,10093],{"className":10054},[117],[35,10056],{"className":10057,"style":948},[121],[35,10059,10061,10064],{"className":10060},[131],[35,10062,337],{"className":10063,"style":9909},[131,135],[35,10065,10067],{"className":10066},[139],[35,10068,10070],{"className":10069},[143],[35,10071,10073],{"className":10072},[148],[35,10074,10076],{"className":10075,"style":948},[152],[35,10077,10078,10081],{"style":284},[35,10079],{"className":10080,"style":161},[160],[35,10082,10084],{"className":10083},[165,166,167,168],[35,10085,759],{"className":10086},[131,168],[35,10088],{"className":10089,"style":396},[193],[35,10091,97],{"className":10092},[278],[35,10094],{"className":10095,"style":396},[193],[35,10097,10099,10103,10106,10109,10112],{"className":10098},[117],[35,10100],{"className":10101,"style":10102},[121],"height:0.7278em;vertical-align:-0.0833em;",[35,10104,101],{"className":10105},[131],[35,10107],{"className":10108,"style":865},[193],[35,10110,740],{"className":10111},[869],[35,10113],{"className":10114,"style":865},[193],[35,10116,10118,10122,10600],{"className":10117},[117],[35,10119],{"className":10120,"style":10121},[121],"height:1.7289em;vertical-align:-0.57em;",[35,10123,10125,10128,10597],{"className":10124},[131],[35,10126],{"className":10127},[126,8561],[35,10129,10131],{"className":10130},[8472],[35,10132,10134,10588],{"className":10133},[143,144],[35,10135,10137,10585],{"className":10136},[148],[35,10138,10141,10345,10353],{"className":10139,"style":10140},[152],"height:1.1589em;",[35,10142,10143,10146],{"style":8577},[35,10144],{"className":10145,"style":603},[160],[35,10147,10149],{"className":10148},[165,166,167,168],[35,10150,10152,10221,10224,10267,10270,10314],{"className":10151},[131,168],[35,10153,10155,10158],{"className":10154},[2331,168],[35,10156,2234],{"className":10157,"style":2337},[2331,2335,2336,168],[35,10159,10161],{"className":10160},[139],[35,10162,10164,10212],{"className":10163},[143,144],[35,10165,10167,10209],{"className":10166},[148],[35,10168,10171,10194],{"className":10169,"style":10170},[152],"height:0.7047em;",[35,10172,10174,10178],{"style":10173},"top:-2.1786em;margin-left:0em;margin-right:0.0714em;",[35,10175],{"className":10176,"style":10177},[160],"height:2.5em;",[35,10179,10182],{"className":10180},[165,10181,2417,168],"reset-size3",[35,10183,10185,10188,10191],{"className":10184},[131,168],[35,10186,70],{"className":10187},[131,135,168],[35,10189,97],{"className":10190},[278,168],[35,10192,101],{"className":10193},[131,168],[35,10195,10197,10200],{"style":10196},"top:-2.8971em;margin-right:0.0714em;",[35,10198],{"className":10199,"style":10177},[160],[35,10201,10203],{"className":10202},[165,10181,2417,168],[35,10204,10206],{"className":10205},[131,168],[35,10207,104],{"className":10208},[131,135,168],[35,10210,176],{"className":10211},[175],[35,10213,10215],{"className":10214},[148],[35,10216,10219],{"className":10217,"style":10218},[152],"height:0.3214em;",[35,10220],{},[35,10222,60],{"className":10223},[126,168],[35,10225,10227,10230],{"className":10226},[131,168],[35,10228,79],{"className":10229,"style":201},[131,135,168],[35,10231,10233],{"className":10232},[139],[35,10234,10236,10258],{"className":10235},[143,144],[35,10237,10239,10255],{"className":10238},[148],[35,10240,10243],{"className":10241,"style":10242},[152],"height:0.3281em;",[35,10244,10246,10249],{"style":10245},"top:-2.357em;margin-left:-0.0359em;margin-right:0.0714em;",[35,10247],{"className":10248,"style":10177},[160],[35,10250,10252],{"className":10251},[165,10181,2417,168],[35,10253,70],{"className":10254},[131,135,168],[35,10256,176],{"className":10257},[175],[35,10259,10261],{"className":10260},[148],[35,10262,10265],{"className":10263,"style":10264},[152],"height:0.143em;",[35,10266],{},[35,10268,740],{"className":10269},[869,168],[35,10271,10273],{"className":10272},[131,586,168],[35,10274,10276,10306],{"className":10275},[143,144],[35,10277,10279,10303],{"className":10278},[148],[35,10280,10283,10292],{"className":10281,"style":10282},[152],"height:0.5678em;",[35,10284,10286,10289],{"style":10285},"top:-2.7em;",[35,10287],{"className":10288,"style":161},[160],[35,10290,79],{"className":10291,"style":201},[131,135,168],[35,10293,10294,10297],{"style":10285},[35,10295],{"className":10296,"style":161},[160],[35,10298,10300],{"className":10299,"style":3620},[617],[35,10301,10037],{"className":10302},[131,168],[35,10304,176],{"className":10305},[175],[35,10307,10309],{"className":10308},[148],[35,10310,10312],{"className":10311,"style":631},[152],[35,10313],{},[35,10315,10317,10320],{"className":10316},[240,168],[35,10318,84],{"className":10319},[240,168],[35,10321,10323],{"className":10322},[139],[35,10324,10326],{"className":10325},[143],[35,10327,10329],{"className":10328},[148],[35,10330,10333],{"className":10331,"style":10332},[152],"height:0.7463em;",[35,10334,10336,10339],{"style":10335},"top:-2.786em;margin-right:0.0714em;",[35,10337],{"className":10338,"style":10177},[160],[35,10340,10342],{"className":10341},[165,10181,2417,168],[35,10343,759],{"className":10344},[131,168],[35,10346,10347,10350],{"style":8592},[35,10348],{"className":10349,"style":603},[160],[35,10351],{"className":10352,"style":8600},[8599],[35,10354,10356,10359],{"style":10355},"top:-3.535em;",[35,10357],{"className":10358,"style":603},[160],[35,10360,10362],{"className":10361},[165,166,167,168],[35,10363,10365,10430,10433,10473,10476,10555],{"className":10364},[131,168],[35,10366,10368,10371],{"className":10367},[2331,168],[35,10369,2234],{"className":10370,"style":2337},[2331,2335,2336,168],[35,10372,10374],{"className":10373},[139],[35,10375,10377,10422],{"className":10376},[143,144],[35,10378,10380,10419],{"className":10379},[148],[35,10381,10384,10404],{"className":10382,"style":10383},[152],"height:0.7385em;",[35,10385,10386,10389],{"style":10173},[35,10387],{"className":10388,"style":10177},[160],[35,10390,10392],{"className":10391},[165,10181,2417,168],[35,10393,10395,10398,10401],{"className":10394},[131,168],[35,10396,70],{"className":10397},[131,135,168],[35,10399,97],{"className":10400},[278,168],[35,10402,101],{"className":10403},[131,168],[35,10405,10407,10410],{"style":10406},"top:-2.931em;margin-right:0.0714em;",[35,10408],{"className":10409,"style":10177},[160],[35,10411,10413],{"className":10412},[165,10181,2417,168],[35,10414,10416],{"className":10415},[131,168],[35,10417,104],{"className":10418},[131,135,168],[35,10420,176],{"className":10421},[175],[35,10423,10425],{"className":10424},[148],[35,10426,10428],{"className":10427,"style":10218},[152],[35,10429],{},[35,10431,60],{"className":10432},[126,168],[35,10434,10436,10439],{"className":10435},[131,168],[35,10437,79],{"className":10438,"style":201},[131,135,168],[35,10440,10442],{"className":10441},[139],[35,10443,10445,10465],{"className":10444},[143,144],[35,10446,10448,10462],{"className":10447},[148],[35,10449,10451],{"className":10450,"style":10242},[152],[35,10452,10453,10456],{"style":10245},[35,10454],{"className":10455,"style":10177},[160],[35,10457,10459],{"className":10458},[165,10181,2417,168],[35,10460,70],{"className":10461},[131,135,168],[35,10463,176],{"className":10464},[175],[35,10466,10468],{"className":10467},[148],[35,10469,10471],{"className":10470,"style":10264},[152],[35,10472],{},[35,10474,740],{"className":10475},[869,168],[35,10477,10479,10521],{"className":10478},[131,168],[35,10480,10482],{"className":10481},[131,586,168],[35,10483,10485,10513],{"className":10484},[143,144],[35,10486,10488,10510],{"className":10487},[148],[35,10489,10491,10499],{"className":10490,"style":3603},[152],[35,10492,10493,10496],{"style":10285},[35,10494],{"className":10495,"style":161},[160],[35,10497,79],{"className":10498,"style":201},[131,135,168],[35,10500,10501,10504],{"style":10285},[35,10502],{"className":10503,"style":161},[160],[35,10505,10507],{"className":10506,"style":3620},[617],[35,10508,555],{"className":10509},[131,168],[35,10511,176],{"className":10512},[175],[35,10514,10516],{"className":10515},[148],[35,10517,10519],{"className":10518,"style":631},[152],[35,10520],{},[35,10522,10524],{"className":10523},[139],[35,10525,10527,10547],{"className":10526},[143,144],[35,10528,10530,10544],{"className":10529},[148],[35,10531,10533],{"className":10532,"style":10242},[152],[35,10534,10535,10538],{"style":10245},[35,10536],{"className":10537,"style":10177},[160],[35,10539,10541],{"className":10540},[165,10181,2417,168],[35,10542,70],{"className":10543},[131,135,168],[35,10545,176],{"className":10546},[175],[35,10548,10550],{"className":10549},[148],[35,10551,10553],{"className":10552,"style":10264},[152],[35,10554],{},[35,10556,10558,10561],{"className":10557},[240,168],[35,10559,84],{"className":10560},[240,168],[35,10562,10564],{"className":10563},[139],[35,10565,10567],{"className":10566},[143],[35,10568,10570],{"className":10569},[148],[35,10571,10574],{"className":10572,"style":10573},[152],"height:0.8913em;",[35,10575,10576,10579],{"style":10406},[35,10577],{"className":10578,"style":10177},[160],[35,10580,10582],{"className":10581},[165,10181,2417,168],[35,10583,759],{"className":10584},[131,168],[35,10586,176],{"className":10587},[175],[35,10589,10591],{"className":10590},[148],[35,10592,10595],{"className":10593,"style":10594},[152],"height:0.57em;",[35,10596],{},[35,10598],{"className":10599},[240,8561],[35,10601,1174],{"className":10602},[131],"\nВ числителе — RSS модели, в знаменателе — RSS тривиального предсказателя (среднее ",[35,10605,10607,10625],{"className":10606},[38],[35,10608,10610],{"className":10609},[42],[44,10611,10612],{"xmlns":46},[48,10613,10614,10622],{},[51,10615,10616],{},[548,10617,10618,10620],{"accent":73},[65,10619,79],{},[54,10621,10037],{},[106,10623,10624],{"encoding":108},"\\bar{y}",[35,10626,10628],{"className":10627,"ariaHidden":73},[113],[35,10629,10631,10635],{"className":10630},[117],[35,10632],{"className":10633,"style":10634},[121],"height:0.7622em;vertical-align:-0.1944em;",[35,10636,10638],{"className":10637},[131,586],[35,10639,10641,10669],{"className":10640},[143,144],[35,10642,10644,10666],{"className":10643},[148],[35,10645,10647,10655],{"className":10646,"style":10282},[152],[35,10648,10649,10652],{"style":599},[35,10650],{"className":10651,"style":603},[160],[35,10653,79],{"className":10654,"style":201},[131,135],[35,10656,10657,10660],{"style":599},[35,10658],{"className":10659,"style":603},[160],[35,10661,10663],{"className":10662,"style":3620},[617],[35,10664,10037],{"className":10665},[131],[35,10667,176],{"className":10668},[175],[35,10670,10672],{"className":10671},[148],[35,10673,10675],{"className":10674,"style":631},[152],[35,10676],{},"). ",[35,10679,10681,10703],{"className":10680},[38],[35,10682,10684],{"className":10683},[42],[44,10685,10686],{"xmlns":46},[48,10687,10688,10700],{},[51,10689,10690,10696,10698],{},[332,10691,10692,10694],{},[65,10693,337],{},[99,10695,759],{},[54,10697,97],{},[99,10699,101],{},[106,10701,10702],{"encoding":108},"R^2 = 1",[35,10704,10706,10750],{"className":10705,"ariaHidden":73},[113],[35,10707,10709,10712,10741,10744,10747],{"className":10708},[117],[35,10710],{"className":10711,"style":948},[121],[35,10713,10715,10718],{"className":10714},[131],[35,10716,337],{"className":10717,"style":9909},[131,135],[35,10719,10721],{"className":10720},[139],[35,10722,10724],{"className":10723},[143],[35,10725,10727],{"className":10726},[148],[35,10728,10730],{"className":10729,"style":948},[152],[35,10731,10732,10735],{"style":284},[35,10733],{"className":10734,"style":161},[160],[35,10736,10738],{"className":10737},[165,166,167,168],[35,10739,759],{"className":10740},[131,168],[35,10742],{"className":10743,"style":396},[193],[35,10745,97],{"className":10746},[278],[35,10748],{"className":10749,"style":396},[193],[35,10751,10753,10756],{"className":10752},[117],[35,10754],{"className":10755,"style":5644},[121],[35,10757,101],{"className":10758},[131]," означает идеальное предсказание; ",[35,10761,10763,10785],{"className":10762},[38],[35,10764,10766],{"className":10765},[42],[44,10767,10768],{"xmlns":46},[48,10769,10770,10782],{},[51,10771,10772,10778,10780],{},[332,10773,10774,10776],{},[65,10775,337],{},[99,10777,759],{},[54,10779,97],{},[99,10781,1103],{},[106,10783,10784],{"encoding":108},"R^2 = 0",[35,10786,10788,10832],{"className":10787,"ariaHidden":73},[113],[35,10789,10791,10794,10823,10826,10829],{"className":10790},[117],[35,10792],{"className":10793,"style":948},[121],[35,10795,10797,10800],{"className":10796},[131],[35,10798,337],{"className":10799,"style":9909},[131,135],[35,10801,10803],{"className":10802},[139],[35,10804,10806],{"className":10805},[143],[35,10807,10809],{"className":10808},[148],[35,10810,10812],{"className":10811,"style":948},[152],[35,10813,10814,10817],{"style":284},[35,10815],{"className":10816,"style":161},[160],[35,10818,10820],{"className":10819},[165,166,167,168],[35,10821,759],{"className":10822},[131,168],[35,10824],{"className":10825,"style":396},[193],[35,10827,97],{"className":10828},[278],[35,10830],{"className":10831,"style":396},[193],[35,10833,10835,10838],{"className":10834},[117],[35,10836],{"className":10837,"style":5644},[121],[35,10839,1103],{"className":10840},[131]," — модель работает не лучше предсказания константой ",[35,10843,10845,10862],{"className":10844},[38],[35,10846,10848],{"className":10847},[42],[44,10849,10850],{"xmlns":46},[48,10851,10852,10860],{},[51,10853,10854],{},[548,10855,10856,10858],{"accent":73},[65,10857,79],{},[54,10859,10037],{},[106,10861,10624],{"encoding":108},[35,10863,10865],{"className":10864,"ariaHidden":73},[113],[35,10866,10868,10871],{"className":10867},[117],[35,10869],{"className":10870,"style":10634},[121],[35,10872,10874],{"className":10873},[131,586],[35,10875,10877,10905],{"className":10876},[143,144],[35,10878,10880,10902],{"className":10879},[148],[35,10881,10883,10891],{"className":10882,"style":10282},[152],[35,10884,10885,10888],{"style":599},[35,10886],{"className":10887,"style":603},[160],[35,10889,79],{"className":10890,"style":201},[131,135],[35,10892,10893,10896],{"style":599},[35,10894],{"className":10895,"style":603},[160],[35,10897,10899],{"className":10898,"style":3620},[617],[35,10900,10037],{"className":10901},[131],[35,10903,176],{"className":10904},[175],[35,10906,10908],{"className":10907},[148],[35,10909,10911],{"className":10910,"style":631},[152],[35,10912],{},". На тестовой выборке ",[35,10915,10917,10934],{"className":10916},[38],[35,10918,10920],{"className":10919},[42],[44,10921,10922],{"xmlns":46},[48,10923,10924,10932],{},[51,10925,10926],{},[332,10927,10928,10930],{},[65,10929,337],{},[99,10931,759],{},[106,10933,9893],{"encoding":108},[35,10935,10937],{"className":10936,"ariaHidden":73},[113],[35,10938,10940,10943],{"className":10939},[117],[35,10941],{"className":10942,"style":948},[121],[35,10944,10946,10949],{"className":10945},[131],[35,10947,337],{"className":10948,"style":9909},[131,135],[35,10950,10952],{"className":10951},[139],[35,10953,10955],{"className":10954},[143],[35,10956,10958],{"className":10957},[148],[35,10959,10961],{"className":10960,"style":948},[152],[35,10962,10963,10966],{"style":284},[35,10964],{"className":10965,"style":161},[160],[35,10967,10969],{"className":10968},[165,166,167,168],[35,10970,759],{"className":10971},[131,168]," может быть и отрицательным: тогда модель хуже тривиального baseline. Этот факт регулярно удивляет — в учебниках ",[35,10974,10976,10993],{"className":10975},[38],[35,10977,10979],{"className":10978},[42],[44,10980,10981],{"xmlns":46},[48,10982,10983,10991],{},[51,10984,10985],{},[332,10986,10987,10989],{},[65,10988,337],{},[99,10990,759],{},[106,10992,9893],{"encoding":108},[35,10994,10996],{"className":10995,"ariaHidden":73},[113],[35,10997,10999,11002],{"className":10998},[117],[35,11000],{"className":11001,"style":948},[121],[35,11003,11005,11008],{"className":11004},[131],[35,11006,337],{"className":11007,"style":9909},[131,135],[35,11009,11011],{"className":11010},[139],[35,11012,11014],{"className":11013},[143],[35,11015,11017],{"className":11016},[148],[35,11018,11020],{"className":11019,"style":948},[152],[35,11021,11022,11025],{"style":284},[35,11023],{"className":11024,"style":161},[160],[35,11026,11028],{"className":11027},[165,166,167,168],[35,11029,759],{"className":11030},[131,168]," часто описывают как «всегда от 0 до 1», что справедливо лишь для обучающей выборки в OLS. На тестовых данных или для нелинейных моделей нижней границы нет.",[15,11033,11034,11035,11093,11094,11122,11123,11181],{},"Преимущество ",[35,11036,11038,11055],{"className":11037},[38],[35,11039,11041],{"className":11040},[42],[44,11042,11043],{"xmlns":46},[48,11044,11045,11053],{},[51,11046,11047],{},[332,11048,11049,11051],{},[65,11050,337],{},[99,11052,759],{},[106,11054,9893],{"encoding":108},[35,11056,11058],{"className":11057,"ariaHidden":73},[113],[35,11059,11061,11064],{"className":11060},[117],[35,11062],{"className":11063,"style":948},[121],[35,11065,11067,11070],{"className":11066},[131],[35,11068,337],{"className":11069,"style":9909},[131,135],[35,11071,11073],{"className":11072},[139],[35,11074,11076],{"className":11075},[143],[35,11077,11079],{"className":11078},[148],[35,11080,11082],{"className":11081,"style":948},[152],[35,11083,11084,11087],{"style":284},[35,11085],{"className":11086,"style":161},[160],[35,11088,11090],{"className":11089},[165,166,167,168],[35,11091,759],{"className":11092},[131,168]," — безразмерность и интерпретируемость в долях. «Модель объясняет 87% дисперсии» — формулировка, доступная неспециалисту. Недостаток — зависимость от дисперсии целевой переменной: при малой дисперсии ",[35,11095,11097,11110],{"className":11096},[38],[35,11098,11100],{"className":11099},[42],[44,11101,11102],{"xmlns":46},[48,11103,11104,11108],{},[51,11105,11106],{},[65,11107,79],{},[106,11109,79],{"encoding":108},[35,11111,11113],{"className":11112,"ariaHidden":73},[113],[35,11114,11116,11119],{"className":11115},[117],[35,11117],{"className":11118,"style":1054},[121],[35,11120,79],{"className":11121,"style":201},[131,135]," даже хорошая в абсолютных единицах модель даст низкий ",[35,11124,11126,11143],{"className":11125},[38],[35,11127,11129],{"className":11128},[42],[44,11130,11131],{"xmlns":46},[48,11132,11133,11141],{},[51,11134,11135],{},[332,11136,11137,11139],{},[65,11138,337],{},[99,11140,759],{},[106,11142,9893],{"encoding":108},[35,11144,11146],{"className":11145,"ariaHidden":73},[113],[35,11147,11149,11152],{"className":11148},[117],[35,11150],{"className":11151,"style":948},[121],[35,11153,11155,11158],{"className":11154},[131],[35,11156,337],{"className":11157,"style":9909},[131,135],[35,11159,11161],{"className":11160},[139],[35,11162,11164],{"className":11163},[143],[35,11165,11167],{"className":11166},[148],[35,11168,11170],{"className":11169,"style":948},[152],[35,11171,11172,11175],{"style":284},[35,11173],{"className":11174,"style":161},[160],[35,11176,11178],{"className":11177},[165,166,167,168],[35,11179,759],{"className":11180},[131,168],", при высокой дисперсии — плохая модель может выглядеть прилично.",[15,11183,11184,11185,11243],{},"В каких случаях какую метрику предпочесть. Для отчётности и сравнения моделей на одних и тех же данных — RMSE, как сочетающая обоснованность с интерпретируемостью в единицах задачи. Для устойчивости к выбросам — MAE. Для содержательной интерпретации в долях — ",[35,11186,11188,11205],{"className":11187},[38],[35,11189,11191],{"className":11190},[42],[44,11192,11193],{"xmlns":46},[48,11194,11195,11203],{},[51,11196,11197],{},[332,11198,11199,11201],{},[65,11200,337],{},[99,11202,759],{},[106,11204,9893],{"encoding":108},[35,11206,11208],{"className":11207,"ariaHidden":73},[113],[35,11209,11211,11214],{"className":11210},[117],[35,11212],{"className":11213,"style":948},[121],[35,11215,11217,11220],{"className":11216},[131],[35,11218,337],{"className":11219,"style":9909},[131,135],[35,11221,11223],{"className":11222},[139],[35,11224,11226],{"className":11225},[143],[35,11227,11229],{"className":11228},[148],[35,11230,11232],{"className":11231,"style":948},[152],[35,11233,11234,11237],{"style":284},[35,11235],{"className":11236,"style":161},[160],[35,11238,11240],{"className":11239},[165,166,167,168],[35,11241,759],{"className":11242},[131,168],". Полезно сообщать сразу несколько: расхождение между RMSE и MAE сигнализирует о наличии выбросов или скошенности распределения ошибок и подталкивает к их анализу.",[15,11245,11246,11247,11250,11251,11321,11322,11325,11326,974,11329,11332],{},"Особняком стоят метрики для случаев со специальной структурой задачи. ",[971,11248,11249],{},"Mean absolute percentage error"," (MAPE) — относительная ошибка в процентах от истинного значения; применима, когда ",[35,11252,11254,11272],{"className":11253},[38],[35,11255,11257],{"className":11256},[42],[44,11258,11259],{"xmlns":46},[48,11260,11261,11269],{},[51,11262,11263],{},[62,11264,11265,11267],{},[65,11266,79],{},[65,11268,70],{},[106,11270,11271],{"encoding":108},"y_i",[35,11273,11275],{"className":11274,"ariaHidden":73},[113],[35,11276,11278,11281],{"className":11277},[117],[35,11279],{"className":11280,"style":1054},[121],[35,11282,11284,11287],{"className":11283},[131],[35,11285,79],{"className":11286,"style":201},[131,135],[35,11288,11290],{"className":11289},[139],[35,11291,11293,11313],{"className":11292},[143,144],[35,11294,11296,11310],{"className":11295},[148],[35,11297,11299],{"className":11298,"style":153},[152],[35,11300,11301,11304],{"style":216},[35,11302],{"className":11303,"style":161},[160],[35,11305,11307],{"className":11306},[165,166,167,168],[35,11308,70],{"className":11309},[131,135,168],[35,11311,176],{"className":11312},[175],[35,11314,11316],{"className":11315},[148],[35,11317,11319],{"className":11318,"style":183},[152],[35,11320],{}," всегда положительны и далеки от нуля. ",[971,11323,11324],{},"Logcosh-loss"," — гладкая аппроксимация MAE, удобная для оптимизации. ",[971,11327,11328],{},"Loss Хьюбера",[976,11330,11331],{},"Huber loss",") ведёт себя как MSE на малых ошибках и как MAE на больших, объединяя свойства обеих; используется как робастная альтернатива MSE при обучении.",[27,11334,11336],{"id":11335},"анализ-остатков","Анализ остатков",[15,11338,11339,11340,974,11343,11346],{},"Метрики дают одно число и тем самым прячут структуру ошибок. Модель с RMSE 5 °C может ошибаться равномерно по всему диапазону или сильно врать только в жаркие дни — метрика этого не покажет. Поэтому полноценная оценка регрессионной модели включает ",[971,11341,11342],{},"анализ остатков",[976,11344,11345],{},"residual analysis",").",[15,11348,11349,11350,11379,11380,11621],{},"Остаток в точке ",[35,11351,11353,11366],{"className":11352},[38],[35,11354,11356],{"className":11355},[42],[44,11357,11358],{"xmlns":46},[48,11359,11360,11364],{},[51,11361,11362],{},[65,11363,70],{},[106,11365,70],{"encoding":108},[35,11367,11369],{"className":11368,"ariaHidden":73},[113],[35,11370,11372,11376],{"className":11371},[117],[35,11373],{"className":11374,"style":11375},[121],"height:0.6595em;",[35,11377,70],{"className":11378},[131,135]," — это разница между наблюдением и предсказанием: ",[35,11381,11383,11421],{"className":11382},[38],[35,11384,11386],{"className":11385},[42],[44,11387,11388],{"xmlns":46},[48,11389,11390,11418],{},[51,11391,11392,11398,11400,11406,11408],{},[62,11393,11394,11396],{},[65,11395,3739],{},[65,11397,70],{},[54,11399,97],{},[62,11401,11402,11404],{},[65,11403,79],{},[65,11405,70],{},[54,11407,740],{},[62,11409,11410,11416],{},[548,11411,11412,11414],{"accent":73},[65,11413,79],{},[54,11415,555],{},[65,11417,70],{},[106,11419,11420],{"encoding":108},"r_i = y_i - \\hat{y}_i",[35,11422,11424,11481,11536],{"className":11423,"ariaHidden":73},[113],[35,11425,11427,11431,11472,11475,11478],{"className":11426},[117],[35,11428],{"className":11429,"style":11430},[121],"height:0.5806em;vertical-align:-0.15em;",[35,11432,11434,11437],{"className":11433},[131],[35,11435,3739],{"className":11436,"style":3767},[131,135],[35,11438,11440],{"className":11439},[139],[35,11441,11443,11464],{"className":11442},[143,144],[35,11444,11446,11461],{"className":11445},[148],[35,11447,11449],{"className":11448,"style":153},[152],[35,11450,11452,11455],{"style":11451},"top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;",[35,11453],{"className":11454,"style":161},[160],[35,11456,11458],{"className":11457},[165,166,167,168],[35,11459,70],{"className":11460},[131,135,168],[35,11462,176],{"className":11463},[175],[35,11465,11467],{"className":11466},[148],[35,11468,11470],{"className":11469,"style":183},[152],[35,11471],{},[35,11473],{"className":11474,"style":396},[193],[35,11476,97],{"className":11477},[278],[35,11479],{"className":11480,"style":396},[193],[35,11482,11484,11487,11527,11530,11533],{"className":11483},[117],[35,11485],{"className":11486,"style":3783},[121],[35,11488,11490,11493],{"className":11489},[131],[35,11491,79],{"className":11492,"style":201},[131,135],[35,11494,11496],{"className":11495},[139],[35,11497,11499,11519],{"className":11498},[143,144],[35,11500,11502,11516],{"className":11501},[148],[35,11503,11505],{"className":11504,"style":153},[152],[35,11506,11507,11510],{"style":216},[35,11508],{"className":11509,"style":161},[160],[35,11511,11513],{"className":11512},[165,166,167,168],[35,11514,70],{"className":11515},[131,135,168],[35,11517,176],{"className":11518},[175],[35,11520,11522],{"className":11521},[148],[35,11523,11525],{"className":11524,"style":183},[152],[35,11526],{},[35,11528],{"className":11529,"style":865},[193],[35,11531,740],{"className":11532},[869],[35,11534],{"className":11535,"style":865},[193],[35,11537,11539,11542],{"className":11538},[117],[35,11540],{"className":11541,"style":1253},[121],[35,11543,11545,11587],{"className":11544},[131],[35,11546,11548],{"className":11547},[131,586],[35,11549,11551,11579],{"className":11550},[143,144],[35,11552,11554,11576],{"className":11553},[148],[35,11555,11557,11565],{"className":11556,"style":3603},[152],[35,11558,11559,11562],{"style":599},[35,11560],{"className":11561,"style":603},[160],[35,11563,79],{"className":11564,"style":201},[131,135],[35,11566,11567,11570],{"style":599},[35,11568],{"className":11569,"style":603},[160],[35,11571,11573],{"className":11572,"style":3620},[617],[35,11574,555],{"className":11575},[131],[35,11577,176],{"className":11578},[175],[35,11580,11582],{"className":11581},[148],[35,11583,11585],{"className":11584,"style":631},[152],[35,11586],{},[35,11588,11590],{"className":11589},[139],[35,11591,11593,11613],{"className":11592},[143,144],[35,11594,11596,11610],{"className":11595},[148],[35,11597,11599],{"className":11598,"style":153},[152],[35,11600,11601,11604],{"style":216},[35,11602],{"className":11603,"style":161},[160],[35,11605,11607],{"className":11606},[165,166,167,168],[35,11608,70],{"className":11609},[131,135,168],[35,11611,176],{"className":11612},[175],[35,11614,11616],{"className":11615},[148],[35,11617,11619],{"className":11618,"style":183},[152],[35,11620],{},". Если линейная модель адекватно описывает данные, остатки должны вести себя как реализации случайного шума с нулевым средним, постоянной дисперсией и независимостью между собой. Любое систематическое отклонение от этой картины — диагностический сигнал.",[15,11623,11624,11625,974,11628,11631,11632,11745,11746,11816],{},"Самый информативный график — ",[971,11626,11627],{},"диаграмма остатков от предсказаний",[976,11629,11630],{},"residuals vs fitted","). По горизонтали откладываются предсказанные значения ",[35,11633,11635,11657],{"className":11634},[38],[35,11636,11638],{"className":11637},[42],[44,11639,11640],{"xmlns":46},[48,11641,11642,11654],{},[51,11643,11644],{},[62,11645,11646,11652],{},[548,11647,11648,11650],{"accent":73},[65,11649,79],{},[54,11651,555],{},[65,11653,70],{},[106,11655,11656],{"encoding":108},"\\hat{y}_i",[35,11658,11660],{"className":11659,"ariaHidden":73},[113],[35,11661,11663,11666],{"className":11662},[117],[35,11664],{"className":11665,"style":1253},[121],[35,11667,11669,11711],{"className":11668},[131],[35,11670,11672],{"className":11671},[131,586],[35,11673,11675,11703],{"className":11674},[143,144],[35,11676,11678,11700],{"className":11677},[148],[35,11679,11681,11689],{"className":11680,"style":3603},[152],[35,11682,11683,11686],{"style":599},[35,11684],{"className":11685,"style":603},[160],[35,11687,79],{"className":11688,"style":201},[131,135],[35,11690,11691,11694],{"style":599},[35,11692],{"className":11693,"style":603},[160],[35,11695,11697],{"className":11696,"style":3620},[617],[35,11698,555],{"className":11699},[131],[35,11701,176],{"className":11702},[175],[35,11704,11706],{"className":11705},[148],[35,11707,11709],{"className":11708,"style":631},[152],[35,11710],{},[35,11712,11714],{"className":11713},[139],[35,11715,11717,11737],{"className":11716},[143,144],[35,11718,11720,11734],{"className":11719},[148],[35,11721,11723],{"className":11722,"style":153},[152],[35,11724,11725,11728],{"style":216},[35,11726],{"className":11727,"style":161},[160],[35,11729,11731],{"className":11730},[165,166,167,168],[35,11732,70],{"className":11733},[131,135,168],[35,11735,176],{"className":11736},[175],[35,11738,11740],{"className":11739},[148],[35,11741,11743],{"className":11742,"style":183},[152],[35,11744],{},", по вертикали — остатки ",[35,11747,11749,11767],{"className":11748},[38],[35,11750,11752],{"className":11751},[42],[44,11753,11754],{"xmlns":46},[48,11755,11756,11764],{},[51,11757,11758],{},[62,11759,11760,11762],{},[65,11761,3739],{},[65,11763,70],{},[106,11765,11766],{"encoding":108},"r_i",[35,11768,11770],{"className":11769,"ariaHidden":73},[113],[35,11771,11773,11776],{"className":11772},[117],[35,11774],{"className":11775,"style":11430},[121],[35,11777,11779,11782],{"className":11778},[131],[35,11780,3739],{"className":11781,"style":3767},[131,135],[35,11783,11785],{"className":11784},[139],[35,11786,11788,11808],{"className":11787},[143,144],[35,11789,11791,11805],{"className":11790},[148],[35,11792,11794],{"className":11793,"style":153},[152],[35,11795,11796,11799],{"style":11451},[35,11797],{"className":11798,"style":161},[160],[35,11800,11802],{"className":11801},[165,166,167,168],[35,11803,70],{"className":11804},[131,135,168],[35,11806,176],{"className":11807},[175],[35,11809,11811],{"className":11810},[148],[35,11812,11814],{"className":11813,"style":183},[152],[35,11815],{},". Идеальная картина — облако точек без структуры вокруг горизонтальной нулевой линии. Содержательные нарушения сводятся к двум типичным паттернам.",[15,11818,11819,11820,11823],{},"Первый — ",[971,11821,11822],{},"видимая нелинейность",": остатки образуют дугу, синусоиду или иную явно неслучайную форму. Это означает, что линейная модель пропустила нелинейный компонент зависимости; нужны нелинейные преобразования признаков либо переход к иной модели.",[15,11825,11826,11827,974,11830,11833,11834,11946,11947,12019,12020,12063],{},"Второй — ",[971,11828,11829],{},"гетероскедастичность",[976,11831,11832],{},"heteroscedasticity","): разброс остатков растёт (или, реже, убывает) с величиной ",[35,11835,11837,11858],{"className":11836},[38],[35,11838,11840],{"className":11839},[42],[44,11841,11842],{"xmlns":46},[48,11843,11844,11856],{},[51,11845,11846],{},[62,11847,11848,11854],{},[548,11849,11850,11852],{"accent":73},[65,11851,79],{},[54,11853,555],{},[65,11855,70],{},[106,11857,11656],{"encoding":108},[35,11859,11861],{"className":11860,"ariaHidden":73},[113],[35,11862,11864,11867],{"className":11863},[117],[35,11865],{"className":11866,"style":1253},[121],[35,11868,11870,11912],{"className":11869},[131],[35,11871,11873],{"className":11872},[131,586],[35,11874,11876,11904],{"className":11875},[143,144],[35,11877,11879,11901],{"className":11878},[148],[35,11880,11882,11890],{"className":11881,"style":3603},[152],[35,11883,11884,11887],{"style":599},[35,11885],{"className":11886,"style":603},[160],[35,11888,79],{"className":11889,"style":201},[131,135],[35,11891,11892,11895],{"style":599},[35,11893],{"className":11894,"style":603},[160],[35,11896,11898],{"className":11897,"style":3620},[617],[35,11899,555],{"className":11900},[131],[35,11902,176],{"className":11903},[175],[35,11905,11907],{"className":11906},[148],[35,11908,11910],{"className":11909,"style":631},[152],[35,11911],{},[35,11913,11915],{"className":11914},[139],[35,11916,11918,11938],{"className":11917},[143,144],[35,11919,11921,11935],{"className":11920},[148],[35,11922,11924],{"className":11923,"style":153},[152],[35,11925,11926,11929],{"style":216},[35,11927],{"className":11928,"style":161},[160],[35,11930,11932],{"className":11931},[165,166,167,168],[35,11933,70],{"className":11934},[131,135,168],[35,11936,176],{"className":11937},[175],[35,11939,11941],{"className":11940},[148],[35,11942,11944],{"className":11943,"style":183},[152],[35,11945],{},". Графически — характерный «рупор» или «галстук-бабочка». Это нарушение допущения о постоянстве дисперсии, и его последствия мы обсуждали выше: оценки коэффициентов остаются несмещёнными, но доверительные интервалы становятся некорректными, а прогноз для высоких значений ",[35,11948,11950,11968],{"className":11949},[38],[35,11951,11953],{"className":11952},[42],[44,11954,11955],{"xmlns":46},[48,11956,11957,11965],{},[51,11958,11959],{},[548,11960,11961,11963],{"accent":73},[65,11962,79],{},[54,11964,555],{},[106,11966,11967],{"encoding":108},"\\hat{y}",[35,11969,11971],{"className":11970,"ariaHidden":73},[113],[35,11972,11974,11977],{"className":11973},[117],[35,11975],{"className":11976,"style":1253},[121],[35,11978,11980],{"className":11979},[131,586],[35,11981,11983,12011],{"className":11982},[143,144],[35,11984,11986,12008],{"className":11985},[148],[35,11987,11989,11997],{"className":11988,"style":3603},[152],[35,11990,11991,11994],{"style":599},[35,11992],{"className":11993,"style":603},[160],[35,11995,79],{"className":11996,"style":201},[131,135],[35,11998,11999,12002],{"style":599},[35,12000],{"className":12001,"style":603},[160],[35,12003,12005],{"className":12004,"style":3620},[617],[35,12006,555],{"className":12007},[131],[35,12009,176],{"className":12010},[175],[35,12012,12014],{"className":12013},[148],[35,12015,12017],{"className":12016,"style":631},[152],[35,12018],{}," — менее надёжным, чем для низких. Стандартные приёмы коррекции — преобразование целевой переменной (например, ",[35,12021,12023,12042],{"className":12022},[38],[35,12024,12026],{"className":12025},[42],[44,12027,12028],{"xmlns":46},[48,12029,12030,12039],{},[51,12031,12032,12035,12037],{},[65,12033,12034],{},"log",[54,12036,2848],{},[65,12038,79],{},[106,12040,12041],{"encoding":108},"\\log y",[35,12043,12045],{"className":12044,"ariaHidden":73},[113],[35,12046,12048,12051,12057,12060],{"className":12047},[117],[35,12049],{"className":12050,"style":1253},[121],[35,12052,12054,12055],{"className":12053},[2331],"lo",[35,12056,5140],{"style":5139},[35,12058],{"className":12059,"style":194},[193],[35,12061,79],{"className":12062,"style":201},[131,135]," при экспоненциальном росте дисперсии), либо переход к взвешенному методу наименьших квадратов, либо использование робастных оценок ковариационной матрицы.",[4218,12065,4220,12066,4220,12070],{},[4222,12067],{"src":12068,"alt":12069},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-05\u002Fresiduals_diagnostic.svg","Диагностика остатков: гомоскедастичный и гетероскедастичный паттерны",[4227,12071,12072],{},"Типичные паттерны на диаграмме «остатки против предсказаний». Слева — гомоскедастичность: равномерный разброс вокруг нуля. Справа — гетероскедастичность: разброс растёт с величиной предсказания",[15,12074,12075,12076,974,12079,4893,12082,12085,12086,12137],{},"Второй стандартный график — ",[971,12077,12078],{},"Q-Q plot",[976,12080,12081],{},"quantile-quantile plot",[971,12083,12084],{},"остатков",". По одной оси откладываются эмпирические квантили остатков, по другой — теоретические квантили нормального распределения с теми же средним и дисперсией. Если остатки нормально распределены, точки ложатся на прямую ",[35,12087,12089,12107],{"className":12088},[38],[35,12090,12092],{"className":12091},[42],[44,12093,12094],{"xmlns":46},[48,12095,12096,12104],{},[51,12097,12098,12100,12102],{},[65,12099,79],{},[54,12101,97],{},[65,12103,67],{},[106,12105,12106],{"encoding":108},"y = x",[35,12108,12110,12128],{"className":12109,"ariaHidden":73},[113],[35,12111,12113,12116,12119,12122,12125],{"className":12112},[117],[35,12114],{"className":12115,"style":1054},[121],[35,12117,79],{"className":12118,"style":201},[131,135],[35,12120],{"className":12121,"style":396},[193],[35,12123,97],{"className":12124},[278],[35,12126],{"className":12127,"style":396},[193],[35,12129,12131,12134],{"className":12130},[117],[35,12132],{"className":12133,"style":1024},[121],[35,12135,67],{"className":12136},[131,135],". Систематические отклонения — особенно на хвостах — указывают на тяжёлые хвосты распределения (выбросы), скошенность или мультимодальность. Для крупных выборок строгая нормальность не нужна, но Q-Q plot всё равно полезен как способ обнаружения аномальных точек.",[15,12139,12140,12141,12150,12151,12154,12155,12158],{},"Помимо двух базовых графиков, в практической литературе ",[4895,12142,12144],{"className":12143},[4898],[4900,12145,12147],{"href":12146},"#ref-4",[35,12148,12149],{},"4"," описывают расширенный набор: график остатков от каждого отдельного признака (для выявления нелинейности по конкретной переменной), графики масштабированных остатков (англ. ",[976,12152,12153],{},"scale-location",") для уточнения характера гетероскедастичности, диаграмма влияния (англ. ",[976,12156,12157],{},"leverage",") для обнаружения объектов, аномально сильно влияющих на оценку коэффициентов. В лабораторной работе мы ограничимся базовыми графиками; этого достаточно для распознавания основных проблем модели.",[15,12160,12161],{},"Диагностика остатков — обязательная часть отчёта о регрессионном моделировании. Метрика без диагностики говорит «насколько хорошо в среднем»; диагностика — «где и в чём модель ошибается систематически». Только их сочетание позволяет принять обоснованное решение о пригодности модели к эксплуатации.",[22,12163,12165],{"id":12164},"литература","Литература",[12167,12168,12171,12176,12180,12184],"ol",{"className":12169},[12170],"references",[12172,12173,12175],"li",{"id":12174},"ref-1","Hoerl A. E., Kennard R. W. Ridge Regression: Biased Estimation for Nonorthogonal Problems. — Technometrics, 1970, С. 55–67, DOI: 10.1080\u002F00401706.1970.10488634.",[12172,12177,12179],{"id":12178},"ref-2","Tibshirani R. Regression Shrinkage and Selection via the Lasso. — Journal of the Royal Statistical Society. Series B (Methodological), 1996, С. 267–288, DOI: 10.1111\u002Fj.2517-6161.1996.tb02080.x.",[12172,12181,12183],{"id":12182},"ref-3","Zou H., Hastie T. Regularization and Variable Selection via the Elastic Net. — Journal of the Royal Statistical Society. Series B (Statistical Methodology), 2005, С. 301–320, DOI: 10.1111\u002Fj.1467-9868.2005.00503.x.",[12172,12185,12187],{"id":12186},"ref-4","James G., Witten D., Hastie T., Tibshirani R. An Introduction to Statistical Learning: with Applications in R. — Springer, 2013, DOI: 10.1007\u002F978-1-4614-7138-7.",{"title":12189,"searchDepth":12190,"depth":12190,"links":12191},"",2,[12192,12196,12200,12204],{"id":24,"depth":12190,"text":25,"children":12193},[12194],{"id":29,"depth":12195,"text":30},3,{"id":1061,"depth":12190,"text":1062,"children":12197},[12198,12199],{"id":1065,"depth":12195,"text":1066},{"id":4544,"depth":12195,"text":4545},{"id":8430,"depth":12190,"text":8431,"children":12201},[12202,12203],{"id":8434,"depth":12195,"text":8435},{"id":11335,"depth":12195,"text":11336},{"id":12164,"depth":12190,"text":12165},"aidt-iot-mii",null,"md",false,{},true,"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-05-content","content",{"title":6,"description":17},"courses\u002Faidt-iot-mii\u002Ftopic-05-content",5,"topic-05","0ugIVPulW2HEaQoEeffDwYkkjraEEnl7nHXEwDGzPtk",{"id":12219,"title":12220,"body":12221,"course_slug":12205,"description":12189,"env_label":12206,"env_url":12206,"extension":12207,"group":12247,"is_course_project":12208,"is_index":12210,"level":12248,"meta":12249,"navigation":12210,"path":12273,"section":12206,"seo":12274,"stem":12275,"topic_number":12206,"topic_slug":12206,"__hash__":12276},"courses\u002Fcourses\u002Faidt-iot-mii\u002Findex.md","Методы искусственного интеллекта",{"type":8,"value":12222,"toc":12244},[12223,12227],[22,12224,12226],{"id":12225},"документы","Документы",[12228,12229,12230,12237],"ul",{},[12172,12231,12232,12233,1174],{},"Требования к содержанию и оформлению — ",[4900,12234,12236],{"href":12235},".\u002Fshared\u002FSTYLEGUIDE","shared\u002FSTYLEGUIDE.md",[12172,12238,12239,12240,1174],{},"Содержание курса — ",[4900,12241,12243],{"href":12242},".\u002Ftopics","topics.md",{"title":12189,"searchDepth":12190,"depth":12190,"links":12245},[12246],{"id":12225,"depth":12190,"text":12226},"iot","бакалавриат",{"topics_count":12250,"has_lr":12210,"has_pz":12210,"has_course_project":12208,"final_assessment":12189,"tech_focus":12251,"kind":12252,"authors":12253,"publication":12264,"annotation":12272},9,"scikit-learn, Keras\u002FTensorFlow, Hugging Face","Учебное пособие",[12254,12259],{"last_name":12255,"first_name":12256,"patronymic":12257,"role":12258,"affiliation":12189},"Корчагин","Сергей","Геннадьевич","автор",{"last_name":12260,"first_name":12261,"patronymic":12262,"role":12258,"affiliation":12263},"Рындин","Никита","Александрович","ВГТУ",{"city":12265,"year":12266,"founder":12267,"publisher":12268,"udk":12189,"bbk":12189,"shelf_mark":12189,"isbn":12189,"approval_body":12271},"Воронеж",2026,"Министерство науки и высшего образования Российской Федерации",{"short":12263,"full":12269,"address":12270},"Федеральное государственное бюджетное образовательное учреждение высшего образования «Воронежский государственный технический университет»\n","394026, Воронеж, Московский проспект, 14","Издается по решению редакционно-издательского совета\nВоронежского государственного технического университета\n","Учебное пособие охватывает основные методы искусственного интеллекта:\nклассические алгоритмы поиска и логического вывода, постановку задач\nмашинного обучения, классические алгоритмы классификации и регрессии,\nобучение без учителя, методологию оценки и выбора моделей, нейронные\nсети и обработку естественного языка с применением современных\nпредобученных моделей.\n\nПредназначено для студентов бакалавриата, изучающих дисциплины\n«Методы искусственного интеллекта» и смежные курсы по машинному\nобучению. Предполагается базовое владение языком Python и навыки\nпредварительной обработки данных.","\u002Fcourses\u002Faidt-iot-mii",{"title":12220,"description":12189},"courses\u002Faidt-iot-mii\u002Findex","piE67Aq1EFie5slrRu4oHnVNvzYsc6XAWuF13eVVSic",1779455410590]