[{"data":1,"prerenderedAt":5320},["ShallowReactive",2],{"topic:aidt-iot-mii:topic-03":3},{"content":4,"pz":5250,"lr":5250,"additional":5250,"courseMeta":5261},{"id":5,"title":6,"body":7,"course_slug":5249,"description":17,"env_label":5250,"env_url":5250,"extension":5251,"group":5250,"is_course_project":5252,"is_index":5252,"level":5250,"meta":5253,"navigation":5254,"path":5255,"section":5256,"seo":5257,"stem":5258,"topic_number":5238,"topic_slug":5259,"__hash__":5260},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-03-content.md","Тема 3. Машинное обучение: постановка задачи",{"type":8,"value":9,"toc":5231},"minimark",[10,14,18,21,26,31,243,261,264,276,1551,2162,2222,2226,2229,2306,2464,2479,2490,2494,2498,2501,2522,2525,2528,2538,2546,2565,2603,2613,2620,2623,2627,2630,3033,4439,4458,4474,4519,4642,4645,4653,5072,5091,5095,5099,5113,5120,5123,5131,5148,5151,5155,5158,5165,5178,5181,5185],[11,12,6],"h1",{"id":13},"тема-3-машинное-обучение-постановка-задачи",[15,16,17],"p",{},"В теме 2 мы рассмотрели методы, в которых поведение системы задаётся вручную — алгоритмы поиска и правила вывода. У такого подхода обнаружились принципиальные ограничения: эксперт не всегда способен сформулировать своё знание в виде правил, базы знаний дороги в сопровождении, а закономерности в данных вроде изображений или текстов не сводятся к десяткам продукций. Машинное обучение даёт другой ответ: вместо того чтобы записывать правила, мы показываем системе примеры и поручаем извлечь закономерность самостоятельно.",[15,19,20],{},"В этой теме мы формализуем, что означает «обучить модель», как разделить данные для честной оценки и почему любой проект машинного обучения начинается не с глубокой нейронной сети, а с простейшей базовой модели. Содержание темы — это методологический каркас, на который будут опираться все следующие темы курса: от классификации и регрессии до оценки качества и ансамблевых методов.",[22,23,25],"h2",{"id":24},"что-такое-машинное-обучение","Что такое машинное обучение",[27,28,30],"h3",{"id":29},"определение-и-ключевая-идея","Определение и ключевая идея",[15,32,33,34,47,48,94,95,125,126,155,156,184,185,213,214,242],{},"Классическое определение машинного обучения принадлежит Тому Митчеллу ",[35,36,39],"sup",{"className":37},[38],"cite",[40,41,43],"a",{"href":42},"#ref-1",[44,45,46],"span",{},"1",": программа обучается на опыте ",[44,49,52,74],{"className":50},[51],"katex",[44,53,56],{"className":54},[55],"katex-mathml",[57,58,60],"math",{"xmlns":59},"http:\u002F\u002Fwww.w3.org\u002F1998\u002FMath\u002FMathML",[61,62,63,70],"semantics",{},[64,65,66],"mrow",{},[67,68,69],"mi",{},"E",[71,72,69],"annotation",{"encoding":73},"application\u002Fx-tex",[44,75,79],{"className":76,"ariaHidden":78},[77],"katex-html","true",[44,80,83,88],{"className":81},[82],"base",[44,84],{"className":85,"style":87},[86],"strut","height:0.6833em;",[44,89,69],{"className":90,"style":93},[91,92],"mord","mathnormal","margin-right:0.0576em;"," применительно к классу задач ",[44,96,98,112],{"className":97},[51],[44,99,101],{"className":100},[55],[57,102,103],{"xmlns":59},[61,104,105,110],{},[64,106,107],{},[67,108,109],{},"T",[71,111,109],{"encoding":73},[44,113,115],{"className":114,"ariaHidden":78},[77],[44,116,118,121],{"className":117},[82],[44,119],{"className":120,"style":87},[86],[44,122,109],{"className":123,"style":124},[91,92],"margin-right:0.1389em;"," и мере качества ",[44,127,129,143],{"className":128},[51],[44,130,132],{"className":131},[55],[57,133,134],{"xmlns":59},[61,135,136,141],{},[64,137,138],{},[67,139,140],{},"P",[71,142,140],{"encoding":73},[44,144,146],{"className":145,"ariaHidden":78},[77],[44,147,149,152],{"className":148},[82],[44,150],{"className":151,"style":87},[86],[44,153,140],{"className":154,"style":124},[91,92],", если её показатель ",[44,157,159,172],{"className":158},[51],[44,160,162],{"className":161},[55],[57,163,164],{"xmlns":59},[61,165,166,170],{},[64,167,168],{},[67,169,140],{},[71,171,140],{"encoding":73},[44,173,175],{"className":174,"ariaHidden":78},[77],[44,176,178,181],{"className":177},[82],[44,179],{"className":180,"style":87},[86],[44,182,140],{"className":183,"style":124},[91,92]," на задачах ",[44,186,188,201],{"className":187},[51],[44,189,191],{"className":190},[55],[57,192,193],{"xmlns":59},[61,194,195,199],{},[64,196,197],{},[67,198,109],{},[71,200,109],{"encoding":73},[44,202,204],{"className":203,"ariaHidden":78},[77],[44,205,207,210],{"className":206},[82],[44,208],{"className":209,"style":87},[86],[44,211,109],{"className":212,"style":124},[91,92]," улучшается с накоплением опыта ",[44,215,217,230],{"className":216},[51],[44,218,220],{"className":219},[55],[57,221,222],{"xmlns":59},[61,223,224,228],{},[64,225,226],{},[67,227,69],{},[71,229,69],{"encoding":73},[44,231,233],{"className":232,"ariaHidden":78},[77],[44,234,236,239],{"className":235},[82],[44,237],{"className":238,"style":87},[86],[44,240,69],{"className":241,"style":93},[91,92],". За этой суховатой формулировкой стоит простая мысль: алгоритм не «знает», как решать задачу, и сам по себе на новой задаче работает плохо; но при наличии данных и измеримой меры качества он подбирает свои внутренние параметры так, чтобы эту меру повысить.",[15,244,245,246,250,251,260],{},"Сам термин ",[247,248,249],"em",{},"machine learning"," появился ещё в 1959 году у А. Самуэля, разработавшего программу игры в шашки, которая улучшала свою игру за счёт самонастройки оценочной функции ",[35,252,254],{"className":253},[38],[40,255,257],{"href":256},"#ref-2",[44,258,259],{},"2",". Программа Самуэля играла лучше своего автора — и именно это, а не победа над человеком как таковая, сделало работу классической: впервые система с фиксированной архитектурой повышала качество по мере накопления опыта, без вмешательства программиста.",[15,262,263],{},"Различие между классическим программированием и машинным обучением удобно представить как разные потоки данных. В классическом программировании входами являются данные и правила, выходом — ответы: программист задаёт логику, машина выполняет вычисление. В машинном обучении вход — данные и желаемые ответы, выход — правило (модель), которое впоследствии можно применять к новым данным. Это переворачивание потока — концептуальный сдвиг, обозначенный ещё в 1990-х статистическим поворотом в ИИ.",[265,266,267,268,267,273],"figure",{},"\n  ",[269,270],"img",{"src":271,"alt":272},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Fclassical_vs_ml.svg","Классическое программирование и машинное обучение: смена направления потока",[274,275,272],"figcaption",{},[15,277,278,279,312,313,345,346,417,418,473,474,478,479,482,483,753,754,885,886,915,916,945,946,1034,1035,1063,1064,478,1067,482,1070,1184,1185,1375,1376,1550],{},"Перейдём к формальной постановке для самого распространённого случая — обучения с учителем. Пусть ",[44,280,282,298],{"className":281},[51],[44,283,285],{"className":284},[55],[57,286,287],{"xmlns":59},[61,288,289,295],{},[64,290,291],{},[67,292,294],{"mathvariant":293},"script","X",[71,296,297],{"encoding":73},"\\mathcal{X}",[44,299,301],{"className":300,"ariaHidden":78},[77],[44,302,304,307],{"className":303},[82],[44,305],{"className":306,"style":87},[86],[44,308,294],{"className":309,"style":311},[91,310],"mathcal","margin-right:0.1464em;"," — пространство объектов, ",[44,314,316,331],{"className":315},[51],[44,317,319],{"className":318},[55],[57,320,321],{"xmlns":59},[61,322,323,328],{},[64,324,325],{},[67,326,327],{"mathvariant":293},"Y",[71,329,330],{"encoding":73},"\\mathcal{Y}",[44,332,334],{"className":333,"ariaHidden":78},[77],[44,335,337,341],{"className":336},[82],[44,338],{"className":339,"style":340},[86],"height:0.7805em;vertical-align:-0.0972em;",[44,342,327],{"className":343,"style":344},[91,310],"margin-right:0.0822em;"," — пространство ответов. Имеется неизвестное распределение ",[44,347,349,380],{"className":348},[51],[44,350,352],{"className":351},[55],[57,353,354],{"xmlns":59},[61,355,356,377],{},[64,357,358,360,365,368,371,374],{},[67,359,140],{},[361,362,364],"mo",{"stretchy":363},"false","(",[67,366,367],{},"x",[361,369,370],{"separator":78},",",[67,372,373],{},"y",[361,375,376],{"stretchy":363},")",[71,378,379],{"encoding":73},"P(x, y)",[44,381,383],{"className":382,"ariaHidden":78},[77],[44,384,386,390,393,397,400,404,409,413],{"className":385},[82],[44,387],{"className":388,"style":389},[86],"height:1em;vertical-align:-0.25em;",[44,391,140],{"className":392,"style":124},[91,92],[44,394,364],{"className":395},[396],"mopen",[44,398,367],{"className":399},[91,92],[44,401,370],{"className":402},[403],"mpunct",[44,405],{"className":406,"style":408},[407],"mspace","margin-right:0.1667em;",[44,410,373],{"className":411,"style":412},[91,92],"margin-right:0.0359em;",[44,414,376],{"className":415},[416],"mclose"," над ",[44,419,421,440],{"className":420},[51],[44,422,424],{"className":423},[55],[57,425,426],{"xmlns":59},[61,427,428,437],{},[64,429,430,432,435],{},[67,431,294],{"mathvariant":293},[361,433,434],{},"×",[67,436,327],{"mathvariant":293},[71,438,439],{"encoding":73},"\\mathcal{X} \\times \\mathcal{Y}",[44,441,443,464],{"className":442,"ariaHidden":78},[77],[44,444,446,450,453,457,461],{"className":445},[82],[44,447],{"className":448,"style":449},[86],"height:0.7667em;vertical-align:-0.0833em;",[44,451,294],{"className":452,"style":311},[91,310],[44,454],{"className":455,"style":456},[407],"margin-right:0.2222em;",[44,458,434],{"className":459},[460],"mbin",[44,462],{"className":463,"style":456},[407],[44,465,467,470],{"className":466},[82],[44,468],{"className":469,"style":340},[86],[44,471,327],{"className":472,"style":344},[91,310],"; из него независимо извлечена ",[475,476,477],"strong",{},"обучающая выборка"," (англ. ",[247,480,481],{},"training set",") ",[44,484,486,545],{"className":485},[51],[44,487,489],{"className":488},[55],[57,490,491],{"xmlns":59},[61,492,493,542],{},[64,494,495,498,501,504,506,514,516,522,524],{},[67,496,497],{},"D",[361,499,500],{},"=",[361,502,503],{"stretchy":363},"{",[361,505,364],{"stretchy":363},[507,508,509,511],"msub",{},[67,510,367],{},[67,512,513],{},"i",[361,515,370],{"separator":78},[507,517,518,520],{},[67,519,373],{},[67,521,513],{},[361,523,376],{"stretchy":363},[525,526,527,530,539],"msubsup",{},[361,528,529],{"stretchy":363},"}",[64,531,532,534,536],{},[67,533,513],{},[361,535,500],{},[537,538,46],"mn",{},[67,540,541],{},"n",[71,543,544],{"encoding":73},"D = \\{(x_i, y_i)\\}_{i=1}^{n}",[44,546,548,569],{"className":547,"ariaHidden":78},[77],[44,549,551,554,558,562,566],{"className":550},[82],[44,552],{"className":553,"style":87},[86],[44,555,497],{"className":556,"style":557},[91,92],"margin-right:0.0278em;",[44,559],{"className":560,"style":561},[407],"margin-right:0.2778em;",[44,563,500],{"className":564},[565],"mrel",[44,567],{"className":568,"style":561},[407],[44,570,572,576,580,636,639,642,683,686],{"className":571},[82],[44,573],{"className":574,"style":575},[86],"height:1.0087em;vertical-align:-0.2587em;",[44,577,579],{"className":578},[396],"{(",[44,581,583,586],{"className":582},[91],[44,584,367],{"className":585},[91,92],[44,587,590],{"className":588},[589],"msupsub",[44,591,595,627],{"className":592},[593,594],"vlist-t","vlist-t2",[44,596,599,622],{"className":597},[598],"vlist-r",[44,600,604],{"className":601,"style":603},[602],"vlist","height:0.3117em;",[44,605,607,612],{"style":606},"top:-2.55em;margin-left:0em;margin-right:0.05em;",[44,608],{"className":609,"style":611},[610],"pstrut","height:2.7em;",[44,613,619],{"className":614},[615,616,617,618],"sizing","reset-size6","size3","mtight",[44,620,513],{"className":621},[91,92,618],[44,623,626],{"className":624},[625],"vlist-s","​",[44,628,630],{"className":629},[598],[44,631,634],{"className":632,"style":633},[602],"height:0.15em;",[44,635],{},[44,637,370],{"className":638},[403],[44,640],{"className":641,"style":408},[407],[44,643,645,648],{"className":644},[91],[44,646,373],{"className":647,"style":412},[91,92],[44,649,651],{"className":650},[589],[44,652,654,675],{"className":653},[593,594],[44,655,657,672],{"className":656},[598],[44,658,660],{"className":659,"style":603},[602],[44,661,663,666],{"style":662},"top:-2.55em;margin-left:-0.0359em;margin-right:0.05em;",[44,664],{"className":665,"style":611},[610],[44,667,669],{"className":668},[615,616,617,618],[44,670,513],{"className":671},[91,92,618],[44,673,626],{"className":674},[625],[44,676,678],{"className":677},[598],[44,679,681],{"className":680,"style":633},[602],[44,682],{},[44,684,376],{"className":685},[416],[44,687,689,692],{"className":688},[416],[44,690,529],{"className":691},[416],[44,693,695],{"className":694},[589],[44,696,698,744],{"className":697},[593,594],[44,699,701,741],{"className":700},[598],[44,702,705,726],{"className":703,"style":704},[602],"height:0.6644em;",[44,706,708,711],{"style":707},"top:-2.4413em;margin-left:0em;margin-right:0.05em;",[44,709],{"className":710,"style":611},[610],[44,712,714],{"className":713},[615,616,617,618],[44,715,717,720,723],{"className":716},[91,618],[44,718,513],{"className":719},[91,92,618],[44,721,500],{"className":722},[565,618],[44,724,46],{"className":725},[91,618],[44,727,729,732],{"style":728},"top:-3.063em;margin-right:0.05em;",[44,730],{"className":731,"style":611},[610],[44,733,735],{"className":734},[615,616,617,618],[44,736,738],{"className":737},[91,618],[44,739,541],{"className":740},[91,92,618],[44,742,626],{"className":743},[625],[44,745,747],{"className":746},[598],[44,748,751],{"className":749,"style":750},[602],"height:0.2587em;",[44,752],{},". Задача — построить функцию ",[44,755,757,788],{"className":756},[51],[44,758,760],{"className":759},[55],[57,761,762],{"xmlns":59},[61,763,764,785],{},[64,765,766,775,778,780,783],{},[767,768,769,772],"mover",{"accent":78},[67,770,771],{},"f",[361,773,774],{},"^",[361,776,777],{},":",[67,779,294],{"mathvariant":293},[361,781,782],{},"→",[67,784,327],{"mathvariant":293},[71,786,787],{"encoding":73},"\\hat{f}: \\mathcal{X} \\to \\mathcal{Y}",[44,789,791,858,876],{"className":790,"ariaHidden":78},[77],[44,792,794,798,849,852,855],{"className":793},[82],[44,795],{"className":796,"style":797},[86],"height:1.1523em;vertical-align:-0.1944em;",[44,799,802],{"className":800},[91,801],"accent",[44,803,805,840],{"className":804},[593,594],[44,806,808,837],{"className":807},[598],[44,809,812,823],{"className":810,"style":811},[602],"height:0.9579em;",[44,813,815,819],{"style":814},"top:-3em;",[44,816],{"className":817,"style":818},[610],"height:3em;",[44,820,771],{"className":821,"style":822},[91,92],"margin-right:0.1076em;",[44,824,826,829],{"style":825},"top:-3.2634em;",[44,827],{"className":828,"style":818},[610],[44,830,834],{"className":831,"style":833},[832],"accent-body","left:-0.0833em;",[44,835,774],{"className":836},[91],[44,838,626],{"className":839},[625],[44,841,843],{"className":842},[598],[44,844,847],{"className":845,"style":846},[602],"height:0.1944em;",[44,848],{},[44,850],{"className":851,"style":561},[407],[44,853,777],{"className":854},[565],[44,856],{"className":857,"style":561},[407],[44,859,861,864,867,870,873],{"className":860},[82],[44,862],{"className":863,"style":87},[86],[44,865,294],{"className":866,"style":311},[91,310],[44,868],{"className":869,"style":561},[407],[44,871,782],{"className":872},[565],[44,874],{"className":875,"style":561},[407],[44,877,879,882],{"className":878},[82],[44,880],{"className":881,"style":340},[86],[44,883,327],{"className":884,"style":344},[91,310],", которая хорошо предсказывает ",[44,887,889,902],{"className":888},[51],[44,890,892],{"className":891},[55],[57,893,894],{"xmlns":59},[61,895,896,900],{},[64,897,898],{},[67,899,373],{},[71,901,373],{"encoding":73},[44,903,905],{"className":904,"ariaHidden":78},[77],[44,906,908,912],{"className":907},[82],[44,909],{"className":910,"style":911},[86],"height:0.625em;vertical-align:-0.1944em;",[44,913,373],{"className":914,"style":412},[91,92]," по ",[44,917,919,932],{"className":918},[51],[44,920,922],{"className":921},[55],[57,923,924],{"xmlns":59},[61,925,926,930],{},[64,927,928],{},[67,929,367],{},[71,931,367],{"encoding":73},[44,933,935],{"className":934,"ariaHidden":78},[77],[44,936,938,942],{"className":937},[82],[44,939],{"className":940,"style":941},[86],"height:0.4306em;",[44,943,367],{"className":944},[91,92]," не только на обучающей выборке, но и на новых объектах из того же распределения. Мера того, насколько плохо ",[44,947,949,973],{"className":948},[51],[44,950,952],{"className":951},[55],[57,953,954],{"xmlns":59},[61,955,956,970],{},[64,957,958,964,966,968],{},[767,959,960,962],{"accent":78},[67,961,771],{},[361,963,774],{},[361,965,364],{"stretchy":363},[67,967,367],{},[361,969,376],{"stretchy":363},[71,971,972],{"encoding":73},"\\hat{f}(x)",[44,974,976],{"className":975,"ariaHidden":78},[77],[44,977,979,983,1025,1028,1031],{"className":978},[82],[44,980],{"className":981,"style":982},[86],"height:1.2079em;vertical-align:-0.25em;",[44,984,986],{"className":985},[91,801],[44,987,989,1017],{"className":988},[593,594],[44,990,992,1014],{"className":991},[598],[44,993,995,1003],{"className":994,"style":811},[602],[44,996,997,1000],{"style":814},[44,998],{"className":999,"style":818},[610],[44,1001,771],{"className":1002,"style":822},[91,92],[44,1004,1005,1008],{"style":825},[44,1006],{"className":1007,"style":818},[610],[44,1009,1011],{"className":1010,"style":833},[832],[44,1012,774],{"className":1013},[91],[44,1015,626],{"className":1016},[625],[44,1018,1020],{"className":1019},[598],[44,1021,1023],{"className":1022,"style":846},[602],[44,1024],{},[44,1026,364],{"className":1027},[396],[44,1029,367],{"className":1030},[91,92],[44,1032,376],{"className":1033},[416]," согласуется с истинным ",[44,1036,1038,1051],{"className":1037},[51],[44,1039,1041],{"className":1040},[55],[57,1042,1043],{"xmlns":59},[61,1044,1045,1049],{},[64,1046,1047],{},[67,1048,373],{},[71,1050,373],{"encoding":73},[44,1052,1054],{"className":1053,"ariaHidden":78},[77],[44,1055,1057,1060],{"className":1056},[82],[44,1058],{"className":1059,"style":911},[86],[44,1061,373],{"className":1062,"style":412},[91,92],", задаётся ",[475,1065,1066],{},"функцией потерь",[247,1068,1069],{},"loss function",[44,1071,1073,1108],{"className":1072},[51],[44,1074,1076],{"className":1075},[55],[57,1077,1078],{"xmlns":59},[61,1079,1080,1105],{},[64,1081,1082,1085,1087,1089,1091,1097,1099,1101,1103],{},[67,1083,1084],{},"L",[361,1086,364],{"stretchy":363},[67,1088,373],{},[361,1090,370],{"separator":78},[767,1092,1093,1095],{"accent":78},[67,1094,771],{},[361,1096,774],{},[361,1098,364],{"stretchy":363},[67,1100,367],{},[361,1102,376],{"stretchy":363},[361,1104,376],{"stretchy":363},[71,1106,1107],{"encoding":73},"L(y, \\hat{f}(x))",[44,1109,1111],{"className":1110,"ariaHidden":78},[77],[44,1112,1114,1117,1120,1123,1126,1129,1132,1174,1177,1180],{"className":1113},[82],[44,1115],{"className":1116,"style":982},[86],[44,1118,1084],{"className":1119},[91,92],[44,1121,364],{"className":1122},[396],[44,1124,373],{"className":1125,"style":412},[91,92],[44,1127,370],{"className":1128},[403],[44,1130],{"className":1131,"style":408},[407],[44,1133,1135],{"className":1134},[91,801],[44,1136,1138,1166],{"className":1137},[593,594],[44,1139,1141,1163],{"className":1140},[598],[44,1142,1144,1152],{"className":1143,"style":811},[602],[44,1145,1146,1149],{"style":814},[44,1147],{"className":1148,"style":818},[610],[44,1150,771],{"className":1151,"style":822},[91,92],[44,1153,1154,1157],{"style":825},[44,1155],{"className":1156,"style":818},[610],[44,1158,1160],{"className":1159,"style":833},[832],[44,1161,774],{"className":1162},[91],[44,1164,626],{"className":1165},[625],[44,1167,1169],{"className":1168},[598],[44,1170,1172],{"className":1171,"style":846},[602],[44,1173],{},[44,1175,364],{"className":1176},[396],[44,1178,367],{"className":1179},[91,92],[44,1181,1183],{"className":1182},[416],"))",". Для классификации типичный выбор — нулевая потеря ",[44,1186,1188,1231],{"className":1187},[51],[44,1189,1191],{"className":1190},[55],[57,1192,1193],{"xmlns":59},[61,1194,1195,1228],{},[64,1196,1197,1199,1201,1204,1207,1209,1213,1219,1221,1223,1225],{},[67,1198,1084],{},[361,1200,500],{},[537,1202,46],{"mathvariant":1203},"double-struck",[361,1205,1206],{"stretchy":363},"[",[67,1208,373],{},[361,1210,1212],{"mathvariant":1211},"normal","≠",[767,1214,1215,1217],{"accent":78},[67,1216,771],{},[361,1218,774],{},[361,1220,364],{"stretchy":363},[67,1222,367],{},[361,1224,376],{"stretchy":363},[361,1226,1227],{"stretchy":363},"]",[71,1229,1230],{"encoding":73},"L = \\mathbb{1}[y \\neq \\hat{f}(x)]",[44,1232,1234,1252,1317],{"className":1233,"ariaHidden":78},[77],[44,1235,1237,1240,1243,1246,1249],{"className":1236},[82],[44,1238],{"className":1239,"style":87},[86],[44,1241,1084],{"className":1242},[91,92],[44,1244],{"className":1245,"style":561},[407],[44,1247,500],{"className":1248},[565],[44,1250],{"className":1251,"style":561},[407],[44,1253,1255,1258,1261,1264,1267,1270,1314],{"className":1254},[82],[44,1256],{"className":1257,"style":389},[86],[44,1259,46],{"className":1260},[91],[44,1262,1206],{"className":1263},[396],[44,1265,373],{"className":1266,"style":412},[91,92],[44,1268],{"className":1269,"style":561},[407],[44,1271,1273,1307,1311],{"className":1272},[565],[44,1274,1276],{"className":1275},[565],[44,1277,1280],{"className":1278},[91,1279],"vbox",[44,1281,1284],{"className":1282},[1283],"thinbox",[44,1285,1288,1292,1303],{"className":1286},[1287],"rlap",[44,1289],{"className":1290,"style":1291},[86],"height:0.8889em;vertical-align:-0.1944em;",[44,1293,1296],{"className":1294},[1295],"inner",[44,1297,1299],{"className":1298},[91],[44,1300,1302],{"className":1301},[565],"",[44,1304],{"className":1305},[1306],"fix",[44,1308],{"className":1309},[407,1310],"nobreak",[44,1312,500],{"className":1313},[565],[44,1315],{"className":1316,"style":561},[407],[44,1318,1320,1323,1365,1368,1371],{"className":1319},[82],[44,1321],{"className":1322,"style":982},[86],[44,1324,1326],{"className":1325},[91,801],[44,1327,1329,1357],{"className":1328},[593,594],[44,1330,1332,1354],{"className":1331},[598],[44,1333,1335,1343],{"className":1334,"style":811},[602],[44,1336,1337,1340],{"style":814},[44,1338],{"className":1339,"style":818},[610],[44,1341,771],{"className":1342,"style":822},[91,92],[44,1344,1345,1348],{"style":825},[44,1346],{"className":1347,"style":818},[610],[44,1349,1351],{"className":1350,"style":833},[832],[44,1352,774],{"className":1353},[91],[44,1355,626],{"className":1356},[625],[44,1358,1360],{"className":1359},[598],[44,1361,1363],{"className":1362,"style":846},[602],[44,1364],{},[44,1366,364],{"className":1367},[396],[44,1369,367],{"className":1370},[91,92],[44,1372,1374],{"className":1373},[416],")]","; для регрессии — квадратичная ",[44,1377,1379,1421],{"className":1378},[51],[44,1380,1382],{"className":1381},[55],[57,1383,1384],{"xmlns":59},[61,1385,1386,1418],{},[64,1387,1388,1390,1392,1394,1396,1399,1405,1407,1409,1411],{},[67,1389,1084],{},[361,1391,500],{},[361,1393,364],{"stretchy":363},[67,1395,373],{},[361,1397,1398],{},"−",[767,1400,1401,1403],{"accent":78},[67,1402,771],{},[361,1404,774],{},[361,1406,364],{"stretchy":363},[67,1408,367],{},[361,1410,376],{"stretchy":363},[1412,1413,1414,1416],"msup",{},[361,1415,376],{"stretchy":363},[537,1417,259],{},[71,1419,1420],{"encoding":73},"L = (y - \\hat{f}(x))^2",[44,1422,1424,1442,1463],{"className":1423,"ariaHidden":78},[77],[44,1425,1427,1430,1433,1436,1439],{"className":1426},[82],[44,1428],{"className":1429,"style":87},[86],[44,1431,1084],{"className":1432},[91,92],[44,1434],{"className":1435,"style":561},[407],[44,1437,500],{"className":1438},[565],[44,1440],{"className":1441,"style":561},[407],[44,1443,1445,1448,1451,1454,1457,1460],{"className":1444},[82],[44,1446],{"className":1447,"style":389},[86],[44,1449,364],{"className":1450},[396],[44,1452,373],{"className":1453,"style":412},[91,92],[44,1455],{"className":1456,"style":456},[407],[44,1458,1398],{"className":1459},[460],[44,1461],{"className":1462,"style":456},[407],[44,1464,1466,1469,1511,1514,1517,1520],{"className":1465},[82],[44,1467],{"className":1468,"style":982},[86],[44,1470,1472],{"className":1471},[91,801],[44,1473,1475,1503],{"className":1474},[593,594],[44,1476,1478,1500],{"className":1477},[598],[44,1479,1481,1489],{"className":1480,"style":811},[602],[44,1482,1483,1486],{"style":814},[44,1484],{"className":1485,"style":818},[610],[44,1487,771],{"className":1488,"style":822},[91,92],[44,1490,1491,1494],{"style":825},[44,1492],{"className":1493,"style":818},[610],[44,1495,1497],{"className":1496,"style":833},[832],[44,1498,774],{"className":1499},[91],[44,1501,626],{"className":1502},[625],[44,1504,1506],{"className":1505},[598],[44,1507,1509],{"className":1508,"style":846},[602],[44,1510],{},[44,1512,364],{"className":1513},[396],[44,1515,367],{"className":1516},[91,92],[44,1518,376],{"className":1519},[416],[44,1521,1523,1526],{"className":1522},[416],[44,1524,376],{"className":1525},[416],[44,1527,1529],{"className":1528},[589],[44,1530,1532],{"className":1531},[593],[44,1533,1535],{"className":1534},[598],[44,1536,1539],{"className":1537,"style":1538},[602],"height:0.8141em;",[44,1540,1541,1544],{"style":728},[44,1542],{"className":1543,"style":611},[610],[44,1545,1547],{"className":1546},[615,616,617,618],[44,1548,259],{"className":1549},[91,618],".",[15,1552,1553,1554,478,1557,1560,1561,1756,1757,1760,1761,2161],{},"Качество модели на распределении в целом описывается ",[475,1555,1556],{},"истинным риском",[247,1558,1559],{},"true risk",") — математическим ожиданием потерь ",[44,1562,1564,1626],{"className":1563},[51],[44,1565,1567],{"className":1566},[55],[57,1568,1569],{"xmlns":59},[61,1570,1571,1623],{},[64,1572,1573,1576,1578,1580,1582,1584,1605,1607,1609,1611,1613,1615,1617,1619,1621],{},[67,1574,1575],{},"R",[361,1577,364],{"stretchy":363},[67,1579,771],{},[361,1581,376],{"stretchy":363},[361,1583,500],{},[507,1585,1586,1588],{},[67,1587,69],{"mathvariant":1203},[64,1589,1590,1592,1594,1596,1598,1600,1603],{},[361,1591,364],{"stretchy":363},[67,1593,367],{},[361,1595,370],{"separator":78},[67,1597,373],{},[361,1599,376],{"stretchy":363},[361,1601,1602],{},"∼",[67,1604,140],{},[67,1606,1084],{},[361,1608,364],{"stretchy":363},[67,1610,373],{},[361,1612,370],{"separator":78},[67,1614,771],{},[361,1616,364],{"stretchy":363},[67,1618,367],{},[361,1620,376],{"stretchy":363},[361,1622,376],{"stretchy":363},[71,1624,1625],{"encoding":73},"R(f) = \\mathbb{E}_{(x,y) \\sim P} L(y, f(x))",[44,1627,1629,1657],{"className":1628,"ariaHidden":78},[77],[44,1630,1632,1635,1639,1642,1645,1648,1651,1654],{"className":1631},[82],[44,1633],{"className":1634,"style":389},[86],[44,1636,1575],{"className":1637,"style":1638},[91,92],"margin-right:0.0077em;",[44,1640,364],{"className":1641},[396],[44,1643,771],{"className":1644,"style":822},[91,92],[44,1646,376],{"className":1647},[416],[44,1649],{"className":1650,"style":561},[407],[44,1652,500],{"className":1653},[565],[44,1655],{"className":1656,"style":561},[407],[44,1658,1660,1664,1729,1732,1735,1738,1741,1744,1747,1750,1753],{"className":1659},[82],[44,1661],{"className":1662,"style":1663},[86],"height:1.1052em;vertical-align:-0.3552em;",[44,1665,1667,1671],{"className":1666},[91],[44,1668,69],{"className":1669},[91,1670],"mathbb",[44,1672,1674],{"className":1673},[589],[44,1675,1677,1720],{"className":1676},[593,594],[44,1678,1680,1717],{"className":1679},[598],[44,1681,1684],{"className":1682,"style":1683},[602],"height:0.3448em;",[44,1685,1687,1690],{"style":1686},"top:-2.5198em;margin-left:0em;margin-right:0.05em;",[44,1688],{"className":1689,"style":611},[610],[44,1691,1693],{"className":1692},[615,616,617,618],[44,1694,1696,1699,1702,1705,1708,1711,1714],{"className":1695},[91,618],[44,1697,364],{"className":1698},[396,618],[44,1700,367],{"className":1701},[91,92,618],[44,1703,370],{"className":1704},[403,618],[44,1706,373],{"className":1707,"style":412},[91,92,618],[44,1709,376],{"className":1710},[416,618],[44,1712,1602],{"className":1713},[565,618],[44,1715,140],{"className":1716,"style":124},[91,92,618],[44,1718,626],{"className":1719},[625],[44,1721,1723],{"className":1722},[598],[44,1724,1727],{"className":1725,"style":1726},[602],"height:0.3552em;",[44,1728],{},[44,1730,1084],{"className":1731},[91,92],[44,1733,364],{"className":1734},[396],[44,1736,373],{"className":1737,"style":412},[91,92],[44,1739,370],{"className":1740},[403],[44,1742],{"className":1743,"style":408},[407],[44,1745,771],{"className":1746,"style":822},[91,92],[44,1748,364],{"className":1749},[396],[44,1751,367],{"className":1752},[91,92],[44,1754,1183],{"className":1755},[416],". Распределение нам недоступно, поэтому на практике минимизируется ",[475,1758,1759],{},"эмпирический риск"," на обучающей выборке: ",[44,1762,1764,1838],{"className":1763},[51],[44,1765,1767],{"className":1766},[55],[57,1768,1769],{"xmlns":59},[61,1770,1771,1835],{},[64,1772,1773,1779,1781,1783,1785,1787,1794,1809,1811,1813,1819,1821,1823,1825,1831,1833],{},[767,1774,1775,1777],{"accent":78},[67,1776,1575],{},[361,1778,774],{},[361,1780,364],{"stretchy":363},[67,1782,771],{},[361,1784,376],{"stretchy":363},[361,1786,500],{},[1788,1789,1790,1792],"mfrac",{},[537,1791,46],{},[67,1793,541],{},[525,1795,1796,1799,1807],{},[361,1797,1798],{},"∑",[64,1800,1801,1803,1805],{},[67,1802,513],{},[361,1804,500],{},[537,1806,46],{},[67,1808,541],{},[67,1810,1084],{},[361,1812,364],{"stretchy":363},[507,1814,1815,1817],{},[67,1816,373],{},[67,1818,513],{},[361,1820,370],{"separator":78},[67,1822,771],{},[361,1824,364],{"stretchy":363},[507,1826,1827,1829],{},[67,1828,367],{},[67,1830,513],{},[361,1832,376],{"stretchy":363},[361,1834,376],{"stretchy":363},[71,1836,1837],{"encoding":73},"\\hat{R}(f) = \\frac{1}{n} \\sum_{i=1}^{n} L(y_i, f(x_i))",[44,1839,1841,1900],{"className":1840,"ariaHidden":78},[77],[44,1842,1844,1848,1882,1885,1888,1891,1894,1897],{"className":1843},[82],[44,1845],{"className":1846,"style":1847},[86],"height:1.1968em;vertical-align:-0.25em;",[44,1849,1851],{"className":1850},[91,801],[44,1852,1854],{"className":1853},[593],[44,1855,1857],{"className":1856},[598],[44,1858,1861,1869],{"className":1859,"style":1860},[602],"height:0.9468em;",[44,1862,1863,1866],{"style":814},[44,1864],{"className":1865,"style":818},[610],[44,1867,1575],{"className":1868,"style":1638},[91,92],[44,1870,1872,1875],{"style":1871},"top:-3.2523em;",[44,1873],{"className":1874,"style":818},[610],[44,1876,1879],{"className":1877,"style":1878},[832],"left:-0.1667em;",[44,1880,774],{"className":1881},[91],[44,1883,364],{"className":1884},[396],[44,1886,771],{"className":1887,"style":822},[91,92],[44,1889,376],{"className":1890},[416],[44,1892],{"className":1893,"style":561},[407],[44,1895,500],{"className":1896},[565],[44,1898],{"className":1899,"style":561},[407],[44,1901,1903,1907,1983,1986,2057,2060,2063,2066,2106,2109,2112,2115,2118,2158],{"className":1902},[82],[44,1904],{"className":1905,"style":1906},[86],"height:1.1901em;vertical-align:-0.345em;",[44,1908,1910,1914,1980],{"className":1909},[91],[44,1911],{"className":1912},[396,1913],"nulldelimiter",[44,1915,1917],{"className":1916},[1788],[44,1918,1920,1971],{"className":1919},[593,594],[44,1921,1923,1968],{"className":1922},[598],[44,1924,1927,1942,1953],{"className":1925,"style":1926},[602],"height:0.8451em;",[44,1928,1930,1933],{"style":1929},"top:-2.655em;",[44,1931],{"className":1932,"style":818},[610],[44,1934,1936],{"className":1935},[615,616,617,618],[44,1937,1939],{"className":1938},[91,618],[44,1940,541],{"className":1941},[91,92,618],[44,1943,1945,1948],{"style":1944},"top:-3.23em;",[44,1946],{"className":1947,"style":818},[610],[44,1949],{"className":1950,"style":1952},[1951],"frac-line","border-bottom-width:0.04em;",[44,1954,1956,1959],{"style":1955},"top:-3.394em;",[44,1957],{"className":1958,"style":818},[610],[44,1960,1962],{"className":1961},[615,616,617,618],[44,1963,1965],{"className":1964},[91,618],[44,1966,46],{"className":1967},[91,618],[44,1969,626],{"className":1970},[625],[44,1972,1974],{"className":1973},[598],[44,1975,1978],{"className":1976,"style":1977},[602],"height:0.345em;",[44,1979],{},[44,1981],{"className":1982},[416,1913],[44,1984],{"className":1985,"style":408},[407],[44,1987,1990,1996],{"className":1988},[1989],"mop",[44,1991,1798],{"className":1992,"style":1995},[1989,1993,1994],"op-symbol","small-op","position:relative;top:0em;",[44,1997,1999],{"className":1998},[589],[44,2000,2002,2048],{"className":2001},[593,594],[44,2003,2005,2045],{"className":2004},[598],[44,2006,2009,2030],{"className":2007,"style":2008},[602],"height:0.8043em;",[44,2010,2012,2015],{"style":2011},"top:-2.4003em;margin-left:0em;margin-right:0.05em;",[44,2013],{"className":2014,"style":611},[610],[44,2016,2018],{"className":2017},[615,616,617,618],[44,2019,2021,2024,2027],{"className":2020},[91,618],[44,2022,513],{"className":2023},[91,92,618],[44,2025,500],{"className":2026},[565,618],[44,2028,46],{"className":2029},[91,618],[44,2031,2033,2036],{"style":2032},"top:-3.2029em;margin-right:0.05em;",[44,2034],{"className":2035,"style":611},[610],[44,2037,2039],{"className":2038},[615,616,617,618],[44,2040,2042],{"className":2041},[91,618],[44,2043,541],{"className":2044},[91,92,618],[44,2046,626],{"className":2047},[625],[44,2049,2051],{"className":2050},[598],[44,2052,2055],{"className":2053,"style":2054},[602],"height:0.2997em;",[44,2056],{},[44,2058],{"className":2059,"style":408},[407],[44,2061,1084],{"className":2062},[91,92],[44,2064,364],{"className":2065},[396],[44,2067,2069,2072],{"className":2068},[91],[44,2070,373],{"className":2071,"style":412},[91,92],[44,2073,2075],{"className":2074},[589],[44,2076,2078,2098],{"className":2077},[593,594],[44,2079,2081,2095],{"className":2080},[598],[44,2082,2084],{"className":2083,"style":603},[602],[44,2085,2086,2089],{"style":662},[44,2087],{"className":2088,"style":611},[610],[44,2090,2092],{"className":2091},[615,616,617,618],[44,2093,513],{"className":2094},[91,92,618],[44,2096,626],{"className":2097},[625],[44,2099,2101],{"className":2100},[598],[44,2102,2104],{"className":2103,"style":633},[602],[44,2105],{},[44,2107,370],{"className":2108},[403],[44,2110],{"className":2111,"style":408},[407],[44,2113,771],{"className":2114,"style":822},[91,92],[44,2116,364],{"className":2117},[396],[44,2119,2121,2124],{"className":2120},[91],[44,2122,367],{"className":2123},[91,92],[44,2125,2127],{"className":2126},[589],[44,2128,2130,2150],{"className":2129},[593,594],[44,2131,2133,2147],{"className":2132},[598],[44,2134,2136],{"className":2135,"style":603},[602],[44,2137,2138,2141],{"style":606},[44,2139],{"className":2140,"style":611},[610],[44,2142,2144],{"className":2143},[615,616,617,618],[44,2145,513],{"className":2146},[91,92,618],[44,2148,626],{"className":2149},[625],[44,2151,2153],{"className":2152},[598],[44,2154,2156],{"className":2155,"style":633},[602],[44,2157],{},[44,2159,1183],{"className":2160},[416],". Это переход от истинного риска к его оценке по конечной выборке — источник почти всех проблем машинного обучения: модель, идеально подогнанная под обучающие данные, может оказаться катастрофически плохой на новых. К этой коллизии мы вернёмся в разделе про смещение и разброс.",[15,2163,2164,2165,2196,2197,478,2200,2203,2204,2213,1550],{},"Параметры модели ",[44,2166,2168,2183],{"className":2167},[51],[44,2169,2171],{"className":2170},[55],[57,2172,2173],{"xmlns":59},[61,2174,2175,2180],{},[64,2176,2177],{},[67,2178,2179],{},"θ",[71,2181,2182],{"encoding":73},"\\theta",[44,2184,2186],{"className":2185,"ariaHidden":78},[77],[44,2187,2189,2193],{"className":2188},[82],[44,2190],{"className":2191,"style":2192},[86],"height:0.6944em;",[44,2194,2179],{"className":2195,"style":557},[91,92]," подбираются в ходе ",[475,2198,2199],{},"обучения",[247,2201,2202],{},"fitting",") — оптимизационной процедуры, минимизирующей эмпирический риск или его регуляризованный вариант. Выбор семейства моделей (линейная регрессия, дерево решений, нейронная сеть) определяет, какие зависимости в принципе возможны; обучение определяет конкретные значения параметров; а оценка качества — насколько модель полезна. Эти три шага — выбор семейства, обучение, оценка — образуют структуру любого учебника по машинному обучению, в том числе классических ",[35,2205,2207],{"className":2206},[38],[40,2208,2210],{"href":2209},"#ref-3",[44,2211,2212],{},"3",[35,2214,2216],{"className":2215},[38],[40,2217,2219],{"href":2218},"#ref-4",[44,2220,2221],{},"4",[27,2223,2225],{"id":2224},"типы-задач-машинного-обучения","Типы задач машинного обучения",[15,2227,2228],{},"В теме 1 мы упоминали три большие парадигмы — обучение с учителем, без учителя и с подкреплением. Здесь сосредоточимся на их различиях с точки зрения формальной постановки.",[15,2230,2231,2234,2235,478,2238,2241,2242,2270,2271,478,2274,2241,2277,2305],{},[475,2232,2233],{},"Обучение с учителем"," предполагает, что для каждого объекта обучающей выборки известен «правильный» ответ. По характеру ответа задача делится на две: ",[475,2236,2237],{},"классификацию",[247,2239,2240],{},"classification","), где ",[44,2243,2245,2258],{"className":2244},[51],[44,2246,2248],{"className":2247},[55],[57,2249,2250],{"xmlns":59},[61,2251,2252,2256],{},[64,2253,2254],{},[67,2255,373],{},[71,2257,373],{"encoding":73},[44,2259,2261],{"className":2260,"ariaHidden":78},[77],[44,2262,2264,2267],{"className":2263},[82],[44,2265],{"className":2266,"style":911},[86],[44,2268,373],{"className":2269,"style":412},[91,92]," принимает значения из конечного множества меток (например, «спам» \u002F «не спам»), и ",[475,2272,2273],{},"регрессию",[247,2275,2276],{},"regression",[44,2278,2280,2293],{"className":2279},[51],[44,2281,2283],{"className":2282},[55],[57,2284,2285],{"xmlns":59},[61,2286,2287,2291],{},[64,2288,2289],{},[67,2290,373],{},[71,2292,373],{"encoding":73},[44,2294,2296],{"className":2295,"ariaHidden":78},[77],[44,2297,2299,2302],{"className":2298},[82],[44,2300],{"className":2301,"style":911},[86],[44,2303,373],{"className":2304,"style":412},[91,92]," — вещественное число (цена квартиры, температура завтра). Хотя алгоритмы для классификации и регрессии часто разные, общая методологическая рамка — выборка, функция потерь, оценка обобщающей способности — для них совпадает. Темам 4 и 5 курса посвящены, соответственно, классификации и регрессии.",[15,2307,2308,2311,2312,2392,2393,2463],{},[475,2309,2310],{},"Обучение без учителя"," работает с выборкой ",[44,2313,2315,2337],{"className":2314},[51],[44,2316,2318],{"className":2317},[55],[57,2319,2320],{"xmlns":59},[61,2321,2322,2334],{},[64,2323,2324,2326,2332],{},[361,2325,503],{"stretchy":363},[507,2327,2328,2330],{},[67,2329,367],{},[67,2331,513],{},[361,2333,529],{"stretchy":363},[71,2335,2336],{"encoding":73},"\\{x_i\\}",[44,2338,2340],{"className":2339,"ariaHidden":78},[77],[44,2341,2343,2346,2349,2389],{"className":2342},[82],[44,2344],{"className":2345,"style":389},[86],[44,2347,503],{"className":2348},[396],[44,2350,2352,2355],{"className":2351},[91],[44,2353,367],{"className":2354},[91,92],[44,2356,2358],{"className":2357},[589],[44,2359,2361,2381],{"className":2360},[593,594],[44,2362,2364,2378],{"className":2363},[598],[44,2365,2367],{"className":2366,"style":603},[602],[44,2368,2369,2372],{"style":606},[44,2370],{"className":2371,"style":611},[610],[44,2373,2375],{"className":2374},[615,616,617,618],[44,2376,513],{"className":2377},[91,92,618],[44,2379,626],{"className":2380},[625],[44,2382,2384],{"className":2383},[598],[44,2385,2387],{"className":2386,"style":633},[602],[44,2388],{},[44,2390,529],{"className":2391},[416],", в которой ответы ",[44,2394,2396,2414],{"className":2395},[51],[44,2397,2399],{"className":2398},[55],[57,2400,2401],{"xmlns":59},[61,2402,2403,2411],{},[64,2404,2405],{},[507,2406,2407,2409],{},[67,2408,373],{},[67,2410,513],{},[71,2412,2413],{"encoding":73},"y_i",[44,2415,2417],{"className":2416,"ariaHidden":78},[77],[44,2418,2420,2423],{"className":2419},[82],[44,2421],{"className":2422,"style":911},[86],[44,2424,2426,2429],{"className":2425},[91],[44,2427,373],{"className":2428,"style":412},[91,92],[44,2430,2432],{"className":2431},[589],[44,2433,2435,2455],{"className":2434},[593,594],[44,2436,2438,2452],{"className":2437},[598],[44,2439,2441],{"className":2440,"style":603},[602],[44,2442,2443,2446],{"style":662},[44,2444],{"className":2445,"style":611},[610],[44,2447,2449],{"className":2448},[615,616,617,618],[44,2450,513],{"className":2451},[91,92,618],[44,2453,626],{"className":2454},[625],[44,2456,2458],{"className":2457},[598],[44,2459,2461],{"className":2460,"style":633},[602],[44,2462],{}," отсутствуют. Цель — обнаружить структуру: разбить объекты на группы (кластеризация), снизить размерность представления, выявить аномалии. Поскольку «правильного» ответа нет, оценка качества опирается на косвенные критерии: компактность кластеров, доля сохранённой дисперсии, интерпретируемость найденных групп. Этой парадигме посвящена тема 6.",[15,2465,2466,2469,2470,1550],{},[475,2467,2468],{},"Обучение с подкреплением"," описывает агента, который взаимодействует со средой: совершает действия, получает в ответ числовое вознаграждение и со временем подбирает стратегию, максимизирующую суммарную награду в долгосрочной перспективе. Постановка фундаментально отличается тем, что обучающие данные не существуют заранее — они порождаются взаимодействием самого агента со средой. В рамках настоящего курса обучение с подкреплением затрагивается обзорно; систематическое изложение — в ",[35,2471,2473],{"className":2472},[38],[40,2474,2476],{"href":2475},"#ref-5",[44,2477,2478],{},"5",[15,2480,2481,2482,2485,2486,2489],{},"На границах этих трёх парадигм возникают гибриды. ",[475,2483,2484],{},"Полу-учитель"," комбинирует малую размеченную выборку с большой неразмеченной — полезен, когда разметка дорога, а сырых данных много. ",[475,2487,2488],{},"Самообучение"," формирует учительский сигнал из самих данных, без участия аннотатора: например, языковая модель предсказывает следующее слово, для чего разметка не нужна — продолжение текста уже есть в нём самом. Именно на самообучении построены современные большие модели; для нас важно, что методологически они всё ещё подпадают под рамку «обучающая выборка → функция потерь → оптимизация», просто способ получения сигнала экзотический.",[22,2491,2493],{"id":2492},"методология-обучения-и-оценки","Методология обучения и оценки",[27,2495,2497],{"id":2496},"разделение-данных","Разделение данных",[15,2499,2500],{},"Главный вопрос в оценке модели — насколько хорошо она будет работать на данных, которых не видела при обучении. Иногда говорят про «обобщающую способность», иногда — про «генерализацию». Прямой способ её измерить — отложить часть данных до обучения и не показывать модели до момента финальной проверки.",[15,2502,2503,2504,2507,2508,478,2511,2514,2515,478,2518,2521],{},"Стандартная схема — разделить размеченные данные на три непересекающиеся части. ",[475,2505,2506],{},"Обучающая выборка"," используется для подгонки параметров модели. ",[475,2509,2510],{},"Валидационная выборка",[247,2512,2513],{},"validation set",") нужна для подбора гиперпараметров — настроек, которые не входят в число обучаемых параметров: глубина дерева, коэффициент регуляризации, число соседей в kNN, скорость обучения и так далее. ",[475,2516,2517],{},"Тестовая выборка",[247,2519,2520],{},"test set",") — финальная оценка качества на данных, которые модель не видела ни на одном этапе.",[15,2523,2524],{},"Принципиально важно понимать, чем валидационная выборка отличается от тестовой. Если по результатам валидации мы выбрали гиперпараметры, мы «подсмотрели» в неё — и метрика на валидационной выборке уже завышена относительно того, что будет на действительно новых данных. Поэтому финальное число, которое сообщают заказчику или включают в отчёт, всегда измеряется на тестовой выборке, и трогать её до финального запуска нельзя. Этот принцип кажется простым, но соблюсти его дисциплинированно труднее, чем кажется: на собрании по проекту легко поддаться соблазну «давайте посмотрим, что будет на тесте» — после этого тест перестаёт быть тестом.",[15,2526,2527],{},"Типичные пропорции — 60 \u002F 20 \u002F 20 или 70 \u002F 15 \u002F 15 для умеренных по размеру датасетов. Для очень больших датасетов абсолютное число объектов в тестовой выборке важнее доли — десяти тысяч примеров обычно достаточно, даже если это 0.1% всех данных. Для маленьких датасетов выделение отдельной валидационной выборки расточительно, и его заменяет кросс-валидация (теме 7).",[15,2529,2530,2531,478,2534,2537],{},"При классификации с несбалансированными классами случайное разделение может оставить в тестовой выборке непредставительное число объектов миноритарного класса. Решение — ",[475,2532,2533],{},"стратификация",[247,2535,2536],{},"stratification","): разбиение, сохраняющее пропорции классов в каждой части.",[265,2539,267,2540,267,2544],{},[269,2541],{"src":2542,"alt":2543},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Ftrain_val_test_split.svg","Разделение данных на обучающую, валидационную и тестовую выборки",[274,2545,2543],{},[15,2547,2548,2549,478,2552,482,2555,2564],{},"Самый коварный артефакт нечестной оценки — ",[475,2550,2551],{},"утечка данных",[247,2553,2554],{},"data leakage",[35,2556,2558],{"className":2557},[38],[40,2559,2561],{"href":2560},"#ref-6",[44,2562,2563],{},"6",". Утечкой называется любое попадание в обучающую выборку информации, которая в реальной эксплуатации модели недоступна или появляется позже целевого момента предсказания. Несколько типичных сценариев.",[15,2566,2567,2568,2571,2572,2602],{},"Первый — ",[475,2569,2570],{},"временная утечка",". Если объекты выборки имеют временную привязку (транзакции, медицинские записи, события сенсоров), случайное разделение перемешивает прошлое и будущее. Модель, обучившаяся на будущих данных и проверенная на прошлых, может показать прекрасные метрики, которые рассыплются в продакшене. В таких задачах разбиение делают по времени: всё, что раньше даты ",[44,2573,2575,2589],{"className":2574},[51],[44,2576,2578],{"className":2577},[55],[57,2579,2580],{"xmlns":59},[61,2581,2582,2587],{},[64,2583,2584],{},[67,2585,2586],{},"t",[71,2588,2586],{"encoding":73},[44,2590,2592],{"className":2591,"ariaHidden":78},[77],[44,2593,2595,2599],{"className":2594},[82],[44,2596],{"className":2597,"style":2598},[86],"height:0.6151em;",[44,2600,2586],{"className":2601},[91,92],", — в обучении, всё, что позже, — в тесте.",[15,2604,2605,2606,478,2609,2612],{},"Второй — ",[475,2607,2608],{},"утечка целевой переменной",[247,2610,2611],{},"target leakage","). В обучающие признаки случайно попадает информация, выводимая из самого ответа: например, в задаче «предсказать факт оттока клиента» в признаки попадает «дата ухода клиента», заполняемая только для уже ушедших. Модель учится тривиально и идеально, но в реальной задаче этого признака нет в момент предсказания.",[15,2614,2615,2616,2619],{},"Третий — ",[475,2617,2618],{},"утечка через нормализацию",". Если масштабирование или иную предобработку рассчитать на полной выборке до разделения, статистики (среднее, стандартное отклонение) уже включают информацию из тестовой части. Корректный приём — оценивать параметры предобработки только на обучающей выборке и применять их к валидации и тесту.",[15,2621,2622],{},"Утечка коварна тем, что обнаруживается чаще всего постфактум, после внедрения модели в продакшен и расхождения её фактического качества с ожидаемым. Аккуратное разделение данных — простая дисциплина с большим практическим эффектом.",[27,2624,2626],{"id":2625},"компромисс-смещения-и-разброса","Компромисс смещения и разброса",[15,2628,2629],{},"Сделать так, чтобы модель хорошо работала на обучающей выборке, сравнительно несложно: достаточно взять достаточно гибкое семейство — глубокое дерево или нейронную сеть со многими параметрами — и подогнать его под обучающие данные. Проблема в том, что хорошее качество на обучении не означает хорошего качества на новых данных. Этот разрыв между обучающей и тестовой ошибкой имеет строгое математическое описание.",[15,2631,2632,2633,2723,2724,2753,2754,2814,2815,2945,2946,2974,2975,3003,3004,3032],{},"Рассмотрим задачу регрессии с истинной зависимостью ",[44,2634,2636,2666],{"className":2635},[51],[44,2637,2639],{"className":2638},[55],[57,2640,2641],{"xmlns":59},[61,2642,2643,2663],{},[64,2644,2645,2647,2649,2651,2653,2655,2657,2660],{},[67,2646,373],{},[361,2648,500],{},[67,2650,771],{},[361,2652,364],{"stretchy":363},[67,2654,367],{},[361,2656,376],{"stretchy":363},[361,2658,2659],{},"+",[67,2661,2662],{},"ε",[71,2664,2665],{"encoding":73},"y = f(x) + \\varepsilon",[44,2667,2669,2687,2714],{"className":2668,"ariaHidden":78},[77],[44,2670,2672,2675,2678,2681,2684],{"className":2671},[82],[44,2673],{"className":2674,"style":911},[86],[44,2676,373],{"className":2677,"style":412},[91,92],[44,2679],{"className":2680,"style":561},[407],[44,2682,500],{"className":2683},[565],[44,2685],{"className":2686,"style":561},[407],[44,2688,2690,2693,2696,2699,2702,2705,2708,2711],{"className":2689},[82],[44,2691],{"className":2692,"style":389},[86],[44,2694,771],{"className":2695,"style":822},[91,92],[44,2697,364],{"className":2698},[396],[44,2700,367],{"className":2701},[91,92],[44,2703,376],{"className":2704},[416],[44,2706],{"className":2707,"style":456},[407],[44,2709,2659],{"className":2710},[460],[44,2712],{"className":2713,"style":456},[407],[44,2715,2717,2720],{"className":2716},[82],[44,2718],{"className":2719,"style":941},[86],[44,2721,2662],{"className":2722},[91,92],", где ",[44,2725,2727,2741],{"className":2726},[51],[44,2728,2730],{"className":2729},[55],[57,2731,2732],{"xmlns":59},[61,2733,2734,2738],{},[64,2735,2736],{},[67,2737,2662],{},[71,2739,2740],{"encoding":73},"\\varepsilon",[44,2742,2744],{"className":2743,"ariaHidden":78},[77],[44,2745,2747,2750],{"className":2746},[82],[44,2748],{"className":2749,"style":941},[86],[44,2751,2662],{"className":2752},[91,92]," — шум с нулевым средним и дисперсией ",[44,2755,2757,2776],{"className":2756},[51],[44,2758,2760],{"className":2759},[55],[57,2761,2762],{"xmlns":59},[61,2763,2764,2773],{},[64,2765,2766],{},[1412,2767,2768,2771],{},[67,2769,2770],{},"σ",[537,2772,259],{},[71,2774,2775],{"encoding":73},"\\sigma^2",[44,2777,2779],{"className":2778,"ariaHidden":78},[77],[44,2780,2782,2785],{"className":2781},[82],[44,2783],{"className":2784,"style":1538},[86],[44,2786,2788,2791],{"className":2787},[91],[44,2789,2770],{"className":2790,"style":412},[91,92],[44,2792,2794],{"className":2793},[589],[44,2795,2797],{"className":2796},[593],[44,2798,2800],{"className":2799},[598],[44,2801,2803],{"className":2802,"style":1538},[602],[44,2804,2805,2808],{"style":728},[44,2806],{"className":2807,"style":611},[610],[44,2809,2811],{"className":2810},[615,616,617,618],[44,2812,259],{"className":2813},[91,618],". Пусть ",[44,2816,2818,2846],{"className":2817},[51],[44,2819,2821],{"className":2820},[55],[57,2822,2823],{"xmlns":59},[61,2824,2825,2843],{},[64,2826,2827,2837,2839,2841],{},[507,2828,2829,2835],{},[767,2830,2831,2833],{"accent":78},[67,2832,771],{},[361,2834,774],{},[67,2836,497],{},[361,2838,364],{"stretchy":363},[67,2840,367],{},[361,2842,376],{"stretchy":363},[71,2844,2845],{"encoding":73},"\\hat{f}_D(x)",[44,2847,2849],{"className":2848,"ariaHidden":78},[77],[44,2850,2852,2855,2936,2939,2942],{"className":2851},[82],[44,2853],{"className":2854,"style":982},[86],[44,2856,2858,2900],{"className":2857},[91],[44,2859,2861],{"className":2860},[91,801],[44,2862,2864,2892],{"className":2863},[593,594],[44,2865,2867,2889],{"className":2866},[598],[44,2868,2870,2878],{"className":2869,"style":811},[602],[44,2871,2872,2875],{"style":814},[44,2873],{"className":2874,"style":818},[610],[44,2876,771],{"className":2877,"style":822},[91,92],[44,2879,2880,2883],{"style":825},[44,2881],{"className":2882,"style":818},[610],[44,2884,2886],{"className":2885,"style":833},[832],[44,2887,774],{"className":2888},[91],[44,2890,626],{"className":2891},[625],[44,2893,2895],{"className":2894},[598],[44,2896,2898],{"className":2897,"style":846},[602],[44,2899],{},[44,2901,2903],{"className":2902},[589],[44,2904,2906,2928],{"className":2905},[593,594],[44,2907,2909,2925],{"className":2908},[598],[44,2910,2913],{"className":2911,"style":2912},[602],"height:0.3283em;",[44,2914,2916,2919],{"style":2915},"top:-2.55em;margin-left:-0.1076em;margin-right:0.05em;",[44,2917],{"className":2918,"style":611},[610],[44,2920,2922],{"className":2921},[615,616,617,618],[44,2923,497],{"className":2924,"style":557},[91,92,618],[44,2926,626],{"className":2927},[625],[44,2929,2931],{"className":2930},[598],[44,2932,2934],{"className":2933,"style":633},[602],[44,2935],{},[44,2937,364],{"className":2938},[396],[44,2940,367],{"className":2941},[91,92],[44,2943,376],{"className":2944},[416]," — модель, обученная на выборке ",[44,2947,2949,2962],{"className":2948},[51],[44,2950,2952],{"className":2951},[55],[57,2953,2954],{"xmlns":59},[61,2955,2956,2960],{},[64,2957,2958],{},[67,2959,497],{},[71,2961,497],{"encoding":73},[44,2963,2965],{"className":2964,"ariaHidden":78},[77],[44,2966,2968,2971],{"className":2967},[82],[44,2969],{"className":2970,"style":87},[86],[44,2972,497],{"className":2973,"style":557},[91,92],". Ожидаемая квадратичная ошибка в точке ",[44,2976,2978,2991],{"className":2977},[51],[44,2979,2981],{"className":2980},[55],[57,2982,2983],{"xmlns":59},[61,2984,2985,2989],{},[64,2986,2987],{},[67,2988,367],{},[71,2990,367],{"encoding":73},[44,2992,2994],{"className":2993,"ariaHidden":78},[77],[44,2995,2997,3000],{"className":2996},[82],[44,2998],{"className":2999,"style":941},[86],[44,3001,367],{"className":3002},[91,92]," по всем возможным выборкам ",[44,3005,3007,3020],{"className":3006},[51],[44,3008,3010],{"className":3009},[55],[57,3011,3012],{"xmlns":59},[61,3013,3014,3018],{},[64,3015,3016],{},[67,3017,497],{},[71,3019,497],{"encoding":73},[44,3021,3023],{"className":3022,"ariaHidden":78},[77],[44,3024,3026,3029],{"className":3025},[82],[44,3027],{"className":3028,"style":87},[86],[44,3030,497],{"className":3031,"style":557},[91,92]," раскладывается на три слагаемых:",[15,3034,3035],{},[44,3036,3038,3250],{"className":3037},[51],[44,3039,3041],{"className":3040},[55],[57,3042,3043],{"xmlns":59},[61,3044,3045,3247],{},[64,3046,3047,3053,3087,3089,3151,3153,3228,3230,3245],{},[507,3048,3049,3051],{},[67,3050,69],{"mathvariant":1203},[67,3052,497],{},[64,3054,3055,3057,3059,3061,3063,3073,3075,3077,3079,3085],{},[361,3056,1206],{"fence":78},[361,3058,364],{"stretchy":363},[67,3060,373],{},[361,3062,1398],{},[507,3064,3065,3071],{},[767,3066,3067,3069],{"accent":78},[67,3068,771],{},[361,3070,774],{},[67,3072,497],{},[361,3074,364],{"stretchy":363},[67,3076,367],{},[361,3078,376],{"stretchy":363},[1412,3080,3081,3083],{},[361,3082,376],{"stretchy":363},[537,3084,259],{},[361,3086,1227],{"fence":78},[361,3088,500],{},[3090,3091,3092,3143],"munder",{},[3090,3093,3094,3140],{},[1412,3095,3096,3138],{},[64,3097,3098,3100,3106,3108,3118,3120,3122,3124,3126,3128,3130,3132,3134,3136],{},[361,3099,364],{"fence":78},[507,3101,3102,3104],{},[67,3103,69],{"mathvariant":1203},[67,3105,497],{},[361,3107,1206],{"stretchy":363},[507,3109,3110,3116],{},[767,3111,3112,3114],{"accent":78},[67,3113,771],{},[361,3115,774],{},[67,3117,497],{},[361,3119,364],{"stretchy":363},[67,3121,367],{},[361,3123,376],{"stretchy":363},[361,3125,1227],{"stretchy":363},[361,3127,1398],{},[67,3129,771],{},[361,3131,364],{"stretchy":363},[67,3133,367],{},[361,3135,376],{"stretchy":363},[361,3137,376],{"fence":78},[537,3139,259],{},[361,3141,3142],{"stretchy":78},"⏟",[1412,3144,3145,3149],{},[3146,3147,3148],"mtext",{},"смещение",[537,3150,259],{},[361,3152,2659],{},[3090,3154,3155,3225],{},[3090,3156,3157,3223],{},[64,3158,3159,3165],{},[507,3160,3161,3163],{},[67,3162,69],{"mathvariant":1203},[67,3164,497],{},[64,3166,3167,3169,3171,3181,3183,3185,3187,3189,3195,3197,3207,3209,3211,3213,3215,3221],{},[361,3168,1206],{"fence":78},[361,3170,364],{"stretchy":363},[507,3172,3173,3179],{},[767,3174,3175,3177],{"accent":78},[67,3176,771],{},[361,3178,774],{},[67,3180,497],{},[361,3182,364],{"stretchy":363},[67,3184,367],{},[361,3186,376],{"stretchy":363},[361,3188,1398],{},[507,3190,3191,3193],{},[67,3192,69],{"mathvariant":1203},[67,3194,497],{},[361,3196,1206],{"stretchy":363},[507,3198,3199,3205],{},[767,3200,3201,3203],{"accent":78},[67,3202,771],{},[361,3204,774],{},[67,3206,497],{},[361,3208,364],{"stretchy":363},[67,3210,367],{},[361,3212,376],{"stretchy":363},[361,3214,1227],{"stretchy":363},[1412,3216,3217,3219],{},[361,3218,376],{"stretchy":363},[537,3220,259],{},[361,3222,1227],{"fence":78},[361,3224,3142],{"stretchy":78},[3146,3226,3227],{},"разброс",[361,3229,2659],{},[3090,3231,3232,3242],{},[3090,3233,3234,3240],{},[1412,3235,3236,3238],{},[67,3237,2770],{},[537,3239,259],{},[361,3241,3142],{"stretchy":78},[3146,3243,3244],{},"шум",[67,3246,1550],{"mathvariant":1211},[71,3248,3249],{"encoding":73},"\\mathbb{E}_D\\left[(y - \\hat{f}_D(x))^2\\right] = \\underbrace{\\left(\\mathbb{E}_D[\\hat{f}_D(x)] - f(x)\\right)^2}_{\\text{смещение}^2} + \\underbrace{\\mathbb{E}_D\\left[(\\hat{f}_D(x) - \\mathbb{E}_D[\\hat{f}_D(x)])^2\\right]}_{\\text{разброс}} + \\underbrace{\\sigma^2}_{\\text{шум}}.",[44,3251,3253,3464,3839,4287],{"className":3252,"ariaHidden":78},[77],[44,3254,3256,3260,3300,3303,3455,3458,3461],{"className":3255},[82],[44,3257],{"className":3258,"style":3259},[86],"height:1.8em;vertical-align:-0.65em;",[44,3261,3263,3266],{"className":3262},[91],[44,3264,69],{"className":3265},[91,1670],[44,3267,3269],{"className":3268},[589],[44,3270,3272,3292],{"className":3271},[593,594],[44,3273,3275,3289],{"className":3274},[598],[44,3276,3278],{"className":3277,"style":2912},[602],[44,3279,3280,3283],{"style":606},[44,3281],{"className":3282,"style":611},[610],[44,3284,3286],{"className":3285},[615,616,617,618],[44,3287,497],{"className":3288,"style":557},[91,92,618],[44,3290,626],{"className":3291},[625],[44,3293,3295],{"className":3294},[598],[44,3296,3298],{"className":3297,"style":633},[602],[44,3299],{},[44,3301],{"className":3302,"style":408},[407],[44,3304,3307,3317,3320,3323,3326,3329,3332,3411,3414,3417,3420,3449],{"className":3305},[3306],"minner",[44,3308,3312],{"className":3309,"style":3311},[396,3310],"delimcenter","top:0em;",[44,3313,1206],{"className":3314},[3315,3316],"delimsizing","size2",[44,3318,364],{"className":3319},[396],[44,3321,373],{"className":3322,"style":412},[91,92],[44,3324],{"className":3325,"style":456},[407],[44,3327,1398],{"className":3328},[460],[44,3330],{"className":3331,"style":456},[407],[44,3333,3335,3377],{"className":3334},[91],[44,3336,3338],{"className":3337},[91,801],[44,3339,3341,3369],{"className":3340},[593,594],[44,3342,3344,3366],{"className":3343},[598],[44,3345,3347,3355],{"className":3346,"style":811},[602],[44,3348,3349,3352],{"style":814},[44,3350],{"className":3351,"style":818},[610],[44,3353,771],{"className":3354,"style":822},[91,92],[44,3356,3357,3360],{"style":825},[44,3358],{"className":3359,"style":818},[610],[44,3361,3363],{"className":3362,"style":833},[832],[44,3364,774],{"className":3365},[91],[44,3367,626],{"className":3368},[625],[44,3370,3372],{"className":3371},[598],[44,3373,3375],{"className":3374,"style":846},[602],[44,3376],{},[44,3378,3380],{"className":3379},[589],[44,3381,3383,3403],{"className":3382},[593,594],[44,3384,3386,3400],{"className":3385},[598],[44,3387,3389],{"className":3388,"style":2912},[602],[44,3390,3391,3394],{"style":2915},[44,3392],{"className":3393,"style":611},[610],[44,3395,3397],{"className":3396},[615,616,617,618],[44,3398,497],{"className":3399,"style":557},[91,92,618],[44,3401,626],{"className":3402},[625],[44,3404,3406],{"className":3405},[598],[44,3407,3409],{"className":3408,"style":633},[602],[44,3410],{},[44,3412,364],{"className":3413},[396],[44,3415,367],{"className":3416},[91,92],[44,3418,376],{"className":3419},[416],[44,3421,3423,3426],{"className":3422},[416],[44,3424,376],{"className":3425},[416],[44,3427,3429],{"className":3428},[589],[44,3430,3432],{"className":3431},[593],[44,3433,3435],{"className":3434},[598],[44,3436,3438],{"className":3437,"style":1538},[602],[44,3439,3440,3443],{"style":728},[44,3441],{"className":3442,"style":611},[610],[44,3444,3446],{"className":3445},[615,616,617,618],[44,3447,259],{"className":3448},[91,618],[44,3450,3452],{"className":3451,"style":3311},[416,3310],[44,3453,1227],{"className":3454},[3315,3316],[44,3456],{"className":3457,"style":561},[407],[44,3459,500],{"className":3460},[565],[44,3462],{"className":3463,"style":561},[407],[44,3465,3467,3471,3830,3833,3836],{"className":3466},[82],[44,3468],{"className":3469,"style":3470},[86],"height:3.3744em;vertical-align:-2.0204em;",[44,3472,3474],{"className":3473},[3306,3090],[44,3475,3477,3821],{"className":3476},[593,594],[44,3478,3480,3818],{"className":3479},[598],[44,3481,3484,3536],{"className":3482,"style":3483},[602],"height:1.354em;",[44,3485,3487,3491],{"style":3486},"top:-1.3336em;",[44,3488],{"className":3489,"style":3490},[610],"height:3.354em;",[44,3492,3494],{"className":3493},[615,616,617,618],[44,3495,3497],{"className":3496},[91,618],[44,3498,3500,3508],{"className":3499},[91,618],[44,3501,3504],{"className":3502},[91,3503,618],"text",[44,3505,3148],{"className":3506},[91,3507,618],"cyrillic_fallback",[44,3509,3511],{"className":3510},[589],[44,3512,3514],{"className":3513},[593],[44,3515,3517],{"className":3516},[598],[44,3518,3521],{"className":3519,"style":3520},[602],"height:0.7463em;",[44,3522,3524,3528],{"style":3523},"top:-2.786em;margin-right:0.0714em;",[44,3525],{"className":3526,"style":3527},[610],"height:2.5em;",[44,3529,3533],{"className":3530},[615,3531,3532,618],"reset-size3","size1",[44,3534,259],{"className":3535},[91,618],[44,3537,3539,3542],{"style":3538},"top:-3.354em;",[44,3540],{"className":3541,"style":3490},[610],[44,3543,3545],{"className":3544},[3306,3090],[44,3546,3548,3809],{"className":3547},[593,594],[44,3549,3551,3806],{"className":3550},[598],[44,3552,3554,3604],{"className":3553,"style":3483},[602],[44,3555,3559,3562],{"className":3556,"style":3558},[3557],"svg-align","top:-2.056em;",[44,3560],{"className":3561,"style":3490},[610],[44,3563,3567,3584,3594],{"className":3564,"style":3566},[3565],"stretchy","height:0.548em;min-width:1.6em;",[44,3568,3572],{"className":3569,"style":3571},[3570],"brace-left","height:0.548em;",[3573,3574,3580],"svg",{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3579},"http:\u002F\u002Fwww.w3.org\u002F2000\u002Fsvg","400em","0.548em","0 0 400000 548","xMinYMin slice",[3581,3582],"path",{"d":3583},"M0 6l6-6h17c12.688 0 19.313.3 20 1 4 4 7.313 8.3 10 13\n 35.313 51.3 80.813 93.8 136.5 127.5 55.688 33.7 117.188 55.8 184.5 66.5.688\n 0 2 .3 4 1 18.688 2.7 76 4.3 172 5h399450v120H429l-6-1c-124.688-8-235-61.7\n-331-161C60.687 138.7 32.312 99.3 7 54L0 41V6z",[44,3585,3588],{"className":3586,"style":3571},[3587],"brace-center",[3573,3589,3591],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3590},"xMidYMin slice",[3581,3592],{"d":3593},"M199572 214\nc100.7 8.3 195.3 44 280 108 55.3 42 101.7 93 139 153l9 14c2.7-4 5.7-8.7 9-14\n 53.3-86.7 123.7-153 211-199 66.7-36 137.3-56.3 212-62h199568v120H200432c-178.3\n 11.7-311.7 78.3-403 201-6 8-9.7 12-11 12-.7.7-6.7 1-18 1s-17.3-.3-18-1c-1.3 0\n-5-4-11-12-44.7-59.3-101.3-106.3-170-141s-145.3-54.3-229-60H0V214z",[44,3595,3598],{"className":3596,"style":3571},[3597],"brace-right",[3573,3599,3601],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3600},"xMaxYMin slice",[3581,3602],{"d":3603},"M399994 0l6 6v35l-6 11c-56 104-135.3 181.3-238 232-57.3\n 28.7-117 45-179 50H-300V214h399897c43.3-7 81-15 113-26 100.7-33 179.7-91 237\n-174 2.7-5 6-9 10-13 .7-1 7.3-1 20-1h17z",[44,3605,3606,3609],{"style":3538},[44,3607],{"className":3608,"style":3490},[610],[44,3610,3612],{"className":3611},[91],[44,3613,3615,3782],{"className":3614},[3306],[44,3616,3618,3624,3664,3667,3746,3749,3752,3755,3758,3761,3764,3767,3770,3773,3776],{"className":3617},[3306],[44,3619,3621],{"className":3620,"style":3311},[396,3310],[44,3622,364],{"className":3623},[3315,3316],[44,3625,3627,3630],{"className":3626},[91],[44,3628,69],{"className":3629},[91,1670],[44,3631,3633],{"className":3632},[589],[44,3634,3636,3656],{"className":3635},[593,594],[44,3637,3639,3653],{"className":3638},[598],[44,3640,3642],{"className":3641,"style":2912},[602],[44,3643,3644,3647],{"style":606},[44,3645],{"className":3646,"style":611},[610],[44,3648,3650],{"className":3649},[615,616,617,618],[44,3651,497],{"className":3652,"style":557},[91,92,618],[44,3654,626],{"className":3655},[625],[44,3657,3659],{"className":3658},[598],[44,3660,3662],{"className":3661,"style":633},[602],[44,3663],{},[44,3665,1206],{"className":3666},[396],[44,3668,3670,3712],{"className":3669},[91],[44,3671,3673],{"className":3672},[91,801],[44,3674,3676,3704],{"className":3675},[593,594],[44,3677,3679,3701],{"className":3678},[598],[44,3680,3682,3690],{"className":3681,"style":811},[602],[44,3683,3684,3687],{"style":814},[44,3685],{"className":3686,"style":818},[610],[44,3688,771],{"className":3689,"style":822},[91,92],[44,3691,3692,3695],{"style":825},[44,3693],{"className":3694,"style":818},[610],[44,3696,3698],{"className":3697,"style":833},[832],[44,3699,774],{"className":3700},[91],[44,3702,626],{"className":3703},[625],[44,3705,3707],{"className":3706},[598],[44,3708,3710],{"className":3709,"style":846},[602],[44,3711],{},[44,3713,3715],{"className":3714},[589],[44,3716,3718,3738],{"className":3717},[593,594],[44,3719,3721,3735],{"className":3720},[598],[44,3722,3724],{"className":3723,"style":2912},[602],[44,3725,3726,3729],{"style":2915},[44,3727],{"className":3728,"style":611},[610],[44,3730,3732],{"className":3731},[615,616,617,618],[44,3733,497],{"className":3734,"style":557},[91,92,618],[44,3736,626],{"className":3737},[625],[44,3739,3741],{"className":3740},[598],[44,3742,3744],{"className":3743,"style":633},[602],[44,3745],{},[44,3747,364],{"className":3748},[396],[44,3750,367],{"className":3751},[91,92],[44,3753,1374],{"className":3754},[416],[44,3756],{"className":3757,"style":456},[407],[44,3759,1398],{"className":3760},[460],[44,3762],{"className":3763,"style":456},[407],[44,3765,771],{"className":3766,"style":822},[91,92],[44,3768,364],{"className":3769},[396],[44,3771,367],{"className":3772},[91,92],[44,3774,376],{"className":3775},[416],[44,3777,3779],{"className":3778,"style":3311},[416,3310],[44,3780,376],{"className":3781},[3315,3316],[44,3783,3785],{"className":3784},[589],[44,3786,3788],{"className":3787},[593],[44,3789,3791],{"className":3790},[598],[44,3792,3794],{"className":3793,"style":3483},[602],[44,3795,3797,3800],{"style":3796},"top:-3.6029em;margin-right:0.05em;",[44,3798],{"className":3799,"style":611},[610],[44,3801,3803],{"className":3802},[615,616,617,618],[44,3804,259],{"className":3805},[91,618],[44,3807,626],{"className":3808},[625],[44,3810,3812],{"className":3811},[598],[44,3813,3816],{"className":3814,"style":3815},[602],"height:1.298em;",[44,3817],{},[44,3819,626],{"className":3820},[625],[44,3822,3824],{"className":3823},[598],[44,3825,3828],{"className":3826,"style":3827},[602],"height:2.0204em;",[44,3829],{},[44,3831],{"className":3832,"style":456},[407],[44,3834,2659],{"className":3835},[460],[44,3837],{"className":3838,"style":456},[407],[44,3840,3842,3846,4278,4281,4284],{"className":3841},[82],[44,3843],{"className":3844,"style":3845},[86],"height:3.2702em;vertical-align:-2.1202em;",[44,3847,3849],{"className":3848},[3306,3090],[44,3850,3852,4269],{"className":3851},[593,594],[44,3853,3855,4266],{"className":3854},[598],[44,3856,3859,3878],{"className":3857,"style":3858},[602],"height:1.15em;",[44,3860,3862,3866],{"style":3861},"top:-1.1659em;",[44,3863],{"className":3864,"style":3865},[610],"height:3.15em;",[44,3867,3869],{"className":3868},[615,616,617,618],[44,3870,3872],{"className":3871},[91,618],[44,3873,3875],{"className":3874},[91,3503,618],[44,3876,3227],{"className":3877},[91,3507,618],[44,3879,3881,3884],{"style":3880},"top:-3.15em;",[44,3882],{"className":3883,"style":3865},[610],[44,3885,3887],{"className":3886},[3306,3090],[44,3888,3890,4258],{"className":3889},[593,594],[44,3891,3893,4255],{"className":3892},[598],[44,3894,3896,3927],{"className":3895,"style":3858},[602],[44,3897,3900,3903],{"className":3898,"style":3899},[3557],"top:-1.852em;",[44,3901],{"className":3902,"style":3865},[610],[44,3904,3906,3913,3920],{"className":3905,"style":3566},[3565],[44,3907,3909],{"className":3908,"style":3571},[3570],[3573,3910,3911],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3579},[3581,3912],{"d":3583},[44,3914,3916],{"className":3915,"style":3571},[3587],[3573,3917,3918],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3590},[3581,3919],{"d":3593},[44,3921,3923],{"className":3922,"style":3571},[3597],[3573,3924,3925],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3600},[3581,3926],{"d":3603},[44,3928,3929,3932],{"style":3880},[44,3930],{"className":3931,"style":3865},[610],[44,3933,3935,3975,3978],{"className":3934},[91],[44,3936,3938,3941],{"className":3937},[91],[44,3939,69],{"className":3940},[91,1670],[44,3942,3944],{"className":3943},[589],[44,3945,3947,3967],{"className":3946},[593,594],[44,3948,3950,3964],{"className":3949},[598],[44,3951,3953],{"className":3952,"style":2912},[602],[44,3954,3955,3958],{"style":606},[44,3956],{"className":3957,"style":611},[610],[44,3959,3961],{"className":3960},[615,616,617,618],[44,3962,497],{"className":3963,"style":557},[91,92,618],[44,3965,626],{"className":3966},[625],[44,3968,3970],{"className":3969},[598],[44,3971,3973],{"className":3972,"style":633},[602],[44,3974],{},[44,3976],{"className":3977,"style":408},[407],[44,3979,3981,3987,3990,4069,4072,4075,4078,4081,4084,4087,4127,4130,4209,4212,4215,4218,4249],{"className":3980},[3306],[44,3982,3984],{"className":3983,"style":3311},[396,3310],[44,3985,1206],{"className":3986},[3315,3316],[44,3988,364],{"className":3989},[396],[44,3991,3993,4035],{"className":3992},[91],[44,3994,3996],{"className":3995},[91,801],[44,3997,3999,4027],{"className":3998},[593,594],[44,4000,4002,4024],{"className":4001},[598],[44,4003,4005,4013],{"className":4004,"style":811},[602],[44,4006,4007,4010],{"style":814},[44,4008],{"className":4009,"style":818},[610],[44,4011,771],{"className":4012,"style":822},[91,92],[44,4014,4015,4018],{"style":825},[44,4016],{"className":4017,"style":818},[610],[44,4019,4021],{"className":4020,"style":833},[832],[44,4022,774],{"className":4023},[91],[44,4025,626],{"className":4026},[625],[44,4028,4030],{"className":4029},[598],[44,4031,4033],{"className":4032,"style":846},[602],[44,4034],{},[44,4036,4038],{"className":4037},[589],[44,4039,4041,4061],{"className":4040},[593,594],[44,4042,4044,4058],{"className":4043},[598],[44,4045,4047],{"className":4046,"style":2912},[602],[44,4048,4049,4052],{"style":2915},[44,4050],{"className":4051,"style":611},[610],[44,4053,4055],{"className":4054},[615,616,617,618],[44,4056,497],{"className":4057,"style":557},[91,92,618],[44,4059,626],{"className":4060},[625],[44,4062,4064],{"className":4063},[598],[44,4065,4067],{"className":4066,"style":633},[602],[44,4068],{},[44,4070,364],{"className":4071},[396],[44,4073,367],{"className":4074},[91,92],[44,4076,376],{"className":4077},[416],[44,4079],{"className":4080,"style":456},[407],[44,4082,1398],{"className":4083},[460],[44,4085],{"className":4086,"style":456},[407],[44,4088,4090,4093],{"className":4089},[91],[44,4091,69],{"className":4092},[91,1670],[44,4094,4096],{"className":4095},[589],[44,4097,4099,4119],{"className":4098},[593,594],[44,4100,4102,4116],{"className":4101},[598],[44,4103,4105],{"className":4104,"style":2912},[602],[44,4106,4107,4110],{"style":606},[44,4108],{"className":4109,"style":611},[610],[44,4111,4113],{"className":4112},[615,616,617,618],[44,4114,497],{"className":4115,"style":557},[91,92,618],[44,4117,626],{"className":4118},[625],[44,4120,4122],{"className":4121},[598],[44,4123,4125],{"className":4124,"style":633},[602],[44,4126],{},[44,4128,1206],{"className":4129},[396],[44,4131,4133,4175],{"className":4132},[91],[44,4134,4136],{"className":4135},[91,801],[44,4137,4139,4167],{"className":4138},[593,594],[44,4140,4142,4164],{"className":4141},[598],[44,4143,4145,4153],{"className":4144,"style":811},[602],[44,4146,4147,4150],{"style":814},[44,4148],{"className":4149,"style":818},[610],[44,4151,771],{"className":4152,"style":822},[91,92],[44,4154,4155,4158],{"style":825},[44,4156],{"className":4157,"style":818},[610],[44,4159,4161],{"className":4160,"style":833},[832],[44,4162,774],{"className":4163},[91],[44,4165,626],{"className":4166},[625],[44,4168,4170],{"className":4169},[598],[44,4171,4173],{"className":4172,"style":846},[602],[44,4174],{},[44,4176,4178],{"className":4177},[589],[44,4179,4181,4201],{"className":4180},[593,594],[44,4182,4184,4198],{"className":4183},[598],[44,4185,4187],{"className":4186,"style":2912},[602],[44,4188,4189,4192],{"style":2915},[44,4190],{"className":4191,"style":611},[610],[44,4193,4195],{"className":4194},[615,616,617,618],[44,4196,497],{"className":4197,"style":557},[91,92,618],[44,4199,626],{"className":4200},[625],[44,4202,4204],{"className":4203},[598],[44,4205,4207],{"className":4206,"style":633},[602],[44,4208],{},[44,4210,364],{"className":4211},[396],[44,4213,367],{"className":4214},[91,92],[44,4216,1374],{"className":4217},[416],[44,4219,4221,4224],{"className":4220},[416],[44,4222,376],{"className":4223},[416],[44,4225,4227],{"className":4226},[589],[44,4228,4230],{"className":4229},[593],[44,4231,4233],{"className":4232},[598],[44,4234,4237],{"className":4235,"style":4236},[602],"height:0.8641em;",[44,4238,4240,4243],{"style":4239},"top:-3.113em;margin-right:0.05em;",[44,4241],{"className":4242,"style":611},[610],[44,4244,4246],{"className":4245},[615,616,617,618],[44,4247,259],{"className":4248},[91,618],[44,4250,4252],{"className":4251,"style":3311},[416,3310],[44,4253,1227],{"className":4254},[3315,3316],[44,4256,626],{"className":4257},[625],[44,4259,4261],{"className":4260},[598],[44,4262,4264],{"className":4263,"style":3815},[602],[44,4265],{},[44,4267,626],{"className":4268},[625],[44,4270,4272],{"className":4271},[598],[44,4273,4276],{"className":4274,"style":4275},[602],"height:2.1202em;",[44,4277],{},[44,4279],{"className":4280,"style":456},[407],[44,4282,2659],{"className":4283},[460],[44,4285],{"className":4286,"style":456},[407],[44,4288,4290,4294,4433,4436],{"className":4289},[82],[44,4291],{"className":4292,"style":4293},[86],"height:2.1496em;vertical-align:-1.2855em;",[44,4295,4297],{"className":4296},[3306,3090],[44,4298,4300,4424],{"className":4299},[593,594],[44,4301,4303,4421],{"className":4302},[598],[44,4304,4306,4324],{"className":4305,"style":4236},[602],[44,4307,4309,4312],{"style":4308},"top:-1.8506em;",[44,4310],{"className":4311,"style":818},[610],[44,4313,4315],{"className":4314},[615,616,617,618],[44,4316,4318],{"className":4317},[91,618],[44,4319,4321],{"className":4320},[91,3503,618],[44,4322,3244],{"className":4323},[91,3507,618],[44,4325,4326,4329],{"style":814},[44,4327],{"className":4328,"style":818},[610],[44,4330,4332],{"className":4331},[3306,3090],[44,4333,4335,4412],{"className":4334},[593,594],[44,4336,4338,4409],{"className":4337},[598],[44,4339,4341,4372],{"className":4340,"style":4236},[602],[44,4342,4345,4348],{"className":4343,"style":4344},[3557],"top:-2.352em;",[44,4346],{"className":4347,"style":818},[610],[44,4349,4351,4358,4365],{"className":4350,"style":3566},[3565],[44,4352,4354],{"className":4353,"style":3571},[3570],[3573,4355,4356],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3579},[3581,4357],{"d":3583},[44,4359,4361],{"className":4360,"style":3571},[3587],[3573,4362,4363],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3590},[3581,4364],{"d":3593},[44,4366,4368],{"className":4367,"style":3571},[3597],[3573,4369,4370],{"xmlns":3575,"width":3576,"height":3577,"viewBox":3578,"preserveAspectRatio":3600},[3581,4371],{"d":3603},[44,4373,4374,4377],{"style":814},[44,4375],{"className":4376,"style":818},[610],[44,4378,4380],{"className":4379},[91],[44,4381,4383,4386],{"className":4382},[91],[44,4384,2770],{"className":4385,"style":412},[91,92],[44,4387,4389],{"className":4388},[589],[44,4390,4392],{"className":4391},[593],[44,4393,4395],{"className":4394},[598],[44,4396,4398],{"className":4397,"style":4236},[602],[44,4399,4400,4403],{"style":4239},[44,4401],{"className":4402,"style":611},[610],[44,4404,4406],{"className":4405},[615,616,617,618],[44,4407,259],{"className":4408},[91,618],[44,4410,626],{"className":4411},[625],[44,4413,4415],{"className":4414},[598],[44,4416,4419],{"className":4417,"style":4418},[602],"height:0.648em;",[44,4420],{},[44,4422,626],{"className":4423},[625],[44,4425,4427],{"className":4426},[598],[44,4428,4431],{"className":4429,"style":4430},[602],"height:1.2855em;",[44,4432],{},[44,4434],{"className":4435,"style":408},[407],[44,4437,1550],{"className":4438},[91],[15,4440,4441,4442,478,4445,482,4448,4457],{},"Эта декомпозиция, известная как ",[475,4443,4444],{},"разложение на смещение и разброс",[247,4446,4447],{},"bias-variance decomposition",[35,4449,4451],{"className":4450},[38],[40,4452,4454],{"href":4453},"#ref-7",[44,4455,4456],{},"7",", даёт принципиальную картину источников ошибки.",[15,4459,4460,478,4463,4466,4467,478,4470,4473],{},[475,4461,4462],{},"Смещение",[247,4464,4465],{},"bias",") — систематическое отклонение средних предсказаний модели от истинной зависимости. Высокое смещение возникает, когда модель слишком проста для данных: линейная регрессия на нелинейной зависимости даст низкое смещение в линейных областях и высокое — на нелинейных участках. Это ",[475,4468,4469],{},"недообучение",[247,4471,4472],{},"underfitting",") — модель не способна воспроизвести структуру данных даже при их избытке.",[15,4475,4476,478,4479,4482,4483,4511,4512,478,4515,4518],{},[475,4477,4478],{},"Разброс",[247,4480,4481],{},"variance",") — чувствительность модели к составу обучающей выборки. Высокий разброс означает, что при небольшом изменении ",[44,4484,4486,4499],{"className":4485},[51],[44,4487,4489],{"className":4488},[55],[57,4490,4491],{"xmlns":59},[61,4492,4493,4497],{},[64,4494,4495],{},[67,4496,497],{},[71,4498,497],{"encoding":73},[44,4500,4502],{"className":4501,"ariaHidden":78},[77],[44,4503,4505,4508],{"className":4504},[82],[44,4506],{"className":4507,"style":87},[86],[44,4509,497],{"className":4510,"style":557},[91,92]," модель меняется сильно. Это ",[475,4513,4514],{},"переобучение",[247,4516,4517],{},"overfitting",") — модель запоминает обучающие примеры, в том числе их случайные особенности и шум, и теряет способность обобщать.",[15,4520,4521,4524,4525,4583,4584,4612,4613,4641],{},[475,4522,4523],{},"Шум"," ",[44,4526,4528,4545],{"className":4527},[51],[44,4529,4531],{"className":4530},[55],[57,4532,4533],{"xmlns":59},[61,4534,4535,4543],{},[64,4536,4537],{},[1412,4538,4539,4541],{},[67,4540,2770],{},[537,4542,259],{},[71,4544,2775],{"encoding":73},[44,4546,4548],{"className":4547,"ariaHidden":78},[77],[44,4549,4551,4554],{"className":4550},[82],[44,4552],{"className":4553,"style":1538},[86],[44,4555,4557,4560],{"className":4556},[91],[44,4558,2770],{"className":4559,"style":412},[91,92],[44,4561,4563],{"className":4562},[589],[44,4564,4566],{"className":4565},[593],[44,4567,4569],{"className":4568},[598],[44,4570,4572],{"className":4571,"style":1538},[602],[44,4573,4574,4577],{"style":728},[44,4575],{"className":4576,"style":611},[610],[44,4578,4580],{"className":4579},[615,616,617,618],[44,4581,259],{"className":4582},[91,618]," — неустранимая часть ошибки, обусловленная случайностью данных. Никакая модель не может предсказать ",[44,4585,4587,4600],{"className":4586},[51],[44,4588,4590],{"className":4589},[55],[57,4591,4592],{"xmlns":59},[61,4593,4594,4598],{},[64,4595,4596],{},[67,4597,373],{},[71,4599,373],{"encoding":73},[44,4601,4603],{"className":4602,"ariaHidden":78},[77],[44,4604,4606,4609],{"className":4605},[82],[44,4607],{"className":4608,"style":911},[86],[44,4610,373],{"className":4611,"style":412},[91,92]," точнее, чем позволяет случайная компонента ",[44,4614,4616,4629],{"className":4615},[51],[44,4617,4619],{"className":4618},[55],[57,4620,4621],{"xmlns":59},[61,4622,4623,4627],{},[64,4624,4625],{},[67,4626,2662],{},[71,4628,2740],{"encoding":73},[44,4630,4632],{"className":4631,"ariaHidden":78},[77],[44,4633,4635,4638],{"className":4634},[82],[44,4636],{"className":4637,"style":941},[86],[44,4639,2662],{"className":4640},[91,92],"; задача — приблизиться к этой границе, а не пытаться её преодолеть.",[15,4643,4644],{},"С точки зрения сложности модели смещение и разброс ведут себя противоположно. Слишком простая модель имеет высокое смещение и низкий разброс; слишком сложная — низкое смещение, но высокий разброс. Тестовая ошибка как сумма этих компонент имеет минимум при некоторой промежуточной сложности — это знаменитая «U-образная» зависимость, лежащая в основе всей методологии регуляризации.",[265,4646,267,4647,267,4651],{},[269,4648],{"src":4649,"alt":4650},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Fbias_variance_tradeoff.svg","Компромисс смещения и разброса: зависимость ошибки от сложности модели",[274,4652,4650],{},[15,4654,4655,4656,478,4659,482,4662,4669,4670,4746,4747,2723,4885,4929,4930,4959,4960,5013,5014,5042,5043,5071],{},"Практический способ управлять этим компромиссом — ",[475,4657,4658],{},"регуляризация",[247,4660,4661],{},"regularization",[35,4663,4665],{"className":4664},[38],[40,4666,4667],{"href":2218},[44,4668,2221],{},". К минимизируемому функционалу добавляется штраф за сложность модели, например за величину её параметров: вместо ",[44,4671,4673,4697],{"className":4672},[51],[44,4674,4676],{"className":4675},[55],[57,4677,4678],{"xmlns":59},[61,4679,4680,4694],{},[64,4681,4682,4688,4690,4692],{},[767,4683,4684,4686],{"accent":78},[67,4685,1575],{},[361,4687,774],{},[361,4689,364],{"stretchy":363},[67,4691,771],{},[361,4693,376],{"stretchy":363},[71,4695,4696],{"encoding":73},"\\hat{R}(f)",[44,4698,4700],{"className":4699,"ariaHidden":78},[77],[44,4701,4703,4706,4737,4740,4743],{"className":4702},[82],[44,4704],{"className":4705,"style":1847},[86],[44,4707,4709],{"className":4708},[91,801],[44,4710,4712],{"className":4711},[593],[44,4713,4715],{"className":4714},[598],[44,4716,4718,4726],{"className":4717,"style":1860},[602],[44,4719,4720,4723],{"style":814},[44,4721],{"className":4722,"style":818},[610],[44,4724,1575],{"className":4725,"style":1638},[91,92],[44,4727,4728,4731],{"style":1871},[44,4729],{"className":4730,"style":818},[610],[44,4732,4734],{"className":4733,"style":1878},[832],[44,4735,774],{"className":4736},[91],[44,4738,364],{"className":4739},[396],[44,4741,771],{"className":4742,"style":822},[91,92],[44,4744,376],{"className":4745},[416]," оптимизируется ",[44,4748,4750,4791],{"className":4749},[51],[44,4751,4753],{"className":4752},[55],[57,4754,4755],{"xmlns":59},[61,4756,4757,4788],{},[64,4758,4759,4765,4767,4769,4771,4773,4776,4779,4782,4784,4786],{},[767,4760,4761,4763],{"accent":78},[67,4762,1575],{},[361,4764,774],{},[361,4766,364],{"stretchy":363},[67,4768,771],{},[361,4770,376],{"stretchy":363},[361,4772,2659],{},[67,4774,4775],{},"λ",[361,4777,4778],{},"⋅",[67,4780,4781],{"mathvariant":1211},"Ω",[361,4783,364],{"stretchy":363},[67,4785,771],{},[361,4787,376],{"stretchy":363},[71,4789,4790],{"encoding":73},"\\hat{R}(f) + \\lambda \\cdot \\Omega(f)",[44,4792,4794,4849,4867],{"className":4793,"ariaHidden":78},[77],[44,4795,4797,4800,4831,4834,4837,4840,4843,4846],{"className":4796},[82],[44,4798],{"className":4799,"style":1847},[86],[44,4801,4803],{"className":4802},[91,801],[44,4804,4806],{"className":4805},[593],[44,4807,4809],{"className":4808},[598],[44,4810,4812,4820],{"className":4811,"style":1860},[602],[44,4813,4814,4817],{"style":814},[44,4815],{"className":4816,"style":818},[610],[44,4818,1575],{"className":4819,"style":1638},[91,92],[44,4821,4822,4825],{"style":1871},[44,4823],{"className":4824,"style":818},[610],[44,4826,4828],{"className":4827,"style":1878},[832],[44,4829,774],{"className":4830},[91],[44,4832,364],{"className":4833},[396],[44,4835,771],{"className":4836,"style":822},[91,92],[44,4838,376],{"className":4839},[416],[44,4841],{"className":4842,"style":456},[407],[44,4844,2659],{"className":4845},[460],[44,4847],{"className":4848,"style":456},[407],[44,4850,4852,4855,4858,4861,4864],{"className":4851},[82],[44,4853],{"className":4854,"style":2192},[86],[44,4856,4775],{"className":4857},[91,92],[44,4859],{"className":4860,"style":456},[407],[44,4862,4778],{"className":4863},[460],[44,4865],{"className":4866,"style":456},[407],[44,4868,4870,4873,4876,4879,4882],{"className":4869},[82],[44,4871],{"className":4872,"style":389},[86],[44,4874,4781],{"className":4875},[91],[44,4877,364],{"className":4878},[396],[44,4880,771],{"className":4881,"style":822},[91,92],[44,4883,376],{"className":4884},[416],[44,4886,4888,4908],{"className":4887},[51],[44,4889,4891],{"className":4890},[55],[57,4892,4893],{"xmlns":59},[61,4894,4895,4905],{},[64,4896,4897,4899,4901,4903],{},[67,4898,4781],{"mathvariant":1211},[361,4900,364],{"stretchy":363},[67,4902,771],{},[361,4904,376],{"stretchy":363},[71,4906,4907],{"encoding":73},"\\Omega(f)",[44,4909,4911],{"className":4910,"ariaHidden":78},[77],[44,4912,4914,4917,4920,4923,4926],{"className":4913},[82],[44,4915],{"className":4916,"style":389},[86],[44,4918,4781],{"className":4919},[91],[44,4921,364],{"className":4922},[396],[44,4924,771],{"className":4925,"style":822},[91,92],[44,4927,376],{"className":4928},[416]," — мера сложности (сумма квадратов коэффициентов в ridge, сумма модулей в lasso, число параметров в информационных критериях). Коэффициент ",[44,4931,4933,4947],{"className":4932},[51],[44,4934,4936],{"className":4935},[55],[57,4937,4938],{"xmlns":59},[61,4939,4940,4944],{},[64,4941,4942],{},[67,4943,4775],{},[71,4945,4946],{"encoding":73},"\\lambda",[44,4948,4950],{"className":4949,"ariaHidden":78},[77],[44,4951,4953,4956],{"className":4952},[82],[44,4954],{"className":4955,"style":2192},[86],[44,4957,4775],{"className":4958},[91,92]," балансирует подгонку и сложность: при ",[44,4961,4963,4982],{"className":4962},[51],[44,4964,4966],{"className":4965},[55],[57,4967,4968],{"xmlns":59},[61,4969,4970,4979],{},[64,4971,4972,4974,4976],{},[67,4973,4775],{},[361,4975,500],{},[537,4977,4978],{},"0",[71,4980,4981],{"encoding":73},"\\lambda = 0",[44,4983,4985,5003],{"className":4984,"ariaHidden":78},[77],[44,4986,4988,4991,4994,4997,5000],{"className":4987},[82],[44,4989],{"className":4990,"style":2192},[86],[44,4992,4775],{"className":4993},[91,92],[44,4995],{"className":4996,"style":561},[407],[44,4998,500],{"className":4999},[565],[44,5001],{"className":5002,"style":561},[407],[44,5004,5006,5010],{"className":5005},[82],[44,5007],{"className":5008,"style":5009},[86],"height:0.6444em;",[44,5011,4978],{"className":5012},[91]," регуляризации нет, при больших ",[44,5015,5017,5030],{"className":5016},[51],[44,5018,5020],{"className":5019},[55],[57,5021,5022],{"xmlns":59},[61,5023,5024,5028],{},[64,5025,5026],{},[67,5027,4775],{},[71,5029,4946],{"encoding":73},[44,5031,5033],{"className":5032,"ariaHidden":78},[77],[44,5034,5036,5039],{"className":5035},[82],[44,5037],{"className":5038,"style":2192},[86],[44,5040,4775],{"className":5041},[91,92]," модель «зажата». Подбор ",[44,5044,5046,5059],{"className":5045},[51],[44,5047,5049],{"className":5048},[55],[57,5050,5051],{"xmlns":59},[61,5052,5053,5057],{},[64,5054,5055],{},[67,5056,4775],{},[71,5058,4946],{"encoding":73},[44,5060,5062],{"className":5061,"ariaHidden":78},[77],[44,5063,5065,5068],{"className":5064},[82],[44,5066],{"className":5067,"style":2192},[86],[44,5069,4775],{"className":5070},[91,92]," — отдельная задача, решаемая обычно через валидационную выборку или кросс-валидацию. Конкретные регуляризованные модели мы рассмотрим в теме 5.",[15,5073,5074,5075,478,5078,482,5081,5090],{},"Стоит оговориться, что классическая U-образная картина — это идеализация. На современных глубоких сетях с миллионами и миллиардами параметров наблюдается явление ",[475,5076,5077],{},"двойного спуска",[247,5079,5080],{},"double descent",[35,5082,5084],{"className":5083},[38],[40,5085,5087],{"href":5086},"#ref-8",[44,5088,5089],{},"8",": при дальнейшем увеличении сложности после первого минимума ошибка снова падает. Объяснение этого феномена выходит за рамки темы; для нас важно, что классический компромисс смещения и разброса — рабочая модель для большинства практических задач, но не универсальный закон.",[22,5092,5094],{"id":5093},"построение-базовой-модели","Построение базовой модели",[27,5096,5098],{"id":5097},"понятие-baseline","Понятие baseline",[15,5100,5101,5102,478,5105,5108,5109,5112],{},"Прежде чем браться за сложные модели — градиентный бустинг, глубокие сети, ансамбли — в задаче машинного обучения строят ",[475,5103,5104],{},"базовую модель",[247,5106,5107],{},"baseline","). Это простейшая стратегия предсказания, не предполагающая обучения как такового или обучения тривиального. Её роль — задать ",[475,5110,5111],{},"точку отсчёта",": любая более сложная модель должна давать качество существенно лучше базового, иначе её использование не оправдано.",[15,5114,5115,5116,5119],{},"Простейшие стратегии baseline зависят от типа задачи. В классификации стандартный выбор — предсказание мажоритарного класса (англ. ",[247,5117,5118],{},"most frequent","): всем объектам тестовой выборки приписывается тот класс, который чаще всего встречается в обучающей. Альтернатива — стратифицированный случайный выбор, при котором класс назначается с вероятностью, пропорциональной его доле. В регрессии аналог — предсказание среднего (или медианы) целевой переменной обучающей выборки.",[15,5121,5122],{},"Эти стратегии выглядят примитивно, но именно их простота делает их полезными. Если построенная классификация на медицинских данных даёт 95% accuracy, а baseline-стратегия «всем здоров» даёт 94% (поскольку класс «болен» встречается у 6% пациентов), то реальный вклад модели — 1 процентный пункт; и тогда уместно спросить, стоит ли он усилий по обучению, сопровождению и валидации. Без baseline это сравнение невозможно: показатель «95% точности» сам по себе ни о чём не говорит.",[265,5124,267,5125,267,5129],{},[269,5126],{"src":5127,"alt":5128},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-03\u002Fbaseline_role.svg","Baseline как точка отсчёта: метрики моделей в сравнении с базовой стратегией",[274,5130,5128],{},[15,5132,5133,5134,5137,5138,5147],{},"Помимо тривиального baseline, полезно строить и ",[475,5135,5136],{},"разумный baseline"," — простую модель, реалистично пригодную к использованию. В классификации это часто логистическая регрессия на сырых или слабо обработанных признаках; в регрессии — линейная регрессия. Если градиентный бустинг даёт 0.92 ROC AUC, а логистическая регрессия — 0.90, прирост качества от перехода к сложной модели надо взвешивать с её стоимостью: обучение бустинга дольше, интерпретируемость хуже, риск переобучения выше. Этот разговор — сколько мы готовы платить за процент точности — содержательнее любого спора об «лучшей модели вообще». На него прямо указывает классический обзор практических уроков машинного обучения ",[35,5139,5141],{"className":5140},[38],[40,5142,5144],{"href":5143},"#ref-9",[44,5145,5146],{},"9",", где правило «попробуй простое прежде сложного» названо одним из самых стабильных.",[15,5149,5150],{},"Критерии перехода от baseline к более сложным методам — это разница метрик, превышающая шум их оценки. Если baseline даёт accuracy 0.85 ± 0.02 (среднее ± стандартное отклонение по кросс-валидации), а более сложная модель — 0.86 ± 0.02, то их доверительные интервалы перекрываются и переход неоправдан; если 0.92 ± 0.02 — переход осмыслен. Методам корректной оценки доверительных интервалов и сравнения моделей посвящена тема 7.",[27,5152,5154],{"id":5153},"связь-с-подготовкой-данных","Связь с подготовкой данных",[15,5156,5157],{},"В курсе «Введение в анализ данных» (ВвАД) обсуждались методы подготовки признакового пространства: очистка от пропусков, обработка выбросов, кодирование категориальных признаков, масштабирование. Эта работа — фундамент машинного обучения: качество модели определяется качеством признаков не меньше, чем выбором алгоритма.",[15,5159,5160,5161,5164],{},"Принцип «мусор на входе — мусор на выходе» (англ. ",[247,5162,5163],{},"garbage in, garbage out",") применим к машинному обучению с двойной силой. Алгоритм не способен компенсировать неинформативные признаки или системные ошибки в разметке — он лишь подберёт параметры, максимально согласующиеся с тем, что ему дали. Если в разметке систематически путаются два класса, модель воспроизведёт эту путаницу. Если важный для задачи признак не зафиксирован, никакая глубокая сеть его не вычислит из доступных.",[15,5166,5167,5168,5177],{},"Практический вывод — на начальных этапах проекта машинного обучения время, потраченное на разведку данных, проверку разметки и инженерию признаков, оплачивается лучше, чем время, потраченное на подбор архитектур. Эту мысль регулярно повторяет практическая литература по ML ",[35,5169,5171],{"className":5170},[38],[40,5172,5174],{"href":5173},"#ref-10",[44,5175,5176],{},"10",", и она же отражена в правиле «80% работы дата-сайентиста — это подготовка данных».",[15,5179,5180],{},"В лабораторной работе по этой теме мы воспользуемся датасетом, подготовленным в курсе ВвАД, и построим на нём базовую модель. Никакой сложной алгоритмики — задача в том, чтобы корректно разделить данные, выбрать осмысленную метрику, посчитать baseline-стратегию и зафиксировать результат как точку отсчёта для всех последующих экспериментов.",[22,5182,5184],{"id":5183},"литература","Литература",[5186,5187,5190,5195,5199,5203,5207,5211,5215,5219,5223,5227],"ol",{"className":5188},[5189],"references",[5191,5192,5194],"li",{"id":5193},"ref-1","Mitchell T. M. Machine Learning. — McGraw-Hill, 1997.",[5191,5196,5198],{"id":5197},"ref-2","Samuel A. L. Some Studies in Machine Learning Using the Game of Checkers. — IBM Journal of Research and Development, 1959, С. 210–229, DOI: 10.1147\u002Frd.33.0210.",[5191,5200,5202],{"id":5201},"ref-3","Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — Springer, 2009, DOI: 10.1007\u002F978-0-387-84858-7.",[5191,5204,5206],{"id":5205},"ref-4","Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.",[5191,5208,5210],{"id":5209},"ref-5","Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. — MIT Press, 2018.",[5191,5212,5214],{"id":5213},"ref-6","Kaufman S., Rosset S., Perlich C., Stitelman O. Leakage in Data Mining: Formulation, Detection, and Avoidance. — ACM Transactions on Knowledge Discovery from Data, 2012, С. 15:1–15:21, DOI: 10.1145\u002F2382577.2382579.",[5191,5216,5218],{"id":5217},"ref-7","Geman S., Bienenstock É., Doursat R. Neural Networks and the Bias\u002FVariance Dilemma. — Neural Computation, 1992, С. 1–58, DOI: 10.1162\u002Fneco.1992.4.1.1.",[5191,5220,5222],{"id":5221},"ref-8","Belkin M., Hsu D., Ma S., Mandal S. Reconciling Modern Machine-Learning Practice and the Classical Bias-Variance Trade-off. — Proceedings of the National Academy of Sciences, 2019, С. 15849–15854, DOI: 10.1073\u002Fpnas.1903070116.",[5191,5224,5226],{"id":5225},"ref-9","Domingos P. A Few Useful Things to Know About Machine Learning. — Communications of the ACM, 2012, С. 78–87, DOI: 10.1145\u002F2347736.2347755.",[5191,5228,5230],{"id":5229},"ref-10","Kuhn M., Johnson K. Feature Engineering and Selection: A Practical Approach for Predictive Models. — Chapman and Hall\u002FCRC, 2019, DOI: 10.1201\u002F9781315108230.",{"title":5232,"searchDepth":5233,"depth":5233,"links":5234},"",2,[5235,5240,5244,5248],{"id":24,"depth":5233,"text":25,"children":5236},[5237,5239],{"id":29,"depth":5238,"text":30},3,{"id":2224,"depth":5238,"text":2225},{"id":2492,"depth":5233,"text":2493,"children":5241},[5242,5243],{"id":2496,"depth":5238,"text":2497},{"id":2625,"depth":5238,"text":2626},{"id":5093,"depth":5233,"text":5094,"children":5245},[5246,5247],{"id":5097,"depth":5238,"text":5098},{"id":5153,"depth":5238,"text":5154},{"id":5183,"depth":5233,"text":5184},"aidt-iot-mii",null,"md",false,{},true,"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-03-content","content",{"title":6,"description":17},"courses\u002Faidt-iot-mii\u002Ftopic-03-content","topic-03","UnDH88JsNKSni1b9fafJIcNAhxt_usNQn7K8VKZz_sc",{"id":5262,"title":5263,"body":5264,"course_slug":5249,"description":5232,"env_label":5250,"env_url":5250,"extension":5251,"group":5290,"is_course_project":5252,"is_index":5254,"level":5291,"meta":5292,"navigation":5254,"path":5316,"section":5250,"seo":5317,"stem":5318,"topic_number":5250,"topic_slug":5250,"__hash__":5319},"courses\u002Fcourses\u002Faidt-iot-mii\u002Findex.md","Методы искусственного интеллекта",{"type":8,"value":5265,"toc":5287},[5266,5270],[22,5267,5269],{"id":5268},"документы","Документы",[5271,5272,5273,5280],"ul",{},[5191,5274,5275,5276,1550],{},"Требования к содержанию и оформлению — ",[40,5277,5279],{"href":5278},".\u002Fshared\u002FSTYLEGUIDE","shared\u002FSTYLEGUIDE.md",[5191,5281,5282,5283,1550],{},"Содержание курса — ",[40,5284,5286],{"href":5285},".\u002Ftopics","topics.md",{"title":5232,"searchDepth":5233,"depth":5233,"links":5288},[5289],{"id":5268,"depth":5233,"text":5269},"iot","бакалавриат",{"topics_count":5293,"has_lr":5254,"has_pz":5254,"has_course_project":5252,"final_assessment":5232,"tech_focus":5294,"kind":5295,"authors":5296,"publication":5307,"annotation":5315},9,"scikit-learn, Keras\u002FTensorFlow, Hugging Face","Учебное пособие",[5297,5302],{"last_name":5298,"first_name":5299,"patronymic":5300,"role":5301,"affiliation":5232},"Корчагин","Сергей","Геннадьевич","автор",{"last_name":5303,"first_name":5304,"patronymic":5305,"role":5301,"affiliation":5306},"Рындин","Никита","Александрович","ВГТУ",{"city":5308,"year":5309,"founder":5310,"publisher":5311,"udk":5232,"bbk":5232,"shelf_mark":5232,"isbn":5232,"approval_body":5314},"Воронеж",2026,"Министерство науки и высшего образования Российской Федерации",{"short":5306,"full":5312,"address":5313},"Федеральное государственное бюджетное образовательное учреждение высшего образования «Воронежский государственный технический университет»\n","394026, Воронеж, Московский проспект, 14","Издается по решению редакционно-издательского совета\nВоронежского государственного технического университета\n","Учебное пособие охватывает основные методы искусственного интеллекта:\nклассические алгоритмы поиска и логического вывода, постановку задач\nмашинного обучения, классические алгоритмы классификации и регрессии,\nобучение без учителя, методологию оценки и выбора моделей, нейронные\nсети и обработку естественного языка с применением современных\nпредобученных моделей.\n\nПредназначено для студентов бакалавриата, изучающих дисциплины\n«Методы искусственного интеллекта» и смежные курсы по машинному\nобучению. Предполагается базовое владение языком Python и навыки\nпредварительной обработки данных.","\u002Fcourses\u002Faidt-iot-mii",{"title":5263,"description":5232},"courses\u002Faidt-iot-mii\u002Findex","piE67Aq1EFie5slrRu4oHnVNvzYsc6XAWuF13eVVSic",1779455410590]