[{"data":1,"prerenderedAt":12296},["ShallowReactive",2],{"topic:aidt-iot-mii:topic-04":3},{"content":4,"pz":12226,"lr":12226,"additional":12226,"courseMeta":12238},{"id":5,"title":6,"body":7,"course_slug":12225,"description":17,"env_label":12226,"env_url":12226,"extension":12227,"group":12226,"is_course_project":12228,"is_index":12228,"level":12226,"meta":12229,"navigation":12230,"path":12231,"section":12232,"seo":12233,"stem":12234,"topic_number":12235,"topic_slug":12236,"__hash__":12237},"courses\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-04-content.md","Тема 4. Классификация",{"type":8,"value":9,"toc":12207},"minimark",[10,14,18,69,74,79,1116,1237,1249,1590,1726,1730,1734,1753,2074,2286,3108,3117,3184,3769,3888,4277,4596,4600,4754,4882,5748,6259,6262,6488,6651,6683,6687,6889,6892,7810,7842,7863,7866,7870,7902,8800,8809,9536,10600,10789,10793,10797,10807,10869,10909,10918,11128,11349,11359,11578,11830,12067,12086,12155,12158,12162],[11,12,6],"h1",{"id":13},"тема-4-классификация",[15,16,17],"p",{},"В теме 3 мы построили общий каркас обучения с учителем: выборка, функция потерь, разделение данных, оценка качества и baseline. Теперь применим этот каркас к первому конкретному семейству задач — классификации. Это та область, с которой исторически началось машинное обучение как практическая инженерная дисциплина: фильтрация спама, распознавание рукописных цифр, медицинская диагностика, кредитный скоринг. Все эти задачи сводятся к одной формальной постановке — приписать объекту одну из конечного числа меток.",[15,19,20,21,68],{},"В рамках темы мы разберём четыре опорных алгоритма: логистическую регрессию, метод ",[22,23,26,48],"span",{"className":24},[25],"katex",[22,27,30],{"className":28},[29],"katex-mathml",[31,32,34],"math",{"xmlns":33},"http:\u002F\u002Fwww.w3.org\u002F1998\u002FMath\u002FMathML",[35,36,37,44],"semantics",{},[38,39,40],"mrow",{},[41,42,43],"mi",{},"k",[45,46,43],"annotation",{"encoding":47},"application\u002Fx-tex",[22,49,53],{"className":50,"ariaHidden":52},[51],"katex-html","true",[22,54,57,62],{"className":55},[56],"base",[22,58],{"className":59,"style":61},[60],"strut","height:0.6944em;",[22,63,43],{"className":64,"style":67},[65,66],"mord","mathnormal","margin-right:0.0315em;"," ближайших соседей, деревья решений и метод опорных векторов. Они выбраны не как «самые лучшие», а как методически взаимодополняющие — каждый воплощает отдельный принцип построения классификатора. На сравнительном примере мы увидим, чем они различаются, и научимся выбирать метрику качества, адекватную задаче.",[70,71,73],"h2",{"id":72},"задача-классификации","Задача классификации",[75,76,78],"h3",{"id":77},"постановка-задачи","Постановка задачи",[15,80,81,82,367,368,498,499,570,571,756,757,810,811,815,816,820,821,874,875,939,940,993,994,815,997,1000,1001,1004,1005,1033,1034,1004,1037,1115],{},"Сохраняя обозначения темы 3, рассмотрим обучающую выборку ",[22,83,85,152],{"className":84},[25],[22,86,88],{"className":87},[29],[31,89,90],{"xmlns":33},[35,91,92,149],{},[38,93,94,97,101,105,108,117,120,127,130],{},[41,95,96],{},"D",[98,99,100],"mo",{},"=",[98,102,104],{"stretchy":103},"false","{",[98,106,107],{"stretchy":103},"(",[109,110,111,114],"msub",{},[41,112,113],{},"x",[41,115,116],{},"i",[98,118,119],{"separator":52},",",[109,121,122,125],{},[41,123,124],{},"y",[41,126,116],{},[98,128,129],{"stretchy":103},")",[131,132,133,136,146],"msubsup",{},[98,134,135],{"stretchy":103},"}",[38,137,138,140,142],{},[41,139,116],{},[98,141,100],{},[143,144,145],"mn",{},"1",[41,147,148],{},"n",[45,150,151],{"encoding":47},"D = \\{(x_i, y_i)\\}_{i=1}^{n}",[22,153,155,178],{"className":154,"ariaHidden":52},[51],[22,156,158,162,166,171,175],{"className":157},[56],[22,159],{"className":160,"style":161},[60],"height:0.6833em;",[22,163,96],{"className":164,"style":165},[65,66],"margin-right:0.0278em;",[22,167],{"className":168,"style":170},[169],"mspace","margin-right:0.2778em;",[22,172,100],{"className":173},[174],"mrel",[22,176],{"className":177,"style":170},[169],[22,179,181,185,190,246,250,254,296,300],{"className":180},[56],[22,182],{"className":183,"style":184},[60],"height:1.0087em;vertical-align:-0.2587em;",[22,186,189],{"className":187},[188],"mopen","{(",[22,191,193,196],{"className":192},[65],[22,194,113],{"className":195},[65,66],[22,197,200],{"className":198},[199],"msupsub",[22,201,205,237],{"className":202},[203,204],"vlist-t","vlist-t2",[22,206,209,232],{"className":207},[208],"vlist-r",[22,210,214],{"className":211,"style":213},[212],"vlist","height:0.3117em;",[22,215,217,222],{"style":216},"top:-2.55em;margin-left:0em;margin-right:0.05em;",[22,218],{"className":219,"style":221},[220],"pstrut","height:2.7em;",[22,223,229],{"className":224},[225,226,227,228],"sizing","reset-size6","size3","mtight",[22,230,116],{"className":231},[65,66,228],[22,233,236],{"className":234},[235],"vlist-s","​",[22,238,240],{"className":239},[208],[22,241,244],{"className":242,"style":243},[212],"height:0.15em;",[22,245],{},[22,247,119],{"className":248},[249],"mpunct",[22,251],{"className":252,"style":253},[169],"margin-right:0.1667em;",[22,255,257,261],{"className":256},[65],[22,258,124],{"className":259,"style":260},[65,66],"margin-right:0.0359em;",[22,262,264],{"className":263},[199],[22,265,267,288],{"className":266},[203,204],[22,268,270,285],{"className":269},[208],[22,271,273],{"className":272,"style":213},[212],[22,274,276,279],{"style":275},"top:-2.55em;margin-left:-0.0359em;margin-right:0.05em;",[22,277],{"className":278,"style":221},[220],[22,280,282],{"className":281},[225,226,227,228],[22,283,116],{"className":284},[65,66,228],[22,286,236],{"className":287},[235],[22,289,291],{"className":290},[208],[22,292,294],{"className":293,"style":243},[212],[22,295],{},[22,297,129],{"className":298},[299],"mclose",[22,301,303,306],{"className":302},[299],[22,304,135],{"className":305},[299],[22,307,309],{"className":308},[199],[22,310,312,358],{"className":311},[203,204],[22,313,315,355],{"className":314},[208],[22,316,319,340],{"className":317,"style":318},[212],"height:0.6644em;",[22,320,322,325],{"style":321},"top:-2.4413em;margin-left:0em;margin-right:0.05em;",[22,323],{"className":324,"style":221},[220],[22,326,328],{"className":327},[225,226,227,228],[22,329,331,334,337],{"className":330},[65,228],[22,332,116],{"className":333},[65,66,228],[22,335,100],{"className":336},[174,228],[22,338,145],{"className":339},[65,228],[22,341,343,346],{"style":342},"top:-3.063em;margin-right:0.05em;",[22,344],{"className":345,"style":221},[220],[22,347,349],{"className":348},[225,226,227,228],[22,350,352],{"className":351},[65,228],[22,353,148],{"className":354},[65,66,228],[22,356,236],{"className":357},[235],[22,359,361],{"className":360},[208],[22,362,365],{"className":363,"style":364},[212],"height:0.2587em;",[22,366],{},", где ",[22,369,371,402],{"className":370},[25],[22,372,374],{"className":373},[29],[31,375,376],{"xmlns":33},[35,377,378,399],{},[38,379,380,386,389],{},[109,381,382,384],{},[41,383,113],{},[41,385,116],{},[98,387,388],{},"∈",[390,391,392,396],"msup",{},[41,393,395],{"mathvariant":394},"double-struck","R",[41,397,398],{},"d",[45,400,401],{"encoding":47},"x_i \\in \\mathbb{R}^d",[22,403,405,461],{"className":404,"ariaHidden":52},[51],[22,406,408,412,452,455,458],{"className":407},[56],[22,409],{"className":410,"style":411},[60],"height:0.6891em;vertical-align:-0.15em;",[22,413,415,418],{"className":414},[65],[22,416,113],{"className":417},[65,66],[22,419,421],{"className":420},[199],[22,422,424,444],{"className":423},[203,204],[22,425,427,441],{"className":426},[208],[22,428,430],{"className":429,"style":213},[212],[22,431,432,435],{"style":216},[22,433],{"className":434,"style":221},[220],[22,436,438],{"className":437},[225,226,227,228],[22,439,116],{"className":440},[65,66,228],[22,442,236],{"className":443},[235],[22,445,447],{"className":446},[208],[22,448,450],{"className":449,"style":243},[212],[22,451],{},[22,453],{"className":454,"style":170},[169],[22,456,388],{"className":457},[174],[22,459],{"className":460,"style":170},[169],[22,462,464,468],{"className":463},[56],[22,465],{"className":466,"style":467},[60],"height:0.8491em;",[22,469,471,475],{"className":470},[65],[22,472,395],{"className":473},[65,474],"mathbb",[22,476,478],{"className":477},[199],[22,479,481],{"className":480},[203],[22,482,484],{"className":483},[208],[22,485,487],{"className":486,"style":467},[212],[22,488,489,492],{"style":342},[22,490],{"className":491,"style":221},[220],[22,493,495],{"className":494},[225,226,227,228],[22,496,398],{"className":497},[65,66,228]," — вектор признаков объекта, а ответ ",[22,500,502,520],{"className":501},[25],[22,503,505],{"className":504},[29],[31,506,507],{"xmlns":33},[35,508,509,517],{},[38,510,511],{},[109,512,513,515],{},[41,514,124],{},[41,516,116],{},[45,518,519],{"encoding":47},"y_i",[22,521,523],{"className":522,"ariaHidden":52},[51],[22,524,526,530],{"className":525},[56],[22,527],{"className":528,"style":529},[60],"height:0.625em;vertical-align:-0.1944em;",[22,531,533,536],{"className":532},[65],[22,534,124],{"className":535,"style":260},[65,66],[22,537,539],{"className":538},[199],[22,540,542,562],{"className":541},[203,204],[22,543,545,559],{"className":544},[208],[22,546,548],{"className":547,"style":213},[212],[22,549,550,553],{"style":275},[22,551],{"className":552,"style":221},[220],[22,554,556],{"className":555},[225,226,227,228],[22,557,116],{"className":558},[65,66,228],[22,560,236],{"className":561},[235],[22,563,565],{"className":564},[208],[22,566,568],{"className":567,"style":243},[212],[22,569],{}," принимает значения из конечного множества меток ",[22,572,574,617],{"className":573},[25],[22,575,577],{"className":576},[29],[31,578,579],{"xmlns":33},[35,580,581,614],{},[38,582,583,587,589,591,598,600,603,605,612],{},[41,584,586],{"mathvariant":585},"script","Y",[98,588,100],{},[98,590,104],{"stretchy":103},[109,592,593,596],{},[41,594,595],{},"c",[143,597,145],{},[98,599,119],{"separator":52},[98,601,602],{},"…",[98,604,119],{"separator":52},[109,606,607,609],{},[41,608,595],{},[41,610,611],{},"K",[98,613,135],{"stretchy":103},[45,615,616],{"encoding":47},"\\mathcal{Y} = \\{c_1, \\ldots, c_K\\}",[22,618,620,641],{"className":619,"ariaHidden":52},[51],[22,621,623,627,632,635,638],{"className":622},[56],[22,624],{"className":625,"style":626},[60],"height:0.7805em;vertical-align:-0.0972em;",[22,628,586],{"className":629,"style":631},[65,630],"mathcal","margin-right:0.0822em;",[22,633],{"className":634,"style":170},[169],[22,636,100],{"className":637},[174],[22,639],{"className":640,"style":170},[169],[22,642,644,648,651,692,695,698,702,705,708,711,753],{"className":643},[56],[22,645],{"className":646,"style":647},[60],"height:1em;vertical-align:-0.25em;",[22,649,104],{"className":650},[188],[22,652,654,657],{"className":653},[65],[22,655,595],{"className":656},[65,66],[22,658,660],{"className":659},[199],[22,661,663,684],{"className":662},[203,204],[22,664,666,681],{"className":665},[208],[22,667,670],{"className":668,"style":669},[212],"height:0.3011em;",[22,671,672,675],{"style":216},[22,673],{"className":674,"style":221},[220],[22,676,678],{"className":677},[225,226,227,228],[22,679,145],{"className":680},[65,228],[22,682,236],{"className":683},[235],[22,685,687],{"className":686},[208],[22,688,690],{"className":689,"style":243},[212],[22,691],{},[22,693,119],{"className":694},[249],[22,696],{"className":697,"style":253},[169],[22,699,602],{"className":700},[701],"minner",[22,703],{"className":704,"style":253},[169],[22,706,119],{"className":707},[249],[22,709],{"className":710,"style":253},[169],[22,712,714,717],{"className":713},[65],[22,715,595],{"className":716},[65,66],[22,718,720],{"className":719},[199],[22,721,723,745],{"className":722},[203,204],[22,724,726,742],{"className":725},[208],[22,727,730],{"className":728,"style":729},[212],"height:0.3283em;",[22,731,732,735],{"style":216},[22,733],{"className":734,"style":221},[220],[22,736,738],{"className":737},[225,226,227,228],[22,739,611],{"className":740,"style":741},[65,66,228],"margin-right:0.0715em;",[22,743,236],{"className":744},[235],[22,746,748],{"className":747},[208],[22,749,751],{"className":750,"style":243},[212],[22,752],{},[22,754,135],{"className":755},[299],". Если ",[22,758,760,779],{"className":759},[25],[22,761,763],{"className":762},[29],[31,764,765],{"xmlns":33},[35,766,767,776],{},[38,768,769,771,773],{},[41,770,611],{},[98,772,100],{},[143,774,775],{},"2",[45,777,778],{"encoding":47},"K = 2",[22,780,782,800],{"className":781,"ariaHidden":52},[51],[22,783,785,788,791,794,797],{"className":784},[56],[22,786],{"className":787,"style":161},[60],[22,789,611],{"className":790,"style":741},[65,66],[22,792],{"className":793,"style":170},[169],[22,795,100],{"className":796},[174],[22,798],{"className":799,"style":170},[169],[22,801,803,807],{"className":802},[56],[22,804],{"className":805,"style":806},[60],"height:0.6444em;",[22,808,775],{"className":809},[65],", говорят о ",[812,813,814],"strong",{},"бинарной классификации"," (англ. ",[817,818,819],"em",{},"binary classification",") — две метки, обычно обозначаемые ",[22,822,824,847],{"className":823},[25],[22,825,827],{"className":826},[29],[31,828,829],{"xmlns":33},[35,830,831,844],{},[38,832,833,835,838,840,842],{},[98,834,104],{"stretchy":103},[143,836,837],{},"0",[98,839,119],{"separator":52},[143,841,145],{},[98,843,135],{"stretchy":103},[45,845,846],{"encoding":47},"\\{0, 1\\}",[22,848,850],{"className":849,"ariaHidden":52},[51],[22,851,853,856,859,862,865,868,871],{"className":852},[56],[22,854],{"className":855,"style":647},[60],[22,857,104],{"className":858},[188],[22,860,837],{"className":861},[65],[22,863,119],{"className":864},[249],[22,866],{"className":867,"style":253},[169],[22,869,145],{"className":870},[65],[22,872,135],{"className":873},[299]," или ",[22,876,878,906],{"className":877},[25],[22,879,881],{"className":880},[29],[31,882,883],{"xmlns":33},[35,884,885,903],{},[38,886,887,889,892,894,896,899,901],{},[98,888,104],{"stretchy":103},[98,890,891],{},"−",[143,893,145],{},[98,895,119],{"separator":52},[98,897,898],{},"+",[143,900,145],{},[98,902,135],{"stretchy":103},[45,904,905],{"encoding":47},"\\{-1, +1\\}",[22,907,909],{"className":908,"ariaHidden":52},[51],[22,910,912,915,918,921,924,927,930,933,936],{"className":911},[56],[22,913],{"className":914,"style":647},[60],[22,916,104],{"className":917},[188],[22,919,891],{"className":920},[65],[22,922,145],{"className":923},[65],[22,925,119],{"className":926},[249],[22,928],{"className":929,"style":253},[169],[22,931,898],{"className":932},[65],[22,934,145],{"className":935},[65],[22,937,135],{"className":938},[299],"; при ",[22,941,943,962],{"className":942},[25],[22,944,946],{"className":945},[29],[31,947,948],{"xmlns":33},[35,949,950,959],{},[38,951,952,954,957],{},[41,953,611],{},[98,955,956],{},">",[143,958,775],{},[45,960,961],{"encoding":47},"K > 2",[22,963,965,984],{"className":964,"ariaHidden":52},[51],[22,966,968,972,975,978,981],{"className":967},[56],[22,969],{"className":970,"style":971},[60],"height:0.7224em;vertical-align:-0.0391em;",[22,973,611],{"className":974,"style":741},[65,66],[22,976],{"className":977,"style":170},[169],[22,979,956],{"className":980},[174],[22,982],{"className":983,"style":170},[169],[22,985,987,990],{"className":986},[56],[22,988],{"className":989,"style":806},[60],[22,991,775],{"className":992},[65]," задача называется ",[812,995,996],{},"многоклассовой",[817,998,999],{},"multiclass classification","). Бинарный случай содержательно богаче, чем кажется: к нему сводится множество практических задач — «отказ \u002F одобрение», «болен \u002F здоров», «мошенничество \u002F норма». Многие алгоритмы изначально формулируются для бинарного случая, а многоклассовая постановка получается обёртками: «один против всех» (англ. ",[817,1002,1003],{},"one-vs-rest",") обучает ",[22,1006,1008,1021],{"className":1007},[25],[22,1009,1011],{"className":1010},[29],[31,1012,1013],{"xmlns":33},[35,1014,1015,1019],{},[38,1016,1017],{},[41,1018,611],{},[45,1020,611],{"encoding":47},[22,1022,1024],{"className":1023,"ariaHidden":52},[51],[22,1025,1027,1030],{"className":1026},[56],[22,1028],{"className":1029,"style":161},[60],[22,1031,611],{"className":1032,"style":741},[65,66]," бинарных моделей, каждая отделяет свой класс от остальных; «один против одного» (англ. ",[817,1035,1036],{},"one-vs-one",[22,1038,1040,1070],{"className":1039},[25],[22,1041,1043],{"className":1042},[29],[31,1044,1045],{"xmlns":33},[35,1046,1047,1067],{},[38,1048,1049,1051,1053,1055,1057,1059,1061,1065],{},[41,1050,611],{},[98,1052,107],{"stretchy":103},[41,1054,611],{},[98,1056,891],{},[143,1058,145],{},[98,1060,129],{"stretchy":103},[41,1062,1064],{"mathvariant":1063},"normal","\u002F",[143,1066,775],{},[45,1068,1069],{"encoding":47},"K(K-1)\u002F2",[22,1071,1073,1099],{"className":1072,"ariaHidden":52},[51],[22,1074,1076,1079,1082,1085,1088,1092,1096],{"className":1075},[56],[22,1077],{"className":1078,"style":647},[60],[22,1080,611],{"className":1081,"style":741},[65,66],[22,1083,107],{"className":1084},[188],[22,1086,611],{"className":1087,"style":741},[65,66],[22,1089],{"className":1090,"style":1091},[169],"margin-right:0.2222em;",[22,1093,891],{"className":1094},[1095],"mbin",[22,1097],{"className":1098,"style":1091},[169],[22,1100,1102,1105,1108,1111],{"className":1101},[56],[22,1103],{"className":1104,"style":647},[60],[22,1106,145],{"className":1107},[65],[22,1109,129],{"className":1110},[299],[22,1112,1114],{"className":1113},[65],"\u002F2"," попарных классификаторов и агрегирует их голоса.",[15,1117,1118,1119,815,1122,1125,1126,1154,1155,1207,1208,1236],{},"Геометрически работа классификатора — это разбиение признакового пространства на области, каждая из которых отвечает за свой класс. Граница между областями называется ",[812,1120,1121],{},"разделяющей поверхностью",[817,1123,1124],{},"decision boundary","). В двумерном случае она — кривая на плоскости; в ",[22,1127,1129,1142],{"className":1128},[25],[22,1130,1132],{"className":1131},[29],[31,1133,1134],{"xmlns":33},[35,1135,1136,1140],{},[38,1137,1138],{},[41,1139,398],{},[45,1141,398],{"encoding":47},[22,1143,1145],{"className":1144,"ariaHidden":52},[51],[22,1146,1148,1151],{"className":1147},[56],[22,1149],{"className":1150,"style":61},[60],[22,1152,398],{"className":1153},[65,66],"-мерном — поверхность размерности ",[22,1156,1158,1176],{"className":1157},[25],[22,1159,1161],{"className":1160},[29],[31,1162,1163],{"xmlns":33},[35,1164,1165,1173],{},[38,1166,1167,1169,1171],{},[41,1168,398],{},[98,1170,891],{},[143,1172,145],{},[45,1174,1175],{"encoding":47},"d-1",[22,1177,1179,1198],{"className":1178,"ariaHidden":52},[51],[22,1180,1182,1186,1189,1192,1195],{"className":1181},[56],[22,1183],{"className":1184,"style":1185},[60],"height:0.7778em;vertical-align:-0.0833em;",[22,1187,398],{"className":1188},[65,66],[22,1190],{"className":1191,"style":1091},[169],[22,1193,891],{"className":1194},[1095],[22,1196],{"className":1197,"style":1091},[169],[22,1199,1201,1204],{"className":1200},[56],[22,1202],{"className":1203,"style":806},[60],[22,1205,145],{"className":1206},[65],". Форма этой поверхности — главный различительный признак алгоритмов классификации: у логистической регрессии и линейного SVM она линейна, у ",[22,1209,1211,1224],{"className":1210},[25],[22,1212,1214],{"className":1213},[29],[31,1215,1216],{"xmlns":33},[35,1217,1218,1222],{},[38,1219,1220],{},[41,1221,43],{},[45,1223,43],{"encoding":47},[22,1225,1227],{"className":1226,"ariaHidden":52},[51],[22,1228,1230,1233],{"className":1229},[56],[22,1231],{"className":1232,"style":61},[60],[22,1234,43],{"className":1235,"style":67},[65,66],"-NN и деревьев — кусочно-постоянна, у SVM с ядром или нейронной сети — произвольно гладкая.",[1238,1239,1240,1241,1240,1246],"figure",{},"\n  ",[1242,1243],"img",{"src":1244,"alt":1245},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Fdecision_boundary_classifiers.svg","Разделяющие поверхности четырёх классификаторов на одной и той же двумерной выборке",[1247,1248,1245],"figcaption",{},[15,1250,1251,1252,815,1255,1258,1259,1434,1435,1589],{},"Помимо самой метки, классификатор часто выдаёт ",[812,1253,1254],{},"апостериорную вероятность",[817,1256,1257],{},"posterior probability",") — оценку ",[22,1260,1262,1302],{"className":1261},[25],[22,1263,1265],{"className":1264},[29],[31,1266,1267],{"xmlns":33},[35,1268,1269,1299],{},[38,1270,1271,1280,1282,1284,1286,1292,1295,1297],{},[1272,1273,1274,1277],"mover",{"accent":52},[41,1275,1276],{},"P",[98,1278,1279],{},"^",[98,1281,107],{"stretchy":103},[41,1283,124],{},[98,1285,100],{},[109,1287,1288,1290],{},[41,1289,595],{},[41,1291,43],{},[98,1293,1294],{},"∣",[41,1296,113],{},[98,1298,129],{"stretchy":103},[45,1300,1301],{"encoding":47},"\\hat{P}(y = c_k \\mid x)",[22,1303,1305,1366,1422],{"className":1304,"ariaHidden":52},[51],[22,1306,1308,1312,1351,1354,1357,1360,1363],{"className":1307},[56],[22,1309],{"className":1310,"style":1311},[60],"height:1.1968em;vertical-align:-0.25em;",[22,1313,1316],{"className":1314},[65,1315],"accent",[22,1317,1319],{"className":1318},[203],[22,1320,1322],{"className":1321},[208],[22,1323,1326,1337],{"className":1324,"style":1325},[212],"height:0.9468em;",[22,1327,1329,1333],{"style":1328},"top:-3em;",[22,1330],{"className":1331,"style":1332},[220],"height:3em;",[22,1334,1276],{"className":1335,"style":1336},[65,66],"margin-right:0.1389em;",[22,1338,1340,1343],{"style":1339},"top:-3.2523em;",[22,1341],{"className":1342,"style":1332},[220],[22,1344,1348],{"className":1345,"style":1347},[1346],"accent-body","left:-0.1667em;",[22,1349,1279],{"className":1350},[65],[22,1352,107],{"className":1353},[188],[22,1355,124],{"className":1356,"style":260},[65,66],[22,1358],{"className":1359,"style":170},[169],[22,1361,100],{"className":1362},[174],[22,1364],{"className":1365,"style":170},[169],[22,1367,1369,1372,1413,1416,1419],{"className":1368},[56],[22,1370],{"className":1371,"style":647},[60],[22,1373,1375,1378],{"className":1374},[65],[22,1376,595],{"className":1377},[65,66],[22,1379,1381],{"className":1380},[199],[22,1382,1384,1405],{"className":1383},[203,204],[22,1385,1387,1402],{"className":1386},[208],[22,1388,1391],{"className":1389,"style":1390},[212],"height:0.3361em;",[22,1392,1393,1396],{"style":216},[22,1394],{"className":1395,"style":221},[220],[22,1397,1399],{"className":1398},[225,226,227,228],[22,1400,43],{"className":1401,"style":67},[65,66,228],[22,1403,236],{"className":1404},[235],[22,1406,1408],{"className":1407},[208],[22,1409,1411],{"className":1410,"style":243},[212],[22,1412],{},[22,1414],{"className":1415,"style":170},[169],[22,1417,1294],{"className":1418},[174],[22,1420],{"className":1421,"style":170},[169],[22,1423,1425,1428,1431],{"className":1424},[56],[22,1426],{"className":1427,"style":647},[60],[22,1429,113],{"className":1430},[65,66],[22,1432,129],{"className":1433},[299],". Эта величина отвечает на более информативный вопрос, чем просто метка: «насколько модель уверена в своём ответе». Из вероятности легко получить метку — взяв класс с максимальным значением; из метки получить вероятность нельзя. На вероятностных выходах построены пороговые правила (применять модель только при ",[22,1436,1438,1475],{"className":1437},[25],[22,1439,1441],{"className":1440},[29],[31,1442,1443],{"xmlns":33},[35,1444,1445,1472],{},[38,1446,1447,1453,1455,1457,1459,1461,1463,1465,1467,1469],{},[1272,1448,1449,1451],{"accent":52},[41,1450,1276],{},[98,1452,1279],{},[98,1454,107],{"stretchy":103},[41,1456,124],{},[98,1458,100],{},[143,1460,145],{},[98,1462,1294],{},[41,1464,113],{},[98,1466,129],{"stretchy":103},[98,1468,956],{},[143,1470,1471],{},"0,8",[45,1473,1474],{"encoding":47},"\\hat{P}(y = 1 \\mid x) > 0{,}8",[22,1476,1478,1530,1548,1569],{"className":1477,"ariaHidden":52},[51],[22,1479,1481,1484,1515,1518,1521,1524,1527],{"className":1480},[56],[22,1482],{"className":1483,"style":1311},[60],[22,1485,1487],{"className":1486},[65,1315],[22,1488,1490],{"className":1489},[203],[22,1491,1493],{"className":1492},[208],[22,1494,1496,1504],{"className":1495,"style":1325},[212],[22,1497,1498,1501],{"style":1328},[22,1499],{"className":1500,"style":1332},[220],[22,1502,1276],{"className":1503,"style":1336},[65,66],[22,1505,1506,1509],{"style":1339},[22,1507],{"className":1508,"style":1332},[220],[22,1510,1512],{"className":1511,"style":1347},[1346],[22,1513,1279],{"className":1514},[65],[22,1516,107],{"className":1517},[188],[22,1519,124],{"className":1520,"style":260},[65,66],[22,1522],{"className":1523,"style":170},[169],[22,1525,100],{"className":1526},[174],[22,1528],{"className":1529,"style":170},[169],[22,1531,1533,1536,1539,1542,1545],{"className":1532},[56],[22,1534],{"className":1535,"style":647},[60],[22,1537,145],{"className":1538},[65],[22,1540],{"className":1541,"style":170},[169],[22,1543,1294],{"className":1544},[174],[22,1546],{"className":1547,"style":170},[169],[22,1549,1551,1554,1557,1560,1563,1566],{"className":1550},[56],[22,1552],{"className":1553,"style":647},[60],[22,1555,113],{"className":1556},[65,66],[22,1558,129],{"className":1559},[299],[22,1561],{"className":1562,"style":170},[169],[22,1564,956],{"className":1565},[174],[22,1567],{"className":1568,"style":170},[169],[22,1570,1572,1576,1579,1585],{"className":1571},[56],[22,1573],{"className":1574,"style":1575},[60],"height:0.8389em;vertical-align:-0.1944em;",[22,1577,837],{"className":1578},[65],[22,1580,1582],{"className":1581},[65],[22,1583,119],{"className":1584},[249],[22,1586,1588],{"className":1587},[65],"8","), вычисление ожидаемой полезности при разных стоимостях ошибок, методы калибровки и большая часть метрик качества бинарной классификации.",[15,1591,1592,1593,1713,1714,1725],{},"Не все алгоритмы дают вероятностные оценки естественным образом. Логистическая регрессия по построению выдаёт ",[22,1594,1596,1628],{"className":1595},[25],[22,1597,1599],{"className":1598},[29],[31,1600,1601],{"xmlns":33},[35,1602,1603,1625],{},[38,1604,1605,1611,1613,1615,1617,1619,1621,1623],{},[1272,1606,1607,1609],{"accent":52},[41,1608,1276],{},[98,1610,1279],{},[98,1612,107],{"stretchy":103},[41,1614,124],{},[98,1616,100],{},[143,1618,145],{},[98,1620,1294],{},[41,1622,113],{},[98,1624,129],{"stretchy":103},[45,1626,1627],{"encoding":47},"\\hat{P}(y = 1 \\mid x)",[22,1629,1631,1683,1701],{"className":1630,"ariaHidden":52},[51],[22,1632,1634,1637,1668,1671,1674,1677,1680],{"className":1633},[56],[22,1635],{"className":1636,"style":1311},[60],[22,1638,1640],{"className":1639},[65,1315],[22,1641,1643],{"className":1642},[203],[22,1644,1646],{"className":1645},[208],[22,1647,1649,1657],{"className":1648,"style":1325},[212],[22,1650,1651,1654],{"style":1328},[22,1652],{"className":1653,"style":1332},[220],[22,1655,1276],{"className":1656,"style":1336},[65,66],[22,1658,1659,1662],{"style":1339},[22,1660],{"className":1661,"style":1332},[220],[22,1663,1665],{"className":1664,"style":1347},[1346],[22,1666,1279],{"className":1667},[65],[22,1669,107],{"className":1670},[188],[22,1672,124],{"className":1673,"style":260},[65,66],[22,1675],{"className":1676,"style":170},[169],[22,1678,100],{"className":1679},[174],[22,1681],{"className":1682,"style":170},[169],[22,1684,1686,1689,1692,1695,1698],{"className":1685},[56],[22,1687],{"className":1688,"style":647},[60],[22,1690,145],{"className":1691},[65],[22,1693],{"className":1694,"style":170},[169],[22,1696,1294],{"className":1697},[174],[22,1699],{"className":1700,"style":170},[169],[22,1702,1704,1707,1710],{"className":1703},[56],[22,1705],{"className":1706,"style":647},[60],[22,1708,113],{"className":1709},[65,66],[22,1711,129],{"className":1712},[299],", наивный байесовский классификатор — тоже, но SVM в исходной формулировке возвращает только знак расстояния до разделяющей плоскости; для перехода к вероятностям применяется отдельная процедура калибровки ",[1715,1716,1719],"sup",{"className":1717},[1718],"cite",[1720,1721,1723],"a",{"href":1722},"#ref-1",[22,1724,145],{},". Эту разницу между «решающим» и «вероятностным» классификатором мы ещё используем при разговоре про метрики.",[70,1727,1729],{"id":1728},"основные-алгоритмы-классификации","Основные алгоритмы классификации",[75,1731,1733],{"id":1732},"логистическая-регрессия","Логистическая регрессия",[15,1735,1736,1737,815,1740,1743,1744,1752],{},"Несмотря на название, ",[812,1738,1739],{},"логистическая регрессия",[817,1741,1742],{},"logistic regression",") — алгоритм классификации, а не регрессии. Историческая инверсия восходит к работам Дэвида Кокса ",[1715,1745,1747],{"className":1746},[1718],[1720,1748,1750],{"href":1749},"#ref-2",[22,1751,775],{},", предложившего этот метод для анализа бинарных исходов задолго до того, как машинное обучение оформилось как отдельная дисциплина.",[15,1754,1755,1756,367,1872,1954,1955,2008,2009,2037,2038,2066,2067,815,2070,2073],{},"Идея простая. Сначала строится линейная комбинация признаков ",[22,1757,1759,1791],{"className":1758},[25],[22,1760,1762],{"className":1761},[29],[31,1763,1764],{"xmlns":33},[35,1765,1766,1788],{},[38,1767,1768,1771,1773,1781,1783,1785],{},[41,1769,1770],{},"z",[98,1772,100],{},[390,1774,1775,1778],{},[41,1776,1777],{},"w",[41,1779,1780],{"mathvariant":1063},"⊤",[41,1782,113],{},[98,1784,898],{},[41,1786,1787],{},"b",[45,1789,1790],{"encoding":47},"z = w^\\top x + b",[22,1792,1794,1814,1863],{"className":1793,"ariaHidden":52},[51],[22,1795,1797,1801,1805,1808,1811],{"className":1796},[56],[22,1798],{"className":1799,"style":1800},[60],"height:0.4306em;",[22,1802,1770],{"className":1803,"style":1804},[65,66],"margin-right:0.044em;",[22,1806],{"className":1807,"style":170},[169],[22,1809,100],{"className":1810},[174],[22,1812],{"className":1813,"style":170},[169],[22,1815,1817,1821,1851,1854,1857,1860],{"className":1816},[56],[22,1818],{"className":1819,"style":1820},[60],"height:0.9324em;vertical-align:-0.0833em;",[22,1822,1824,1828],{"className":1823},[65],[22,1825,1777],{"className":1826,"style":1827},[65,66],"margin-right:0.0269em;",[22,1829,1831],{"className":1830},[199],[22,1832,1834],{"className":1833},[203],[22,1835,1837],{"className":1836},[208],[22,1838,1840],{"className":1839,"style":467},[212],[22,1841,1842,1845],{"style":342},[22,1843],{"className":1844,"style":221},[220],[22,1846,1848],{"className":1847},[225,226,227,228],[22,1849,1780],{"className":1850},[65,228],[22,1852,113],{"className":1853},[65,66],[22,1855],{"className":1856,"style":1091},[169],[22,1858,898],{"className":1859},[1095],[22,1861],{"className":1862,"style":1091},[169],[22,1864,1866,1869],{"className":1865},[56],[22,1867],{"className":1868,"style":61},[60],[22,1870,1787],{"className":1871},[65,66],[22,1873,1875,1897],{"className":1874},[25],[22,1876,1878],{"className":1877},[29],[31,1879,1880],{"xmlns":33},[35,1881,1882,1894],{},[38,1883,1884,1886,1888],{},[41,1885,1777],{},[98,1887,388],{},[390,1889,1890,1892],{},[41,1891,395],{"mathvariant":394},[41,1893,398],{},[45,1895,1896],{"encoding":47},"w \\in \\mathbb{R}^d",[22,1898,1900,1919],{"className":1899,"ariaHidden":52},[51],[22,1901,1903,1907,1910,1913,1916],{"className":1902},[56],[22,1904],{"className":1905,"style":1906},[60],"height:0.5782em;vertical-align:-0.0391em;",[22,1908,1777],{"className":1909,"style":1827},[65,66],[22,1911],{"className":1912,"style":170},[169],[22,1914,388],{"className":1915},[174],[22,1917],{"className":1918,"style":170},[169],[22,1920,1922,1925],{"className":1921},[56],[22,1923],{"className":1924,"style":467},[60],[22,1926,1928,1931],{"className":1927},[65],[22,1929,395],{"className":1930},[65,474],[22,1932,1934],{"className":1933},[199],[22,1935,1937],{"className":1936},[203],[22,1938,1940],{"className":1939},[208],[22,1941,1943],{"className":1942,"style":467},[212],[22,1944,1945,1948],{"style":342},[22,1946],{"className":1947,"style":221},[220],[22,1949,1951],{"className":1950},[225,226,227,228],[22,1952,398],{"className":1953},[65,66,228]," — вектор весов, ",[22,1956,1958,1976],{"className":1957},[25],[22,1959,1961],{"className":1960},[29],[31,1962,1963],{"xmlns":33},[35,1964,1965,1973],{},[38,1966,1967,1969,1971],{},[41,1968,1787],{},[98,1970,388],{},[41,1972,395],{"mathvariant":394},[45,1974,1975],{"encoding":47},"b \\in \\mathbb{R}",[22,1977,1979,1998],{"className":1978,"ariaHidden":52},[51],[22,1980,1982,1986,1989,1992,1995],{"className":1981},[56],[22,1983],{"className":1984,"style":1985},[60],"height:0.7335em;vertical-align:-0.0391em;",[22,1987,1787],{"className":1988},[65,66],[22,1990],{"className":1991,"style":170},[169],[22,1993,388],{"className":1994},[174],[22,1996],{"className":1997,"style":170},[169],[22,1999,2001,2005],{"className":2000},[56],[22,2002],{"className":2003,"style":2004},[60],"height:0.6889em;",[22,2006,395],{"className":2007},[65,474]," — смещение. Величина ",[22,2010,2012,2025],{"className":2011},[25],[22,2013,2015],{"className":2014},[29],[31,2016,2017],{"xmlns":33},[35,2018,2019,2023],{},[38,2020,2021],{},[41,2022,1770],{},[45,2024,1770],{"encoding":47},[22,2026,2028],{"className":2027,"ariaHidden":52},[51],[22,2029,2031,2034],{"className":2030},[56],[22,2032],{"className":2033,"style":1800},[60],[22,2035,1770],{"className":2036,"style":1804},[65,66]," может принимать любые вещественные значения и сама по себе не интерпретируется как вероятность. Чтобы получить вероятность принадлежности к классу 1, ",[22,2039,2041,2054],{"className":2040},[25],[22,2042,2044],{"className":2043},[29],[31,2045,2046],{"xmlns":33},[35,2047,2048,2052],{},[38,2049,2050],{},[41,2051,1770],{},[45,2053,1770],{"encoding":47},[22,2055,2057],{"className":2056,"ariaHidden":52},[51],[22,2058,2060,2063],{"className":2059},[56],[22,2061],{"className":2062,"style":1800},[60],[22,2064,1770],{"className":2065,"style":1804},[65,66]," пропускается через ",[812,2068,2069],{},"сигмоиду",[817,2071,2072],{},"sigmoid",") — функцию",[15,2075,2076],{},[22,2077,2079,2127],{"className":2078},[25],[22,2080,2082],{"className":2081},[29],[31,2083,2084],{"xmlns":33},[35,2085,2086,2124],{},[38,2087,2088,2091,2093,2095,2097,2099,2121],{},[41,2089,2090],{},"σ",[98,2092,107],{"stretchy":103},[41,2094,1770],{},[98,2096,129],{"stretchy":103},[98,2098,100],{},[2100,2101,2102,2104],"mfrac",{},[143,2103,145],{},[38,2105,2106,2108,2110],{},[143,2107,145],{},[98,2109,898],{},[390,2111,2112,2115],{},[41,2113,2114],{},"e",[38,2116,2117,2119],{},[98,2118,891],{},[41,2120,1770],{},[41,2122,2123],{"mathvariant":1063},".",[45,2125,2126],{"encoding":47},"\\sigma(z) = \\frac{1}{1 + e^{-z}}.",[22,2128,2130,2157],{"className":2129,"ariaHidden":52},[51],[22,2131,2133,2136,2139,2142,2145,2148,2151,2154],{"className":2132},[56],[22,2134],{"className":2135,"style":647},[60],[22,2137,2090],{"className":2138,"style":260},[65,66],[22,2140,107],{"className":2141},[188],[22,2143,1770],{"className":2144,"style":1804},[65,66],[22,2146,129],{"className":2147},[299],[22,2149],{"className":2150,"style":170},[169],[22,2152,100],{"className":2153},[174],[22,2155],{"className":2156,"style":170},[169],[22,2158,2160,2164,2283],{"className":2159},[56],[22,2161],{"className":2162,"style":2163},[60],"height:1.2484em;vertical-align:-0.4033em;",[22,2165,2167,2171,2280],{"className":2166},[65],[22,2168],{"className":2169},[188,2170],"nulldelimiter",[22,2172,2174],{"className":2173},[2100],[22,2175,2177,2271],{"className":2176},[203,204],[22,2178,2180,2268],{"className":2179},[208],[22,2181,2184,2242,2253],{"className":2182,"style":2183},[212],"height:0.8451em;",[22,2185,2187,2190],{"style":2186},"top:-2.655em;",[22,2188],{"className":2189,"style":1332},[220],[22,2191,2193],{"className":2192},[225,226,227,228],[22,2194,2196,2199,2202],{"className":2195},[65,228],[22,2197,145],{"className":2198},[65,228],[22,2200,898],{"className":2201},[1095,228],[22,2203,2205,2208],{"className":2204},[65,228],[22,2206,2114],{"className":2207},[65,66,228],[22,2209,2211],{"className":2210},[199],[22,2212,2214],{"className":2213},[203],[22,2215,2217],{"className":2216},[208],[22,2218,2221],{"className":2219,"style":2220},[212],"height:0.7027em;",[22,2222,2224,2228],{"style":2223},"top:-2.786em;margin-right:0.0714em;",[22,2225],{"className":2226,"style":2227},[220],"height:2.5em;",[22,2229,2233],{"className":2230},[225,2231,2232,228],"reset-size3","size1",[22,2234,2236,2239],{"className":2235},[65,228],[22,2237,891],{"className":2238},[65,228],[22,2240,1770],{"className":2241,"style":1804},[65,66,228],[22,2243,2245,2248],{"style":2244},"top:-3.23em;",[22,2246],{"className":2247,"style":1332},[220],[22,2249],{"className":2250,"style":2252},[2251],"frac-line","border-bottom-width:0.04em;",[22,2254,2256,2259],{"style":2255},"top:-3.394em;",[22,2257],{"className":2258,"style":1332},[220],[22,2260,2262],{"className":2261},[225,226,227,228],[22,2263,2265],{"className":2264},[65,228],[22,2266,145],{"className":2267},[65,228],[22,2269,236],{"className":2270},[235],[22,2272,2274],{"className":2273},[208],[22,2275,2278],{"className":2276,"style":2277},[212],"height:0.4033em;",[22,2279],{},[22,2281],{"className":2282},[299,2170],[22,2284,2123],{"className":2285},[65],[15,2287,2288,2289,2318,2319,2371,2372,2442,2443,2658,2659,2756,2757,2889,2890,2998,2999,3107],{},"Сигмоида монотонно возрастает на ",[22,2290,2292,2306],{"className":2291},[25],[22,2293,2295],{"className":2294},[29],[31,2296,2297],{"xmlns":33},[35,2298,2299,2303],{},[38,2300,2301],{},[41,2302,395],{"mathvariant":394},[45,2304,2305],{"encoding":47},"\\mathbb{R}",[22,2307,2309],{"className":2308,"ariaHidden":52},[51],[22,2310,2312,2315],{"className":2311},[56],[22,2313],{"className":2314,"style":2004},[60],[22,2316,395],{"className":2317},[65,474],", принимает значения в интервале ",[22,2320,2322,2344],{"className":2321},[25],[22,2323,2325],{"className":2324},[29],[31,2326,2327],{"xmlns":33},[35,2328,2329,2341],{},[38,2330,2331,2333,2335,2337,2339],{},[98,2332,107],{"stretchy":103},[143,2334,837],{},[98,2336,119],{"separator":52},[143,2338,145],{},[98,2340,129],{"stretchy":103},[45,2342,2343],{"encoding":47},"(0, 1)",[22,2345,2347],{"className":2346,"ariaHidden":52},[51],[22,2348,2350,2353,2356,2359,2362,2365,2368],{"className":2349},[56],[22,2351],{"className":2352,"style":647},[60],[22,2354,107],{"className":2355},[188],[22,2357,837],{"className":2358},[65],[22,2360,119],{"className":2361},[249],[22,2363],{"className":2364,"style":253},[169],[22,2366,145],{"className":2367},[65],[22,2369,129],{"className":2370},[299]," и симметрична относительно точки ",[22,2373,2375,2402],{"className":2374},[25],[22,2376,2378],{"className":2377},[29],[31,2379,2380],{"xmlns":33},[35,2381,2382,2399],{},[38,2383,2384,2386,2388,2390,2394,2397],{},[98,2385,107],{"stretchy":103},[143,2387,837],{},[98,2389,119],{"separator":52},[2391,2392,2393],"mtext",{}," ",[143,2395,2396],{},"0,5",[98,2398,129],{"stretchy":103},[45,2400,2401],{"encoding":47},"(0,\\, 0{,}5)",[22,2403,2405],{"className":2404,"ariaHidden":52},[51],[22,2406,2408,2411,2414,2417,2420,2423,2426,2429,2435,2439],{"className":2407},[56],[22,2409],{"className":2410,"style":647},[60],[22,2412,107],{"className":2413},[188],[22,2415,837],{"className":2416},[65],[22,2418,119],{"className":2419},[249],[22,2421],{"className":2422,"style":253},[169],[22,2424],{"className":2425,"style":253},[169],[22,2427,837],{"className":2428},[65],[22,2430,2432],{"className":2431},[65],[22,2433,119],{"className":2434},[249],[22,2436,2438],{"className":2437},[65],"5",[22,2440,129],{"className":2441},[299],". Получаем вероятностную модель: ",[22,2444,2446,2498],{"className":2445},[25],[22,2447,2449],{"className":2448},[29],[31,2450,2451],{"xmlns":33},[35,2452,2453,2495],{},[38,2454,2455,2461,2463,2465,2467,2469,2471,2473,2475,2477,2479,2481,2487,2489,2491,2493],{},[1272,2456,2457,2459],{"accent":52},[41,2458,1276],{},[98,2460,1279],{},[98,2462,107],{"stretchy":103},[41,2464,124],{},[98,2466,100],{},[143,2468,145],{},[98,2470,1294],{},[41,2472,113],{},[98,2474,129],{"stretchy":103},[98,2476,100],{},[41,2478,2090],{},[98,2480,107],{"stretchy":103},[390,2482,2483,2485],{},[41,2484,1777],{},[41,2486,1780],{"mathvariant":1063},[41,2488,113],{},[98,2490,898],{},[41,2492,1787],{},[98,2494,129],{"stretchy":103},[45,2496,2497],{"encoding":47},"\\hat{P}(y = 1 \\mid x) = \\sigma(w^\\top x + b)",[22,2499,2501,2553,2571,2592,2646],{"className":2500,"ariaHidden":52},[51],[22,2502,2504,2507,2538,2541,2544,2547,2550],{"className":2503},[56],[22,2505],{"className":2506,"style":1311},[60],[22,2508,2510],{"className":2509},[65,1315],[22,2511,2513],{"className":2512},[203],[22,2514,2516],{"className":2515},[208],[22,2517,2519,2527],{"className":2518,"style":1325},[212],[22,2520,2521,2524],{"style":1328},[22,2522],{"className":2523,"style":1332},[220],[22,2525,1276],{"className":2526,"style":1336},[65,66],[22,2528,2529,2532],{"style":1339},[22,2530],{"className":2531,"style":1332},[220],[22,2533,2535],{"className":2534,"style":1347},[1346],[22,2536,1279],{"className":2537},[65],[22,2539,107],{"className":2540},[188],[22,2542,124],{"className":2543,"style":260},[65,66],[22,2545],{"className":2546,"style":170},[169],[22,2548,100],{"className":2549},[174],[22,2551],{"className":2552,"style":170},[169],[22,2554,2556,2559,2562,2565,2568],{"className":2555},[56],[22,2557],{"className":2558,"style":647},[60],[22,2560,145],{"className":2561},[65],[22,2563],{"className":2564,"style":170},[169],[22,2566,1294],{"className":2567},[174],[22,2569],{"className":2570,"style":170},[169],[22,2572,2574,2577,2580,2583,2586,2589],{"className":2573},[56],[22,2575],{"className":2576,"style":647},[60],[22,2578,113],{"className":2579},[65,66],[22,2581,129],{"className":2582},[299],[22,2584],{"className":2585,"style":170},[169],[22,2587,100],{"className":2588},[174],[22,2590],{"className":2591,"style":170},[169],[22,2593,2595,2599,2602,2605,2634,2637,2640,2643],{"className":2594},[56],[22,2596],{"className":2597,"style":2598},[60],"height:1.0991em;vertical-align:-0.25em;",[22,2600,2090],{"className":2601,"style":260},[65,66],[22,2603,107],{"className":2604},[188],[22,2606,2608,2611],{"className":2607},[65],[22,2609,1777],{"className":2610,"style":1827},[65,66],[22,2612,2614],{"className":2613},[199],[22,2615,2617],{"className":2616},[203],[22,2618,2620],{"className":2619},[208],[22,2621,2623],{"className":2622,"style":467},[212],[22,2624,2625,2628],{"style":342},[22,2626],{"className":2627,"style":221},[220],[22,2629,2631],{"className":2630},[225,226,227,228],[22,2632,1780],{"className":2633},[65,228],[22,2635,113],{"className":2636},[65,66],[22,2638],{"className":2639,"style":1091},[169],[22,2641,898],{"className":2642},[1095],[22,2644],{"className":2645,"style":1091},[169],[22,2647,2649,2652,2655],{"className":2648},[56],[22,2650],{"className":2651,"style":647},[60],[22,2653,1787],{"className":2654},[65,66],[22,2656,129],{"className":2657},[299],". Решающее правило очевидно: ",[22,2660,2662,2684],{"className":2661},[25],[22,2663,2665],{"className":2664},[29],[31,2666,2667],{"xmlns":33},[35,2668,2669,2681],{},[38,2670,2671,2677,2679],{},[1272,2672,2673,2675],{"accent":52},[41,2674,124],{},[98,2676,1279],{},[98,2678,100],{},[143,2680,145],{},[45,2682,2683],{"encoding":47},"\\hat{y} = 1",[22,2685,2687,2747],{"className":2686,"ariaHidden":52},[51],[22,2688,2690,2694,2738,2741,2744],{"className":2689},[56],[22,2691],{"className":2692,"style":2693},[60],"height:0.8889em;vertical-align:-0.1944em;",[22,2695,2697],{"className":2696},[65,1315],[22,2698,2700,2729],{"className":2699},[203,204],[22,2701,2703,2726],{"className":2702},[208],[22,2704,2706,2714],{"className":2705,"style":61},[212],[22,2707,2708,2711],{"style":1328},[22,2709],{"className":2710,"style":1332},[220],[22,2712,124],{"className":2713,"style":260},[65,66],[22,2715,2716,2719],{"style":1328},[22,2717],{"className":2718,"style":1332},[220],[22,2720,2723],{"className":2721,"style":2722},[1346],"left:-0.1944em;",[22,2724,1279],{"className":2725},[65],[22,2727,236],{"className":2728},[235],[22,2730,2732],{"className":2731},[208],[22,2733,2736],{"className":2734,"style":2735},[212],"height:0.1944em;",[22,2737],{},[22,2739],{"className":2740,"style":170},[169],[22,2742,100],{"className":2743},[174],[22,2745],{"className":2746,"style":170},[169],[22,2748,2750,2753],{"className":2749},[56],[22,2751],{"className":2752,"style":806},[60],[22,2754,145],{"className":2755},[65],", если ",[22,2758,2760,2794],{"className":2759},[25],[22,2761,2763],{"className":2762},[29],[31,2764,2765],{"xmlns":33},[35,2766,2767,2791],{},[38,2768,2769,2771,2773,2779,2781,2783,2785,2787,2789],{},[41,2770,2090],{},[98,2772,107],{"stretchy":103},[390,2774,2775,2777],{},[41,2776,1777],{},[41,2778,1780],{"mathvariant":1063},[41,2780,113],{},[98,2782,898],{},[41,2784,1787],{},[98,2786,129],{"stretchy":103},[98,2788,956],{},[143,2790,2396],{},[45,2792,2793],{"encoding":47},"\\sigma(w^\\top x + b) > 0{,}5",[22,2795,2797,2850,2871],{"className":2796,"ariaHidden":52},[51],[22,2798,2800,2803,2806,2809,2838,2841,2844,2847],{"className":2799},[56],[22,2801],{"className":2802,"style":2598},[60],[22,2804,2090],{"className":2805,"style":260},[65,66],[22,2807,107],{"className":2808},[188],[22,2810,2812,2815],{"className":2811},[65],[22,2813,1777],{"className":2814,"style":1827},[65,66],[22,2816,2818],{"className":2817},[199],[22,2819,2821],{"className":2820},[203],[22,2822,2824],{"className":2823},[208],[22,2825,2827],{"className":2826,"style":467},[212],[22,2828,2829,2832],{"style":342},[22,2830],{"className":2831,"style":221},[220],[22,2833,2835],{"className":2834},[225,226,227,228],[22,2836,1780],{"className":2837},[65,228],[22,2839,113],{"className":2840},[65,66],[22,2842],{"className":2843,"style":1091},[169],[22,2845,898],{"className":2846},[1095],[22,2848],{"className":2849,"style":1091},[169],[22,2851,2853,2856,2859,2862,2865,2868],{"className":2852},[56],[22,2854],{"className":2855,"style":647},[60],[22,2857,1787],{"className":2858},[65,66],[22,2860,129],{"className":2861},[299],[22,2863],{"className":2864,"style":170},[169],[22,2866,956],{"className":2867},[174],[22,2869],{"className":2870,"style":170},[169],[22,2872,2874,2877,2880,2886],{"className":2873},[56],[22,2875],{"className":2876,"style":1575},[60],[22,2878,837],{"className":2879},[65],[22,2881,2883],{"className":2882},[65],[22,2884,119],{"className":2885},[249],[22,2887,2438],{"className":2888},[65],", то есть если ",[22,2891,2893,2921],{"className":2892},[25],[22,2894,2896],{"className":2895},[29],[31,2897,2898],{"xmlns":33},[35,2899,2900,2918],{},[38,2901,2902,2908,2910,2912,2914,2916],{},[390,2903,2904,2906],{},[41,2905,1777],{},[41,2907,1780],{"mathvariant":1063},[41,2909,113],{},[98,2911,898],{},[41,2913,1787],{},[98,2915,956],{},[143,2917,837],{},[45,2919,2920],{"encoding":47},"w^\\top x + b > 0",[22,2922,2924,2971,2989],{"className":2923,"ariaHidden":52},[51],[22,2925,2927,2930,2959,2962,2965,2968],{"className":2926},[56],[22,2928],{"className":2929,"style":1820},[60],[22,2931,2933,2936],{"className":2932},[65],[22,2934,1777],{"className":2935,"style":1827},[65,66],[22,2937,2939],{"className":2938},[199],[22,2940,2942],{"className":2941},[203],[22,2943,2945],{"className":2944},[208],[22,2946,2948],{"className":2947,"style":467},[212],[22,2949,2950,2953],{"style":342},[22,2951],{"className":2952,"style":221},[220],[22,2954,2956],{"className":2955},[225,226,227,228],[22,2957,1780],{"className":2958},[65,228],[22,2960,113],{"className":2961},[65,66],[22,2963],{"className":2964,"style":1091},[169],[22,2966,898],{"className":2967},[1095],[22,2969],{"className":2970,"style":1091},[169],[22,2972,2974,2977,2980,2983,2986],{"className":2973},[56],[22,2975],{"className":2976,"style":1985},[60],[22,2978,1787],{"className":2979},[65,66],[22,2981],{"className":2982,"style":170},[169],[22,2984,956],{"className":2985},[174],[22,2987],{"className":2988,"style":170},[169],[22,2990,2992,2995],{"className":2991},[56],[22,2993],{"className":2994,"style":806},[60],[22,2996,837],{"className":2997},[65],". Разделяющая поверхность — гиперплоскость ",[22,3000,3002,3030],{"className":3001},[25],[22,3003,3005],{"className":3004},[29],[31,3006,3007],{"xmlns":33},[35,3008,3009,3027],{},[38,3010,3011,3017,3019,3021,3023,3025],{},[390,3012,3013,3015],{},[41,3014,1777],{},[41,3016,1780],{"mathvariant":1063},[41,3018,113],{},[98,3020,898],{},[41,3022,1787],{},[98,3024,100],{},[143,3026,837],{},[45,3028,3029],{"encoding":47},"w^\\top x + b = 0",[22,3031,3033,3080,3098],{"className":3032,"ariaHidden":52},[51],[22,3034,3036,3039,3068,3071,3074,3077],{"className":3035},[56],[22,3037],{"className":3038,"style":1820},[60],[22,3040,3042,3045],{"className":3041},[65],[22,3043,1777],{"className":3044,"style":1827},[65,66],[22,3046,3048],{"className":3047},[199],[22,3049,3051],{"className":3050},[203],[22,3052,3054],{"className":3053},[208],[22,3055,3057],{"className":3056,"style":467},[212],[22,3058,3059,3062],{"style":342},[22,3060],{"className":3061,"style":221},[220],[22,3063,3065],{"className":3064},[225,226,227,228],[22,3066,1780],{"className":3067},[65,228],[22,3069,113],{"className":3070},[65,66],[22,3072],{"className":3073,"style":1091},[169],[22,3075,898],{"className":3076},[1095],[22,3078],{"className":3079,"style":1091},[169],[22,3081,3083,3086,3089,3092,3095],{"className":3082},[56],[22,3084],{"className":3085,"style":61},[60],[22,3087,1787],{"className":3088},[65,66],[22,3090],{"className":3091,"style":170},[169],[22,3093,100],{"className":3094},[174],[22,3096],{"className":3097,"style":170},[169],[22,3099,3101,3104],{"className":3100},[56],[22,3102],{"className":3103,"style":806},[60],[22,3105,837],{"className":3106},[65],"; за это логистическую регрессию относят к линейным классификаторам.",[1238,3109,1240,3110,1240,3114],{},[1242,3111],{"src":3112,"alt":3113},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Flogistic_sigmoid.svg","Сигмоида и логистическое решающее правило",[1247,3115,3116],{},"Сигмоида преобразует линейную комбинацию признаков в апостериорную вероятность класса",[15,3118,3119,3120,3172,3173,815,3176,3179,3180,3183],{},"Обучение сводится к подбору ",[22,3121,3123,3145],{"className":3122},[25],[22,3124,3126],{"className":3125},[29],[31,3127,3128],{"xmlns":33},[35,3129,3130,3142],{},[38,3131,3132,3134,3136,3138,3140],{},[98,3133,107],{"stretchy":103},[41,3135,1777],{},[98,3137,119],{"separator":52},[41,3139,1787],{},[98,3141,129],{"stretchy":103},[45,3143,3144],{"encoding":47},"(w, b)",[22,3146,3148],{"className":3147,"ariaHidden":52},[51],[22,3149,3151,3154,3157,3160,3163,3166,3169],{"className":3150},[56],[22,3152],{"className":3153,"style":647},[60],[22,3155,107],{"className":3156},[188],[22,3158,1777],{"className":3159,"style":1827},[65,66],[22,3161,119],{"className":3162},[249],[22,3164],{"className":3165,"style":253},[169],[22,3167,1787],{"className":3168},[65,66],[22,3170,129],{"className":3171},[299],", минимизирующих ",[812,3174,3175],{},"функцию логарифмических потерь",[817,3177,3178],{},"log loss",", или ",[817,3181,3182],{},"cross-entropy loss","):",[15,3185,3186],{},[22,3187,3189,3313],{"className":3188},[25],[22,3190,3192],{"className":3191},[29],[31,3193,3194],{"xmlns":33},[35,3195,3196,3310],{},[38,3197,3198,3201,3203,3205,3207,3209,3211,3213,3215,3221,3236,3308],{},[41,3199,3200],{"mathvariant":585},"L",[98,3202,107],{"stretchy":103},[41,3204,1777],{},[98,3206,119],{"separator":52},[41,3208,1787],{},[98,3210,129],{"stretchy":103},[98,3212,100],{},[98,3214,891],{},[2100,3216,3217,3219],{},[143,3218,145],{},[41,3220,148],{},[131,3222,3223,3226,3234],{},[98,3224,3225],{},"∑",[38,3227,3228,3230,3232],{},[41,3229,116],{},[98,3231,100],{},[143,3233,145],{},[41,3235,148],{},[38,3237,3238,3241,3247,3250,3253,3255,3257,3263,3265,3267,3269,3271,3273,3279,3281,3283,3285,3287,3289,3291,3293,3295,3301,3303,3305],{},[98,3239,3240],{"fence":52},"[",[109,3242,3243,3245],{},[41,3244,124],{},[41,3246,116],{},[41,3248,3249],{},"log",[98,3251,3252],{},"⁡",[41,3254,2090],{},[98,3256,107],{"stretchy":103},[109,3258,3259,3261],{},[41,3260,1770],{},[41,3262,116],{},[98,3264,129],{"stretchy":103},[98,3266,898],{},[98,3268,107],{"stretchy":103},[143,3270,145],{},[98,3272,891],{},[109,3274,3275,3277],{},[41,3276,124],{},[41,3278,116],{},[98,3280,129],{"stretchy":103},[41,3282,3249],{},[98,3284,3252],{},[98,3286,107],{"stretchy":103},[143,3288,145],{},[98,3290,891],{},[41,3292,2090],{},[98,3294,107],{"stretchy":103},[109,3296,3297,3299],{},[41,3298,1770],{},[41,3300,116],{},[98,3302,129],{"stretchy":103},[98,3304,129],{"stretchy":103},[98,3306,3307],{"fence":52},"]",[41,3309,2123],{"mathvariant":1063},[45,3311,3312],{"encoding":47},"\\mathcal{L}(w, b) = -\\frac{1}{n} \\sum_{i=1}^{n} \\left[ y_i \\log \\sigma(z_i) + (1 - y_i) \\log (1 - \\sigma(z_i)) \\right].",[22,3314,3316,3352],{"className":3315,"ariaHidden":52},[51],[22,3317,3319,3322,3325,3328,3331,3334,3337,3340,3343,3346,3349],{"className":3318},[56],[22,3320],{"className":3321,"style":647},[60],[22,3323,3200],{"className":3324},[65,630],[22,3326,107],{"className":3327},[188],[22,3329,1777],{"className":3330,"style":1827},[65,66],[22,3332,119],{"className":3333},[249],[22,3335],{"className":3336,"style":253},[169],[22,3338,1787],{"className":3339},[65,66],[22,3341,129],{"className":3342},[299],[22,3344],{"className":3345,"style":170},[169],[22,3347,100],{"className":3348},[174],[22,3350],{"className":3351,"style":170},[169],[22,3353,3355,3359,3362,3431,3434,3505,3508,3763,3766],{"className":3354},[56],[22,3356],{"className":3357,"style":3358},[60],"height:1.1901em;vertical-align:-0.345em;",[22,3360,891],{"className":3361},[65],[22,3363,3365,3368,3428],{"className":3364},[65],[22,3366],{"className":3367},[188,2170],[22,3369,3371],{"className":3370},[2100],[22,3372,3374,3419],{"className":3373},[203,204],[22,3375,3377,3416],{"className":3376},[208],[22,3378,3380,3394,3402],{"className":3379,"style":2183},[212],[22,3381,3382,3385],{"style":2186},[22,3383],{"className":3384,"style":1332},[220],[22,3386,3388],{"className":3387},[225,226,227,228],[22,3389,3391],{"className":3390},[65,228],[22,3392,148],{"className":3393},[65,66,228],[22,3395,3396,3399],{"style":2244},[22,3397],{"className":3398,"style":1332},[220],[22,3400],{"className":3401,"style":2252},[2251],[22,3403,3404,3407],{"style":2255},[22,3405],{"className":3406,"style":1332},[220],[22,3408,3410],{"className":3409},[225,226,227,228],[22,3411,3413],{"className":3412},[65,228],[22,3414,145],{"className":3415},[65,228],[22,3417,236],{"className":3418},[235],[22,3420,3422],{"className":3421},[208],[22,3423,3426],{"className":3424,"style":3425},[212],"height:0.345em;",[22,3427],{},[22,3429],{"className":3430},[299,2170],[22,3432],{"className":3433,"style":253},[169],[22,3435,3438,3444],{"className":3436},[3437],"mop",[22,3439,3225],{"className":3440,"style":3443},[3437,3441,3442],"op-symbol","small-op","position:relative;top:0em;",[22,3445,3447],{"className":3446},[199],[22,3448,3450,3496],{"className":3449},[203,204],[22,3451,3453,3493],{"className":3452},[208],[22,3454,3457,3478],{"className":3455,"style":3456},[212],"height:0.8043em;",[22,3458,3460,3463],{"style":3459},"top:-2.4003em;margin-left:0em;margin-right:0.05em;",[22,3461],{"className":3462,"style":221},[220],[22,3464,3466],{"className":3465},[225,226,227,228],[22,3467,3469,3472,3475],{"className":3468},[65,228],[22,3470,116],{"className":3471},[65,66,228],[22,3473,100],{"className":3474},[174,228],[22,3476,145],{"className":3477},[65,228],[22,3479,3481,3484],{"style":3480},"top:-3.2029em;margin-right:0.05em;",[22,3482],{"className":3483,"style":221},[220],[22,3485,3487],{"className":3486},[225,226,227,228],[22,3488,3490],{"className":3489},[65,228],[22,3491,148],{"className":3492},[65,66,228],[22,3494,236],{"className":3495},[235],[22,3497,3499],{"className":3498},[208],[22,3500,3503],{"className":3501,"style":3502},[212],"height:0.2997em;",[22,3504],{},[22,3506],{"className":3507,"style":253},[169],[22,3509,3511,3516,3556,3559,3567,3570,3573,3576,3617,3620,3623,3626,3629,3632,3635,3638,3641,3644,3684,3687,3690,3695,3698,3701,3704,3707,3710,3713,3716,3756,3760],{"className":3510},[701],[22,3512,3240],{"className":3513,"style":3515},[188,3514],"delimcenter","top:0em;",[22,3517,3519,3522],{"className":3518},[65],[22,3520,124],{"className":3521,"style":260},[65,66],[22,3523,3525],{"className":3524},[199],[22,3526,3528,3548],{"className":3527},[203,204],[22,3529,3531,3545],{"className":3530},[208],[22,3532,3534],{"className":3533,"style":213},[212],[22,3535,3536,3539],{"style":275},[22,3537],{"className":3538,"style":221},[220],[22,3540,3542],{"className":3541},[225,226,227,228],[22,3543,116],{"className":3544},[65,66,228],[22,3546,236],{"className":3547},[235],[22,3549,3551],{"className":3550},[208],[22,3552,3554],{"className":3553,"style":243},[212],[22,3555],{},[22,3557],{"className":3558,"style":253},[169],[22,3560,3562,3563],{"className":3561},[3437],"lo",[22,3564,3566],{"style":3565},"margin-right:0.0139em;","g",[22,3568],{"className":3569,"style":253},[169],[22,3571,2090],{"className":3572,"style":260},[65,66],[22,3574,107],{"className":3575},[188],[22,3577,3579,3582],{"className":3578},[65],[22,3580,1770],{"className":3581,"style":1804},[65,66],[22,3583,3585],{"className":3584},[199],[22,3586,3588,3609],{"className":3587},[203,204],[22,3589,3591,3606],{"className":3590},[208],[22,3592,3594],{"className":3593,"style":213},[212],[22,3595,3597,3600],{"style":3596},"top:-2.55em;margin-left:-0.044em;margin-right:0.05em;",[22,3598],{"className":3599,"style":221},[220],[22,3601,3603],{"className":3602},[225,226,227,228],[22,3604,116],{"className":3605},[65,66,228],[22,3607,236],{"className":3608},[235],[22,3610,3612],{"className":3611},[208],[22,3613,3615],{"className":3614,"style":243},[212],[22,3616],{},[22,3618,129],{"className":3619},[299],[22,3621],{"className":3622,"style":1091},[169],[22,3624,898],{"className":3625},[1095],[22,3627],{"className":3628,"style":1091},[169],[22,3630,107],{"className":3631},[188],[22,3633,145],{"className":3634},[65],[22,3636],{"className":3637,"style":1091},[169],[22,3639,891],{"className":3640},[1095],[22,3642],{"className":3643,"style":1091},[169],[22,3645,3647,3650],{"className":3646},[65],[22,3648,124],{"className":3649,"style":260},[65,66],[22,3651,3653],{"className":3652},[199],[22,3654,3656,3676],{"className":3655},[203,204],[22,3657,3659,3673],{"className":3658},[208],[22,3660,3662],{"className":3661,"style":213},[212],[22,3663,3664,3667],{"style":275},[22,3665],{"className":3666,"style":221},[220],[22,3668,3670],{"className":3669},[225,226,227,228],[22,3671,116],{"className":3672},[65,66,228],[22,3674,236],{"className":3675},[235],[22,3677,3679],{"className":3678},[208],[22,3680,3682],{"className":3681,"style":243},[212],[22,3683],{},[22,3685,129],{"className":3686},[299],[22,3688],{"className":3689,"style":253},[169],[22,3691,3562,3693],{"className":3692},[3437],[22,3694,3566],{"style":3565},[22,3696,107],{"className":3697},[188],[22,3699,145],{"className":3700},[65],[22,3702],{"className":3703,"style":1091},[169],[22,3705,891],{"className":3706},[1095],[22,3708],{"className":3709,"style":1091},[169],[22,3711,2090],{"className":3712,"style":260},[65,66],[22,3714,107],{"className":3715},[188],[22,3717,3719,3722],{"className":3718},[65],[22,3720,1770],{"className":3721,"style":1804},[65,66],[22,3723,3725],{"className":3724},[199],[22,3726,3728,3748],{"className":3727},[203,204],[22,3729,3731,3745],{"className":3730},[208],[22,3732,3734],{"className":3733,"style":213},[212],[22,3735,3736,3739],{"style":3596},[22,3737],{"className":3738,"style":221},[220],[22,3740,3742],{"className":3741},[225,226,227,228],[22,3743,116],{"className":3744},[65,66,228],[22,3746,236],{"className":3747},[235],[22,3749,3751],{"className":3750},[208],[22,3752,3754],{"className":3753,"style":243},[212],[22,3755],{},[22,3757,3759],{"className":3758},[299],"))",[22,3761,3307],{"className":3762,"style":3515},[299,3514],[22,3764],{"className":3765,"style":253},[169],[22,3767,2123],{"className":3768},[65],[15,3770,3771,3772,3857,3858,3887],{},"Эта функция эквивалентна максимизации правдоподобия в предположении, что метки — независимые реализации Бернулли с параметром ",[22,3773,3775,3799],{"className":3774},[25],[22,3776,3778],{"className":3777},[29],[31,3779,3780],{"xmlns":33},[35,3781,3782,3796],{},[38,3783,3784,3786,3788,3794],{},[41,3785,2090],{},[98,3787,107],{"stretchy":103},[109,3789,3790,3792],{},[41,3791,1770],{},[41,3793,116],{},[98,3795,129],{"stretchy":103},[45,3797,3798],{"encoding":47},"\\sigma(z_i)",[22,3800,3802],{"className":3801,"ariaHidden":52},[51],[22,3803,3805,3808,3811,3814,3854],{"className":3804},[56],[22,3806],{"className":3807,"style":647},[60],[22,3809,2090],{"className":3810,"style":260},[65,66],[22,3812,107],{"className":3813},[188],[22,3815,3817,3820],{"className":3816},[65],[22,3818,1770],{"className":3819,"style":1804},[65,66],[22,3821,3823],{"className":3822},[199],[22,3824,3826,3846],{"className":3825},[203,204],[22,3827,3829,3843],{"className":3828},[208],[22,3830,3832],{"className":3831,"style":213},[212],[22,3833,3834,3837],{"style":3596},[22,3835],{"className":3836,"style":221},[220],[22,3838,3840],{"className":3839},[225,226,227,228],[22,3841,116],{"className":3842},[65,66,228],[22,3844,236],{"className":3845},[235],[22,3847,3849],{"className":3848},[208],[22,3850,3852],{"className":3851,"style":243},[212],[22,3853],{},[22,3855,129],{"className":3856},[299],". У неё есть свойство, важное практически: ",[22,3859,3861,3875],{"className":3860},[25],[22,3862,3864],{"className":3863},[29],[31,3865,3866],{"xmlns":33},[35,3867,3868,3872],{},[38,3869,3870],{},[41,3871,3200],{"mathvariant":585},[45,3873,3874],{"encoding":47},"\\mathcal{L}",[22,3876,3878],{"className":3877,"ariaHidden":52},[51],[22,3879,3881,3884],{"className":3880},[56],[22,3882],{"className":3883,"style":161},[60],[22,3885,3200],{"className":3886},[65,630]," выпукла по параметрам, значит у задачи единственный глобальный минимум, и градиентный спуск гарантированно к нему сходится. Это резко контрастирует с нейронными сетями, где задача невыпуклая и оптимизация может застрять в локальном минимуме.",[15,3889,3890,3891,3962,3963,4041,4042,3962,4112,4197,4198,4267,4268,2123],{},"К функции потерь добавляют регуляризующий член — обычно ",[22,3892,3894,3912],{"className":3893},[25],[22,3895,3897],{"className":3896},[29],[31,3898,3899],{"xmlns":33},[35,3900,3901,3909],{},[38,3902,3903],{},[109,3904,3905,3907],{},[41,3906,3200],{},[143,3908,775],{},[45,3910,3911],{"encoding":47},"L_2",[22,3913,3915],{"className":3914,"ariaHidden":52},[51],[22,3916,3918,3922],{"className":3917},[56],[22,3919],{"className":3920,"style":3921},[60],"height:0.8333em;vertical-align:-0.15em;",[22,3923,3925,3928],{"className":3924},[65],[22,3926,3200],{"className":3927},[65,66],[22,3929,3931],{"className":3930},[199],[22,3932,3934,3954],{"className":3933},[203,204],[22,3935,3937,3951],{"className":3936},[208],[22,3938,3940],{"className":3939,"style":669},[212],[22,3941,3942,3945],{"style":216},[22,3943],{"className":3944,"style":221},[220],[22,3946,3948],{"className":3947},[225,226,227,228],[22,3949,775],{"className":3950},[65,228],[22,3952,236],{"className":3953},[235],[22,3955,3957],{"className":3956},[208],[22,3958,3960],{"className":3959,"style":243},[212],[22,3961],{},"-норму ",[22,3964,3966,3992],{"className":3965},[25],[22,3967,3969],{"className":3968},[29],[31,3970,3971],{"xmlns":33},[35,3972,3973,3989],{},[38,3974,3975,3978,3981,3983],{},[41,3976,3977],{},"λ",[41,3979,3980],{"mathvariant":1063},"∥",[41,3982,1777],{},[390,3984,3985,3987],{},[41,3986,3980],{"mathvariant":1063},[143,3988,775],{},[45,3990,3991],{"encoding":47},"\\lambda \\|w\\|^2",[22,3993,3995],{"className":3994,"ariaHidden":52},[51],[22,3996,3998,4002,4005,4008,4011],{"className":3997},[56],[22,3999],{"className":4000,"style":4001},[60],"height:1.0641em;vertical-align:-0.25em;",[22,4003,3977],{"className":4004},[65,66],[22,4006,3980],{"className":4007},[65],[22,4009,1777],{"className":4010,"style":1827},[65,66],[22,4012,4014,4017],{"className":4013},[65],[22,4015,3980],{"className":4016},[65],[22,4018,4020],{"className":4019},[199],[22,4021,4023],{"className":4022},[203],[22,4024,4026],{"className":4025},[208],[22,4027,4030],{"className":4028,"style":4029},[212],"height:0.8141em;",[22,4031,4032,4035],{"style":342},[22,4033],{"className":4034,"style":221},[220],[22,4036,4038],{"className":4037},[225,226,227,228],[22,4039,775],{"className":4040},[65,228]," (ridge) или ",[22,4043,4045,4063],{"className":4044},[25],[22,4046,4048],{"className":4047},[29],[31,4049,4050],{"xmlns":33},[35,4051,4052,4060],{},[38,4053,4054],{},[109,4055,4056,4058],{},[41,4057,3200],{},[143,4059,145],{},[45,4061,4062],{"encoding":47},"L_1",[22,4064,4066],{"className":4065,"ariaHidden":52},[51],[22,4067,4069,4072],{"className":4068},[56],[22,4070],{"className":4071,"style":3921},[60],[22,4073,4075,4078],{"className":4074},[65],[22,4076,3200],{"className":4077},[65,66],[22,4079,4081],{"className":4080},[199],[22,4082,4084,4104],{"className":4083},[203,204],[22,4085,4087,4101],{"className":4086},[208],[22,4088,4090],{"className":4089,"style":669},[212],[22,4091,4092,4095],{"style":216},[22,4093],{"className":4094,"style":221},[220],[22,4096,4098],{"className":4097},[225,226,227,228],[22,4099,145],{"className":4100},[65,228],[22,4102,236],{"className":4103},[235],[22,4105,4107],{"className":4106},[208],[22,4108,4110],{"className":4109,"style":243},[212],[22,4111],{},[22,4113,4115,4139],{"className":4114},[25],[22,4116,4118],{"className":4117},[29],[31,4119,4120],{"xmlns":33},[35,4121,4122,4136],{},[38,4123,4124,4126,4128,4130],{},[41,4125,3977],{},[41,4127,3980],{"mathvariant":1063},[41,4129,1777],{},[109,4131,4132,4134],{},[41,4133,3980],{"mathvariant":1063},[143,4135,145],{},[45,4137,4138],{"encoding":47},"\\lambda \\|w\\|_1",[22,4140,4142],{"className":4141,"ariaHidden":52},[51],[22,4143,4145,4148,4151,4154,4157],{"className":4144},[56],[22,4146],{"className":4147,"style":647},[60],[22,4149,3977],{"className":4150},[65,66],[22,4152,3980],{"className":4153},[65],[22,4155,1777],{"className":4156,"style":1827},[65,66],[22,4158,4160,4163],{"className":4159},[65],[22,4161,3980],{"className":4162},[65],[22,4164,4166],{"className":4165},[199],[22,4167,4169,4189],{"className":4168},[203,204],[22,4170,4172,4186],{"className":4171},[208],[22,4173,4175],{"className":4174,"style":669},[212],[22,4176,4177,4180],{"style":216},[22,4178],{"className":4179,"style":221},[220],[22,4181,4183],{"className":4182},[225,226,227,228],[22,4184,145],{"className":4185},[65,228],[22,4187,236],{"className":4188},[235],[22,4190,4192],{"className":4191},[208],[22,4193,4195],{"className":4194,"style":243},[212],[22,4196],{}," (lasso). Первый штрафует большие веса, не давая модели перенастроиться на шум; второй обнуляет малозначимые признаки и работает как встроенный отбор. Реализация в scikit-learn по умолчанию использует ",[22,4199,4201,4218],{"className":4200},[25],[22,4202,4204],{"className":4203},[29],[31,4205,4206],{"xmlns":33},[35,4207,4208,4216],{},[38,4209,4210],{},[109,4211,4212,4214],{},[41,4213,3200],{},[143,4215,775],{},[45,4217,3911],{"encoding":47},[22,4219,4221],{"className":4220,"ariaHidden":52},[51],[22,4222,4224,4227],{"className":4223},[56],[22,4225],{"className":4226,"style":3921},[60],[22,4228,4230,4233],{"className":4229},[65],[22,4231,3200],{"className":4232},[65,66],[22,4234,4236],{"className":4235},[199],[22,4237,4239,4259],{"className":4238},[203,204],[22,4240,4242,4256],{"className":4241},[208],[22,4243,4245],{"className":4244,"style":669},[212],[22,4246,4247,4250],{"style":216},[22,4248],{"className":4249,"style":221},[220],[22,4251,4253],{"className":4252},[225,226,227,228],[22,4254,775],{"className":4255},[65,228],[22,4257,236],{"className":4258},[235],[22,4260,4262],{"className":4261},[208],[22,4263,4265],{"className":4264,"style":243},[212],[22,4266],{},", что для большинства задач — разумный старт ",[1715,4269,4271],{"className":4270},[1718],[1720,4272,4274],{"href":4273},"#ref-3",[22,4275,4276],{},"3",[15,4278,4279,4280,4355,4356,4426,4427,4478,4479,4595],{},"Сильные стороны логистической регрессии — интерпретируемость (знак и величина ",[22,4281,4283,4302],{"className":4282},[25],[22,4284,4286],{"className":4285},[29],[31,4287,4288],{"xmlns":33},[35,4289,4290,4299],{},[38,4291,4292],{},[109,4293,4294,4296],{},[41,4295,1777],{},[41,4297,4298],{},"j",[45,4300,4301],{"encoding":47},"w_j",[22,4303,4305],{"className":4304,"ariaHidden":52},[51],[22,4306,4308,4312],{"className":4307},[56],[22,4309],{"className":4310,"style":4311},[60],"height:0.7167em;vertical-align:-0.2861em;",[22,4313,4315,4318],{"className":4314},[65],[22,4316,1777],{"className":4317,"style":1827},[65,66],[22,4319,4321],{"className":4320},[199],[22,4322,4324,4346],{"className":4323},[203,204],[22,4325,4327,4343],{"className":4326},[208],[22,4328,4330],{"className":4329,"style":213},[212],[22,4331,4333,4336],{"style":4332},"top:-2.55em;margin-left:-0.0269em;margin-right:0.05em;",[22,4334],{"className":4335,"style":221},[220],[22,4337,4339],{"className":4338},[225,226,227,228],[22,4340,4298],{"className":4341,"style":4342},[65,66,228],"margin-right:0.0572em;",[22,4344,236],{"className":4345},[235],[22,4347,4349],{"className":4348},[208],[22,4350,4353],{"className":4351,"style":4352},[212],"height:0.2861em;",[22,4354],{}," говорят, в какую сторону и насколько признак ",[22,4357,4359,4377],{"className":4358},[25],[22,4360,4362],{"className":4361},[29],[31,4363,4364],{"xmlns":33},[35,4365,4366,4374],{},[38,4367,4368],{},[109,4369,4370,4372],{},[41,4371,113],{},[41,4373,4298],{},[45,4375,4376],{"encoding":47},"x_j",[22,4378,4380],{"className":4379,"ariaHidden":52},[51],[22,4381,4383,4386],{"className":4382},[56],[22,4384],{"className":4385,"style":4311},[60],[22,4387,4389,4392],{"className":4388},[65],[22,4390,113],{"className":4391},[65,66],[22,4393,4395],{"className":4394},[199],[22,4396,4398,4418],{"className":4397},[203,204],[22,4399,4401,4415],{"className":4400},[208],[22,4402,4404],{"className":4403,"style":213},[212],[22,4405,4406,4409],{"style":216},[22,4407],{"className":4408,"style":221},[220],[22,4410,4412],{"className":4411},[225,226,227,228],[22,4413,4298],{"className":4414,"style":4342},[65,66,228],[22,4416,236],{"className":4417},[235],[22,4419,4421],{"className":4420},[208],[22,4422,4424],{"className":4423,"style":4352},[212],[22,4425],{}," влияет на класс 1), вычислительная дешевизна, устойчивость к небольшому шуму в данных. Главное ограничение — линейность: если истинная разделяющая поверхность нелинейна, никакая настройка ",[22,4428,4430,4451],{"className":4429},[25],[22,4431,4433],{"className":4432},[29],[31,4434,4435],{"xmlns":33},[35,4436,4437,4449],{},[38,4438,4439,4441,4443,4445,4447],{},[98,4440,107],{"stretchy":103},[41,4442,1777],{},[98,4444,119],{"separator":52},[41,4446,1787],{},[98,4448,129],{"stretchy":103},[45,4450,3144],{"encoding":47},[22,4452,4454],{"className":4453,"ariaHidden":52},[51],[22,4455,4457,4460,4463,4466,4469,4472,4475],{"className":4456},[56],[22,4458],{"className":4459,"style":647},[60],[22,4461,107],{"className":4462},[188],[22,4464,1777],{"className":4465,"style":1827},[65,66],[22,4467,119],{"className":4468},[249],[22,4470],{"className":4471,"style":253},[169],[22,4473,1787],{"className":4474},[65,66],[22,4476,129],{"className":4477},[299]," не даст хорошего качества. Частичный обход — переход к расширенному признаковому пространству: добавление квадратичных или взаимодействующих признаков ",[22,4480,4482,4506],{"className":4481},[25],[22,4483,4485],{"className":4484},[29],[31,4486,4487],{"xmlns":33},[35,4488,4489,4503],{},[38,4490,4491,4497],{},[109,4492,4493,4495],{},[41,4494,113],{},[41,4496,4298],{},[109,4498,4499,4501],{},[41,4500,113],{},[41,4502,43],{},[45,4504,4505],{"encoding":47},"x_j x_k",[22,4507,4509],{"className":4508,"ariaHidden":52},[51],[22,4510,4512,4515,4555],{"className":4511},[56],[22,4513],{"className":4514,"style":4311},[60],[22,4516,4518,4521],{"className":4517},[65],[22,4519,113],{"className":4520},[65,66],[22,4522,4524],{"className":4523},[199],[22,4525,4527,4547],{"className":4526},[203,204],[22,4528,4530,4544],{"className":4529},[208],[22,4531,4533],{"className":4532,"style":213},[212],[22,4534,4535,4538],{"style":216},[22,4536],{"className":4537,"style":221},[220],[22,4539,4541],{"className":4540},[225,226,227,228],[22,4542,4298],{"className":4543,"style":4342},[65,66,228],[22,4545,236],{"className":4546},[235],[22,4548,4550],{"className":4549},[208],[22,4551,4553],{"className":4552,"style":4352},[212],[22,4554],{},[22,4556,4558,4561],{"className":4557},[65],[22,4559,113],{"className":4560},[65,66],[22,4562,4564],{"className":4563},[199],[22,4565,4567,4587],{"className":4566},[203,204],[22,4568,4570,4584],{"className":4569},[208],[22,4571,4573],{"className":4572,"style":1390},[212],[22,4574,4575,4578],{"style":216},[22,4576],{"className":4577,"style":221},[220],[22,4579,4581],{"className":4580},[225,226,227,228],[22,4582,43],{"className":4583,"style":67},[65,66,228],[22,4585,236],{"className":4586},[235],[22,4588,4590],{"className":4589},[208],[22,4591,4593],{"className":4592,"style":243},[212],[22,4594],{},", полиномиальных преобразований, индикаторов категорий. Тогда модель остаётся линейной в новом пространстве, но нелинейна в исходном — приём, идейно близкий ядровому трюку, к которому мы вернёмся в разговоре про SVM.",[75,4597,4599],{"id":4598},"метод-k-ближайших-соседей-knn","Метод k ближайших соседей (kNN)",[15,4601,4602,815,4634,4637,4638,4666,4667,4695,4696,4724,4725,4753],{},[812,4603,4604,4605,4633],{},"Метод ",[22,4606,4608,4621],{"className":4607},[25],[22,4609,4611],{"className":4610},[29],[31,4612,4613],{"xmlns":33},[35,4614,4615,4619],{},[38,4616,4617],{},[41,4618,43],{},[45,4620,43],{"encoding":47},[22,4622,4624],{"className":4623,"ariaHidden":52},[51],[22,4625,4627,4630],{"className":4626},[56],[22,4628],{"className":4629,"style":61},[60],[22,4631,43],{"className":4632,"style":67},[65,66]," ближайших соседей",[817,4635,4636],{},"k-nearest neighbors, kNN",") — едва ли не самый прозрачный по логике алгоритм классификации. Чтобы определить класс нового объекта ",[22,4639,4641,4654],{"className":4640},[25],[22,4642,4644],{"className":4643},[29],[31,4645,4646],{"xmlns":33},[35,4647,4648,4652],{},[38,4649,4650],{},[41,4651,113],{},[45,4653,113],{"encoding":47},[22,4655,4657],{"className":4656,"ariaHidden":52},[51],[22,4658,4660,4663],{"className":4659},[56],[22,4661],{"className":4662,"style":1800},[60],[22,4664,113],{"className":4665},[65,66],", мы находим в обучающей выборке ",[22,4668,4670,4683],{"className":4669},[25],[22,4671,4673],{"className":4672},[29],[31,4674,4675],{"xmlns":33},[35,4676,4677,4681],{},[38,4678,4679],{},[41,4680,43],{},[45,4682,43],{"encoding":47},[22,4684,4686],{"className":4685,"ariaHidden":52},[51],[22,4687,4689,4692],{"className":4688},[56],[22,4690],{"className":4691,"style":61},[60],[22,4693,43],{"className":4694,"style":67},[65,66]," объектов, ближайших к ",[22,4697,4699,4712],{"className":4698},[25],[22,4700,4702],{"className":4701},[29],[31,4703,4704],{"xmlns":33},[35,4705,4706,4710],{},[38,4707,4708],{},[41,4709,113],{},[45,4711,113],{"encoding":47},[22,4713,4715],{"className":4714,"ariaHidden":52},[51],[22,4716,4718,4721],{"className":4717},[56],[22,4719],{"className":4720,"style":1800},[60],[22,4722,113],{"className":4723},[65,66]," по выбранной метрике, и приписываем ",[22,4726,4728,4741],{"className":4727},[25],[22,4729,4731],{"className":4730},[29],[31,4732,4733],{"xmlns":33},[35,4734,4735,4739],{},[38,4736,4737],{},[41,4738,113],{},[45,4740,113],{"encoding":47},[22,4742,4744],{"className":4743,"ariaHidden":52},[51],[22,4745,4747,4750],{"className":4746},[56],[22,4748],{"className":4749,"style":1800},[60],[22,4751,113],{"className":4752},[65,66]," тот класс, который встречается среди соседей чаще. В случае равенства голосов используется одно из соглашений: ближайший сосед, наименьший класс, случайный выбор.",[15,4755,4756,4757,4766,4767,4775,4776,4827,4828,4881],{},"Метод предложен Фиксом и Ходжесом ещё в 1951 году ",[1715,4758,4760],{"className":4759},[1718],[1720,4761,4763],{"href":4762},"#ref-4",[22,4764,4765],{},"4",", а классический результат об асимптотических свойствах принадлежит Ковер и Харт ",[1715,4768,4770],{"className":4769},[1718],[1720,4771,4773],{"href":4772},"#ref-5",[22,4774,2438],{},": ошибка одного ближайшего соседа (",[22,4777,4779,4797],{"className":4778},[25],[22,4780,4782],{"className":4781},[29],[31,4783,4784],{"xmlns":33},[35,4785,4786,4794],{},[38,4787,4788,4790,4792],{},[41,4789,43],{},[98,4791,100],{},[143,4793,145],{},[45,4795,4796],{"encoding":47},"k = 1",[22,4798,4800,4818],{"className":4799,"ariaHidden":52},[51],[22,4801,4803,4806,4809,4812,4815],{"className":4802},[56],[22,4804],{"className":4805,"style":61},[60],[22,4807,43],{"className":4808,"style":67},[65,66],[22,4810],{"className":4811,"style":170},[169],[22,4813,100],{"className":4814},[174],[22,4816],{"className":4817,"style":170},[169],[22,4819,4821,4824],{"className":4820},[56],[22,4822],{"className":4823,"style":806},[60],[22,4825,145],{"className":4826},[65],") при ",[22,4829,4831,4851],{"className":4830},[25],[22,4832,4834],{"className":4833},[29],[31,4835,4836],{"xmlns":33},[35,4837,4838,4848],{},[38,4839,4840,4842,4845],{},[41,4841,148],{},[98,4843,4844],{},"→",[41,4846,4847],{"mathvariant":1063},"∞",[45,4849,4850],{"encoding":47},"n \\to \\infty",[22,4852,4854,4872],{"className":4853,"ariaHidden":52},[51],[22,4855,4857,4860,4863,4866,4869],{"className":4856},[56],[22,4858],{"className":4859,"style":1800},[60],[22,4861,148],{"className":4862},[65,66],[22,4864],{"className":4865,"style":170},[169],[22,4867,4844],{"className":4868},[174],[22,4870],{"className":4871,"style":170},[169],[22,4873,4875,4878],{"className":4874},[56],[22,4876],{"className":4877,"style":1800},[60],[22,4879,4847],{"className":4880},[65]," не превосходит удвоенной байесовской ошибки. Для метода без обучения и без модели в обычном смысле слова — результат удивительно сильный.",[15,4883,4884,4885,4943,4944,5336,5337,5548,5549,5660,5661,5689,5690,5718,5719,5747],{},"Формально решающее правило записывается так. Зафиксируем метрику расстояния ",[22,4886,4888,4913],{"className":4887},[25],[22,4889,4891],{"className":4890},[29],[31,4892,4893],{"xmlns":33},[35,4894,4895,4910],{},[38,4896,4897,4899,4901,4904,4906,4908],{},[41,4898,398],{},[98,4900,107],{"stretchy":103},[98,4902,4903],{},"⋅",[98,4905,119],{"separator":52},[98,4907,4903],{},[98,4909,129],{"stretchy":103},[45,4911,4912],{"encoding":47},"d(\\cdot, \\cdot)",[22,4914,4916],{"className":4915,"ariaHidden":52},[51],[22,4917,4919,4922,4925,4928,4931,4934,4937,4940],{"className":4918},[56],[22,4920],{"className":4921,"style":647},[60],[22,4923,398],{"className":4924},[65,66],[22,4926,107],{"className":4927},[188],[22,4929,4903],{"className":4930},[65],[22,4932,119],{"className":4933},[249],[22,4935],{"className":4936,"style":253},[169],[22,4938,4903],{"className":4939},[65],[22,4941,129],{"className":4942},[299]," — обычно евклидову ",[22,4945,4947,5014],{"className":4946},[25],[22,4948,4950],{"className":4949},[29],[31,4951,4952],{"xmlns":33},[35,4953,4954,5011],{},[38,4955,4956,4958,4960,4962,4964,4972,4974,4976],{},[41,4957,398],{},[98,4959,107],{"stretchy":103},[41,4961,113],{},[98,4963,119],{"separator":52},[390,4965,4966,4968],{},[41,4967,113],{},[98,4969,4971],{"mathvariant":1063,"lspace":4970,"rspace":4970},"0em","′",[98,4973,129],{"stretchy":103},[98,4975,100],{},[4977,4978,4979],"msqrt",{},[38,4980,4981,4987,4989,4995,4997,5005],{},[109,4982,4983,4985],{},[98,4984,3225],{},[41,4986,4298],{},[98,4988,107],{"stretchy":103},[109,4990,4991,4993],{},[41,4992,113],{},[41,4994,4298],{},[98,4996,891],{},[131,4998,4999,5001,5003],{},[41,5000,113],{},[41,5002,4298],{},[98,5004,4971],{"mathvariant":1063,"lspace":4970,"rspace":4970},[390,5006,5007,5009],{},[98,5008,129],{"stretchy":103},[143,5010,775],{},[45,5012,5013],{"encoding":47},"d(x, x') = \\sqrt{\\sum_j (x_j - x'_j)^2}",[22,5015,5017,5084],{"className":5016,"ariaHidden":52},[51],[22,5018,5020,5024,5027,5030,5033,5036,5039,5072,5075,5078,5081],{"className":5019},[56],[22,5021],{"className":5022,"style":5023},[60],"height:1.0019em;vertical-align:-0.25em;",[22,5025,398],{"className":5026},[65,66],[22,5028,107],{"className":5029},[188],[22,5031,113],{"className":5032},[65,66],[22,5034,119],{"className":5035},[249],[22,5037],{"className":5038,"style":253},[169],[22,5040,5042,5045],{"className":5041},[65],[22,5043,113],{"className":5044},[65,66],[22,5046,5048],{"className":5047},[199],[22,5049,5051],{"className":5050},[203],[22,5052,5054],{"className":5053},[208],[22,5055,5058],{"className":5056,"style":5057},[212],"height:0.7519em;",[22,5059,5060,5063],{"style":342},[22,5061],{"className":5062,"style":221},[220],[22,5064,5066],{"className":5065},[225,226,227,228],[22,5067,5069],{"className":5068},[65,228],[22,5070,4971],{"className":5071},[65,228],[22,5073,129],{"className":5074},[299],[22,5076],{"className":5077,"style":170},[169],[22,5079,100],{"className":5080},[174],[22,5082],{"className":5083,"style":170},[169],[22,5085,5087,5091],{"className":5086},[56],[22,5088],{"className":5089,"style":5090},[60],"height:1.84em;vertical-align:-0.6979em;",[22,5092,5095],{"className":5093},[65,5094],"sqrt",[22,5096,5098,5327],{"className":5097},[203,204],[22,5099,5101,5324],{"className":5100},[208],[22,5102,5105,5301],{"className":5103,"style":5104},[212],"height:1.1421em;",[22,5106,5110,5114],{"className":5107,"style":5109},[5108],"svg-align","top:-3.8em;",[22,5111],{"className":5112,"style":5113},[220],"height:3.8em;",[22,5115,5118,5160,5163,5203,5206,5209,5212,5270],{"className":5116,"style":5117},[65],"padding-left:1em;",[22,5119,5121,5124],{"className":5120},[3437],[22,5122,3225],{"className":5123,"style":3443},[3437,3441,3442],[22,5125,5127],{"className":5126},[199],[22,5128,5130,5151],{"className":5129},[203,204],[22,5131,5133,5148],{"className":5132},[208],[22,5134,5137],{"className":5135,"style":5136},[212],"height:0.162em;",[22,5138,5139,5142],{"style":3459},[22,5140],{"className":5141,"style":221},[220],[22,5143,5145],{"className":5144},[225,226,227,228],[22,5146,4298],{"className":5147,"style":4342},[65,66,228],[22,5149,236],{"className":5150},[235],[22,5152,5154],{"className":5153},[208],[22,5155,5158],{"className":5156,"style":5157},[212],"height:0.4358em;",[22,5159],{},[22,5161,107],{"className":5162},[188],[22,5164,5166,5169],{"className":5165},[65],[22,5167,113],{"className":5168},[65,66],[22,5170,5172],{"className":5171},[199],[22,5173,5175,5195],{"className":5174},[203,204],[22,5176,5178,5192],{"className":5177},[208],[22,5179,5181],{"className":5180,"style":213},[212],[22,5182,5183,5186],{"style":216},[22,5184],{"className":5185,"style":221},[220],[22,5187,5189],{"className":5188},[225,226,227,228],[22,5190,4298],{"className":5191,"style":4342},[65,66,228],[22,5193,236],{"className":5194},[235],[22,5196,5198],{"className":5197},[208],[22,5199,5201],{"className":5200,"style":4352},[212],[22,5202],{},[22,5204],{"className":5205,"style":1091},[169],[22,5207,891],{"className":5208},[1095],[22,5210],{"className":5211,"style":1091},[169],[22,5213,5215,5218],{"className":5214},[65],[22,5216,113],{"className":5217},[65,66],[22,5219,5221],{"className":5220},[199],[22,5222,5224,5261],{"className":5223},[203,204],[22,5225,5227,5258],{"className":5226},[208],[22,5228,5231,5243],{"className":5229,"style":5230},[212],"height:0.7337em;",[22,5232,5234,5237],{"style":5233},"top:-2.4231em;margin-left:0em;margin-right:0.05em;",[22,5235],{"className":5236,"style":221},[220],[22,5238,5240],{"className":5239},[225,226,227,228],[22,5241,4298],{"className":5242,"style":4342},[65,66,228],[22,5244,5246,5249],{"style":5245},"top:-3.0448em;margin-right:0.05em;",[22,5247],{"className":5248,"style":221},[220],[22,5250,5252],{"className":5251},[225,226,227,228],[22,5253,5255],{"className":5254},[65,228],[22,5256,4971],{"className":5257},[65,228],[22,5259,236],{"className":5260},[235],[22,5262,5264],{"className":5263},[208],[22,5265,5268],{"className":5266,"style":5267},[212],"height:0.413em;",[22,5269],{},[22,5271,5273,5276],{"className":5272},[299],[22,5274,129],{"className":5275},[299],[22,5277,5279],{"className":5278},[199],[22,5280,5282],{"className":5281},[203],[22,5283,5285],{"className":5284},[208],[22,5286,5289],{"className":5287,"style":5288},[212],"height:0.7401em;",[22,5290,5292,5295],{"style":5291},"top:-2.989em;margin-right:0.05em;",[22,5293],{"className":5294,"style":221},[220],[22,5296,5298],{"className":5297},[225,226,227,228],[22,5299,775],{"className":5300},[65,228],[22,5302,5304,5307],{"style":5303},"top:-3.1021em;",[22,5305],{"className":5306,"style":5113},[220],[22,5308,5312],{"className":5309,"style":5311},[5310],"hide-tail","min-width:1.02em;height:1.88em;",[5313,5314,5320],"svg",{"xmlns":5315,"width":5316,"height":5317,"viewBox":5318,"preserveAspectRatio":5319},"http:\u002F\u002Fwww.w3.org\u002F2000\u002Fsvg","400em","1.88em","0 0 400000 1944","xMinYMin slice",[5321,5322],"path",{"d":5323},"M983 90\nl0 -0\nc4,-6.7,10,-10,18,-10 H400000v40\nH1013.1s-83.4,268,-264.1,840c-180.7,572,-277,876.3,-289,913c-4.7,4.7,-12.7,7,-24,7\ns-12,0,-12,0c-1.3,-3.3,-3.7,-11.7,-7,-25c-35.3,-125.3,-106.7,-373.3,-214,-744\nc-10,12,-21,25,-33,39s-32,39,-32,39c-6,-5.3,-15,-14,-27,-26s25,-30,25,-30\nc26.7,-32.7,52,-63,76,-91s52,-60,52,-60s208,722,208,722\nc56,-175.3,126.3,-397.3,211,-666c84.7,-268.7,153.8,-488.2,207.5,-658.5\nc53.7,-170.3,84.5,-266.8,92.5,-289.5z\nM1001 80h400000v40h-400000z",[22,5325,236],{"className":5326},[235],[22,5328,5330],{"className":5329},[208],[22,5331,5334],{"className":5332,"style":5333},[212],"height:0.6979em;",[22,5335],{},", иногда манхэттенскую ",[22,5338,5340,5378],{"className":5339},[25],[22,5341,5343],{"className":5342},[29],[31,5344,5345],{"xmlns":33},[35,5346,5347,5375],{},[38,5348,5349,5355,5357,5363,5365,5373],{},[109,5350,5351,5353],{},[98,5352,3225],{},[41,5354,4298],{},[41,5356,1294],{"mathvariant":1063},[109,5358,5359,5361],{},[41,5360,113],{},[41,5362,4298],{},[98,5364,891],{},[131,5366,5367,5369,5371],{},[41,5368,113],{},[41,5370,4298],{},[98,5372,4971],{"mathvariant":1063,"lspace":4970,"rspace":4970},[41,5374,1294],{"mathvariant":1063},[45,5376,5377],{"encoding":47},"\\sum_j |x_j - x'_j|",[22,5379,5381,5483],{"className":5380,"ariaHidden":52},[51],[22,5382,5384,5388,5428,5431,5434,5474,5477,5480],{"className":5383},[56],[22,5385],{"className":5386,"style":5387},[60],"height:1.1858em;vertical-align:-0.4358em;",[22,5389,5391,5394],{"className":5390},[3437],[22,5392,3225],{"className":5393,"style":3443},[3437,3441,3442],[22,5395,5397],{"className":5396},[199],[22,5398,5400,5420],{"className":5399},[203,204],[22,5401,5403,5417],{"className":5402},[208],[22,5404,5406],{"className":5405,"style":5136},[212],[22,5407,5408,5411],{"style":3459},[22,5409],{"className":5410,"style":221},[220],[22,5412,5414],{"className":5413},[225,226,227,228],[22,5415,4298],{"className":5416,"style":4342},[65,66,228],[22,5418,236],{"className":5419},[235],[22,5421,5423],{"className":5422},[208],[22,5424,5426],{"className":5425,"style":5157},[212],[22,5427],{},[22,5429],{"className":5430,"style":253},[169],[22,5432,1294],{"className":5433},[65],[22,5435,5437,5440],{"className":5436},[65],[22,5438,113],{"className":5439},[65,66],[22,5441,5443],{"className":5442},[199],[22,5444,5446,5466],{"className":5445},[203,204],[22,5447,5449,5463],{"className":5448},[208],[22,5450,5452],{"className":5451,"style":213},[212],[22,5453,5454,5457],{"style":216},[22,5455],{"className":5456,"style":221},[220],[22,5458,5460],{"className":5459},[225,226,227,228],[22,5461,4298],{"className":5462,"style":4342},[65,66,228],[22,5464,236],{"className":5465},[235],[22,5467,5469],{"className":5468},[208],[22,5470,5472],{"className":5471,"style":4352},[212],[22,5473],{},[22,5475],{"className":5476,"style":1091},[169],[22,5478,891],{"className":5479},[1095],[22,5481],{"className":5482,"style":1091},[169],[22,5484,5486,5490,5545],{"className":5485},[56],[22,5487],{"className":5488,"style":5489},[60],"height:1.1467em;vertical-align:-0.3948em;",[22,5491,5493,5496],{"className":5492},[65],[22,5494,113],{"className":5495},[65,66],[22,5497,5499],{"className":5498},[199],[22,5500,5502,5536],{"className":5501},[203,204],[22,5503,5505,5533],{"className":5504},[208],[22,5506,5508,5519],{"className":5507,"style":5057},[212],[22,5509,5510,5513],{"style":321},[22,5511],{"className":5512,"style":221},[220],[22,5514,5516],{"className":5515},[225,226,227,228],[22,5517,4298],{"className":5518,"style":4342},[65,66,228],[22,5520,5521,5524],{"style":342},[22,5522],{"className":5523,"style":221},[220],[22,5525,5527],{"className":5526},[225,226,227,228],[22,5528,5530],{"className":5529},[65,228],[22,5531,4971],{"className":5532},[65,228],[22,5534,236],{"className":5535},[235],[22,5537,5539],{"className":5538},[208],[22,5540,5543],{"className":5541,"style":5542},[212],"height:0.3948em;",[22,5544],{},[22,5546,1294],{"className":5547},[65]," или косинусную для разреженных текстовых признаков. Пусть ",[22,5550,5552,5582],{"className":5551},[25],[22,5553,5555],{"className":5554},[29],[31,5556,5557],{"xmlns":33},[35,5558,5559,5579],{},[38,5560,5561,5568,5570,5572,5574,5577],{},[109,5562,5563,5566],{},[41,5564,5565],{},"N",[41,5567,43],{},[98,5569,107],{"stretchy":103},[41,5571,113],{},[98,5573,129],{"stretchy":103},[98,5575,5576],{},"⊂",[41,5578,96],{},[45,5580,5581],{"encoding":47},"N_k(x) \\subset D",[22,5583,5585,5651],{"className":5584,"ariaHidden":52},[51],[22,5586,5588,5591,5633,5636,5639,5642,5645,5648],{"className":5587},[56],[22,5589],{"className":5590,"style":647},[60],[22,5592,5594,5598],{"className":5593},[65],[22,5595,5565],{"className":5596,"style":5597},[65,66],"margin-right:0.109em;",[22,5599,5601],{"className":5600},[199],[22,5602,5604,5625],{"className":5603},[203,204],[22,5605,5607,5622],{"className":5606},[208],[22,5608,5610],{"className":5609,"style":1390},[212],[22,5611,5613,5616],{"style":5612},"top:-2.55em;margin-left:-0.109em;margin-right:0.05em;",[22,5614],{"className":5615,"style":221},[220],[22,5617,5619],{"className":5618},[225,226,227,228],[22,5620,43],{"className":5621,"style":67},[65,66,228],[22,5623,236],{"className":5624},[235],[22,5626,5628],{"className":5627},[208],[22,5629,5631],{"className":5630,"style":243},[212],[22,5632],{},[22,5634,107],{"className":5635},[188],[22,5637,113],{"className":5638},[65,66],[22,5640,129],{"className":5641},[299],[22,5643],{"className":5644,"style":170},[169],[22,5646,5576],{"className":5647},[174],[22,5649],{"className":5650,"style":170},[169],[22,5652,5654,5657],{"className":5653},[56],[22,5655],{"className":5656,"style":161},[60],[22,5658,96],{"className":5659,"style":165},[65,66]," — множество ",[22,5662,5664,5677],{"className":5663},[25],[22,5665,5667],{"className":5666},[29],[31,5668,5669],{"xmlns":33},[35,5670,5671,5675],{},[38,5672,5673],{},[41,5674,43],{},[45,5676,43],{"encoding":47},[22,5678,5680],{"className":5679,"ariaHidden":52},[51],[22,5681,5683,5686],{"className":5682},[56],[22,5684],{"className":5685,"style":61},[60],[22,5687,43],{"className":5688,"style":67},[65,66]," объектов обучающей выборки, ближайших к ",[22,5691,5693,5706],{"className":5692},[25],[22,5694,5696],{"className":5695},[29],[31,5697,5698],{"xmlns":33},[35,5699,5700,5704],{},[38,5701,5702],{},[41,5703,113],{},[45,5705,113],{"encoding":47},[22,5707,5709],{"className":5708,"ariaHidden":52},[51],[22,5710,5712,5715],{"className":5711},[56],[22,5713],{"className":5714,"style":1800},[60],[22,5716,113],{"className":5717},[65,66]," по ",[22,5720,5722,5735],{"className":5721},[25],[22,5723,5725],{"className":5724},[29],[31,5726,5727],{"xmlns":33},[35,5728,5729,5733],{},[38,5730,5731],{},[41,5732,398],{},[45,5734,398],{"encoding":47},[22,5736,5738],{"className":5737,"ariaHidden":52},[51],[22,5739,5741,5744],{"className":5740},[56],[22,5742],{"className":5743,"style":61},[60],[22,5745,398],{"className":5746},[65,66],". Тогда",[15,5749,5750],{},[22,5751,5753,5857],{"className":5752},[25],[22,5754,5756],{"className":5755},[29],[31,5757,5758],{"xmlns":33},[35,5759,5760,5854],{},[38,5761,5762,5768,5770,5772,5774,5776,5779,5781,5798,5836,5838,5840,5846,5848,5850,5852],{},[1272,5763,5764,5766],{"accent":52},[41,5765,124],{},[98,5767,1279],{},[98,5769,107],{"stretchy":103},[41,5771,113],{},[98,5773,129],{"stretchy":103},[98,5775,100],{},[41,5777,5778],{},"arg",[98,5780,3252],{},[109,5782,5783,5790],{},[38,5784,5785,5788],{},[41,5786,5787],{},"max",[98,5789,3252],{},[38,5791,5792,5794,5796],{},[41,5793,595],{},[98,5795,388],{},[41,5797,586],{"mathvariant":585},[109,5799,5800,5802],{},[98,5801,3225],{},[38,5803,5804,5806,5812,5814,5820,5822,5824,5830,5832,5834],{},[98,5805,107],{"stretchy":103},[109,5807,5808,5810],{},[41,5809,113],{},[41,5811,116],{},[98,5813,119],{"separator":52},[109,5815,5816,5818],{},[41,5817,124],{},[41,5819,116],{},[98,5821,129],{"stretchy":103},[98,5823,388],{},[109,5825,5826,5828],{},[41,5827,5565],{},[41,5829,43],{},[98,5831,107],{"stretchy":103},[41,5833,113],{},[98,5835,129],{"stretchy":103},[143,5837,145],{"mathvariant":394},[98,5839,3240],{"stretchy":103},[109,5841,5842,5844],{},[41,5843,124],{},[41,5845,116],{},[98,5847,100],{},[41,5849,595],{},[98,5851,3307],{"stretchy":103},[41,5853,2123],{"mathvariant":1063},[45,5855,5856],{"encoding":47},"\\hat{y}(x) = \\arg\\max_{c \\in \\mathcal{Y}} \\sum_{(x_i, y_i) \\in N_k(x)} \\mathbb{1}[y_i = c].",[22,5858,5860,5926,6244],{"className":5859,"ariaHidden":52},[51],[22,5861,5863,5866,5908,5911,5914,5917,5920,5923],{"className":5862},[56],[22,5864],{"className":5865,"style":647},[60],[22,5867,5869],{"className":5868},[65,1315],[22,5870,5872,5900],{"className":5871},[203,204],[22,5873,5875,5897],{"className":5874},[208],[22,5876,5878,5886],{"className":5877,"style":61},[212],[22,5879,5880,5883],{"style":1328},[22,5881],{"className":5882,"style":1332},[220],[22,5884,124],{"className":5885,"style":260},[65,66],[22,5887,5888,5891],{"style":1328},[22,5889],{"className":5890,"style":1332},[220],[22,5892,5894],{"className":5893,"style":2722},[1346],[22,5895,1279],{"className":5896},[65],[22,5898,236],{"className":5899},[235],[22,5901,5903],{"className":5902},[208],[22,5904,5906],{"className":5905,"style":2735},[212],[22,5907],{},[22,5909,107],{"className":5910},[188],[22,5912,113],{"className":5913},[65,66],[22,5915,129],{"className":5916},[299],[22,5918],{"className":5919,"style":170},[169],[22,5921,100],{"className":5922},[174],[22,5924],{"className":5925,"style":170},[169],[22,5927,5929,5933,5939,5942,5993,5996,6186,6189,6192,6195,6235,6238,6241],{"className":5928},[56],[22,5930],{"className":5931,"style":5932},[60],"height:1.2247em;vertical-align:-0.4747em;",[22,5934,5936,5937],{"className":5935},[3437],"ar",[22,5938,3566],{"style":3565},[22,5940],{"className":5941,"style":253},[169],[22,5943,5945,5948],{"className":5944},[3437],[22,5946,5787],{"className":5947},[3437],[22,5949,5951],{"className":5950},[199],[22,5952,5954,5984],{"className":5953},[203,204],[22,5955,5957,5981],{"className":5956},[208],[22,5958,5960],{"className":5959,"style":729},[212],[22,5961,5963,5966],{"style":5962},"top:-2.55em;margin-right:0.05em;",[22,5964],{"className":5965,"style":221},[220],[22,5967,5969],{"className":5968},[225,226,227,228],[22,5970,5972,5975,5978],{"className":5971},[65,228],[22,5973,595],{"className":5974},[65,66,228],[22,5976,388],{"className":5977},[174,228],[22,5979,586],{"className":5980,"style":631},[65,630,228],[22,5982,236],{"className":5983},[235],[22,5985,5987],{"className":5986},[208],[22,5988,5991],{"className":5989,"style":5990},[212],"height:0.2181em;",[22,5992],{},[22,5994],{"className":5995,"style":253},[169],[22,5997,5999,6002],{"className":5998},[3437],[22,6000,3225],{"className":6001,"style":3443},[3437,3441,3442],[22,6003,6005],{"className":6004},[199],[22,6006,6008,6177],{"className":6007},[203,204],[22,6009,6011,6174],{"className":6010},[208],[22,6012,6015],{"className":6013,"style":6014},[212],"height:0.2253em;",[22,6016,6017,6020],{"style":3459},[22,6018],{"className":6019,"style":221},[220],[22,6021,6023],{"className":6022},[225,226,227,228],[22,6024,6026,6029,6072,6075,6116,6119,6122,6165,6168,6171],{"className":6025},[65,228],[22,6027,107],{"className":6028},[188,228],[22,6030,6032,6035],{"className":6031},[65,228],[22,6033,113],{"className":6034},[65,66,228],[22,6036,6038],{"className":6037},[199],[22,6039,6041,6063],{"className":6040},[203,204],[22,6042,6044,6060],{"className":6043},[208],[22,6045,6048],{"className":6046,"style":6047},[212],"height:0.3281em;",[22,6049,6051,6054],{"style":6050},"top:-2.357em;margin-left:0em;margin-right:0.0714em;",[22,6052],{"className":6053,"style":2227},[220],[22,6055,6057],{"className":6056},[225,2231,2232,228],[22,6058,116],{"className":6059},[65,66,228],[22,6061,236],{"className":6062},[235],[22,6064,6066],{"className":6065},[208],[22,6067,6070],{"className":6068,"style":6069},[212],"height:0.143em;",[22,6071],{},[22,6073,119],{"className":6074},[249,228],[22,6076,6078,6081],{"className":6077},[65,228],[22,6079,124],{"className":6080,"style":260},[65,66,228],[22,6082,6084],{"className":6083},[199],[22,6085,6087,6108],{"className":6086},[203,204],[22,6088,6090,6105],{"className":6089},[208],[22,6091,6093],{"className":6092,"style":6047},[212],[22,6094,6096,6099],{"style":6095},"top:-2.357em;margin-left:-0.0359em;margin-right:0.0714em;",[22,6097],{"className":6098,"style":2227},[220],[22,6100,6102],{"className":6101},[225,2231,2232,228],[22,6103,116],{"className":6104},[65,66,228],[22,6106,236],{"className":6107},[235],[22,6109,6111],{"className":6110},[208],[22,6112,6114],{"className":6113,"style":6069},[212],[22,6115],{},[22,6117,129],{"className":6118},[299,228],[22,6120,388],{"className":6121},[174,228],[22,6123,6125,6128],{"className":6124},[65,228],[22,6126,5565],{"className":6127,"style":5597},[65,66,228],[22,6129,6131],{"className":6130},[199],[22,6132,6134,6156],{"className":6133},[203,204],[22,6135,6137,6153],{"className":6136},[208],[22,6138,6141],{"className":6139,"style":6140},[212],"height:0.3448em;",[22,6142,6144,6147],{"style":6143},"top:-2.3488em;margin-left:-0.109em;margin-right:0.0714em;",[22,6145],{"className":6146,"style":2227},[220],[22,6148,6150],{"className":6149},[225,2231,2232,228],[22,6151,43],{"className":6152,"style":67},[65,66,228],[22,6154,236],{"className":6155},[235],[22,6157,6159],{"className":6158},[208],[22,6160,6163],{"className":6161,"style":6162},[212],"height:0.1512em;",[22,6164],{},[22,6166,107],{"className":6167},[188,228],[22,6169,113],{"className":6170},[65,66,228],[22,6172,129],{"className":6173},[299,228],[22,6175,236],{"className":6176},[235],[22,6178,6180],{"className":6179},[208],[22,6181,6184],{"className":6182,"style":6183},[212],"height:0.4747em;",[22,6185],{},[22,6187],{"className":6188,"style":253},[169],[22,6190,145],{"className":6191},[65],[22,6193,3240],{"className":6194},[188],[22,6196,6198,6201],{"className":6197},[65],[22,6199,124],{"className":6200,"style":260},[65,66],[22,6202,6204],{"className":6203},[199],[22,6205,6207,6227],{"className":6206},[203,204],[22,6208,6210,6224],{"className":6209},[208],[22,6211,6213],{"className":6212,"style":213},[212],[22,6214,6215,6218],{"style":275},[22,6216],{"className":6217,"style":221},[220],[22,6219,6221],{"className":6220},[225,226,227,228],[22,6222,116],{"className":6223},[65,66,228],[22,6225,236],{"className":6226},[235],[22,6228,6230],{"className":6229},[208],[22,6231,6233],{"className":6232,"style":243},[212],[22,6234],{},[22,6236],{"className":6237,"style":170},[169],[22,6239,100],{"className":6240},[174],[22,6242],{"className":6243,"style":170},[169],[22,6245,6247,6250,6253,6256],{"className":6246},[56],[22,6248],{"className":6249,"style":647},[60],[22,6251,595],{"className":6252},[65,66],[22,6254,3307],{"className":6255},[299],[22,6257,2123],{"className":6258},[65],[15,6260,6261],{},"Голосование можно сделать взвешенным: вес соседа обратно пропорционален расстоянию, тогда более близкие объекты влияют сильнее.",[15,6263,6264,6265,6293,6294,6344,6345,6373,6374,6402,6403,6487],{},"Выбор ",[22,6266,6268,6281],{"className":6267},[25],[22,6269,6271],{"className":6270},[29],[31,6272,6273],{"xmlns":33},[35,6274,6275,6279],{},[38,6276,6277],{},[41,6278,43],{},[45,6280,43],{"encoding":47},[22,6282,6284],{"className":6283,"ariaHidden":52},[51],[22,6285,6287,6290],{"className":6286},[56],[22,6288],{"className":6289,"style":61},[60],[22,6291,43],{"className":6292,"style":67},[65,66]," — главный гиперпараметр. При ",[22,6295,6297,6314],{"className":6296},[25],[22,6298,6300],{"className":6299},[29],[31,6301,6302],{"xmlns":33},[35,6303,6304,6312],{},[38,6305,6306,6308,6310],{},[41,6307,43],{},[98,6309,100],{},[143,6311,145],{},[45,6313,4796],{"encoding":47},[22,6315,6317,6335],{"className":6316,"ariaHidden":52},[51],[22,6318,6320,6323,6326,6329,6332],{"className":6319},[56],[22,6321],{"className":6322,"style":61},[60],[22,6324,43],{"className":6325,"style":67},[65,66],[22,6327],{"className":6328,"style":170},[169],[22,6330,100],{"className":6331},[174],[22,6333],{"className":6334,"style":170},[169],[22,6336,6338,6341],{"className":6337},[56],[22,6339],{"className":6340,"style":806},[60],[22,6342,145],{"className":6343},[65]," модель идеально подгоняется под обучающую выборку (нулевая ошибка обучения), но крайне чувствительна к шуму: один ошибочно размеченный объект меняет класс целой окрестности. С ростом ",[22,6346,6348,6361],{"className":6347},[25],[22,6349,6351],{"className":6350},[29],[31,6352,6353],{"xmlns":33},[35,6354,6355,6359],{},[38,6356,6357],{},[41,6358,43],{},[45,6360,43],{"encoding":47},[22,6362,6364],{"className":6363,"ariaHidden":52},[51],[22,6365,6367,6370],{"className":6366},[56],[22,6368],{"className":6369,"style":61},[60],[22,6371,43],{"className":6372,"style":67},[65,66]," граница становится глаже, а модель — устойчивее к шуму, но рискует размыть малочисленные классы. Типичные значения — от ",[22,6375,6377,6390],{"className":6376},[25],[22,6378,6380],{"className":6379},[29],[31,6381,6382],{"xmlns":33},[35,6383,6384,6388],{},[38,6385,6386],{},[143,6387,4276],{},[45,6389,4276],{"encoding":47},[22,6391,6393],{"className":6392,"ariaHidden":52},[51],[22,6394,6396,6399],{"className":6395},[56],[22,6397],{"className":6398,"style":806},[60],[22,6400,4276],{"className":6401},[65]," до ",[22,6404,6406,6422],{"className":6405},[25],[22,6407,6409],{"className":6408},[29],[31,6410,6411],{"xmlns":33},[35,6412,6413,6419],{},[38,6414,6415],{},[4977,6416,6417],{},[41,6418,148],{},[45,6420,6421],{"encoding":47},"\\sqrt{n}",[22,6423,6425],{"className":6424,"ariaHidden":52},[51],[22,6426,6428,6432],{"className":6427},[56],[22,6429],{"className":6430,"style":6431},[60],"height:1.04em;vertical-align:-0.2397em;",[22,6433,6435],{"className":6434},[65,5094],[22,6436,6438,6478],{"className":6437},[203,204],[22,6439,6441,6475],{"className":6440},[208],[22,6442,6445,6458],{"className":6443,"style":6444},[212],"height:0.8003em;",[22,6446,6448,6451],{"className":6447,"style":1328},[5108],[22,6449],{"className":6450,"style":1332},[220],[22,6452,6455],{"className":6453,"style":6454},[65],"padding-left:0.833em;",[22,6456,148],{"className":6457},[65,66],[22,6459,6461,6464],{"style":6460},"top:-2.7603em;",[22,6462],{"className":6463,"style":1332},[220],[22,6465,6468],{"className":6466,"style":6467},[5310],"min-width:0.853em;height:1.08em;",[5313,6469,6472],{"xmlns":5315,"width":5316,"height":6470,"viewBox":6471,"preserveAspectRatio":5319},"1.08em","0 0 400000 1080",[5321,6473],{"d":6474},"M95,702\nc-2.7,0,-7.17,-2.7,-13.5,-8c-5.8,-5.3,-9.5,-10,-9.5,-14\nc0,-2,0.3,-3.3,1,-4c1.3,-2.7,23.83,-20.7,67.5,-54\nc44.2,-33.3,65.8,-50.3,66.5,-51c1.3,-1.3,3,-2,5,-2c4.7,0,8.7,3.3,12,10\ns173,378,173,378c0.7,0,35.3,-71,104,-213c68.7,-142,137.5,-285,206.5,-429\nc69,-144,104.5,-217.7,106.5,-221\nl0 -0\nc5.3,-9.3,12,-14,20,-14\nH400000v40H845.2724\ns-225.272,467,-225.272,467s-235,486,-235,486c-2.7,4.7,-9,7,-19,7\nc-6,0,-10,-1,-12,-3s-194,-422,-194,-422s-65,47,-65,47z\nM834 80h400000v40h-400000z",[22,6476,236],{"className":6477},[235],[22,6479,6481],{"className":6480},[208],[22,6482,6485],{"className":6483,"style":6484},[212],"height:0.2397em;",[22,6486],{},"; конкретный выбор — через валидационную выборку или кросс-валидацию (тема 7).",[15,6489,6490,6491,815,6494,6497,6498,6501,6502,6531,6532,6561,6562,6531,6603,6643,6644,815,6647,6650],{},"Метод имеет два неустранимых ограничения. Первое — ",[812,6492,6493],{},"проклятие размерности",[817,6495,6496],{},"curse of dimensionality","): в пространствах высокой размерности расстояния между точками концентрируются вокруг общего среднего, и понятие «ближайший» теряет содержательный смысл. На датасете из миллиона изображений в исходных пиксельных признаках kNN работает плохо, и здесь нужна предварительная редукция размерности (тема 6) или обучение представлений. Второе — ",[812,6499,6500],{},"чувствительность к масштабу признаков",": евклидова метрика суммирует квадраты разностей по всем координатам, и признак с большим разбросом подавляет признак с малым. Если возраст измерен в годах (",[22,6503,6505,6519],{"className":6504},[25],[22,6506,6508],{"className":6507},[29],[31,6509,6510],{"xmlns":33},[35,6511,6512,6517],{},[38,6513,6514],{},[143,6515,6516],{},"20",[45,6518,6516],{"encoding":47},[22,6520,6522],{"className":6521,"ariaHidden":52},[51],[22,6523,6525,6528],{"className":6524},[56],[22,6526],{"className":6527,"style":806},[60],[22,6529,6516],{"className":6530},[65],"–",[22,6533,6535,6549],{"className":6534},[25],[22,6536,6538],{"className":6537},[29],[31,6539,6540],{"xmlns":33},[35,6541,6542,6547],{},[38,6543,6544],{},[143,6545,6546],{},"80",[45,6548,6546],{"encoding":47},[22,6550,6552],{"className":6551,"ariaHidden":52},[51],[22,6553,6555,6558],{"className":6554},[56],[22,6556],{"className":6557,"style":806},[60],[22,6559,6546],{"className":6560},[65],"), а зарплата — в рублях (",[22,6563,6565,6585],{"className":6564},[25],[22,6566,6568],{"className":6567},[29],[31,6569,6570],{"xmlns":33},[35,6571,6572,6582],{},[38,6573,6574,6577,6579],{},[143,6575,6576],{},"30",[2391,6578,2393],{},[143,6580,6581],{},"000",[45,6583,6584],{"encoding":47},"30\\,000",[22,6586,6588],{"className":6587,"ariaHidden":52},[51],[22,6589,6591,6594,6597,6600],{"className":6590},[56],[22,6592],{"className":6593,"style":806},[60],[22,6595,6576],{"className":6596},[65],[22,6598],{"className":6599,"style":253},[169],[22,6601,6581],{"className":6602},[65],[22,6604,6606,6625],{"className":6605},[25],[22,6607,6609],{"className":6608},[29],[31,6610,6611],{"xmlns":33},[35,6612,6613,6622],{},[38,6614,6615,6618,6620],{},[143,6616,6617],{},"300",[2391,6619,2393],{},[143,6621,6581],{},[45,6623,6624],{"encoding":47},"300\\,000",[22,6626,6628],{"className":6627,"ariaHidden":52},[51],[22,6629,6631,6634,6637,6640],{"className":6630},[56],[22,6632],{"className":6633,"style":806},[60],[22,6635,6617],{"className":6636},[65],[22,6638],{"className":6639,"style":253},[169],[22,6641,6581],{"className":6642},[65],"), второй полностью определит расстояние. Стандартное лекарство — ",[812,6645,6646],{},"масштабирование",[817,6648,6649],{},"standardization",") каждого признака к нулевому среднему и единичной дисперсии, выполненное до обучения и применённое к тестовым данным с теми же статистиками (см. тему 3 про утечку через нормализацию).",[15,6652,6653,6654,6682],{},"Платой за простоту обучения становится дороговизна предсказания: чтобы классифицировать один новый объект, нужно вычислить расстояние до всех ",[22,6655,6657,6670],{"className":6656},[25],[22,6658,6660],{"className":6659},[29],[31,6661,6662],{"xmlns":33},[35,6663,6664,6668],{},[38,6665,6666],{},[41,6667,148],{},[45,6669,148],{"encoding":47},[22,6671,6673],{"className":6672,"ariaHidden":52},[51],[22,6674,6676,6679],{"className":6675},[56],[22,6677],{"className":6678,"style":1800},[60],[22,6680,148],{"className":6681},[65,66]," обучающих точек. На больших выборках это требует структур пространственного индексирования — KD-деревьев, ball-деревьев, локально-чувствительного хеширования; в библиотеке scikit-learn они реализованы и автоматически выбираются по размеру данных.",[75,6684,6686],{"id":6685},"деревья-решений","Деревья решений",[15,6688,6689,815,6692,6695,6696,6792,6793,6888],{},[812,6690,6691],{},"Дерево решений",[817,6693,6694],{},"decision tree",") задаёт классификатор как иерархию вложенных условий на признаках. Каждый внутренний узел дерева содержит условие вида «",[22,6697,6699,6723],{"className":6698},[25],[22,6700,6702],{"className":6701},[29],[31,6703,6704],{"xmlns":33},[35,6705,6706,6720],{},[38,6707,6708,6714,6717],{},[109,6709,6710,6712],{},[41,6711,113],{},[41,6713,4298],{},[98,6715,6716],{},"≤",[41,6718,6719],{},"t",[45,6721,6722],{"encoding":47},"x_j \\leq t",[22,6724,6726,6782],{"className":6725,"ariaHidden":52},[51],[22,6727,6729,6733,6773,6776,6779],{"className":6728},[56],[22,6730],{"className":6731,"style":6732},[60],"height:0.9221em;vertical-align:-0.2861em;",[22,6734,6736,6739],{"className":6735},[65],[22,6737,113],{"className":6738},[65,66],[22,6740,6742],{"className":6741},[199],[22,6743,6745,6765],{"className":6744},[203,204],[22,6746,6748,6762],{"className":6747},[208],[22,6749,6751],{"className":6750,"style":213},[212],[22,6752,6753,6756],{"style":216},[22,6754],{"className":6755,"style":221},[220],[22,6757,6759],{"className":6758},[225,226,227,228],[22,6760,4298],{"className":6761,"style":4342},[65,66,228],[22,6763,236],{"className":6764},[235],[22,6766,6768],{"className":6767},[208],[22,6769,6771],{"className":6770,"style":4352},[212],[22,6772],{},[22,6774],{"className":6775,"style":170},[169],[22,6777,6716],{"className":6778},[174],[22,6780],{"className":6781,"style":170},[169],[22,6783,6785,6789],{"className":6784},[56],[22,6786],{"className":6787,"style":6788},[60],"height:0.6151em;",[22,6790,6719],{"className":6791},[65,66],"» (для непрерывных признаков) или «",[22,6794,6796,6819],{"className":6795},[25],[22,6797,6799],{"className":6798},[29],[31,6800,6801],{"xmlns":33},[35,6802,6803,6816],{},[38,6804,6805,6811,6813],{},[109,6806,6807,6809],{},[41,6808,113],{},[41,6810,4298],{},[98,6812,388],{},[41,6814,6815],{},"S",[45,6817,6818],{"encoding":47},"x_j \\in S",[22,6820,6822,6878],{"className":6821,"ariaHidden":52},[51],[22,6823,6825,6829,6869,6872,6875],{"className":6824},[56],[22,6826],{"className":6827,"style":6828},[60],"height:0.8252em;vertical-align:-0.2861em;",[22,6830,6832,6835],{"className":6831},[65],[22,6833,113],{"className":6834},[65,66],[22,6836,6838],{"className":6837},[199],[22,6839,6841,6861],{"className":6840},[203,204],[22,6842,6844,6858],{"className":6843},[208],[22,6845,6847],{"className":6846,"style":213},[212],[22,6848,6849,6852],{"style":216},[22,6850],{"className":6851,"style":221},[220],[22,6853,6855],{"className":6854},[225,226,227,228],[22,6856,4298],{"className":6857,"style":4342},[65,66,228],[22,6859,236],{"className":6860},[235],[22,6862,6864],{"className":6863},[208],[22,6865,6867],{"className":6866,"style":4352},[212],[22,6868],{},[22,6870],{"className":6871,"style":170},[169],[22,6873,388],{"className":6874},[174],[22,6876],{"className":6877,"style":170},[169],[22,6879,6881,6884],{"className":6880},[56],[22,6882],{"className":6883,"style":161},[60],[22,6885,6815],{"className":6886,"style":6887},[65,66],"margin-right:0.0576em;","» (для категориальных). От узла идут две ветви — «истинно» и «ложно»; в каждом листе записан класс или распределение вероятностей по классам. Чтобы предсказать класс нового объекта, мы спускаемся от корня к листу, на каждом шаге выбирая ветвь по условию.",[15,6890,6891],{},"Геометрически дерево разбивает признаковое пространство на прямоугольники, оси которых параллельны осям координат, и каждому прямоугольнику приписывает класс. Это даёт характерную «ступенчатую» границу решения, заметную на сравнительной иллюстрации в начале темы.",[15,6893,6894,6895,6924,6925,6953,6954,815,6957,6960,6961,6989,6990,7018,7019,7090,7091,7479,7480,7508,7509,815,7512,7515,7516,7789,7790,7799,7800,7809],{},"Алгоритм построения — жадный и рекурсивный. На каждом шаге для текущего узла перебираются все пары «признак ",[22,6896,6898,6911],{"className":6897},[25],[22,6899,6901],{"className":6900},[29],[31,6902,6903],{"xmlns":33},[35,6904,6905,6909],{},[38,6906,6907],{},[41,6908,4298],{},[45,6910,4298],{"encoding":47},[22,6912,6914],{"className":6913,"ariaHidden":52},[51],[22,6915,6917,6921],{"className":6916},[56],[22,6918],{"className":6919,"style":6920},[60],"height:0.854em;vertical-align:-0.1944em;",[22,6922,4298],{"className":6923,"style":4342},[65,66],", порог ",[22,6926,6928,6941],{"className":6927},[25],[22,6929,6931],{"className":6930},[29],[31,6932,6933],{"xmlns":33},[35,6934,6935,6939],{},[38,6936,6937],{},[41,6938,6719],{},[45,6940,6719],{"encoding":47},[22,6942,6944],{"className":6943,"ariaHidden":52},[51],[22,6945,6947,6950],{"className":6946},[56],[22,6948],{"className":6949,"style":6788},[60],[22,6951,6719],{"className":6952},[65,66],"», и выбирается та, что максимально «улучшает» однородность дочерних узлов. Степень однородности измеряется одним из критериев. ",[812,6955,6956],{},"Индекс Джини",[817,6958,6959],{},"Gini impurity",") для узла ",[22,6962,6964,6977],{"className":6963},[25],[22,6965,6967],{"className":6966},[29],[31,6968,6969],{"xmlns":33},[35,6970,6971,6975],{},[38,6972,6973],{},[41,6974,6815],{},[45,6976,6815],{"encoding":47},[22,6978,6980],{"className":6979,"ariaHidden":52},[51],[22,6981,6983,6986],{"className":6982},[56],[22,6984],{"className":6985,"style":161},[60],[22,6987,6815],{"className":6988,"style":6887},[65,66],", в котором доля объектов класса ",[22,6991,6993,7006],{"className":6992},[25],[22,6994,6996],{"className":6995},[29],[31,6997,6998],{"xmlns":33},[35,6999,7000,7004],{},[38,7001,7002],{},[41,7003,595],{},[45,7005,595],{"encoding":47},[22,7007,7009],{"className":7008,"ariaHidden":52},[51],[22,7010,7012,7015],{"className":7011},[56],[22,7013],{"className":7014,"style":1800},[60],[22,7016,595],{"className":7017},[65,66]," равна ",[22,7020,7022,7040],{"className":7021},[25],[22,7023,7025],{"className":7024},[29],[31,7026,7027],{"xmlns":33},[35,7028,7029,7037],{},[38,7030,7031],{},[109,7032,7033,7035],{},[41,7034,15],{},[41,7036,595],{},[45,7038,7039],{"encoding":47},"p_c",[22,7041,7043],{"className":7042,"ariaHidden":52},[51],[22,7044,7046,7049],{"className":7045},[56],[22,7047],{"className":7048,"style":529},[60],[22,7050,7052,7055],{"className":7051},[65],[22,7053,15],{"className":7054},[65,66],[22,7056,7058],{"className":7057},[199],[22,7059,7061,7082],{"className":7060},[203,204],[22,7062,7064,7079],{"className":7063},[208],[22,7065,7068],{"className":7066,"style":7067},[212],"height:0.1514em;",[22,7069,7070,7073],{"style":216},[22,7071],{"className":7072,"style":221},[220],[22,7074,7076],{"className":7075},[225,226,227,228],[22,7077,595],{"className":7078},[65,66,228],[22,7080,236],{"className":7081},[235],[22,7083,7085],{"className":7084},[208],[22,7086,7088],{"className":7087,"style":243},[212],[22,7089],{},", определяется как ",[22,7092,7094,7163],{"className":7093},[25],[22,7095,7097],{"className":7096},[29],[31,7098,7099],{"xmlns":33},[35,7100,7101,7160],{},[38,7102,7103,7106,7108,7110,7112,7114,7120,7126,7128,7130,7132,7138,7140,7142,7144,7146,7152],{},[41,7104,7105],{},"G",[98,7107,107],{"stretchy":103},[41,7109,6815],{},[98,7111,129],{"stretchy":103},[98,7113,100],{},[109,7115,7116,7118],{},[98,7117,3225],{},[41,7119,595],{},[109,7121,7122,7124],{},[41,7123,15],{},[41,7125,595],{},[98,7127,107],{"stretchy":103},[143,7129,145],{},[98,7131,891],{},[109,7133,7134,7136],{},[41,7135,15],{},[41,7137,595],{},[98,7139,129],{"stretchy":103},[98,7141,100],{},[143,7143,145],{},[98,7145,891],{},[109,7147,7148,7150],{},[98,7149,3225],{},[41,7151,595],{},[131,7153,7154,7156,7158],{},[41,7155,15],{},[41,7157,595],{},[143,7159,775],{},[45,7161,7162],{"encoding":47},"G(S) = \\sum_c p_c (1 - p_c) = 1 - \\sum_c p_c^2",[22,7164,7166,7193,7299,7357,7376],{"className":7165,"ariaHidden":52},[51],[22,7167,7169,7172,7175,7178,7181,7184,7187,7190],{"className":7168},[56],[22,7170],{"className":7171,"style":647},[60],[22,7173,7105],{"className":7174},[65,66],[22,7176,107],{"className":7177},[188],[22,7179,6815],{"className":7180,"style":6887},[65,66],[22,7182,129],{"className":7183},[299],[22,7185],{"className":7186,"style":170},[169],[22,7188,100],{"className":7189},[174],[22,7191],{"className":7192,"style":170},[169],[22,7194,7196,7200,7241,7244,7284,7287,7290,7293,7296],{"className":7195},[56],[22,7197],{"className":7198,"style":7199},[60],"height:1.0497em;vertical-align:-0.2997em;",[22,7201,7203,7206],{"className":7202},[3437],[22,7204,3225],{"className":7205,"style":3443},[3437,3441,3442],[22,7207,7209],{"className":7208},[199],[22,7210,7212,7233],{"className":7211},[203,204],[22,7213,7215,7230],{"className":7214},[208],[22,7216,7219],{"className":7217,"style":7218},[212],"height:0.0017em;",[22,7220,7221,7224],{"style":3459},[22,7222],{"className":7223,"style":221},[220],[22,7225,7227],{"className":7226},[225,226,227,228],[22,7228,595],{"className":7229},[65,66,228],[22,7231,236],{"className":7232},[235],[22,7234,7236],{"className":7235},[208],[22,7237,7239],{"className":7238,"style":3502},[212],[22,7240],{},[22,7242],{"className":7243,"style":253},[169],[22,7245,7247,7250],{"className":7246},[65],[22,7248,15],{"className":7249},[65,66],[22,7251,7253],{"className":7252},[199],[22,7254,7256,7276],{"className":7255},[203,204],[22,7257,7259,7273],{"className":7258},[208],[22,7260,7262],{"className":7261,"style":7067},[212],[22,7263,7264,7267],{"style":216},[22,7265],{"className":7266,"style":221},[220],[22,7268,7270],{"className":7269},[225,226,227,228],[22,7271,595],{"className":7272},[65,66,228],[22,7274,236],{"className":7275},[235],[22,7277,7279],{"className":7278},[208],[22,7280,7282],{"className":7281,"style":243},[212],[22,7283],{},[22,7285,107],{"className":7286},[188],[22,7288,145],{"className":7289},[65],[22,7291],{"className":7292,"style":1091},[169],[22,7294,891],{"className":7295},[1095],[22,7297],{"className":7298,"style":1091},[169],[22,7300,7302,7305,7345,7348,7351,7354],{"className":7301},[56],[22,7303],{"className":7304,"style":647},[60],[22,7306,7308,7311],{"className":7307},[65],[22,7309,15],{"className":7310},[65,66],[22,7312,7314],{"className":7313},[199],[22,7315,7317,7337],{"className":7316},[203,204],[22,7318,7320,7334],{"className":7319},[208],[22,7321,7323],{"className":7322,"style":7067},[212],[22,7324,7325,7328],{"style":216},[22,7326],{"className":7327,"style":221},[220],[22,7329,7331],{"className":7330},[225,226,227,228],[22,7332,595],{"className":7333},[65,66,228],[22,7335,236],{"className":7336},[235],[22,7338,7340],{"className":7339},[208],[22,7341,7343],{"className":7342,"style":243},[212],[22,7344],{},[22,7346,129],{"className":7347},[299],[22,7349],{"className":7350,"style":170},[169],[22,7352,100],{"className":7353},[174],[22,7355],{"className":7356,"style":170},[169],[22,7358,7360,7364,7367,7370,7373],{"className":7359},[56],[22,7361],{"className":7362,"style":7363},[60],"height:0.7278em;vertical-align:-0.0833em;",[22,7365,145],{"className":7366},[65],[22,7368],{"className":7369,"style":1091},[169],[22,7371,891],{"className":7372},[1095],[22,7374],{"className":7375,"style":1091},[169],[22,7377,7379,7383,7423,7426],{"className":7378},[56],[22,7380],{"className":7381,"style":7382},[60],"height:1.1138em;vertical-align:-0.2997em;",[22,7384,7386,7389],{"className":7385},[3437],[22,7387,3225],{"className":7388,"style":3443},[3437,3441,3442],[22,7390,7392],{"className":7391},[199],[22,7393,7395,7415],{"className":7394},[203,204],[22,7396,7398,7412],{"className":7397},[208],[22,7399,7401],{"className":7400,"style":7218},[212],[22,7402,7403,7406],{"style":3459},[22,7404],{"className":7405,"style":221},[220],[22,7407,7409],{"className":7408},[225,226,227,228],[22,7410,595],{"className":7411},[65,66,228],[22,7413,236],{"className":7414},[235],[22,7416,7418],{"className":7417},[208],[22,7419,7421],{"className":7420,"style":3502},[212],[22,7422],{},[22,7424],{"className":7425,"style":253},[169],[22,7427,7429,7432],{"className":7428},[65],[22,7430,15],{"className":7431},[65,66],[22,7433,7435],{"className":7434},[199],[22,7436,7438,7470],{"className":7437},[203,204],[22,7439,7441,7467],{"className":7440},[208],[22,7442,7444,7456],{"className":7443,"style":4029},[212],[22,7445,7447,7450],{"style":7446},"top:-2.453em;margin-left:0em;margin-right:0.05em;",[22,7448],{"className":7449,"style":221},[220],[22,7451,7453],{"className":7452},[225,226,227,228],[22,7454,595],{"className":7455},[65,66,228],[22,7457,7458,7461],{"style":342},[22,7459],{"className":7460,"style":221},[220],[22,7462,7464],{"className":7463},[225,226,227,228],[22,7465,775],{"className":7466},[65,228],[22,7468,236],{"className":7469},[235],[22,7471,7473],{"className":7472},[208],[22,7474,7477],{"className":7475,"style":7476},[212],"height:0.247em;",[22,7478],{}," и принимает значение ",[22,7481,7483,7496],{"className":7482},[25],[22,7484,7486],{"className":7485},[29],[31,7487,7488],{"xmlns":33},[35,7489,7490,7494],{},[38,7491,7492],{},[143,7493,837],{},[45,7495,837],{"encoding":47},[22,7497,7499],{"className":7498,"ariaHidden":52},[51],[22,7500,7502,7505],{"className":7501},[56],[22,7503],{"className":7504,"style":806},[60],[22,7506,837],{"className":7507},[65]," для чистого узла. ",[812,7510,7511],{},"Энтропия",[817,7513,7514],{},"entropy",") задаётся формулой ",[22,7517,7519,7572],{"className":7518},[25],[22,7520,7522],{"className":7521},[29],[31,7523,7524],{"xmlns":33},[35,7525,7526,7569],{},[38,7527,7528,7531,7533,7535,7537,7539,7541,7547,7553,7563],{},[41,7529,7530],{},"H",[98,7532,107],{"stretchy":103},[41,7534,6815],{},[98,7536,129],{"stretchy":103},[98,7538,100],{},[98,7540,891],{},[109,7542,7543,7545],{},[98,7544,3225],{},[41,7546,595],{},[109,7548,7549,7551],{},[41,7550,15],{},[41,7552,595],{},[109,7554,7555,7561],{},[38,7556,7557,7559],{},[41,7558,3249],{},[98,7560,3252],{},[143,7562,775],{},[109,7564,7565,7567],{},[41,7566,15],{},[41,7568,595],{},[45,7570,7571],{"encoding":47},"H(S) = -\\sum_c p_c \\log_2 p_c",[22,7573,7575,7603],{"className":7574,"ariaHidden":52},[51],[22,7576,7578,7581,7585,7588,7591,7594,7597,7600],{"className":7577},[56],[22,7579],{"className":7580,"style":647},[60],[22,7582,7530],{"className":7583,"style":7584},[65,66],"margin-right:0.0813em;",[22,7586,107],{"className":7587},[188],[22,7589,6815],{"className":7590,"style":6887},[65,66],[22,7592,129],{"className":7593},[299],[22,7595],{"className":7596,"style":170},[169],[22,7598,100],{"className":7599},[174],[22,7601],{"className":7602,"style":170},[169],[22,7604,7606,7609,7612,7615,7655,7658,7698,7701,7746,7749],{"className":7605},[56],[22,7607],{"className":7608,"style":7199},[60],[22,7610,891],{"className":7611},[65],[22,7613],{"className":7614,"style":253},[169],[22,7616,7618,7621],{"className":7617},[3437],[22,7619,3225],{"className":7620,"style":3443},[3437,3441,3442],[22,7622,7624],{"className":7623},[199],[22,7625,7627,7647],{"className":7626},[203,204],[22,7628,7630,7644],{"className":7629},[208],[22,7631,7633],{"className":7632,"style":7218},[212],[22,7634,7635,7638],{"style":3459},[22,7636],{"className":7637,"style":221},[220],[22,7639,7641],{"className":7640},[225,226,227,228],[22,7642,595],{"className":7643},[65,66,228],[22,7645,236],{"className":7646},[235],[22,7648,7650],{"className":7649},[208],[22,7651,7653],{"className":7652,"style":3502},[212],[22,7654],{},[22,7656],{"className":7657,"style":253},[169],[22,7659,7661,7664],{"className":7660},[65],[22,7662,15],{"className":7663},[65,66],[22,7665,7667],{"className":7666},[199],[22,7668,7670,7690],{"className":7669},[203,204],[22,7671,7673,7687],{"className":7672},[208],[22,7674,7676],{"className":7675,"style":7067},[212],[22,7677,7678,7681],{"style":216},[22,7679],{"className":7680,"style":221},[220],[22,7682,7684],{"className":7683},[225,226,227,228],[22,7685,595],{"className":7686},[65,66,228],[22,7688,236],{"className":7689},[235],[22,7691,7693],{"className":7692},[208],[22,7694,7696],{"className":7695,"style":243},[212],[22,7697],{},[22,7699],{"className":7700,"style":253},[169],[22,7702,7704,7709],{"className":7703},[3437],[22,7705,3562,7707],{"className":7706},[3437],[22,7708,3566],{"style":3565},[22,7710,7712],{"className":7711},[199],[22,7713,7715,7737],{"className":7714},[203,204],[22,7716,7718,7734],{"className":7717},[208],[22,7719,7722],{"className":7720,"style":7721},[212],"height:0.207em;",[22,7723,7725,7728],{"style":7724},"top:-2.4559em;margin-right:0.05em;",[22,7726],{"className":7727,"style":221},[220],[22,7729,7731],{"className":7730},[225,226,227,228],[22,7732,775],{"className":7733},[65,228],[22,7735,236],{"className":7736},[235],[22,7738,7740],{"className":7739},[208],[22,7741,7744],{"className":7742,"style":7743},[212],"height:0.2441em;",[22,7745],{},[22,7747],{"className":7748,"style":253},[169],[22,7750,7752,7755],{"className":7751},[65],[22,7753,15],{"className":7754},[65,66],[22,7756,7758],{"className":7757},[199],[22,7759,7761,7781],{"className":7760},[203,204],[22,7762,7764,7778],{"className":7763},[208],[22,7765,7767],{"className":7766,"style":7067},[212],[22,7768,7769,7772],{"style":216},[22,7770],{"className":7771,"style":221},[220],[22,7773,7775],{"className":7774},[225,226,227,228],[22,7776,595],{"className":7777},[65,66,228],[22,7779,236],{"className":7780},[235],[22,7782,7784],{"className":7783},[208],[22,7785,7787],{"className":7786,"style":243},[212],[22,7788],{}," и тоже минимальна, когда все объекты узла принадлежат одному классу. Информационный выигрыш разбиения — взвешенная разность исходного критерия и средневзвешенного критерия в потомках. На практике различия между Джини и энтропией невелики, обе ведут к похожим деревьям; CART ",[1715,7791,7793],{"className":7792},[1718],[1720,7794,7796],{"href":7795},"#ref-6",[22,7797,7798],{},"6"," использует Джини, C4.5\u002FID3 ",[1715,7801,7803],{"className":7802},[1718],[1720,7804,7806],{"href":7805},"#ref-7",[22,7807,7808],{},"7"," — энтропию.",[15,7811,7812,7813,7841],{},"Жадное построение продолжается, пока не выполнится одно из условий остановки: лист стал чистым, число объектов в узле меньше порога, достигнута максимальная глубина. Без этих ограничений дерево разрастается до тех пор, пока каждому обучающему объекту не достанется собственный лист — модель идеально подгоняется под обучающую выборку и катастрофически переобучается. Это явная иллюстрация компромисса смещения и разброса (тема 3) на одном алгоритме: при глубине ",[22,7814,7816,7829],{"className":7815},[25],[22,7817,7819],{"className":7818},[29],[31,7820,7821],{"xmlns":33},[35,7822,7823,7827],{},[38,7824,7825],{},[143,7826,145],{},[45,7828,145],{"encoding":47},[22,7830,7832],{"className":7831,"ariaHidden":52},[51],[22,7833,7835,7838],{"className":7834},[56],[22,7836],{"className":7837,"style":806},[60],[22,7839,145],{"className":7840},[65]," — высокое смещение, при неограниченной глубине — высокий разброс.",[15,7843,7844,7845,815,7848,7851,7852,815,7855,7858,7859,7862],{},"Управление сложностью реализуется двумя способами. ",[812,7846,7847],{},"Предупреждение роста",[817,7849,7850],{},"pre-pruning",") ограничивает дерево заранее: максимальная глубина, минимальное число объектов в листе, минимальное улучшение критерия для разрешения сплита. ",[812,7853,7854],{},"Обрезка",[817,7856,7857],{},"post-pruning",") сначала строит дерево до конца, а затем удаляет ветви, не дающие выигрыша на отложенной выборке; типичный вариант — обрезка с штрафом за число листьев (англ. ",[817,7860,7861],{},"cost-complexity pruning",").",[15,7864,7865],{},"Деревья решений интерпретируемы — по обученному дереву читается набор правил вида «если возраст > 30 и доход > 50000, то одобрить». Они работают с категориальными признаками без предварительного кодирования, нечувствительны к масштабу (на пороги не влияет, измерять ли зарплату в рублях или в копейках), естественно обрабатывают пропуски через специальные сплиты. Тем не менее одиночное дерево редко даёт хорошее качество в реальных задачах: оно неустойчиво — небольшое изменение обучающей выборки порождает дерево совсем другой структуры; ступенчатая граница плохо приближает гладкие функции; полностью раскрытое дерево переобучается. Эти ограничения снимаются ансамблевыми методами — случайным лесом и градиентным бустингом, — которые мы разберём в теме 7.",[75,7867,7869],{"id":7868},"метод-опорных-векторов-svm","Метод опорных векторов (SVM)",[15,7871,7872,815,7875,7878,7879,7887,7888,815,7891,7894,7895,815,7898,7901],{},[812,7873,7874],{},"Метод опорных векторов",[817,7876,7877],{},"support vector machine, SVM","), предложенный Кортес и Вапником в середине 1990-х ",[1715,7880,7882],{"className":7881},[1718],[1720,7883,7885],{"href":7884},"#ref-8",[22,7886,1588],{},", — алгоритм, в котором геометрия задачи поставлена в центр. Идея в следующем. Если две группы точек линейно разделимы, между ними существует не одна, а целое семейство разделяющих прямых; SVM выбирает ту, что максимально удалена от ближайших точек обоих классов. Это ",[812,7889,7890],{},"гиперплоскость максимального зазора",[817,7892,7893],{},"maximum-margin hyperplane","), а ближайшие к ней объекты обучающей выборки — ",[812,7896,7897],{},"опорные векторы",[817,7899,7900],{},"support vectors","), которые целиком определяют положение разделяющей плоскости.",[15,7903,7904,7905,8031,8032,8083,8084,8227,8228,8434,8435,8464,8465,8572,8573,8684,8685,8729,8730,8799],{},"Формально, для бинарной задачи с метками ",[22,7906,7908,7942],{"className":7907},[25],[22,7909,7911],{"className":7910},[29],[31,7912,7913],{"xmlns":33},[35,7914,7915,7939],{},[38,7916,7917,7923,7925,7927,7929,7931,7933,7935,7937],{},[109,7918,7919,7921],{},[41,7920,124],{},[41,7922,116],{},[98,7924,388],{},[98,7926,104],{"stretchy":103},[98,7928,891],{},[143,7930,145],{},[98,7932,119],{"separator":52},[98,7934,898],{},[143,7936,145],{},[98,7938,135],{"stretchy":103},[45,7940,7941],{"encoding":47},"y_i \\in \\{-1, +1\\}",[22,7943,7945,8001],{"className":7944,"ariaHidden":52},[51],[22,7946,7948,7952,7992,7995,7998],{"className":7947},[56],[22,7949],{"className":7950,"style":7951},[60],"height:0.7335em;vertical-align:-0.1944em;",[22,7953,7955,7958],{"className":7954},[65],[22,7956,124],{"className":7957,"style":260},[65,66],[22,7959,7961],{"className":7960},[199],[22,7962,7964,7984],{"className":7963},[203,204],[22,7965,7967,7981],{"className":7966},[208],[22,7968,7970],{"className":7969,"style":213},[212],[22,7971,7972,7975],{"style":275},[22,7973],{"className":7974,"style":221},[220],[22,7976,7978],{"className":7977},[225,226,227,228],[22,7979,116],{"className":7980},[65,66,228],[22,7982,236],{"className":7983},[235],[22,7985,7987],{"className":7986},[208],[22,7988,7990],{"className":7989,"style":243},[212],[22,7991],{},[22,7993],{"className":7994,"style":170},[169],[22,7996,388],{"className":7997},[174],[22,7999],{"className":8000,"style":170},[169],[22,8002,8004,8007,8010,8013,8016,8019,8022,8025,8028],{"className":8003},[56],[22,8005],{"className":8006,"style":647},[60],[22,8008,104],{"className":8009},[188],[22,8011,891],{"className":8012},[65],[22,8014,145],{"className":8015},[65],[22,8017,119],{"className":8018},[249],[22,8020],{"className":8021,"style":253},[169],[22,8023,898],{"className":8024},[65],[22,8026,145],{"className":8027},[65],[22,8029,135],{"className":8030},[299]," ищется ",[22,8033,8035,8056],{"className":8034},[25],[22,8036,8038],{"className":8037},[29],[31,8039,8040],{"xmlns":33},[35,8041,8042,8054],{},[38,8043,8044,8046,8048,8050,8052],{},[98,8045,107],{"stretchy":103},[41,8047,1777],{},[98,8049,119],{"separator":52},[41,8051,1787],{},[98,8053,129],{"stretchy":103},[45,8055,3144],{"encoding":47},[22,8057,8059],{"className":8058,"ariaHidden":52},[51],[22,8060,8062,8065,8068,8071,8074,8077,8080],{"className":8061},[56],[22,8063],{"className":8064,"style":647},[60],[22,8066,107],{"className":8067},[188],[22,8069,1777],{"className":8070,"style":1827},[65,66],[22,8072,119],{"className":8073},[249],[22,8075],{"className":8076,"style":253},[169],[22,8078,1787],{"className":8079},[65,66],[22,8081,129],{"className":8082},[299],", минимизирующее ",[22,8085,8087,8115],{"className":8086},[25],[22,8088,8090],{"className":8089},[29],[31,8091,8092],{"xmlns":33},[35,8093,8094,8112],{},[38,8095,8096,8102,8104,8106],{},[2100,8097,8098,8100],{},[143,8099,145],{},[143,8101,775],{},[41,8103,3980],{"mathvariant":1063},[41,8105,1777],{},[390,8107,8108,8110],{},[41,8109,3980],{"mathvariant":1063},[143,8111,775],{},[45,8113,8114],{"encoding":47},"\\frac{1}{2} \\|w\\|^2",[22,8116,8118],{"className":8117,"ariaHidden":52},[51],[22,8119,8121,8124,8192,8195,8198],{"className":8120},[56],[22,8122],{"className":8123,"style":3358},[60],[22,8125,8127,8130,8189],{"className":8126},[65],[22,8128],{"className":8129},[188,2170],[22,8131,8133],{"className":8132},[2100],[22,8134,8136,8181],{"className":8135},[203,204],[22,8137,8139,8178],{"className":8138},[208],[22,8140,8142,8156,8164],{"className":8141,"style":2183},[212],[22,8143,8144,8147],{"style":2186},[22,8145],{"className":8146,"style":1332},[220],[22,8148,8150],{"className":8149},[225,226,227,228],[22,8151,8153],{"className":8152},[65,228],[22,8154,775],{"className":8155},[65,228],[22,8157,8158,8161],{"style":2244},[22,8159],{"className":8160,"style":1332},[220],[22,8162],{"className":8163,"style":2252},[2251],[22,8165,8166,8169],{"style":2255},[22,8167],{"className":8168,"style":1332},[220],[22,8170,8172],{"className":8171},[225,226,227,228],[22,8173,8175],{"className":8174},[65,228],[22,8176,145],{"className":8177},[65,228],[22,8179,236],{"className":8180},[235],[22,8182,8184],{"className":8183},[208],[22,8185,8187],{"className":8186,"style":3425},[212],[22,8188],{},[22,8190],{"className":8191},[299,2170],[22,8193,3980],{"className":8194},[65],[22,8196,1777],{"className":8197,"style":1827},[65,66],[22,8199,8201,8204],{"className":8200},[65],[22,8202,3980],{"className":8203},[65],[22,8205,8207],{"className":8206},[199],[22,8208,8210],{"className":8209},[203],[22,8211,8213],{"className":8212},[208],[22,8214,8216],{"className":8215,"style":4029},[212],[22,8217,8218,8221],{"style":342},[22,8219],{"className":8220,"style":221},[220],[22,8222,8224],{"className":8223},[225,226,227,228],[22,8225,775],{"className":8226},[65,228]," при условиях ",[22,8229,8231,8274],{"className":8230},[25],[22,8232,8234],{"className":8233},[29],[31,8235,8236],{"xmlns":33},[35,8237,8238,8271],{},[38,8239,8240,8246,8248,8254,8260,8262,8264,8266,8269],{},[109,8241,8242,8244],{},[41,8243,124],{},[41,8245,116],{},[98,8247,107],{"stretchy":103},[390,8249,8250,8252],{},[41,8251,1777],{},[41,8253,1780],{"mathvariant":1063},[109,8255,8256,8258],{},[41,8257,113],{},[41,8259,116],{},[98,8261,898],{},[41,8263,1787],{},[98,8265,129],{"stretchy":103},[98,8267,8268],{},"≥",[143,8270,145],{},[45,8272,8273],{"encoding":47},"y_i (w^\\top x_i + b) \\geq 1",[22,8275,8277,8404,8425],{"className":8276,"ariaHidden":52},[51],[22,8278,8280,8283,8323,8326,8355,8395,8398,8401],{"className":8279},[56],[22,8281],{"className":8282,"style":2598},[60],[22,8284,8286,8289],{"className":8285},[65],[22,8287,124],{"className":8288,"style":260},[65,66],[22,8290,8292],{"className":8291},[199],[22,8293,8295,8315],{"className":8294},[203,204],[22,8296,8298,8312],{"className":8297},[208],[22,8299,8301],{"className":8300,"style":213},[212],[22,8302,8303,8306],{"style":275},[22,8304],{"className":8305,"style":221},[220],[22,8307,8309],{"className":8308},[225,226,227,228],[22,8310,116],{"className":8311},[65,66,228],[22,8313,236],{"className":8314},[235],[22,8316,8318],{"className":8317},[208],[22,8319,8321],{"className":8320,"style":243},[212],[22,8322],{},[22,8324,107],{"className":8325},[188],[22,8327,8329,8332],{"className":8328},[65],[22,8330,1777],{"className":8331,"style":1827},[65,66],[22,8333,8335],{"className":8334},[199],[22,8336,8338],{"className":8337},[203],[22,8339,8341],{"className":8340},[208],[22,8342,8344],{"className":8343,"style":467},[212],[22,8345,8346,8349],{"style":342},[22,8347],{"className":8348,"style":221},[220],[22,8350,8352],{"className":8351},[225,226,227,228],[22,8353,1780],{"className":8354},[65,228],[22,8356,8358,8361],{"className":8357},[65],[22,8359,113],{"className":8360},[65,66],[22,8362,8364],{"className":8363},[199],[22,8365,8367,8387],{"className":8366},[203,204],[22,8368,8370,8384],{"className":8369},[208],[22,8371,8373],{"className":8372,"style":213},[212],[22,8374,8375,8378],{"style":216},[22,8376],{"className":8377,"style":221},[220],[22,8379,8381],{"className":8380},[225,226,227,228],[22,8382,116],{"className":8383},[65,66,228],[22,8385,236],{"className":8386},[235],[22,8388,8390],{"className":8389},[208],[22,8391,8393],{"className":8392,"style":243},[212],[22,8394],{},[22,8396],{"className":8397,"style":1091},[169],[22,8399,898],{"className":8400},[1095],[22,8402],{"className":8403,"style":1091},[169],[22,8405,8407,8410,8413,8416,8419,8422],{"className":8406},[56],[22,8408],{"className":8409,"style":647},[60],[22,8411,1787],{"className":8412},[65,66],[22,8414,129],{"className":8415},[299],[22,8417],{"className":8418,"style":170},[169],[22,8420,8268],{"className":8421},[174],[22,8423],{"className":8424,"style":170},[169],[22,8426,8428,8431],{"className":8427},[56],[22,8429],{"className":8430,"style":806},[60],[22,8432,145],{"className":8433},[65]," для всех ",[22,8436,8438,8451],{"className":8437},[25],[22,8439,8441],{"className":8440},[29],[31,8442,8443],{"xmlns":33},[35,8444,8445,8449],{},[38,8446,8447],{},[41,8448,116],{},[45,8450,116],{"encoding":47},[22,8452,8454],{"className":8453,"ariaHidden":52},[51],[22,8455,8457,8461],{"className":8456},[56],[22,8458],{"className":8459,"style":8460},[60],"height:0.6595em;",[22,8462,116],{"className":8463},[65,66],". Расстояние от точки до плоскости ",[22,8466,8468,8495],{"className":8467},[25],[22,8469,8471],{"className":8470},[29],[31,8472,8473],{"xmlns":33},[35,8474,8475,8493],{},[38,8476,8477,8483,8485,8487,8489,8491],{},[390,8478,8479,8481],{},[41,8480,1777],{},[41,8482,1780],{"mathvariant":1063},[41,8484,113],{},[98,8486,898],{},[41,8488,1787],{},[98,8490,100],{},[143,8492,837],{},[45,8494,3029],{"encoding":47},[22,8496,8498,8545,8563],{"className":8497,"ariaHidden":52},[51],[22,8499,8501,8504,8533,8536,8539,8542],{"className":8500},[56],[22,8502],{"className":8503,"style":1820},[60],[22,8505,8507,8510],{"className":8506},[65],[22,8508,1777],{"className":8509,"style":1827},[65,66],[22,8511,8513],{"className":8512},[199],[22,8514,8516],{"className":8515},[203],[22,8517,8519],{"className":8518},[208],[22,8520,8522],{"className":8521,"style":467},[212],[22,8523,8524,8527],{"style":342},[22,8525],{"className":8526,"style":221},[220],[22,8528,8530],{"className":8529},[225,226,227,228],[22,8531,1780],{"className":8532},[65,228],[22,8534,113],{"className":8535},[65,66],[22,8537],{"className":8538,"style":1091},[169],[22,8540,898],{"className":8541},[1095],[22,8543],{"className":8544,"style":1091},[169],[22,8546,8548,8551,8554,8557,8560],{"className":8547},[56],[22,8549],{"className":8550,"style":61},[60],[22,8552,1787],{"className":8553},[65,66],[22,8555],{"className":8556,"style":170},[169],[22,8558,100],{"className":8559},[174],[22,8561],{"className":8562,"style":170},[169],[22,8564,8566,8569],{"className":8565},[56],[22,8567],{"className":8568,"style":806},[60],[22,8570,837],{"className":8571},[65]," равно ",[22,8574,8576,8612],{"className":8575},[25],[22,8577,8579],{"className":8578},[29],[31,8580,8581],{"xmlns":33},[35,8582,8583,8609],{},[38,8584,8585,8587,8593,8595,8597,8599,8601,8603,8605,8607],{},[41,8586,1294],{"mathvariant":1063},[390,8588,8589,8591],{},[41,8590,1777],{},[41,8592,1780],{"mathvariant":1063},[41,8594,113],{},[98,8596,898],{},[41,8598,1787],{},[41,8600,1294],{"mathvariant":1063},[41,8602,1064],{"mathvariant":1063},[41,8604,3980],{"mathvariant":1063},[41,8606,1777],{},[41,8608,3980],{"mathvariant":1063},[45,8610,8611],{"encoding":47},"|w^\\top x + b| \u002F \\|w\\|",[22,8613,8615,8665],{"className":8614,"ariaHidden":52},[51],[22,8616,8618,8621,8624,8653,8656,8659,8662],{"className":8617},[56],[22,8619],{"className":8620,"style":2598},[60],[22,8622,1294],{"className":8623},[65],[22,8625,8627,8630],{"className":8626},[65],[22,8628,1777],{"className":8629,"style":1827},[65,66],[22,8631,8633],{"className":8632},[199],[22,8634,8636],{"className":8635},[203],[22,8637,8639],{"className":8638},[208],[22,8640,8642],{"className":8641,"style":467},[212],[22,8643,8644,8647],{"style":342},[22,8645],{"className":8646,"style":221},[220],[22,8648,8650],{"className":8649},[225,226,227,228],[22,8651,1780],{"className":8652},[65,228],[22,8654,113],{"className":8655},[65,66],[22,8657],{"className":8658,"style":1091},[169],[22,8660,898],{"className":8661},[1095],[22,8663],{"className":8664,"style":1091},[169],[22,8666,8668,8671,8674,8678,8681],{"className":8667},[56],[22,8669],{"className":8670,"style":647},[60],[22,8672,1787],{"className":8673},[65,66],[22,8675,8677],{"className":8676},[65],"∣\u002F∥",[22,8679,1777],{"className":8680,"style":1827},[65,66],[22,8682,3980],{"className":8683},[65],", ширина зазора — ",[22,8686,8688,8710],{"className":8687},[25],[22,8689,8691],{"className":8690},[29],[31,8692,8693],{"xmlns":33},[35,8694,8695,8707],{},[38,8696,8697,8699,8701,8703,8705],{},[143,8698,775],{},[41,8700,1064],{"mathvariant":1063},[41,8702,3980],{"mathvariant":1063},[41,8704,1777],{},[41,8706,3980],{"mathvariant":1063},[45,8708,8709],{"encoding":47},"2 \u002F \\|w\\|",[22,8711,8713],{"className":8712,"ariaHidden":52},[51],[22,8714,8716,8719,8723,8726],{"className":8715},[56],[22,8717],{"className":8718,"style":647},[60],[22,8720,8722],{"className":8721},[65],"2\u002F∥",[22,8724,1777],{"className":8725,"style":1827},[65,66],[22,8727,3980],{"className":8728},[65],", и минимизация ",[22,8731,8733,8755],{"className":8732},[25],[22,8734,8736],{"className":8735},[29],[31,8737,8738],{"xmlns":33},[35,8739,8740,8752],{},[38,8741,8742,8744,8746],{},[41,8743,3980],{"mathvariant":1063},[41,8745,1777],{},[390,8747,8748,8750],{},[41,8749,3980],{"mathvariant":1063},[143,8751,775],{},[45,8753,8754],{"encoding":47},"\\|w\\|^2",[22,8756,8758],{"className":8757,"ariaHidden":52},[51],[22,8759,8761,8764,8767,8770],{"className":8760},[56],[22,8762],{"className":8763,"style":4001},[60],[22,8765,3980],{"className":8766},[65],[22,8768,1777],{"className":8769,"style":1827},[65,66],[22,8771,8773,8776],{"className":8772},[65],[22,8774,3980],{"className":8775},[65],[22,8777,8779],{"className":8778},[199],[22,8780,8782],{"className":8781},[203],[22,8783,8785],{"className":8784},[208],[22,8786,8788],{"className":8787,"style":4029},[212],[22,8789,8790,8793],{"style":342},[22,8791],{"className":8792,"style":221},[220],[22,8794,8796],{"className":8795},[225,226,227,228],[22,8797,775],{"className":8798},[65,228]," соответствует максимизации зазора. Оптимизация выпуклая (квадратичное программирование), решение единственно.",[1238,8801,1240,8802,1240,8806],{},[1242,8803],{"src":8804,"alt":8805},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Fsvm_margin.svg","Максимальный зазор и опорные векторы",[1247,8807,8808],{},"SVM выбирает гиперплоскость с наибольшим зазором между классами; положение определяют только опорные векторы",[15,8810,8811,8812,815,8815,8818,8819,9086,9087,9355,9356,9448,9449,9477,9478,9506,9507,9535],{},"Если данные не разделимы линейно (а реальные данные практически никогда не разделимы), вводят ",[812,8813,8814],{},"мягкий зазор",[817,8816,8817],{},"soft margin",") — штраф за нарушение условий: задача переписывается как минимизация ",[22,8820,8822,8868],{"className":8821},[25],[22,8823,8825],{"className":8824},[29],[31,8826,8827],{"xmlns":33},[35,8828,8829,8865],{},[38,8830,8831,8837,8839,8841,8847,8849,8852,8858],{},[2100,8832,8833,8835],{},[143,8834,145],{},[143,8836,775],{},[41,8838,3980],{"mathvariant":1063},[41,8840,1777],{},[390,8842,8843,8845],{},[41,8844,3980],{"mathvariant":1063},[143,8846,775],{},[98,8848,898],{},[41,8850,8851],{},"C",[109,8853,8854,8856],{},[98,8855,3225],{},[41,8857,116],{},[109,8859,8860,8863],{},[41,8861,8862],{},"ξ",[41,8864,116],{},[45,8866,8867],{"encoding":47},"\\frac{1}{2} \\|w\\|^2 + C \\sum_i \\xi_i",[22,8869,8871,8989],{"className":8870,"ariaHidden":52},[51],[22,8872,8874,8877,8945,8948,8951,8980,8983,8986],{"className":8873},[56],[22,8875],{"className":8876,"style":3358},[60],[22,8878,8880,8883,8942],{"className":8879},[65],[22,8881],{"className":8882},[188,2170],[22,8884,8886],{"className":8885},[2100],[22,8887,8889,8934],{"className":8888},[203,204],[22,8890,8892,8931],{"className":8891},[208],[22,8893,8895,8909,8917],{"className":8894,"style":2183},[212],[22,8896,8897,8900],{"style":2186},[22,8898],{"className":8899,"style":1332},[220],[22,8901,8903],{"className":8902},[225,226,227,228],[22,8904,8906],{"className":8905},[65,228],[22,8907,775],{"className":8908},[65,228],[22,8910,8911,8914],{"style":2244},[22,8912],{"className":8913,"style":1332},[220],[22,8915],{"className":8916,"style":2252},[2251],[22,8918,8919,8922],{"style":2255},[22,8920],{"className":8921,"style":1332},[220],[22,8923,8925],{"className":8924},[225,226,227,228],[22,8926,8928],{"className":8927},[65,228],[22,8929,145],{"className":8930},[65,228],[22,8932,236],{"className":8933},[235],[22,8935,8937],{"className":8936},[208],[22,8938,8940],{"className":8939,"style":3425},[212],[22,8941],{},[22,8943],{"className":8944},[299,2170],[22,8946,3980],{"className":8947},[65],[22,8949,1777],{"className":8950,"style":1827},[65,66],[22,8952,8954,8957],{"className":8953},[65],[22,8955,3980],{"className":8956},[65],[22,8958,8960],{"className":8959},[199],[22,8961,8963],{"className":8962},[203],[22,8964,8966],{"className":8965},[208],[22,8967,8969],{"className":8968,"style":4029},[212],[22,8970,8971,8974],{"style":342},[22,8972],{"className":8973,"style":221},[220],[22,8975,8977],{"className":8976},[225,226,227,228],[22,8978,775],{"className":8979},[65,228],[22,8981],{"className":8982,"style":1091},[169],[22,8984,898],{"className":8985},[1095],[22,8987],{"className":8988,"style":1091},[169],[22,8990,8992,8995,8998,9001,9041,9044],{"className":8991},[56],[22,8993],{"className":8994,"style":7199},[60],[22,8996,8851],{"className":8997,"style":741},[65,66],[22,8999],{"className":9000,"style":253},[169],[22,9002,9004,9007],{"className":9003},[3437],[22,9005,3225],{"className":9006,"style":3443},[3437,3441,3442],[22,9008,9010],{"className":9009},[199],[22,9011,9013,9033],{"className":9012},[203,204],[22,9014,9016,9030],{"className":9015},[208],[22,9017,9019],{"className":9018,"style":5136},[212],[22,9020,9021,9024],{"style":3459},[22,9022],{"className":9023,"style":221},[220],[22,9025,9027],{"className":9026},[225,226,227,228],[22,9028,116],{"className":9029},[65,66,228],[22,9031,236],{"className":9032},[235],[22,9034,9036],{"className":9035},[208],[22,9037,9039],{"className":9038,"style":3502},[212],[22,9040],{},[22,9042],{"className":9043,"style":253},[169],[22,9045,9047,9051],{"className":9046},[65],[22,9048,8862],{"className":9049,"style":9050},[65,66],"margin-right:0.046em;",[22,9052,9054],{"className":9053},[199],[22,9055,9057,9078],{"className":9056},[203,204],[22,9058,9060,9075],{"className":9059},[208],[22,9061,9063],{"className":9062,"style":213},[212],[22,9064,9066,9069],{"style":9065},"top:-2.55em;margin-left:-0.046em;margin-right:0.05em;",[22,9067],{"className":9068,"style":221},[220],[22,9070,9072],{"className":9071},[225,226,227,228],[22,9073,116],{"className":9074},[65,66,228],[22,9076,236],{"className":9077},[235],[22,9079,9081],{"className":9080},[208],[22,9082,9084],{"className":9083,"style":243},[212],[22,9085],{}," при ",[22,9088,9090,9140],{"className":9089},[25],[22,9091,9093],{"className":9092},[29],[31,9094,9095],{"xmlns":33},[35,9096,9097,9137],{},[38,9098,9099,9105,9107,9113,9119,9121,9123,9125,9127,9129,9131],{},[109,9100,9101,9103],{},[41,9102,124],{},[41,9104,116],{},[98,9106,107],{"stretchy":103},[390,9108,9109,9111],{},[41,9110,1777],{},[41,9112,1780],{"mathvariant":1063},[109,9114,9115,9117],{},[41,9116,113],{},[41,9118,116],{},[98,9120,898],{},[41,9122,1787],{},[98,9124,129],{"stretchy":103},[98,9126,8268],{},[143,9128,145],{},[98,9130,891],{},[109,9132,9133,9135],{},[41,9134,8862],{},[41,9136,116],{},[45,9138,9139],{"encoding":47},"y_i (w^\\top x_i + b) \\geq 1 - \\xi_i",[22,9141,9143,9270,9291,9309],{"className":9142,"ariaHidden":52},[51],[22,9144,9146,9149,9189,9192,9221,9261,9264,9267],{"className":9145},[56],[22,9147],{"className":9148,"style":2598},[60],[22,9150,9152,9155],{"className":9151},[65],[22,9153,124],{"className":9154,"style":260},[65,66],[22,9156,9158],{"className":9157},[199],[22,9159,9161,9181],{"className":9160},[203,204],[22,9162,9164,9178],{"className":9163},[208],[22,9165,9167],{"className":9166,"style":213},[212],[22,9168,9169,9172],{"style":275},[22,9170],{"className":9171,"style":221},[220],[22,9173,9175],{"className":9174},[225,226,227,228],[22,9176,116],{"className":9177},[65,66,228],[22,9179,236],{"className":9180},[235],[22,9182,9184],{"className":9183},[208],[22,9185,9187],{"className":9186,"style":243},[212],[22,9188],{},[22,9190,107],{"className":9191},[188],[22,9193,9195,9198],{"className":9194},[65],[22,9196,1777],{"className":9197,"style":1827},[65,66],[22,9199,9201],{"className":9200},[199],[22,9202,9204],{"className":9203},[203],[22,9205,9207],{"className":9206},[208],[22,9208,9210],{"className":9209,"style":467},[212],[22,9211,9212,9215],{"style":342},[22,9213],{"className":9214,"style":221},[220],[22,9216,9218],{"className":9217},[225,226,227,228],[22,9219,1780],{"className":9220},[65,228],[22,9222,9224,9227],{"className":9223},[65],[22,9225,113],{"className":9226},[65,66],[22,9228,9230],{"className":9229},[199],[22,9231,9233,9253],{"className":9232},[203,204],[22,9234,9236,9250],{"className":9235},[208],[22,9237,9239],{"className":9238,"style":213},[212],[22,9240,9241,9244],{"style":216},[22,9242],{"className":9243,"style":221},[220],[22,9245,9247],{"className":9246},[225,226,227,228],[22,9248,116],{"className":9249},[65,66,228],[22,9251,236],{"className":9252},[235],[22,9254,9256],{"className":9255},[208],[22,9257,9259],{"className":9258,"style":243},[212],[22,9260],{},[22,9262],{"className":9263,"style":1091},[169],[22,9265,898],{"className":9266},[1095],[22,9268],{"className":9269,"style":1091},[169],[22,9271,9273,9276,9279,9282,9285,9288],{"className":9272},[56],[22,9274],{"className":9275,"style":647},[60],[22,9277,1787],{"className":9278},[65,66],[22,9280,129],{"className":9281},[299],[22,9283],{"className":9284,"style":170},[169],[22,9286,8268],{"className":9287},[174],[22,9289],{"className":9290,"style":170},[169],[22,9292,9294,9297,9300,9303,9306],{"className":9293},[56],[22,9295],{"className":9296,"style":7363},[60],[22,9298,145],{"className":9299},[65],[22,9301],{"className":9302,"style":1091},[169],[22,9304,891],{"className":9305},[1095],[22,9307],{"className":9308,"style":1091},[169],[22,9310,9312,9315],{"className":9311},[56],[22,9313],{"className":9314,"style":2693},[60],[22,9316,9318,9321],{"className":9317},[65],[22,9319,8862],{"className":9320,"style":9050},[65,66],[22,9322,9324],{"className":9323},[199],[22,9325,9327,9347],{"className":9326},[203,204],[22,9328,9330,9344],{"className":9329},[208],[22,9331,9333],{"className":9332,"style":213},[212],[22,9334,9335,9338],{"style":9065},[22,9336],{"className":9337,"style":221},[220],[22,9339,9341],{"className":9340},[225,226,227,228],[22,9342,116],{"className":9343},[65,66,228],[22,9345,236],{"className":9346},[235],[22,9348,9350],{"className":9349},[208],[22,9351,9353],{"className":9352,"style":243},[212],[22,9354],{},", ",[22,9357,9359,9381],{"className":9358},[25],[22,9360,9362],{"className":9361},[29],[31,9363,9364],{"xmlns":33},[35,9365,9366,9378],{},[38,9367,9368,9374,9376],{},[109,9369,9370,9372],{},[41,9371,8862],{},[41,9373,116],{},[98,9375,8268],{},[143,9377,837],{},[45,9379,9380],{"encoding":47},"\\xi_i \\geq 0",[22,9382,9384,9439],{"className":9383,"ariaHidden":52},[51],[22,9385,9387,9390,9430,9433,9436],{"className":9386},[56],[22,9388],{"className":9389,"style":2693},[60],[22,9391,9393,9396],{"className":9392},[65],[22,9394,8862],{"className":9395,"style":9050},[65,66],[22,9397,9399],{"className":9398},[199],[22,9400,9402,9422],{"className":9401},[203,204],[22,9403,9405,9419],{"className":9404},[208],[22,9406,9408],{"className":9407,"style":213},[212],[22,9409,9410,9413],{"style":9065},[22,9411],{"className":9412,"style":221},[220],[22,9414,9416],{"className":9415},[225,226,227,228],[22,9417,116],{"className":9418},[65,66,228],[22,9420,236],{"className":9421},[235],[22,9423,9425],{"className":9424},[208],[22,9426,9428],{"className":9427,"style":243},[212],[22,9429],{},[22,9431],{"className":9432,"style":170},[169],[22,9434,8268],{"className":9435},[174],[22,9437],{"className":9438,"style":170},[169],[22,9440,9442,9445],{"className":9441},[56],[22,9443],{"className":9444,"style":806},[60],[22,9446,837],{"className":9447},[65],". Параметр ",[22,9450,9452,9465],{"className":9451},[25],[22,9453,9455],{"className":9454},[29],[31,9456,9457],{"xmlns":33},[35,9458,9459,9463],{},[38,9460,9461],{},[41,9462,8851],{},[45,9464,8851],{"encoding":47},[22,9466,9468],{"className":9467,"ariaHidden":52},[51],[22,9469,9471,9474],{"className":9470},[56],[22,9472],{"className":9473,"style":161},[60],[22,9475,8851],{"className":9476,"style":741},[65,66]," балансирует ширину зазора и допустимый объём нарушений: большое ",[22,9479,9481,9494],{"className":9480},[25],[22,9482,9484],{"className":9483},[29],[31,9485,9486],{"xmlns":33},[35,9487,9488,9492],{},[38,9489,9490],{},[41,9491,8851],{},[45,9493,8851],{"encoding":47},[22,9495,9497],{"className":9496,"ariaHidden":52},[51],[22,9498,9500,9503],{"className":9499},[56],[22,9501],{"className":9502,"style":161},[60],[22,9504,8851],{"className":9505,"style":741},[65,66]," — узкий зазор, мало ошибок; малое ",[22,9508,9510,9523],{"className":9509},[25],[22,9511,9513],{"className":9512},[29],[31,9514,9515],{"xmlns":33},[35,9516,9517,9521],{},[38,9518,9519],{},[41,9520,8851],{},[45,9522,8851],{"encoding":47},[22,9524,9526],{"className":9525,"ariaHidden":52},[51],[22,9527,9529,9532],{"className":9528},[56],[22,9530],{"className":9531,"style":161},[60],[22,9533,8851],{"className":9534,"style":741},[65,66]," — широкий зазор, нарушения допускаются.",[15,9537,9538,9539,815,9542,9545,9546,9683,9684,9979,9980,10009,10010,10038,10039,10067,10068,10296,10297,815,10300,10303,10304,10541,10542,10296,10570,10599],{},"Для нелинейных границ применяется ",[812,9540,9541],{},"ядровой трюк",[817,9543,9544],{},"kernel trick","). Алгоритм формально работает с признаковым пространством через скалярные произведения ",[22,9547,9549,9581],{"className":9548},[25],[22,9550,9552],{"className":9551},[29],[31,9553,9554],{"xmlns":33},[35,9555,9556,9578],{},[38,9557,9558,9561,9567,9569,9575],{},[98,9559,9560],{"stretchy":103},"⟨",[109,9562,9563,9565],{},[41,9564,113],{},[41,9566,116],{},[98,9568,119],{"separator":52},[109,9570,9571,9573],{},[41,9572,113],{},[41,9574,4298],{},[98,9576,9577],{"stretchy":103},"⟩",[45,9579,9580],{"encoding":47},"\\langle x_i, x_j \\rangle",[22,9582,9584],{"className":9583,"ariaHidden":52},[51],[22,9585,9587,9591,9594,9634,9637,9640,9680],{"className":9586},[56],[22,9588],{"className":9589,"style":9590},[60],"height:1.0361em;vertical-align:-0.2861em;",[22,9592,9560],{"className":9593},[188],[22,9595,9597,9600],{"className":9596},[65],[22,9598,113],{"className":9599},[65,66],[22,9601,9603],{"className":9602},[199],[22,9604,9606,9626],{"className":9605},[203,204],[22,9607,9609,9623],{"className":9608},[208],[22,9610,9612],{"className":9611,"style":213},[212],[22,9613,9614,9617],{"style":216},[22,9615],{"className":9616,"style":221},[220],[22,9618,9620],{"className":9619},[225,226,227,228],[22,9621,116],{"className":9622},[65,66,228],[22,9624,236],{"className":9625},[235],[22,9627,9629],{"className":9628},[208],[22,9630,9632],{"className":9631,"style":243},[212],[22,9633],{},[22,9635,119],{"className":9636},[249],[22,9638],{"className":9639,"style":253},[169],[22,9641,9643,9646],{"className":9642},[65],[22,9644,113],{"className":9645},[65,66],[22,9647,9649],{"className":9648},[199],[22,9650,9652,9672],{"className":9651},[203,204],[22,9653,9655,9669],{"className":9654},[208],[22,9656,9658],{"className":9657,"style":213},[212],[22,9659,9660,9663],{"style":216},[22,9661],{"className":9662,"style":221},[220],[22,9664,9666],{"className":9665},[225,226,227,228],[22,9667,4298],{"className":9668,"style":4342},[65,66,228],[22,9670,236],{"className":9671},[235],[22,9673,9675],{"className":9674},[208],[22,9676,9678],{"className":9677,"style":4352},[212],[22,9679],{},[22,9681,9577],{"className":9682},[299],"; если заменить их функцией ядра ",[22,9685,9687,9752],{"className":9686},[25],[22,9688,9690],{"className":9689},[29],[31,9691,9692],{"xmlns":33},[35,9693,9694,9749],{},[38,9695,9696,9698,9700,9706,9708,9714,9716,9718,9720,9723,9725,9731,9733,9735,9737,9739,9745,9747],{},[41,9697,611],{},[98,9699,107],{"stretchy":103},[109,9701,9702,9704],{},[41,9703,113],{},[41,9705,116],{},[98,9707,119],{"separator":52},[109,9709,9710,9712],{},[41,9711,113],{},[41,9713,4298],{},[98,9715,129],{"stretchy":103},[98,9717,100],{},[98,9719,9560],{"stretchy":103},[41,9721,9722],{},"φ",[98,9724,107],{"stretchy":103},[109,9726,9727,9729],{},[41,9728,113],{},[41,9730,116],{},[98,9732,129],{"stretchy":103},[98,9734,119],{"separator":52},[41,9736,9722],{},[98,9738,107],{"stretchy":103},[109,9740,9741,9743],{},[41,9742,113],{},[41,9744,4298],{},[98,9746,129],{"stretchy":103},[98,9748,9577],{"stretchy":103},[45,9750,9751],{"encoding":47},"K(x_i, x_j) = \\langle \\varphi(x_i), \\varphi(x_j) \\rangle",[22,9753,9755,9865],{"className":9754,"ariaHidden":52},[51],[22,9756,9758,9761,9764,9767,9807,9810,9813,9853,9856,9859,9862],{"className":9757},[56],[22,9759],{"className":9760,"style":9590},[60],[22,9762,611],{"className":9763,"style":741},[65,66],[22,9765,107],{"className":9766},[188],[22,9768,9770,9773],{"className":9769},[65],[22,9771,113],{"className":9772},[65,66],[22,9774,9776],{"className":9775},[199],[22,9777,9779,9799],{"className":9778},[203,204],[22,9780,9782,9796],{"className":9781},[208],[22,9783,9785],{"className":9784,"style":213},[212],[22,9786,9787,9790],{"style":216},[22,9788],{"className":9789,"style":221},[220],[22,9791,9793],{"className":9792},[225,226,227,228],[22,9794,116],{"className":9795},[65,66,228],[22,9797,236],{"className":9798},[235],[22,9800,9802],{"className":9801},[208],[22,9803,9805],{"className":9804,"style":243},[212],[22,9806],{},[22,9808,119],{"className":9809},[249],[22,9811],{"className":9812,"style":253},[169],[22,9814,9816,9819],{"className":9815},[65],[22,9817,113],{"className":9818},[65,66],[22,9820,9822],{"className":9821},[199],[22,9823,9825,9845],{"className":9824},[203,204],[22,9826,9828,9842],{"className":9827},[208],[22,9829,9831],{"className":9830,"style":213},[212],[22,9832,9833,9836],{"style":216},[22,9834],{"className":9835,"style":221},[220],[22,9837,9839],{"className":9838},[225,226,227,228],[22,9840,4298],{"className":9841,"style":4342},[65,66,228],[22,9843,236],{"className":9844},[235],[22,9846,9848],{"className":9847},[208],[22,9849,9851],{"className":9850,"style":4352},[212],[22,9852],{},[22,9854,129],{"className":9855},[299],[22,9857],{"className":9858,"style":170},[169],[22,9860,100],{"className":9861},[174],[22,9863],{"className":9864,"style":170},[169],[22,9866,9868,9871,9874,9877,9880,9920,9923,9926,9929,9932,9935,9975],{"className":9867},[56],[22,9869],{"className":9870,"style":9590},[60],[22,9872,9560],{"className":9873},[188],[22,9875,9722],{"className":9876},[65,66],[22,9878,107],{"className":9879},[188],[22,9881,9883,9886],{"className":9882},[65],[22,9884,113],{"className":9885},[65,66],[22,9887,9889],{"className":9888},[199],[22,9890,9892,9912],{"className":9891},[203,204],[22,9893,9895,9909],{"className":9894},[208],[22,9896,9898],{"className":9897,"style":213},[212],[22,9899,9900,9903],{"style":216},[22,9901],{"className":9902,"style":221},[220],[22,9904,9906],{"className":9905},[225,226,227,228],[22,9907,116],{"className":9908},[65,66,228],[22,9910,236],{"className":9911},[235],[22,9913,9915],{"className":9914},[208],[22,9916,9918],{"className":9917,"style":243},[212],[22,9919],{},[22,9921,129],{"className":9922},[299],[22,9924,119],{"className":9925},[249],[22,9927],{"className":9928,"style":253},[169],[22,9930,9722],{"className":9931},[65,66],[22,9933,107],{"className":9934},[188],[22,9936,9938,9941],{"className":9937},[65],[22,9939,113],{"className":9940},[65,66],[22,9942,9944],{"className":9943},[199],[22,9945,9947,9967],{"className":9946},[203,204],[22,9948,9950,9964],{"className":9949},[208],[22,9951,9953],{"className":9952,"style":213},[212],[22,9954,9955,9958],{"style":216},[22,9956],{"className":9957,"style":221},[220],[22,9959,9961],{"className":9960},[225,226,227,228],[22,9962,4298],{"className":9963,"style":4342},[65,66,228],[22,9965,236],{"className":9966},[235],[22,9968,9970],{"className":9969},[208],[22,9971,9973],{"className":9972,"style":4352},[212],[22,9974],{},[22,9976,9978],{"className":9977},[299],")⟩",", соответствующей какому-то нелинейному отображению ",[22,9981,9983,9997],{"className":9982},[25],[22,9984,9986],{"className":9985},[29],[31,9987,9988],{"xmlns":33},[35,9989,9990,9994],{},[38,9991,9992],{},[41,9993,9722],{},[45,9995,9996],{"encoding":47},"\\varphi",[22,9998,10000],{"className":9999,"ariaHidden":52},[51],[22,10001,10003,10006],{"className":10002},[56],[22,10004],{"className":10005,"style":529},[60],[22,10007,9722],{"className":10008},[65,66]," в более многомерное пространство, мы получим линейный классификатор в этом новом пространстве — а в исходном он окажется нелинейным. Главное, что само ",[22,10011,10013,10026],{"className":10012},[25],[22,10014,10016],{"className":10015},[29],[31,10017,10018],{"xmlns":33},[35,10019,10020,10024],{},[38,10021,10022],{},[41,10023,9722],{},[45,10025,9996],{"encoding":47},[22,10027,10029],{"className":10028,"ariaHidden":52},[51],[22,10030,10032,10035],{"className":10031},[56],[22,10033],{"className":10034,"style":529},[60],[22,10036,9722],{"className":10037},[65,66]," вычислять не приходится: достаточно знать функцию ",[22,10040,10042,10055],{"className":10041},[25],[22,10043,10045],{"className":10044},[29],[31,10046,10047],{"xmlns":33},[35,10048,10049,10053],{},[38,10050,10051],{},[41,10052,611],{},[45,10054,611],{"encoding":47},[22,10056,10058],{"className":10057,"ariaHidden":52},[51],[22,10059,10061,10064],{"className":10060},[56],[22,10062],{"className":10063,"style":161},[60],[22,10065,611],{"className":10066,"style":741},[65,66],". Наиболее популярны полиномиальное ядро ",[22,10069,10071,10127],{"className":10070},[25],[22,10072,10074],{"className":10073},[29],[31,10075,10076],{"xmlns":33},[35,10077,10078,10124],{},[38,10079,10080,10082,10084,10086,10088,10094,10096,10098,10100,10102,10104,10106,10112,10114,10116,10118],{},[41,10081,611],{},[98,10083,107],{"stretchy":103},[41,10085,113],{},[98,10087,119],{"separator":52},[390,10089,10090,10092],{},[41,10091,113],{},[98,10093,4971],{"mathvariant":1063,"lspace":4970,"rspace":4970},[98,10095,129],{"stretchy":103},[98,10097,100],{},[98,10099,107],{"stretchy":103},[98,10101,9560],{"stretchy":103},[41,10103,113],{},[98,10105,119],{"separator":52},[390,10107,10108,10110],{},[41,10109,113],{},[98,10111,4971],{"mathvariant":1063,"lspace":4970,"rspace":4970},[98,10113,9577],{"stretchy":103},[98,10115,898],{},[143,10117,145],{},[390,10119,10120,10122],{},[98,10121,129],{"stretchy":103},[41,10123,15],{},[45,10125,10126],{"encoding":47},"K(x, x') = (\\langle x, x' \\rangle + 1)^p",[22,10128,10130,10195,10258],{"className":10129,"ariaHidden":52},[51],[22,10131,10133,10136,10139,10142,10145,10148,10151,10183,10186,10189,10192],{"className":10132},[56],[22,10134],{"className":10135,"style":5023},[60],[22,10137,611],{"className":10138,"style":741},[65,66],[22,10140,107],{"className":10141},[188],[22,10143,113],{"className":10144},[65,66],[22,10146,119],{"className":10147},[249],[22,10149],{"className":10150,"style":253},[169],[22,10152,10154,10157],{"className":10153},[65],[22,10155,113],{"className":10156},[65,66],[22,10158,10160],{"className":10159},[199],[22,10161,10163],{"className":10162},[203],[22,10164,10166],{"className":10165},[208],[22,10167,10169],{"className":10168,"style":5057},[212],[22,10170,10171,10174],{"style":342},[22,10172],{"className":10173,"style":221},[220],[22,10175,10177],{"className":10176},[225,226,227,228],[22,10178,10180],{"className":10179},[65,228],[22,10181,4971],{"className":10182},[65,228],[22,10184,129],{"className":10185},[299],[22,10187],{"className":10188,"style":170},[169],[22,10190,100],{"className":10191},[174],[22,10193],{"className":10194,"style":170},[169],[22,10196,10198,10201,10205,10208,10211,10214,10246,10249,10252,10255],{"className":10197},[56],[22,10199],{"className":10200,"style":5023},[60],[22,10202,10204],{"className":10203},[188],"(⟨",[22,10206,113],{"className":10207},[65,66],[22,10209,119],{"className":10210},[249],[22,10212],{"className":10213,"style":253},[169],[22,10215,10217,10220],{"className":10216},[65],[22,10218,113],{"className":10219},[65,66],[22,10221,10223],{"className":10222},[199],[22,10224,10226],{"className":10225},[203],[22,10227,10229],{"className":10228},[208],[22,10230,10232],{"className":10231,"style":5057},[212],[22,10233,10234,10237],{"style":342},[22,10235],{"className":10236,"style":221},[220],[22,10238,10240],{"className":10239},[225,226,227,228],[22,10241,10243],{"className":10242},[65,228],[22,10244,4971],{"className":10245},[65,228],[22,10247,9577],{"className":10248},[299],[22,10250],{"className":10251,"style":1091},[169],[22,10253,898],{"className":10254},[1095],[22,10256],{"className":10257,"style":1091},[169],[22,10259,10261,10264,10267],{"className":10260},[56],[22,10262],{"className":10263,"style":647},[60],[22,10265,145],{"className":10266},[65],[22,10268,10270,10273],{"className":10269},[299],[22,10271,129],{"className":10272},[299],[22,10274,10276],{"className":10275},[199],[22,10277,10279],{"className":10278},[203],[22,10280,10282],{"className":10281},[208],[22,10283,10285],{"className":10284,"style":318},[212],[22,10286,10287,10290],{"style":342},[22,10288],{"className":10289,"style":221},[220],[22,10291,10293],{"className":10292},[225,226,227,228],[22,10294,15],{"className":10295},[65,66,228]," и ",[812,10298,10299],{},"радиально-базисное ядро",[817,10301,10302],{},"radial basis function, RBF",") ",[22,10305,10307,10369],{"className":10306},[25],[22,10308,10310],{"className":10309},[29],[31,10311,10312],{"xmlns":33},[35,10313,10314,10366],{},[38,10315,10316,10318,10320,10322,10324,10330,10332,10334,10337,10339,10341,10343,10346,10348,10350,10352,10358,10364],{},[41,10317,611],{},[98,10319,107],{"stretchy":103},[41,10321,113],{},[98,10323,119],{"separator":52},[390,10325,10326,10328],{},[41,10327,113],{},[98,10329,4971],{"mathvariant":1063,"lspace":4970,"rspace":4970},[98,10331,129],{"stretchy":103},[98,10333,100],{},[41,10335,10336],{},"exp",[98,10338,3252],{},[98,10340,107],{"stretchy":103},[98,10342,891],{},[41,10344,10345],{},"γ",[41,10347,3980],{"mathvariant":1063},[41,10349,113],{},[98,10351,891],{},[390,10353,10354,10356],{},[41,10355,113],{},[98,10357,4971],{"mathvariant":1063,"lspace":4970,"rspace":4970},[390,10359,10360,10362],{},[41,10361,3980],{"mathvariant":1063},[143,10363,775],{},[98,10365,129],{"stretchy":103},[45,10367,10368],{"encoding":47},"K(x, x') = \\exp(-\\gamma \\|x - x'\\|^2)",[22,10370,10372,10437,10471],{"className":10371,"ariaHidden":52},[51],[22,10373,10375,10378,10381,10384,10387,10390,10393,10425,10428,10431,10434],{"className":10374},[56],[22,10376],{"className":10377,"style":5023},[60],[22,10379,611],{"className":10380,"style":741},[65,66],[22,10382,107],{"className":10383},[188],[22,10385,113],{"className":10386},[65,66],[22,10388,119],{"className":10389},[249],[22,10391],{"className":10392,"style":253},[169],[22,10394,10396,10399],{"className":10395},[65],[22,10397,113],{"className":10398},[65,66],[22,10400,10402],{"className":10401},[199],[22,10403,10405],{"className":10404},[203],[22,10406,10408],{"className":10407},[208],[22,10409,10411],{"className":10410,"style":5057},[212],[22,10412,10413,10416],{"style":342},[22,10414],{"className":10415,"style":221},[220],[22,10417,10419],{"className":10418},[225,226,227,228],[22,10420,10422],{"className":10421},[65,228],[22,10423,4971],{"className":10424},[65,228],[22,10426,129],{"className":10427},[299],[22,10429],{"className":10430,"style":170},[169],[22,10432,100],{"className":10433},[174],[22,10435],{"className":10436,"style":170},[169],[22,10438,10440,10443,10446,10449,10452,10456,10459,10462,10465,10468],{"className":10439},[56],[22,10441],{"className":10442,"style":647},[60],[22,10444,10336],{"className":10445},[3437],[22,10447,107],{"className":10448},[188],[22,10450,891],{"className":10451},[65],[22,10453,10345],{"className":10454,"style":10455},[65,66],"margin-right:0.0556em;",[22,10457,3980],{"className":10458},[65],[22,10460,113],{"className":10461},[65,66],[22,10463],{"className":10464,"style":1091},[169],[22,10466,891],{"className":10467},[1095],[22,10469],{"className":10470,"style":1091},[169],[22,10472,10474,10477,10509,10538],{"className":10473},[56],[22,10475],{"className":10476,"style":4001},[60],[22,10478,10480,10483],{"className":10479},[65],[22,10481,113],{"className":10482},[65,66],[22,10484,10486],{"className":10485},[199],[22,10487,10489],{"className":10488},[203],[22,10490,10492],{"className":10491},[208],[22,10493,10495],{"className":10494,"style":5057},[212],[22,10496,10497,10500],{"style":342},[22,10498],{"className":10499,"style":221},[220],[22,10501,10503],{"className":10502},[225,226,227,228],[22,10504,10506],{"className":10505},[65,228],[22,10507,4971],{"className":10508},[65,228],[22,10510,10512,10515],{"className":10511},[65],[22,10513,3980],{"className":10514},[65],[22,10516,10518],{"className":10517},[199],[22,10519,10521],{"className":10520},[203],[22,10522,10524],{"className":10523},[208],[22,10525,10527],{"className":10526,"style":4029},[212],[22,10528,10529,10532],{"style":342},[22,10530],{"className":10531,"style":221},[220],[22,10533,10535],{"className":10534},[225,226,227,228],[22,10536,775],{"className":10537},[65,228],[22,10539,129],{"className":10540},[299],". RBF-ядро универсально и для большинства задач даёт сильный baseline, но его выбор означает два гиперпараметра одновременно — ",[22,10543,10545,10558],{"className":10544},[25],[22,10546,10548],{"className":10547},[29],[31,10549,10550],{"xmlns":33},[35,10551,10552,10556],{},[38,10553,10554],{},[41,10555,8851],{},[45,10557,8851],{"encoding":47},[22,10559,10561],{"className":10560,"ariaHidden":52},[51],[22,10562,10564,10567],{"className":10563},[56],[22,10565],{"className":10566,"style":161},[60],[22,10568,8851],{"className":10569,"style":741},[65,66],[22,10571,10573,10587],{"className":10572},[25],[22,10574,10576],{"className":10575},[29],[31,10577,10578],{"xmlns":33},[35,10579,10580,10584],{},[38,10581,10582],{},[41,10583,10345],{},[45,10585,10586],{"encoding":47},"\\gamma",[22,10588,10590],{"className":10589,"ariaHidden":52},[51],[22,10591,10593,10596],{"className":10592},[56],[22,10594],{"className":10595,"style":529},[60],[22,10597,10345],{"className":10598,"style":10455},[65,66],", — которые нужно подбирать совместно.",[15,10601,10602,10603,10654,10655,10683,10684,10759,10760,10788],{},"Сильные стороны SVM — теоретически обоснованный принцип максимума зазора, эффективность в пространствах высокой размерности (когда ",[22,10604,10606,10624],{"className":10605},[25],[22,10607,10609],{"className":10608},[29],[31,10610,10611],{"xmlns":33},[35,10612,10613,10621],{},[38,10614,10615,10617,10619],{},[41,10616,398],{},[98,10618,956],{},[41,10620,148],{},[45,10622,10623],{"encoding":47},"d > n",[22,10625,10627,10645],{"className":10626,"ariaHidden":52},[51],[22,10628,10630,10633,10636,10639,10642],{"className":10629},[56],[22,10631],{"className":10632,"style":1985},[60],[22,10634,398],{"className":10635},[65,66],[22,10637],{"className":10638,"style":170},[169],[22,10640,956],{"className":10641},[174],[22,10643],{"className":10644,"style":170},[169],[22,10646,10648,10651],{"className":10647},[56],[22,10649],{"className":10650,"style":1800},[60],[22,10652,148],{"className":10653},[65,66],"), способность работать с нелинейными границами через ядра. Слабости — плохая масштабируемость на больших ",[22,10656,10658,10671],{"className":10657},[25],[22,10659,10661],{"className":10660},[29],[31,10662,10663],{"xmlns":33},[35,10664,10665,10669],{},[38,10666,10667],{},[41,10668,148],{},[45,10670,148],{"encoding":47},[22,10672,10674],{"className":10673,"ariaHidden":52},[51],[22,10675,10677,10680],{"className":10676},[56],[22,10678],{"className":10679,"style":1800},[60],[22,10681,148],{"className":10682},[65,66]," (квадратичная программа решается за ",[22,10685,10687,10712],{"className":10686},[25],[22,10688,10690],{"className":10689},[29],[31,10691,10692],{"xmlns":33},[35,10693,10694,10709],{},[38,10695,10696,10699,10701,10707],{},[41,10697,10698],{},"O",[98,10700,107],{"stretchy":103},[390,10702,10703,10705],{},[41,10704,148],{},[143,10706,775],{},[98,10708,129],{"stretchy":103},[45,10710,10711],{"encoding":47},"O(n^2)",[22,10713,10715],{"className":10714,"ariaHidden":52},[51],[22,10716,10718,10721,10724,10727,10756],{"className":10717},[56],[22,10719],{"className":10720,"style":4001},[60],[22,10722,10698],{"className":10723,"style":165},[65,66],[22,10725,107],{"className":10726},[188],[22,10728,10730,10733],{"className":10729},[65],[22,10731,148],{"className":10732},[65,66],[22,10734,10736],{"className":10735},[199],[22,10737,10739],{"className":10738},[203],[22,10740,10742],{"className":10741},[208],[22,10743,10745],{"className":10744,"style":4029},[212],[22,10746,10747,10750],{"style":342},[22,10748],{"className":10749,"style":221},[220],[22,10751,10753],{"className":10752},[225,226,227,228],[22,10754,775],{"className":10755},[65,228],[22,10757,129],{"className":10758},[299]," или хуже), отсутствие вероятностных выходов в исходной формулировке, чувствительность к подбору ",[22,10761,10763,10776],{"className":10762},[25],[22,10764,10766],{"className":10765},[29],[31,10767,10768],{"xmlns":33},[35,10769,10770,10774],{},[38,10771,10772],{},[41,10773,8851],{},[45,10775,8851],{"encoding":47},[22,10777,10779],{"className":10778,"ariaHidden":52},[51],[22,10780,10782,10785],{"className":10781},[56],[22,10783],{"className":10784,"style":161},[60],[22,10786,8851],{"className":10787,"style":741},[65,66]," и параметров ядра. На современных датасетах с миллионами объектов SVM встречается реже, чем в 2000-е, уступая место градиентному бустингу и нейронным сетям; но как методологически строгий алгоритм с прозрачной геометрией он остаётся важной частью курса.",[70,10790,10792],{"id":10791},"метрики-качества-классификации","Метрики качества классификации",[75,10794,10796],{"id":10795},"основные-метрики","Основные метрики",[15,10798,10799,10800,815,10803,10806],{},"Задача оценки качества классификатора кажется тривиальной — посчитать долю правильных ответов — но на практике именно здесь чаще всего ошибаются. Доля правильных ответов, или ",[812,10801,10802],{},"точность распознавания",[817,10804,10805],{},"accuracy","), на несбалансированных данных вводит в заблуждение, а в задачах с разной стоимостью ошибок просто не отвечает на вопрос заказчика. Обратимся к основной структуре, на которой строятся все метрики бинарной классификации.",[15,10808,10809,815,10812,10815,10816,10868],{},[812,10810,10811],{},"Матрица ошибок",[817,10813,10814],{},"confusion matrix",") сравнивает истинные метки и предсказания модели и сводит их в таблицу ",[22,10817,10819,10838],{"className":10818},[25],[22,10820,10822],{"className":10821},[29],[31,10823,10824],{"xmlns":33},[35,10825,10826,10835],{},[38,10827,10828,10830,10833],{},[143,10829,775],{},[98,10831,10832],{},"×",[143,10834,775],{},[45,10836,10837],{"encoding":47},"2 \\times 2",[22,10839,10841,10859],{"className":10840,"ariaHidden":52},[51],[22,10842,10844,10847,10850,10853,10856],{"className":10843},[56],[22,10845],{"className":10846,"style":7363},[60],[22,10848,775],{"className":10849},[65],[22,10851],{"className":10852,"style":1091},[169],[22,10854,10832],{"className":10855},[1095],[22,10857],{"className":10858,"style":1091},[169],[22,10860,10862,10865],{"className":10861},[56],[22,10863],{"className":10864,"style":806},[60],[22,10866,775],{"className":10867},[65],". Для класса 1 как «положительного» (это всегда соглашение) принято обозначать четыре ячейки:",[10870,10871,10872,10882,10891,10900],"ul",{},[10873,10874,10875,815,10878,10881],"li",{},[812,10876,10877],{},"TP",[817,10879,10880],{},"true positives",") — объекты класса 1, предсказанные как 1;",[10873,10883,10884,815,10887,10890],{},[812,10885,10886],{},"TN",[817,10888,10889],{},"true negatives",") — объекты класса 0, предсказанные как 0;",[10873,10892,10893,815,10896,10899],{},[812,10894,10895],{},"FP",[817,10897,10898],{},"false positives",") — объекты класса 0, ошибочно предсказанные как 1 (ошибка I рода);",[10873,10901,10902,815,10905,10908],{},[812,10903,10904],{},"FN",[817,10906,10907],{},"false negatives",") — объекты класса 1, ошибочно предсказанные как 0 (ошибка II рода).",[1238,10910,1240,10911,1240,10915],{},[1242,10912],{"src":10913,"alt":10914},"\u002Fimg\u002Faidt-iot-mii\u002Ftopic-04\u002Fconfusion_matrix_metrics.svg","Матрица ошибок и производные метрики: precision, recall, F1",[1247,10916,10917],{},"Матрица ошибок и производные от неё метрики precision, recall и F1",[15,10919,10920,10921,11127],{},"Из этих четырёх чисел собираются все остальные метрики. Точность распознавания ",[22,10922,10924,10984],{"className":10923},[25],[22,10925,10927],{"className":10926},[29],[31,10928,10929],{"xmlns":33},[35,10930,10931,10981],{},[38,10932,10933,10935,10937,10939,10942,10944,10946,10948,10950,10952,10954,10956,10958,10960,10962,10964,10966,10968,10971,10973,10975,10977,10979],{},[2391,10934,10805],{},[98,10936,100],{},[98,10938,107],{"stretchy":103},[41,10940,10941],{},"T",[41,10943,1276],{},[98,10945,898],{},[41,10947,10941],{},[41,10949,5565],{},[98,10951,129],{"stretchy":103},[41,10953,1064],{"mathvariant":1063},[98,10955,107],{"stretchy":103},[41,10957,10941],{},[41,10959,1276],{},[98,10961,898],{},[41,10963,10941],{},[41,10965,5565],{},[98,10967,898],{},[41,10969,10970],{},"F",[41,10972,1276],{},[98,10974,898],{},[41,10976,10970],{},[41,10978,5565],{},[98,10980,129],{"stretchy":103},[45,10982,10983],{"encoding":47},"\\text{accuracy} = (TP + TN) \u002F (TP + TN + FP + FN)",[22,10985,10987,11009,11033,11069,11091,11112],{"className":10986,"ariaHidden":52},[51],[22,10988,10990,10993,11000,11003,11006],{"className":10989},[56],[22,10991],{"className":10992,"style":529},[60],[22,10994,10997],{"className":10995},[65,10996],"text",[22,10998,10805],{"className":10999},[65],[22,11001],{"className":11002,"style":170},[169],[22,11004,100],{"className":11005},[174],[22,11007],{"className":11008,"style":170},[169],[22,11010,11012,11015,11018,11021,11024,11027,11030],{"className":11011},[56],[22,11013],{"className":11014,"style":647},[60],[22,11016,107],{"className":11017},[188],[22,11019,10941],{"className":11020,"style":1336},[65,66],[22,11022,1276],{"className":11023,"style":1336},[65,66],[22,11025],{"className":11026,"style":1091},[169],[22,11028,898],{"className":11029},[1095],[22,11031],{"className":11032,"style":1091},[169],[22,11034,11036,11039,11042,11045,11048,11051,11054,11057,11060,11063,11066],{"className":11035},[56],[22,11037],{"className":11038,"style":647},[60],[22,11040,10941],{"className":11041,"style":1336},[65,66],[22,11043,5565],{"className":11044,"style":5597},[65,66],[22,11046,129],{"className":11047},[299],[22,11049,1064],{"className":11050},[65],[22,11052,107],{"className":11053},[188],[22,11055,10941],{"className":11056,"style":1336},[65,66],[22,11058,1276],{"className":11059,"style":1336},[65,66],[22,11061],{"className":11062,"style":1091},[169],[22,11064,898],{"className":11065},[1095],[22,11067],{"className":11068,"style":1091},[169],[22,11070,11072,11076,11079,11082,11085,11088],{"className":11071},[56],[22,11073],{"className":11074,"style":11075},[60],"height:0.7667em;vertical-align:-0.0833em;",[22,11077,10941],{"className":11078,"style":1336},[65,66],[22,11080,5565],{"className":11081,"style":5597},[65,66],[22,11083],{"className":11084,"style":1091},[169],[22,11086,898],{"className":11087},[1095],[22,11089],{"className":11090,"style":1091},[169],[22,11092,11094,11097,11100,11103,11106,11109],{"className":11093},[56],[22,11095],{"className":11096,"style":11075},[60],[22,11098,10970],{"className":11099,"style":1336},[65,66],[22,11101,1276],{"className":11102,"style":1336},[65,66],[22,11104],{"className":11105,"style":1091},[169],[22,11107,898],{"className":11108},[1095],[22,11110],{"className":11111,"style":1091},[169],[22,11113,11115,11118,11121,11124],{"className":11114},[56],[22,11116],{"className":11117,"style":647},[60],[22,11119,10970],{"className":11120,"style":1336},[65,66],[22,11122,5565],{"className":11123,"style":5597},[65,66],[22,11125,129],{"className":11126},[299]," — доля правильных ответов. На сбалансированных данных она информативна; на сильно перекошенных — нет. Если в выборке 99% объектов класса 0 и 1% класса 1, тривиальный классификатор «всегда 0» даёт accuracy 99%, не различая классы вовсе. Это та же логика baseline, что обсуждалась в теме 3: метрика без контекста ни о чём не говорит.",[15,11129,11130,11131,815,11134,10303,11137,11238,11239,815,11242,3179,11245,10303,11248,11348],{},"Содержательная пара метрик — точность и полнота. ",[812,11132,11133],{},"Точность",[817,11135,11136],{},"precision",[22,11138,11140,11174],{"className":11139},[25],[22,11141,11143],{"className":11142},[29],[31,11144,11145],{"xmlns":33},[35,11146,11147,11171],{},[38,11148,11149,11151,11153,11155,11157,11159,11161,11163,11165,11167,11169],{},[98,11150,100],{},[41,11152,10941],{},[41,11154,1276],{},[41,11156,1064],{"mathvariant":1063},[98,11158,107],{"stretchy":103},[41,11160,10941],{},[41,11162,1276],{},[98,11164,898],{},[41,11166,10970],{},[41,11168,1276],{},[98,11170,129],{"stretchy":103},[45,11172,11173],{"encoding":47},"= TP \u002F (TP + FP)",[22,11175,11177,11190,11223],{"className":11176,"ariaHidden":52},[51],[22,11178,11180,11184,11187],{"className":11179},[56],[22,11181],{"className":11182,"style":11183},[60],"height:0.3669em;",[22,11185,100],{"className":11186},[174],[22,11188],{"className":11189,"style":170},[169],[22,11191,11193,11196,11199,11202,11205,11208,11211,11214,11217,11220],{"className":11192},[56],[22,11194],{"className":11195,"style":647},[60],[22,11197,10941],{"className":11198,"style":1336},[65,66],[22,11200,1276],{"className":11201,"style":1336},[65,66],[22,11203,1064],{"className":11204},[65],[22,11206,107],{"className":11207},[188],[22,11209,10941],{"className":11210,"style":1336},[65,66],[22,11212,1276],{"className":11213,"style":1336},[65,66],[22,11215],{"className":11216,"style":1091},[169],[22,11218,898],{"className":11219},[1095],[22,11221],{"className":11222,"style":1091},[169],[22,11224,11226,11229,11232,11235],{"className":11225},[56],[22,11227],{"className":11228,"style":647},[60],[22,11230,10970],{"className":11231,"style":1336},[65,66],[22,11233,1276],{"className":11234,"style":1336},[65,66],[22,11236,129],{"className":11237},[299]," отвечает на вопрос «среди объектов, которые модель назвала положительными, какая доля действительно положительна?». ",[812,11240,11241],{},"Полнота",[817,11243,11244],{},"recall",[817,11246,11247],{},"sensitivity",[22,11249,11251,11285],{"className":11250},[25],[22,11252,11254],{"className":11253},[29],[31,11255,11256],{"xmlns":33},[35,11257,11258,11282],{},[38,11259,11260,11262,11264,11266,11268,11270,11272,11274,11276,11278,11280],{},[98,11261,100],{},[41,11263,10941],{},[41,11265,1276],{},[41,11267,1064],{"mathvariant":1063},[98,11269,107],{"stretchy":103},[41,11271,10941],{},[41,11273,1276],{},[98,11275,898],{},[41,11277,10970],{},[41,11279,5565],{},[98,11281,129],{"stretchy":103},[45,11283,11284],{"encoding":47},"= TP \u002F (TP + FN)",[22,11286,11288,11300,11333],{"className":11287,"ariaHidden":52},[51],[22,11289,11291,11294,11297],{"className":11290},[56],[22,11292],{"className":11293,"style":11183},[60],[22,11295,100],{"className":11296},[174],[22,11298],{"className":11299,"style":170},[169],[22,11301,11303,11306,11309,11312,11315,11318,11321,11324,11327,11330],{"className":11302},[56],[22,11304],{"className":11305,"style":647},[60],[22,11307,10941],{"className":11308,"style":1336},[65,66],[22,11310,1276],{"className":11311,"style":1336},[65,66],[22,11313,1064],{"className":11314},[65],[22,11316,107],{"className":11317},[188],[22,11319,10941],{"className":11320,"style":1336},[65,66],[22,11322,1276],{"className":11323,"style":1336},[65,66],[22,11325],{"className":11326,"style":1091},[169],[22,11328,898],{"className":11329},[1095],[22,11331],{"className":11332,"style":1091},[169],[22,11334,11336,11339,11342,11345],{"className":11335},[56],[22,11337],{"className":11338,"style":647},[60],[22,11340,10970],{"className":11341,"style":1336},[65,66],[22,11343,5565],{"className":11344,"style":5597},[65,66],[22,11346,129],{"className":11347},[299]," — «какую долю реально положительных объектов модель нашла?». Конкуренция между ними фундаментальна: повышая порог отсечения, мы делаем модель «осторожнее» — растёт точность, падает полнота; снижая порог, ловим больше положительных за счёт большего числа ложных срабатываний.",[15,11350,11351,11352,815,11355,11358],{},"Выбор между ними диктует задача. В фильтрации спама дорого попасть письмом в папку «спам» по ошибке — ценится точность. В медицинском скрининге дорого пропустить больного — ценится полнота. В мошеннической транзакции и то и другое плохо, и приходится искать компромисс. Численный компромисс задаётся ",[812,11353,11354],{},"F1-мерой",[817,11356,11357],{},"F1 score",") — гармоническим средним точности и полноты:",[15,11360,11361],{},[22,11362,11364,11408],{"className":11363},[25],[22,11365,11367],{"className":11366},[29],[31,11368,11369],{"xmlns":33},[35,11370,11371,11405],{},[38,11372,11373,11379,11381,11403],{},[109,11374,11375,11377],{},[41,11376,10970],{},[143,11378,145],{},[98,11380,100],{},[2100,11382,11383,11395],{},[38,11384,11385,11387,11389,11391,11393],{},[143,11386,775],{},[98,11388,4903],{},[2391,11390,11136],{},[98,11392,4903],{},[2391,11394,11244],{},[38,11396,11397,11399,11401],{},[2391,11398,11136],{},[98,11400,898],{},[2391,11402,11244],{},[41,11404,2123],{"mathvariant":1063},[45,11406,11407],{"encoding":47},"F_1 = \\frac{2 \\cdot \\text{precision} \\cdot \\text{recall}}{\\text{precision} + \\text{recall}}.",[22,11409,11411,11467],{"className":11410,"ariaHidden":52},[51],[22,11412,11414,11417,11458,11461,11464],{"className":11413},[56],[22,11415],{"className":11416,"style":3921},[60],[22,11418,11420,11423],{"className":11419},[65],[22,11421,10970],{"className":11422,"style":1336},[65,66],[22,11424,11426],{"className":11425},[199],[22,11427,11429,11450],{"className":11428},[203,204],[22,11430,11432,11447],{"className":11431},[208],[22,11433,11435],{"className":11434,"style":669},[212],[22,11436,11438,11441],{"style":11437},"top:-2.55em;margin-left:-0.1389em;margin-right:0.05em;",[22,11439],{"className":11440,"style":221},[220],[22,11442,11444],{"className":11443},[225,226,227,228],[22,11445,145],{"className":11446},[65,228],[22,11448,236],{"className":11449},[235],[22,11451,11453],{"className":11452},[208],[22,11454,11456],{"className":11455,"style":243},[212],[22,11457],{},[22,11459],{"className":11460,"style":170},[169],[22,11462,100],{"className":11463},[174],[22,11465],{"className":11466,"style":170},[169],[22,11468,11470,11474,11575],{"className":11469},[56],[22,11471],{"className":11472,"style":11473},[60],"height:1.4133em;vertical-align:-0.4811em;",[22,11475,11477,11480,11572],{"className":11476},[65],[22,11478],{"className":11479},[188,2170],[22,11481,11483],{"className":11482},[2100],[22,11484,11486,11563],{"className":11485},[203,204],[22,11487,11489,11560],{"className":11488},[208],[22,11490,11493,11519,11527],{"className":11491,"style":11492},[212],"height:0.9322em;",[22,11494,11495,11498],{"style":2186},[22,11496],{"className":11497,"style":1332},[220],[22,11499,11501],{"className":11500},[225,226,227,228],[22,11502,11504,11510,11513],{"className":11503},[65,228],[22,11505,11507],{"className":11506},[65,10996,228],[22,11508,11136],{"className":11509},[65,228],[22,11511,898],{"className":11512},[1095,228],[22,11514,11516],{"className":11515},[65,10996,228],[22,11517,11244],{"className":11518},[65,228],[22,11520,11521,11524],{"style":2244},[22,11522],{"className":11523,"style":1332},[220],[22,11525],{"className":11526,"style":2252},[2251],[22,11528,11530,11533],{"style":11529},"top:-3.4461em;",[22,11531],{"className":11532,"style":1332},[220],[22,11534,11536],{"className":11535},[225,226,227,228],[22,11537,11539,11542,11545,11551,11554],{"className":11538},[65,228],[22,11540,775],{"className":11541},[65,228],[22,11543,4903],{"className":11544},[1095,228],[22,11546,11548],{"className":11547},[65,10996,228],[22,11549,11136],{"className":11550},[65,228],[22,11552,4903],{"className":11553},[1095,228],[22,11555,11557],{"className":11556},[65,10996,228],[22,11558,11244],{"className":11559},[65,228],[22,11561,236],{"className":11562},[235],[22,11564,11566],{"className":11565},[208],[22,11567,11570],{"className":11568,"style":11569},[212],"height:0.4811em;",[22,11571],{},[22,11573],{"className":11574},[299,2170],[22,11576,2123],{"className":11577},[65],[15,11579,11580,11581,367,11654,11705,11706,11758,11759,11829],{},"Гармоническое среднее (а не арифметическое) выбрано потому, что оно сильно проседает, если одна из метрик мала: классификатор с точностью 0.99 и полнотой 0.01 имеет F1 ≈ 0.02, а не 0.5. Существует обобщение ",[22,11582,11584,11603],{"className":11583},[25],[22,11585,11587],{"className":11586},[29],[31,11588,11589],{"xmlns":33},[35,11590,11591,11600],{},[38,11592,11593],{},[109,11594,11595,11597],{},[41,11596,10970],{},[41,11598,11599],{},"β",[45,11601,11602],{"encoding":47},"F_\\beta",[22,11604,11606],{"className":11605,"ariaHidden":52},[51],[22,11607,11609,11613],{"className":11608},[56],[22,11610],{"className":11611,"style":11612},[60],"height:0.9694em;vertical-align:-0.2861em;",[22,11614,11616,11619],{"className":11615},[65],[22,11617,10970],{"className":11618,"style":1336},[65,66],[22,11620,11622],{"className":11621},[199],[22,11623,11625,11646],{"className":11624},[203,204],[22,11626,11628,11643],{"className":11627},[208],[22,11629,11631],{"className":11630,"style":1390},[212],[22,11632,11633,11636],{"style":11437},[22,11634],{"className":11635,"style":221},[220],[22,11637,11639],{"className":11638},[225,226,227,228],[22,11640,11599],{"className":11641,"style":11642},[65,66,228],"margin-right:0.0528em;",[22,11644,236],{"className":11645},[235],[22,11647,11649],{"className":11648},[208],[22,11650,11652],{"className":11651,"style":4352},[212],[22,11653],{},[22,11655,11657,11675],{"className":11656},[25],[22,11658,11660],{"className":11659},[29],[31,11661,11662],{"xmlns":33},[35,11663,11664,11672],{},[38,11665,11666,11668,11670],{},[41,11667,11599],{},[98,11669,956],{},[143,11671,145],{},[45,11673,11674],{"encoding":47},"\\beta > 1",[22,11676,11678,11696],{"className":11677,"ariaHidden":52},[51],[22,11679,11681,11684,11687,11690,11693],{"className":11680},[56],[22,11682],{"className":11683,"style":2693},[60],[22,11685,11599],{"className":11686,"style":11642},[65,66],[22,11688],{"className":11689,"style":170},[169],[22,11691,956],{"className":11692},[174],[22,11694],{"className":11695,"style":170},[169],[22,11697,11699,11702],{"className":11698},[56],[22,11700],{"className":11701,"style":806},[60],[22,11703,145],{"className":11704},[65]," повышает вес полноты, ",[22,11707,11709,11728],{"className":11708},[25],[22,11710,11712],{"className":11711},[29],[31,11713,11714],{"xmlns":33},[35,11715,11716,11725],{},[38,11717,11718,11720,11723],{},[41,11719,11599],{},[98,11721,11722],{},"\u003C",[143,11724,145],{},[45,11726,11727],{"encoding":47},"\\beta \u003C 1",[22,11729,11731,11749],{"className":11730,"ariaHidden":52},[51],[22,11732,11734,11737,11740,11743,11746],{"className":11733},[56],[22,11735],{"className":11736,"style":2693},[60],[22,11738,11599],{"className":11739,"style":11642},[65,66],[22,11741],{"className":11742,"style":170},[169],[22,11744,11722],{"className":11745},[174],[22,11747],{"className":11748,"style":170},[169],[22,11750,11752,11755],{"className":11751},[56],[22,11753],{"className":11754,"style":806},[60],[22,11756,145],{"className":11757},[65]," — точности; на практике ",[22,11760,11762,11780],{"className":11761},[25],[22,11763,11765],{"className":11764},[29],[31,11766,11767],{"xmlns":33},[35,11768,11769,11777],{},[38,11770,11771],{},[109,11772,11773,11775],{},[41,11774,10970],{},[143,11776,145],{},[45,11778,11779],{"encoding":47},"F_1",[22,11781,11783],{"className":11782,"ariaHidden":52},[51],[22,11784,11786,11789],{"className":11785},[56],[22,11787],{"className":11788,"style":3921},[60],[22,11790,11792,11795],{"className":11791},[65],[22,11793,10970],{"className":11794,"style":1336},[65,66],[22,11796,11798],{"className":11797},[199],[22,11799,11801,11821],{"className":11800},[203,204],[22,11802,11804,11818],{"className":11803},[208],[22,11805,11807],{"className":11806,"style":669},[212],[22,11808,11809,11812],{"style":11437},[22,11810],{"className":11811,"style":221},[220],[22,11813,11815],{"className":11814},[225,226,227,228],[22,11816,145],{"className":11817},[65,228],[22,11819,236],{"className":11820},[235],[22,11822,11824],{"className":11823},[208],[22,11825,11827],{"className":11826,"style":243},[212],[22,11828],{}," — стандартный выбор.",[15,11831,11832,11833,815,11836,11839,11840,11940,11941,12049,12050,12059,12060,815,12063,12066],{},"Для классификаторов, выдающих не метку, а оценку вероятности или score, есть метрики, не зависящие от выбора порога. ",[812,11834,11835],{},"ROC-кривая",[817,11837,11838],{},"receiver operating characteristic",") строится в координатах «доля ложных срабатываний» (FPR ",[22,11841,11843,11877],{"className":11842},[25],[22,11844,11846],{"className":11845},[29],[31,11847,11848],{"xmlns":33},[35,11849,11850,11874],{},[38,11851,11852,11854,11856,11858,11860,11862,11864,11866,11868,11870,11872],{},[98,11853,100],{},[41,11855,10970],{},[41,11857,1276],{},[41,11859,1064],{"mathvariant":1063},[98,11861,107],{"stretchy":103},[41,11863,10970],{},[41,11865,1276],{},[98,11867,898],{},[41,11869,10941],{},[41,11871,5565],{},[98,11873,129],{"stretchy":103},[45,11875,11876],{"encoding":47},"= FP \u002F (FP + TN)",[22,11878,11880,11892,11925],{"className":11879,"ariaHidden":52},[51],[22,11881,11883,11886,11889],{"className":11882},[56],[22,11884],{"className":11885,"style":11183},[60],[22,11887,100],{"className":11888},[174],[22,11890],{"className":11891,"style":170},[169],[22,11893,11895,11898,11901,11904,11907,11910,11913,11916,11919,11922],{"className":11894},[56],[22,11896],{"className":11897,"style":647},[60],[22,11899,10970],{"className":11900,"style":1336},[65,66],[22,11902,1276],{"className":11903,"style":1336},[65,66],[22,11905,1064],{"className":11906},[65],[22,11908,107],{"className":11909},[188],[22,11911,10970],{"className":11912,"style":1336},[65,66],[22,11914,1276],{"className":11915,"style":1336},[65,66],[22,11917],{"className":11918,"style":1091},[169],[22,11920,898],{"className":11921},[1095],[22,11923],{"className":11924,"style":1091},[169],[22,11926,11928,11931,11934,11937],{"className":11927},[56],[22,11929],{"className":11930,"style":647},[60],[22,11932,10941],{"className":11933,"style":1336},[65,66],[22,11935,5565],{"className":11936,"style":5597},[65,66],[22,11938,129],{"className":11939},[299],") по горизонтали и «доля верных обнаружений» (TPR ",[22,11942,11944,11980],{"className":11943},[25],[22,11945,11947],{"className":11946},[29],[31,11948,11949],{"xmlns":33},[35,11950,11951,11977],{},[38,11952,11953,11955,11957,11959,11961,11963,11965,11967,11969,11971,11973,11975],{},[98,11954,100],{},[41,11956,10941],{},[41,11958,1276],{},[41,11960,1064],{"mathvariant":1063},[98,11962,107],{"stretchy":103},[41,11964,10941],{},[41,11966,1276],{},[98,11968,898],{},[41,11970,10970],{},[41,11972,5565],{},[98,11974,129],{"stretchy":103},[98,11976,100],{},[45,11978,11979],{"encoding":47},"= TP \u002F (TP + FN) =",[22,11981,11983,11995,12028],{"className":11982,"ariaHidden":52},[51],[22,11984,11986,11989,11992],{"className":11985},[56],[22,11987],{"className":11988,"style":11183},[60],[22,11990,100],{"className":11991},[174],[22,11993],{"className":11994,"style":170},[169],[22,11996,11998,12001,12004,12007,12010,12013,12016,12019,12022,12025],{"className":11997},[56],[22,11999],{"className":12000,"style":647},[60],[22,12002,10941],{"className":12003,"style":1336},[65,66],[22,12005,1276],{"className":12006,"style":1336},[65,66],[22,12008,1064],{"className":12009},[65],[22,12011,107],{"className":12012},[188],[22,12014,10941],{"className":12015,"style":1336},[65,66],[22,12017,1276],{"className":12018,"style":1336},[65,66],[22,12020],{"className":12021,"style":1091},[169],[22,12023,898],{"className":12024},[1095],[22,12026],{"className":12027,"style":1091},[169],[22,12029,12031,12034,12037,12040,12043,12046],{"className":12030},[56],[22,12032],{"className":12033,"style":647},[60],[22,12035,10970],{"className":12036,"style":1336},[65,66],[22,12038,5565],{"className":12039,"style":5597},[65,66],[22,12041,129],{"className":12042},[299],[22,12044],{"className":12045,"style":170},[169],[22,12047,100],{"className":12048},[174]," recall) по вертикали; точки кривой соответствуют разным порогам отсечения ",[1715,12051,12053],{"className":12052},[1718],[1720,12054,12056],{"href":12055},"#ref-9",[22,12057,12058],{},"9",". ",[812,12061,12062],{},"AUC",[817,12064,12065],{},"area under the curve",") — площадь под этой кривой. У случайного классификатора AUC = 0.5 (диагональ), у идеального — 1.0. AUC имеет интерпретацию вероятности: для случайно взятой пары «положительный объект, отрицательный объект» это вероятность того, что классификатор присвоит положительному объекту более высокий score, чем отрицательному.",[15,12068,12069,12070,815,12073,12076,12077,2123],{},"ROC-кривая удобна как метрика, не зависящая ни от порога, ни от базового распределения классов. Это же — её слабость на сильно несбалансированных данных: при доминирующем отрицательном классе даже большое число FP даёт малое изменение FPR, и AUC завышает реальное качество. В таких задачах информативнее ",[812,12071,12072],{},"PR-кривая",[817,12074,12075],{},"precision-recall curve",") в координатах «полнота — точность», а её площадь (PR-AUC, или average precision) — более честная оценка ",[1715,12078,12080],{"className":12079},[1718],[1720,12081,12083],{"href":12082},"#ref-10",[22,12084,12085],{},"10",[15,12087,12088,12089,12140,12141,815,12144,12147,12148,815,12151,12154],{},"Для многоклассовой классификации матрица ошибок становится ",[22,12090,12092,12110],{"className":12091},[25],[22,12093,12095],{"className":12094},[29],[31,12096,12097],{"xmlns":33},[35,12098,12099,12107],{},[38,12100,12101,12103,12105],{},[41,12102,611],{},[98,12104,10832],{},[41,12106,611],{},[45,12108,12109],{"encoding":47},"K \\times K",[22,12111,12113,12131],{"className":12112,"ariaHidden":52},[51],[22,12114,12116,12119,12122,12125,12128],{"className":12115},[56],[22,12117],{"className":12118,"style":11075},[60],[22,12120,611],{"className":12121,"style":741},[65,66],[22,12123],{"className":12124,"style":1091},[169],[22,12126,10832],{"className":12127},[1095],[22,12129],{"className":12130,"style":1091},[169],[22,12132,12134,12137],{"className":12133},[56],[22,12135],{"className":12136,"style":161},[60],[22,12138,611],{"className":12139,"style":741},[65,66],", а точность и полнота рассчитываются для каждого класса отдельно. Агрегируют их либо ",[812,12142,12143],{},"макро-усреднением",[817,12145,12146],{},"macro-average",") — простое среднее метрик по классам, не зависит от размеров классов и подходит, когда все классы одинаково важны, — либо ",[812,12149,12150],{},"взвешенным усреднением",[817,12152,12153],{},"weighted average","), где вес класса пропорционален его размеру. Микро-усреднение, эквивалентное общей accuracy, тоже встречается, но содержательно мало добавляет.",[15,12156,12157],{},"Подытоживая: выбор метрики — это часть формулировки задачи, а не вспомогательный шаг. Объявить «будем оптимизировать accuracy» в задаче с 1%-ной редкостью класса — значит фактически разрешить модели не находить редкий класс вовсе. В лабораторной работе по этой теме мы сравним несколько классификаторов на одном датасете и подберём ту метрику, которая разводит модели по содержательному различию, а не по статистическому шуму.",[70,12159,12161],{"id":12160},"литература","Литература",[12163,12164,12167,12171,12175,12179,12183,12187,12191,12195,12199,12203],"ol",{"className":12165},[12166],"references",[10873,12168,12170],{"id":12169},"ref-1","Platt J. C. Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods. — Advances in Large Margin Classifiers, 1999, С. 61–74.",[10873,12172,12174],{"id":12173},"ref-2","Cox D. R. The Regression Analysis of Binary Sequences. — Journal of the Royal Statistical Society. Series B (Methodological), 1958, С. 215–242, DOI: 10.1111\u002Fj.2517-6161.1958.tb00292.x.",[10873,12176,12178],{"id":12177},"ref-3","Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay {. Scikit-learn: Machine Learning in Python. — Journal of Machine Learning Research, 2011, С. 2825–2830.",[10873,12180,12182],{"id":12181},"ref-4","Fix E., Hodges J. L. Discriminatory Analysis. Nonparametric Discrimination: Consistency Properties. — USAF School of Aviation Medicine, Randolph Field, Texas, 1951.",[10873,12184,12186],{"id":12185},"ref-5","Cover T. M., Hart P. E. Nearest Neighbor Pattern Classification. — IEEE Transactions on Information Theory, 1967, С. 21–27, DOI: 10.1109\u002FTIT.1967.1053964.",[10873,12188,12190],{"id":12189},"ref-6","Breiman L., Friedman J. H., Olshen R. A., Stone C. J. Classification and Regression Trees. — Wadsworth and Brooks\u002FCole, 1984.",[10873,12192,12194],{"id":12193},"ref-7","Quinlan J. R. Induction of Decision Trees. — Machine Learning, 1986, С. 81–106, DOI: 10.1007\u002FBF00116251.",[10873,12196,12198],{"id":12197},"ref-8","Cortes C., Vapnik V. Support-Vector Networks. — Machine Learning, 1995, С. 273–297, DOI: 10.1007\u002FBF00994018.",[10873,12200,12202],{"id":12201},"ref-9","Fawcett T. An Introduction to ROC Analysis. — Pattern Recognition Letters, 2006, С. 861–874, DOI: 10.1016\u002Fj.patrec.2005.10.010.",[10873,12204,12206],{"id":12205},"ref-10","Saito T., Rehmsmeier M. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. — PLOS ONE, 2015, С. e0118432, DOI: 10.1371\u002Fjournal.pone.0118432.",{"title":12208,"searchDepth":12209,"depth":12209,"links":12210},"",2,[12211,12215,12221,12224],{"id":72,"depth":12209,"text":73,"children":12212},[12213],{"id":77,"depth":12214,"text":78},3,{"id":1728,"depth":12209,"text":1729,"children":12216},[12217,12218,12219,12220],{"id":1732,"depth":12214,"text":1733},{"id":4598,"depth":12214,"text":4599},{"id":6685,"depth":12214,"text":6686},{"id":7868,"depth":12214,"text":7869},{"id":10791,"depth":12209,"text":10792,"children":12222},[12223],{"id":10795,"depth":12214,"text":10796},{"id":12160,"depth":12209,"text":12161},"aidt-iot-mii",null,"md",false,{},true,"\u002Fcourses\u002Faidt-iot-mii\u002Ftopic-04-content","content",{"title":6,"description":17},"courses\u002Faidt-iot-mii\u002Ftopic-04-content",4,"topic-04","7DOCSislotn91a8Ebh45tgggMJCVuczl9JBC7NdTnvI",{"id":12239,"title":12240,"body":12241,"course_slug":12225,"description":12208,"env_label":12226,"env_url":12226,"extension":12227,"group":12266,"is_course_project":12228,"is_index":12230,"level":12267,"meta":12268,"navigation":12230,"path":12292,"section":12226,"seo":12293,"stem":12294,"topic_number":12226,"topic_slug":12226,"__hash__":12295},"courses\u002Fcourses\u002Faidt-iot-mii\u002Findex.md","Методы искусственного интеллекта",{"type":8,"value":12242,"toc":12263},[12243,12247],[70,12244,12246],{"id":12245},"документы","Документы",[10870,12248,12249,12256],{},[10873,12250,12251,12252,2123],{},"Требования к содержанию и оформлению — ",[1720,12253,12255],{"href":12254},".\u002Fshared\u002FSTYLEGUIDE","shared\u002FSTYLEGUIDE.md",[10873,12257,12258,12259,2123],{},"Содержание курса — ",[1720,12260,12262],{"href":12261},".\u002Ftopics","topics.md",{"title":12208,"searchDepth":12209,"depth":12209,"links":12264},[12265],{"id":12245,"depth":12209,"text":12246},"iot","бакалавриат",{"topics_count":12269,"has_lr":12230,"has_pz":12230,"has_course_project":12228,"final_assessment":12208,"tech_focus":12270,"kind":12271,"authors":12272,"publication":12283,"annotation":12291},9,"scikit-learn, Keras\u002FTensorFlow, Hugging Face","Учебное пособие",[12273,12278],{"last_name":12274,"first_name":12275,"patronymic":12276,"role":12277,"affiliation":12208},"Корчагин","Сергей","Геннадьевич","автор",{"last_name":12279,"first_name":12280,"patronymic":12281,"role":12277,"affiliation":12282},"Рындин","Никита","Александрович","ВГТУ",{"city":12284,"year":12285,"founder":12286,"publisher":12287,"udk":12208,"bbk":12208,"shelf_mark":12208,"isbn":12208,"approval_body":12290},"Воронеж",2026,"Министерство науки и высшего образования Российской Федерации",{"short":12282,"full":12288,"address":12289},"Федеральное государственное бюджетное образовательное учреждение высшего образования «Воронежский государственный технический университет»\n","394026, Воронеж, Московский проспект, 14","Издается по решению редакционно-издательского совета\nВоронежского государственного технического университета\n","Учебное пособие охватывает основные методы искусственного интеллекта:\nклассические алгоритмы поиска и логического вывода, постановку задач\nмашинного обучения, классические алгоритмы классификации и регрессии,\nобучение без учителя, методологию оценки и выбора моделей, нейронные\nсети и обработку естественного языка с применением современных\nпредобученных моделей.\n\nПредназначено для студентов бакалавриата, изучающих дисциплины\n«Методы искусственного интеллекта» и смежные курсы по машинному\nобучению. Предполагается базовое владение языком Python и навыки\nпредварительной обработки данных.","\u002Fcourses\u002Faidt-iot-mii",{"title":12240,"description":12208},"courses\u002Faidt-iot-mii\u002Findex","piE67Aq1EFie5slrRu4oHnVNvzYsc6XAWuF13eVVSic",1779455410590]