[{"data":1,"prerenderedAt":144},["ShallowReactive",2],{"topic:aidt-iot-vvad:topic-00":3},{"content":4,"pz":47,"lr":47,"additional":47,"courseMeta":59},{"id":5,"title":6,"body":7,"course_slug":46,"description":17,"env_label":47,"env_url":47,"extension":48,"group":47,"is_course_project":49,"is_index":49,"level":47,"meta":50,"navigation":51,"path":52,"section":53,"seo":54,"stem":55,"topic_number":56,"topic_slug":57,"__hash__":58},"courses\u002Fcourses\u002Faidt-iot-vvad\u002Ftopic-00-content.md","Введение",{"type":8,"value":9,"toc":42},"minimark",[10,14,18,21,29,36,39],[11,12,6],"h1",{"id":13},"введение",[15,16,17],"p",{},"Пособие посвящено тому, как из сырых данных получить обоснованные выводы. Центральный вопрос курса — что скрывается в данных: какие закономерности в них есть, каким наблюдениям можно доверять и какие утверждения выдерживают статистическую проверку. Мы пройдём путь от сбора разнородных источников до таблицы признаков, пригодной для построения моделей, и на каждом шаге будем интересоваться не только тем, как выполнить операцию, но и тем, что она меняет в выводах.",[15,19,20],{},"Курс открывает индивидуальную образовательную траекторию Data & AI из четырёх дисциплин. За ним следуют «Методы искусственного интеллекта», где по подготовленным здесь признакам строятся модели, «Современные хранилища данных», где те же данные переносятся в аналитическое хранилище, и «Платформы аналитики и машинного обучения», где модель превращается в работающий сервис. Отсюда граница курса: машинное обучение в нём сознательно не рассматривается. Разбиение данных на обучающую и тестовую части, выбор метрики и обучение моделей начинаются в следующей дисциплине, а наша задача — передать ей данные, которым можно доверять.",[15,22,23,24,28],{},"Все темы опираются на один сквозной кейс — данные эксплуатации городской инженерной инфраструктуры. В наборе есть объекты пяти типов (тепловые пункты, трансформаторные подстанции, насосные станции, водомерные узлы и узлы уличного освещения), приборы учёта на них, почасовые показания приборов с октября 2024 по март 2025 года, суточная погода, журнал инцидентов и обращения жителей. Одни приборы накопительные: они отдают нарастающий итог, и расход приходится вычислять как разность соседних значений. Другие мгновенные: они измеряют температуру теплоносителя или напряжение. Данные синтетические и не содержат сведений о реальных людях, но собраны так, как их отдаёт настоящая система телеметрии (англ. ",[25,26,27],"em",{},"telemetry","): с пропусками связи, повторными отправками, поздно пришедшими записями, выбросами, залипанием датчика и обнулением счётчика после замены прибора. Искать и обрабатывать эти дефекты предстоит самостоятельно — именно на них видно, почему аналитика начинается не с графиков, а с проверки данных.",[15,30,31,32,35],{},"Девять тем складываются в три блока. Первый — предмет и данные: что такое аналитика и какое место она занимает в принятии решений (тема 1), откуда берутся данные и как собрать их из разных источников (тема 2). Второй блок — описание и подготовка. Он начинается с описательной статистики (тема 3), и этот порядок выбран намеренно: прежде чем чистить данные, нужно увидеть в числах, чем они плохи, — выброс, незаметный в таблице, сдвигает среднее и раздувает стандартное отклонение. Затем идут предобработка (тема 4) и визуализация (тема 5). Третий блок — анализ и выводы: разведочный анализ данных (англ. ",[25,33,34],{},"exploratory data analysis",", EDA) с формулированием гипотез (тема 6), их статистическая проверка (тема 7), построение признаков (тема 8) и сборка аналитического проекта (тема 9).",[15,37,38],{},"Практические занятия образуют цепочку: сырой набор, собранный во втором занятии, профилируется в третьем, очищается в четвёртом, а гипотезы, сформулированные в шестом занятии на данных за октябрь–январь, проверяются в седьмом на данных за февраль–март. Такое разделение не случайно: гипотезу, найденную на одних данных, честно проверять только на других. Итог восьмого занятия — таблица признаков со словарём, с которой начинается курс «Методы искусственного интеллекта», а девятое занятие собирает всю цепочку в воспроизводимый проект. Поэтому результаты занятий стоит сохранять и поддерживать в рабочем состоянии до конца семестра.",[15,40,41],{},"От читателя требуется базовое владение Python: переменные, списки и словари, циклы, функции. Работа ведётся в Jupyter с библиотеками pandas, NumPy, SciPy, Matplotlib и Seaborn; окружение настраивается на первом практическом занятии и дальше не меняется, а учебный набор данных входит в архив окружения этого занятия. Из математики достаточно школьного курса и начальных представлений о вероятности — понятия статистики вводятся по ходу изложения.",{"title":43,"searchDepth":44,"depth":44,"links":45},"",2,[],"aidt-iot-vvad",null,"md",false,{},true,"\u002Fcourses\u002Faidt-iot-vvad\u002Ftopic-00-content","content",{"title":6,"description":17},"courses\u002Faidt-iot-vvad\u002Ftopic-00-content",0,"topic-00","hzLeQ8P2kD7OXdUAZbmfcwexgoFUlTwvbzX86rrpzlc",{"id":60,"title":61,"body":62,"course_slug":46,"description":43,"env_label":47,"env_url":47,"extension":48,"group":113,"is_course_project":49,"is_index":51,"level":114,"meta":115,"navigation":51,"path":140,"section":47,"seo":141,"stem":142,"topic_number":47,"topic_slug":47,"__hash__":143},"courses\u002Fcourses\u002Faidt-iot-vvad\u002Findex.md","Введение в аналитику данных",{"type":8,"value":63,"toc":110},[64,69],[65,66,68],"h2",{"id":67},"документы","Документы",[70,71,72,82,89,96,103],"ul",{},[73,74,75,76,81],"li",{},"Требования к содержанию и оформлению — ",[77,78,80],"a",{"href":79},".\u002Fshared\u002FSTYLEGUIDE","shared\u002FSTYLEGUIDE.md",".",[73,83,84,85,81],{},"Содержание курса — ",[77,86,88],{"href":87},".\u002Ftopics","topics.md",[73,90,91,92,81],{},"Концепция траектории Data & AI — ",[77,93,95],{"href":94},".\u002Fiot-ai-concept","iot-ai-concept.md",[73,97,98,99,81],{},"Учебный набор данных — ",[77,100,102],{"href":101},".\u002Fdata\u002FREADME","data\u002FREADME.md",[73,104,105,106,81],{},"Издательские метаданные учебного пособия — ",[77,107,109],{"href":108},".\u002Fpublishing\u002Ftextbook.yaml","publishing\u002Ftextbook.yaml",{"title":43,"searchDepth":44,"depth":44,"links":111},[112],{"id":67,"depth":44,"text":68},"iot","бакалавриат",{"topics_count":116,"has_lr":49,"has_pz":51,"has_course_project":49,"final_assessment":43,"tech_focus":117,"kind":118,"authors":119,"publication":133},9,"Python, pandas, NumPy, SciPy, Matplotlib, Seaborn, Jupyter","Учебное пособие",[120,126,130],{"last_name":121,"first_name":122,"patronymic":123,"role":124,"affiliation":125},"Рындин","Никита","Александрович","автор","ВГТУ",{"last_name":127,"first_name":128,"patronymic":129,"role":124},"Корчагин","Сергей","Геннадьевич",{"last_name":131,"first_name":132,"role":124},"Пуговкина","Наталья",{"city":134,"year":43,"founder":135,"publisher":136,"udk":43,"bbk":43,"shelf_mark":43,"isbn":43,"approval_body":139},"Воронеж","Министерство науки и высшего образования Российской Федерации",{"short":125,"full":137,"address":138},"Федеральное государственное бюджетное образовательное учреждение высшего образования «Воронежский государственный технический университет»\n","394026, Воронеж, Московский проспект, 14","Издается по решению редакционно-издательского совета\nВоронежского государственного технического университета\n","\u002Fcourses\u002Faidt-iot-vvad",{"title":61,"description":43},"courses\u002Faidt-iot-vvad\u002Findex","Al8IRco-wPstgi13cZRlSXRxhy1YoFgBBv09f5I5Jbg",1789142470071]