Основы калибровки (Calibration Basics)

Автор: | 31.05.2021

Введение 
Синонимы калибровки
Выбор аппроксимирующей функции
Подготовка данных
Определение параметров функции
Метрики качества регрессии
Калибровка и проверка
Задача калибровки в общем виде
Оптимизация модели
Рекомендации
Полезные ссылки

Введение

Калибровка — это процедура моделирования связи между между коррелирующими данными для обеспечения возможности предсказывать результат по новой выборке данных

Простейший пример калибровки безмена (пружинных весов). Отмечаем на шкале удлинение пружины для подвешенного эталонного образца весом в 1 кг, 2 кг, и т.д. В результате калибровки получается шкала, по которой можно определить вес нового, нестандартного образца (2.8 кг). Результат калибровки может быть представлен функциональной зависимостью  y=bx (Закон Гука ).

Закон Гука  связывает переменные y и x через коэффициент жесткости пружины b, который априори неизвестен, но может быть определен по экспериментальным (табличным) данным.

Разумеется, закон Гука — это идеализированная модель и она не определяет абсолютно точно зависимость между входом и выходом. Качество калибровки определяется правильным выбором коэффициента b и оценивается по сумме погрешностей ε = |y — bx| для совокупности данных, которые  использовались при обучении (или тестировании) модели. Сумма погрешностей должна быть минимально возможной, а ее оценки для обучающей и тестирующей выборкам приблизительно одинаковыми.

Этот элементарный пример демонстрирует основные черты процедуры калибровки, которые подробно будут рассмотрены далее.

Синонимы калибровки

Синонимы — это слова, разные по написанию, но имеющие схожее или тождественное значение.

Калибровка — это процесс построения математической модели, которая связывает выходные данные прибора со свойствами образцов. Регрессия — это подход к связыванию двух наборов переменных друг с другом.

Регрессия — это одна из разновидностей машинного обучения, при котором числовой результат предсказывается по входным числовым данным.

Аппроксимация — это способ нахождения функции, которая наиболее соответствует таблице значений. Интерполяция — построение кривой, проходящей через контрольные точки и обладающей некоторыми заданными свойствами (например, гладкостью)

В отличие от интерполяции, аппроксимация — приближение кривой к исходной, но не обязательно проходящей через заданные точки.

Экстраполяция — это разновидность аппроксимации (или интерполяции), при которой оценивание значения переменной производится не внутри интервала заданных точек.

Выбор аппроксимирующей функции

Аппроксимирующая функция в задаче калибровки должна удовлетворять следующим требованиям:

  • быть простой;
  • достаточно точно отображать экспериментально полученную характеристику;
  • допускать последующую математическую обработку;
  • иметь единственное решение.

В примере с бизменом была рассмотрена задача, для которой известна модель (закон Гука). Для ней использовалась линейная аппроксимация (y=bx). Однако, при решении многих задач приходится иметь дело с процессами, у которых модель неизвестна. В таких случаях функциональная зависимость для аппроксимации выбирается «на глазок».  При этом,   наряду с линейной могут применяться нелинейная или кусочно-линейная аппроксимации.

Теоретически функциональная связь между переменными x и y может быть сложной, например,

y=bexp(b1x+b2x2) . 

Однако на практике большинство используемых калибровок являются линейными, т.е. имеют вид:

y=bb1x1 + b2x2+…+ bJxJ .

Главное преимущество линейной модели – это единственность решения, тогда как все прочие калибровки образуют бесконечное множество, выбор из которого затруднителен.

Сложную нелинейную зависимость можно заменить простыми линейными моделями, каждая из которых работает только на своей области переменной x.

Подготовка данных

Выбросы (англ. outliers) — это экстремальные значения в данных.

Например, при определении средней температуры на кухне все предметы  имеют температуру 22-25 градусов, а — духовка 220.

Выбросы могут привести к снижению точности модели калибровки.

Методы обнаружения и борьбы с выбросами —  визуализация и фильтрация данных, используя диаграммы и гистограммы

t-распределение менее чувствительно к выбросам по сравнению с нормальным распределением.

Нормализация — это преобразование данных к неким безразмерным единицам. Иногда — в рамках заданного диапазона, например, [0..1] или [-1..1].

Аналитически любая нормализация сводится к формуле:

где

Xi— текущее значение,
Xсмещ — величина смещения значений,
Xед— величина интервала, который будет преобразован к “единице”

Главное условие правильной нормализации — все входные параметры должны быть равны в своем влиянии на выходной сигнал.

Соотношение между количеством параметров модели и количеством данных, доступных для обучения, влияет на риск переобучения.

Если данных недостаточно по сравнению с количеством параметров, в некотором смысле есть место для изучения нежелательного шума. Но если количество данных достаточно велико, оно будет иметь эффект регуляризации и заставит параметры изучать только общие функции

Определение параметров функции

Пусть по каким-то соображениям мы решили, что линейная регрессия лучше всего описывает зависимость между переменными. Дальше коэффициенты прямой Y = b1 + b2X подбираются так, чтобы минимизировать ошибку между экспериментальными точками и точками, которые определяются уравнением прямой.

На нижнем рисунке показаны некий датасет из точек ( P1, P2, P3, P4) наблюдаемых при переменных Х1, Х2, Х2, Х4 — для каждого из «иксов» известно значение Y.

Необходимо определить параметры прямой линии Y = b1 + b2X. Весь вопрос заключается в том, какие b2 и b1 лучше всего установить, чтобы эта прямая линия как можно точнее описывала зависимость между этими переменными.

Точки R1, R2, R3, R4 — это значения, которые выдаёт наша модель при значениях X.

Расстояние между этими точками для одинаковых «иксов» (P1 – R1, P2 – R2 и т. д.) называется ошибками линейной регрессии ε1, ε2, ε3…εn. А ошибки эти могут быть как в плюс, так и в минус. Чтобы эти отклонения сравнить, берут абсолютную величину ошибки, либо применяют способ возведения в квадрат (возведение в квадрат «убивает» знак).

Метрики качества регрессии

Чтобы оценить работоспособность модели, применяют специальные метрики:

  • cредняя квадратичная ошибка (англ. Mean Squared Error, MSE) и  корневая cредняя квадратичная ошибка (Root Mean Square Error, RMS Error, RMSE)

Когда мы обучаем регрессию, мы используем метрику для обучения. Это метрика MSE или ей альтернативная. Минимизировав MSE по параметрам прямой y = b1 + b2x, мы получаем оптимальные параметры (определяются методом наименьших квадратов).

MSE также может быть рассчитана с использованием данных, которые не были включены при обучении модели. В этих условиях она известна как среднеквадратичная ошибка прогнозирования (англ. Mean Squared Prognostication Error, MSPE).

  • Средняя абсолютная ошибка (Mean Absolute Error, MAE)

  • Средняя ошибка смещения ( Mean Bias Error, MBE)

MBE у качественной модели  приближается к минимуму и распределяется случайным образом.

В прикладных задачах математической статистики, при теоретическом изучении эмпирических распределений, отличающихся от нормального распределения, возникает необходимость количественных оценок этих различий. Для этой цели введены специальные безразмерные характеристики

  • Коэффициент детерминации R², который определяется через  остаточную сумму квадратов (Residual Sum of Squares, RSS) и общую сумму квадратов  (Total Sum of Squares, TSS)

Коэффициент детерминации принимает значения от 0 до 1. Чем ближе значение коэффициента к 1, тем сильнее зависимость. Значение коэффициента детерминации 1 означает функциональную зависимость между переменными.

Калибровка и проверка

При надлежащем построении калибровочной модели исходный массив данных состоит из двух независимо полученных наборов:

  • обучающий набор;
  • проверочный набор.

Построенная на обучающих данных модель применяется к данным из проверочного набора, и полученные результаты сравниваются. При калибровке мы пытаемся построить нашу модель так, чтобы метрики качества, полученные на данных из проверочного набора, были не хуже метрик, наблюдаемых в обучающих данных. При сравнении результатов кроме метрик качества регрессии добавляются и ряд других  показателей

Воспроизводимость (precision) характеризует то, насколько близко находятся друг от друга независимые повторные измерения. Точность (accuracy) определяет степень близости оценок к истинному (стандартному) значению y.

a) и b) представляют оценки с хорошей воспроизводимостью. Вариант a) , кроме того, обладает и высокой точностью, что, разумеется, нельзя сказать о графике c). В последнем случае и воспроизводимость, и точность оставляют желать лучшего.

MSE характеризуют воспроизводимость, а MBE —  точность. RMSE характеризует и то и другое (RMSE2 = MSE2 + MBE2), поэтому предпочтение следует отдавать показателям RMSE.

MSE может быть истолкована как сумма наших прогнозов, которые будут меняться , если они были разработаны с использованием другого набора данных. MBE представляет собой ошибку, связанную с неверным предположением создания модели.

Недооценка и переоценка. При построении калибровки исследователь часто имеет возможность последовательного усложнения модели.  Например, при использовании для  калибровки полинома n-й степени при недостаточной сложности модели (= 0, 1) обучающие данные лежат далеко от модели. Это – случай недооценки. Когда сложность модели увеличивается, то согласие между обучающими данными и моделью улучшается. Однако, при излишней сложности (= 4, 5), модель все хуже работает при прогнозе на проверочный набор. Это – случай переоценки.

На рис (справа) показано, как изменяются показатель RMSE при увеличении сложности модели. RMSE обучающей выборки (зеленый цвет)  монотонно падает, а RMSE проверочной выборки проходит через минимум. Точка минимума  позволяет определить оптимальную сложность модели – это n = 2.  Как видим, улучшение RMSE обучающей выборки при увеличении числа параметров не всегда приводит к улучшению RMSE проверочной выборки.

Задача калибровки в общем виде

Суть задачи калибровки состоит в следующем. Пусть имеется некоторая переменная (свойство) y, величину которой необходимо установить, измерив другие величины: x=(x1x2x3,…). Задача калибровки состоит в установлении количественной связи между переменными x и откликом y –

y=f(x1x2x3,…| b1, b2b3,…) +ε

На практике это означает:

  • (1) подбор вида зависимости f, и …
  • (2) оценку неизвестных параметров b1, b2b3,… в этой калибровочной зависимости.

Разумеется, на практике все обстоит не так просто, как в этом элементарном примере. Например, в калибровке может участвовать не один показатель y (отклик), а несколько откликов y1y2,….. yK, которые нас интересуют. Сформулируем задачу в этой постановке.

Пусть имеется матрица Y, размерностью (× K), где I – это число эталонных образцов, использованных в калибровке, а K – это число одновременно калибруемых откликов. Матрица Y содержит значения откликов y, известные из независимых экспериментов. Пусть, с другой стороны, имеется соответствующая матрица X из переменных x с размерностью (× ),  где I – это, естественно, тоже число образцов, а J – это число независимых переменных (каналов), используемых в калибровке.  Используя калибровочные данные (XY), требуется построить функциональную связь между Y и X.

Итак, задача калибровки состоит в построении математической модели, связывающей блоки X и Y, с помощью которой можно в дальнейшем предсказывать значения откликов y1y2,….. yK, по новой (не эталонной) (I+n)-й строке из J значений переменных x с минимальной погрешностью ε.

B*X E

Оптимизация модели

После того как модель определена, она должна быть оптимизирована так, чтобы наиболее точно соответствовала данным. Задачи оптимизации можно классифицировать по трем категориям:

  • Квадратичная.
  • Выпуклая.
  • Невыпуклая.

Квадратичная минимизация реализуется только для линейной регрессии. Минимум находится просто аналитическим способом: определяется нуль производной линейной функции.

Неквадратичные задачи оптимизации часто не могут быть решены аналитическим путем и требуют большей части итеративного подхода.

Итеративные подходы могут принимать различные формы, такие как различные виды градиентного спуска, алгоритмы EM и другие, но в конце основная идея остается той же: мы не можем найти прямое решение, поэтому мы начинаем с заданной точки, пошагово передвигаясь к оптимальной точке.

Выпуклая минимизация

Невыпуклая минимизация усложняется обнаружением множества локальных минимумов вместо глобального минимума.

Рекомендации:

  • Четкое понимание задачи предопределяет ваше следующее действие. Необходимо знать предметную область, в которой строите регрессию.
  • Предпочтение следует отдавать содержательной модели. Например, при калибровке безмена содержательная модель — это закон Гука, при калибровке камеры — это камера-обскура. В этих случаях выбор аппроксимирующей функции и использование тех или иных параметров в ней теоретически обоснованы.
  • После того как модель определена, она должна быть оптимизирована так, чтобы она соответствовала данным «достаточно», чтобы охватить соответствующие общие структуры данных, оставляя в стороне не относящийся к делу конкретный «шум» .
  • Тщательно подготавливайте данные (datasets). Выявляйте в них отклонения (outliers), убирайте или исправляйте их.
  • Чем проще регрессия, тем она будет надежнее работать. И чем тяжелее регрессия, тем больше вероятность, что что-то пойдет не так.
  • Если модель хорошо обучилась, это еще не значит, что она хорошо тестируется.
  • Если вам удалось придумать хорошую регрессию, то лучше на этом остановиться. Не пытайтесь сделать что-то идеальное, сверхточное. Порой в попытках улучшить можно на самом деле ухудшить. Например, множественная линейная регрессия при чрезмерном увеличении параметров зачастую приводит к неустойчивым моделям, непригодным для практического применения.
  • Сейчас в калибровке моделей много ручного интеллектуального труда, требующего от специалиста определенных навыков. Есть стремление к  автоматическому подбору лучшей модели. Но пока это недостижимо, и без понимания математического аппарата правильно подобрать модель невозможно.

 

Полезные ссылки:

 

 

Автор: Николай Свирневский