Глубокое обучение

Подсказка

Выход нейрона — сигмоида от линейной функции входов, поэтому его легко «выпрямить»: \(z=\ln\dfrac{y}{A-y}\) линейно зависит от \(x_1\) и \(x_2\). Максимум линейной функции на квадрате входных напряжений достигается в углу квадрата, а делитель напряжения на потенциометре позволяет изменить масштаб входа и выхода.

Ответ

1) схема 2, \(R_L\approx222\) Ом, \(R_P\approx1000\) Ом;  2) оба потенциометра включены делителями между \(+V\) и GND, движки идут на X1 и X2 (диапазон \(0\)–\(3{,}2\) В);  3) \(y_{\max}=2{,}73\) В при \(x_1=0\), \(x_2=3{,}15\) В (три измерения в углах квадрата);  4) \(w_1\approx-0{,}62\) В\(^{-1}\), \(w_2\approx0{,}96\) В\(^{-1}\), \(b\approx1{,}66\) (для данной коробки);  5) \(b_5=w_1U_{+V}+b\approx-0{,}35\);  6a) \(R_{\text{вых}}\approx284\) Ом;  6b) \(A_6=A(1-B_6/U_{+V})\approx1{,}5\) В.

Решение

Что происходит. Нейрон — блок из трёх частей: линейный сумматор \(z=w_1x_1+w_2x_2+b\), сигмоида \(y=A\sigma(z)\) и последовательное выходное сопротивление \(R_{\text{вых}}\). Все числа в решении — для той коробки, на которой получены данные организаторов; у другой коробки они будут другими, а метод тот же. Главная идея: сигмоида обратима, и величина \[z=\ln\frac{y}{A-y}\] зависит от входов линейно, так что веса и смещение находятся по наклонам и пересечениям прямых. Неизвестную амплитуду \(A\) заменяем найденным максимумом выхода: \(A\approx y_{\max}\). Потенциометры работают как делители напряжения, и из них собираются и входы нейрона, и поправки к выходу.

Обозначения. \(x_1,x_2\) — входные напряжения, \(U_{+V}\approx3{,}24\) В — напряжение источника, \(y\) — выход нейрона без учёта \(R_{\text{вых}}\); положим \(A=2{,}74\) В (в пределах погрешности это \(y_{\max}=2{,}73\) В; такое значение использовано в таблицах ниже). Все напряжения — относительно GND.

Задание 1. Схема потенциометра.

Мультиметр в режиме омметра подключаем к трём возможным парам клемм A-потенциометра и для каждой находим наименьшее и наибольшее показание при вращении ручки:

Между A1 и A2 сопротивление не зависит от положения ручки: это весь потенциометр, \(R_P=1000\) Ом. Для пар A1–A3 и A2–A3 минимум не нуль и достигается, когда движок стоит у соответствующего края. Значит, нагрузочный резистор включён между движком и клеммой A3 (схема 2): при движке на краю сопротивление равно \(R_L\), при движке на противоположном краю — \(R_P+R_L\). Если бы резистор стоял у A1 или A2 (схемы 1 и 3), у одной из пар минимум был бы почти нулевым. Отсюда \[R_L=222~\text{Ом},\qquad R_P=1000~\text{Ом}.\]

Рис. 4. Устройство потенциометра в коробке (схема 2): \(R_P\) между A1 и A2, движок выведен на A3 через \(R_L\).

Проверка. \(R_{\max}-R_{\min}=1000\) Ом \(=R_P\), согласуется с измерением между A1 и A2.

Задание 2. Входы с широким диапазоном.

Каждый потенциометр включаем делителем: один край (A1) — на GND, другой (A2) — на \(+V\); движок через \(R_L\) выведен на A3 и подаётся на вход нейрона (A3 на X2, B3 на X1). Так входное напряжение плавно меняется от \(0\) до напряжения источника. Считаем входное сопротивление нейрона большим, поэтому ток через \(R_L\) мал и \(R_L\) напряжение не искажает. (Подключение с входом на одном из краёв потенциометра и \(+V\) с GND на остальных клеммах даст лишь ограниченный диапазон, до \(2{,}67\) В.)

Рис. 5. Подключение входов: оба потенциометра между \(+V\) и GND, движки (через \(R_L\) в коробке) на X1 и X2. Провод от движка верхнего потенциометра пересекает провод питания без соединения.

Вращая ручки, получаем независимо \(x_1\) и \(x_2\) от \(0\) до \(\approx3{,}25\) В (из-за защитной цепи внутри коробки это напряжение при подключённой нагрузке немного уменьшается; в опытах ниже верхняя граница \(\approx3{,}15\) В). Поэтому любая пара входов изображается точкой внутри квадрата на плоскости \(x_1\)–\(x_2\).

Задание 3. Максимум выхода.

Линии постоянного выхода \(y\) — это линии постоянного \(z\), то есть \[w_1x_1+w_2x_2+b=\text{const}.\] Это семейство параллельных прямых, перпендикулярных вектору \(\vec w=(w_1,w_2)\) (пунктир на рисунке); \(y\) растёт вдоль \(\vec w\). Линейная функция на выпуклом многоугольнике имеет максимум и минимум в его вершинах, а сигмоида монотонна, поэтому \(y_{\max}\) и \(y_{\min}\) при любых весах достигаются в углах квадрата входных напряжений.

Рис. 6. Квадрат допустимых входов \(x_1,x_2\in[0;3{,}15]\) В. Пунктир — линии постоянного \(y\), стрелка — вектор весов \(\vec w=(w_1,w_2)\), у вершин — измеренный выход. Максимум \(y_{\max}=2{,}73\) В в левом верхнем углу.

Достаточно трёх измерений. Измеряем два соседних угла: большее значение указывает, по какому ребру растёт \(y\). Вдоль этого ребра берём следующий угол; если там \(y\) ещё больше, это максимум на ребре, а четвёртый угол лежит ниже. Организаторы измерили (напряжения в вольтах):

Начинаем с \((0;0)\) и \((3{,}15;0)\): \(2{,}30>1{,}15\), значит, \(y\) убывает по \(x_1\) и надо идти по ребру \(x_1=0\) к \((0;3{,}15)\): там \(2{,}73>2{,}30\). Так как \(z\) складывается из вкладов входов, \(z(3{,}15;3{,}15)=z(3{,}15;0)+z(0;3{,}15)-z(0;0)\), и поскольку \(z(3{,}15;0)<z(0;0)\), четвёртый угол ниже третьего, проверять его не нужно (в таблице он есть как контроль: \(2{,}56<2{,}73\)). Итог: \[y_{\max}=2{,}73~\text{В}\quad\text{при}\quad x_1=0,\ x_2=3{,}15~\text{В}.\]

Проверка. После задания 4 по найденным весам можно предсказать все четыре угла: \(z=1{,}66\); \(-0{,}29\); \(2{,}73\); \(4{,}68\) и \(y=2{,}74\,\sigma(z)=2{,}30\); \(1{,}17\); \(2{,}57\); \(2{,}72\) В — совпадение с измеренными значениями в пределах \(0{,}02\) В.

Задание 4. Веса и смещение.

Три параметра находим по двум сериям измерений: фиксируем один вход, меняем другой. Выбираем путь \((0;0)\to(3{,}0;0)\to(3{,}0;3{,}0)\) на плоскости входов. Тогда \(x_2=0\) в первой серии, и пересечение прямой \(z(x_1)\) с осью даёт смещение \(b\); во второй серии \(x_1=3{,}02\) В. Угол \((0;3)\), где \(y\) почти равен \(y_{\max}\), обходим: при \(y\to A\) величина \(z=\ln\dfrac{y}{A-y}\) чрезвычайно чувствительна к ошибке замены \(A\) на \(y_{\max}\) и к погрешности измерения, и систематическая ошибка \(z\) там велика.

Серия 1: \(x_2=0{,}00\) В, меняем \(x_1\); серия 2: \(x_1=3{,}02\) В, меняем \(x_2\). Для каждой точки вычисляем \(z=\ln\dfrac{y}{A-y}\) при \(A=2{,}74\) В:

Рис. 7. Зависимость \(z\) от \(x_1\) при \(x_2=0\): точки на прямой с отрицательным наклоном.

Рис. 8. Зависимость \(z\) от \(x_2\) при \(x_1=3{,}02\) В: точки на прямой с положительным наклоном.

Точки в обоих случаях ложатся на прямую — это подтверждает сигмоидальную модель. Наклоны: \[w_1=\frac{\Delta z}{\Delta x_1}\approx-0{,}62~\text{В}^{-1},\qquad w_2=\frac{\Delta z}{\Delta x_2}\approx0{,}96~\text{В}^{-1}.\] Смещение из первой прямой (при \(x_1=0\), \(x_2=0\) имеем \(z=b\)): \(b\approx1{,}67\). Вторая прямая при \(x_2=0\) даёт \(z=-0{,}22=w_1\cdot3{,}02+b=-1{,}87+b\), откуда \(b\approx1{,}65\). Среднее: \[b=1{,}66\pm0{,}01 .\]

Проверка. Знаки совпадают с картиной в задании 3: \(w_1<0\), \(w_2>0\), вектор \(\vec w\) смотрит в левый верхний угол, где максимум. Предсказание для углов (см. задание 3) согласуется с измерениями.

Задание 5. Нейрон с одним входом.

Если X1 соединён с \(+V\), то \(x_1=U_{+V}\), и входное напряжение приходится подавать на X2. Нужен вес \(w_2/2\), то есть вход должен быть уменьшен вдвое: \(x_2=x/2\). Для этого используем один из потенциометров как делитель, у которого входное напряжение \(x\) подано на B1, B2 заземлено, а движок (через \(R_L\), B3) идёт на X2. Положение движка подбираем, измеряя вольтметром напряжение на B3 и на B1: оно должно быть вдвое меньше. Физическая середина потенциометра может не давать ровно половины (потенциометр нелинеен и подключён к источнику \(x\), нагруженному на него), поэтому ориентируемся на показания вольтметра.

Рис. 9. Схема опыта: X1 на \(+V\), вход \(x\) подаётся на B1 (потенциометр A, подключённый к \(+V\) и GND, даёт переменное \(x\)), B2 на GND, движок (через \(R_L\)) от B3 на X2, выход — клемма Y.

Тогда \(x_2=x/2\) и \[z=w_1U_{+V}+\frac{w_2}{2}\,x+b .\] Новое смещение — постоянная часть: \[b_5=w_1U_{+V}+b=(-0{,}62)(3{,}24)+1{,}66\approx-0{,}35 .\] (Если другой конец делителя подключить не к GND, а к \(+V\), то эффективный вес получится тем же, а смещение другим, около \(1{,}2\).)

Проверка схемы: подаём \(x\) от \(0\) до \(2{,}56\) В и измеряем \(y\); затем линеаризуем обратной функцией активации \(z=-\ln\left(\dfrac{A}{y}-1\right)=\ln\dfrac{y}{A-y}\):

Рис. 10. Зависимость \(z\) от входного напряжения \(x\): прямая \(z=0{,}47x-0{,}36\).

Прямая \(z=0{,}47\,x-0{,}36\): эффективный вес \(0{,}47\) В\(^{-1}\approx w_2/2=0{,}48\) В\(^{-1}\) и смещение \(b_5\approx-0{,}36\) совпадают с теоретическими \(-0{,}35\). Значит, схема работает как задумано.

Проверка. При \(x=0\) имеем \(z=-0{,}35\) и \(y=2{,}74\sigma(-0{,}35)=1{,}13\) В — ровно первая точка таблицы.

Задание 6a. Выходное сопротивление.

Выход нейрона ведёт себя как идеальный источник \(y\) с последовательным сопротивлением \(R_{\text{вых}}\). Измерить \(R_{\text{вых}}\) можно, нагрузив выход известным сопротивлением и сравнив напряжения без нагрузки и под нагрузкой (замыкать выход накоротко амперметром опасно, если \(R_{\text{вых}}\) неизвестно и может быть малым). Устанавливаем на нейроне известный выход: X1 на GND, X2 на \(+V\), при этом \(y=A\sigma(w_2U_{+V}+b)\approx2{,}72\) В. Мультиметром измеряем напряжение без нагрузки \(U_{\text{отк}}\approx2{,}71\) В. Затем подключаем к Y сопротивление \(R_P=1000\) Ом (весь A-потенциометр, Y на A1, A2 на GND) и измеряем напряжение на нём \(U_P\approx2{,}11\) В.

Рис. 11. Измерение \(R_{\text{вых}}\): нейрон (X1 на GND, X2 на \(+V\)) нагружен на \(R_P\), вольтметр измеряет напряжение на нагрузке.

Запишем закон Ома для замкнутой цепи: ток \(I=U_P/R_P\) течёт через \(R_{\text{вых}}\) и \(R_P\), а ЭДС источника равна \(U_{\text{отк}}\): \[U_{\text{отк}}=I\,(R_{\text{вых}}+R_P)\ \Longrightarrow\ R_{\text{вых}}=\left(\frac{U_{\text{отк}}}{U_P}-1\right)R_P=\left(\frac{2{,}71}{2{,}11}-1\right)\cdot1000~\text{Ом}\approx284~\text{Ом}.\]

Проверка. Отношение \(U_P/U_{\text{отк}}=0{,}78\) совпадает с делителем \(R_P/(R_P+R_{\text{вых}})=1000/1284\).

Задание 6b. Нейрон с поднятым уровнем выхода.

Нужна функция \(y_6=A_6\sigma(w_2x+b)+B_6\) с \(B_6=1{,}48\) В. Вход \(x\) идёт на X2, X1 соединяем с GND (тогда \(w_1x_1=0\) и \(z=w_2x+b\)). Повышение уровня выхода обеспечивает делитель напряжения на втором потенциометре между клеммой Y и источником \(+V\): Y — на B1, \(+V\) — на B2, выход \(y_6\) снимаем с движка (B3).

Рис. 12. Схема задания 6b: X1 на GND, вход \(x\) на X2, выход Y нейрона на B1, \(+V\) на B2, выход \(y_6\) — движок (B3). Резистор \(R_L\) в цепи движка не влияет на напряжение, так как мультиметр потребляет пренебрежимо малый ток.

Пусть \(R_a\) — часть сопротивления \(R_P\) между B1 и движком. Через цепочку \(R_{\text{вых}}+R_P\) от источника \(A\sigma\) до \(+V\) течёт общий ток, и напряжение на движке (потенциал в точке, отстоящей от источника \(A\sigma\) на \(R_{\text{вых}}+R_a\) из \(R_{\text{вых}}+R_P\)) равно \[y_6=(1-\eta)\,A\sigma(w_2x+b)+\eta\,U_{+V},\qquad\eta=\frac{R_{\text{вых}}+R_a}{R_{\text{вых}}+R_P}.\] Сравнивая с заданной функцией: \(A_6=A(1-\eta)\), \(B_6=\eta U_{+V}\). Из \(B_6=1{,}48\) В находим \[\eta=\frac{B_6}{U_{+V}}=\frac{1{,}48}{3{,}24}\approx0{,}457,\qquad \frac{R_a}{R_P}=\eta\,\frac{R_{\text{вых}}+R_P}{R_P}-\frac{R_{\text{вых}}}{R_P}=0{,}457\cdot1{,}284-0{,}284\approx0{,}30 ,\] то есть движок нужно поставить так, чтобы \(R_a\approx300\) Ом. (В официальном решении напечатано \(R_a/R_P\approx0{,}389\), но их же формула при \(\eta=0{,}458\) и \(R_{\text{вых}}=284\) Ом даёт \(0{,}30\).) Омметром между B1 и B3 измеряется \(R_a+R_L\) (движок через \(R_L\)): значит, ручку надо установить на \(R_{\text{B1–B3}}\approx300+222\approx520\) Ом (измерять нужно при отключённой цепи, когда токи через потенциометр не текут). Амплитуда теоретически \[A_6=A(1-\eta)=A\left(1-\frac{B_6}{U_{+V}}\right)=2{,}74\cdot0{,}543\approx1{,}5~\text{В}.\] Для проверки меняем \(x\) вторым потенциометром и записываем \(y_6\); затем вычисляем \(\sigma(w_2x+b)\) при \(w_2=0{,}96\) В\(^{-1}\), \(b=1{,}66\) (при линейной связи \(y_6\) с \(\sigma\) наклон должен быть \(A_6\), пересечение — \(B_6\)):

В официальной таблице этих данных третий столбец подписан \(A\sigma(w_2x+b)\), но посчитан не по этой формуле (при \(x=0\) должно быть \(2{,}74\cdot0{,}840=2{,}30\) В, а у них \(1{,}38\) В); поэтому \(\sigma\) вычислена заново, и подгонка ниже отличается от их \(1{,}53\,\sigma+1{,}45\).

Рис. 13. Выход \(y_6\) в зависимости от \(x\). Линия — теоретическая зависимость \(y_6=(1-\eta)A\sigma(w_2x+b)+\eta U_{+V}\) без подгоночных параметров.

Рис. 14. Выход \(y_6\) в зависимости от \(\sigma(w_2x+b)\): точки лежат на прямой. Пунктир — теория (\(A_6=1{,}48\), \(B_6=1{,}48\)), сплошная линия — подгонка по точкам.

Подгонка по точкам даёт \(y_6=1{,}57\,\sigma+1{,}41\), то есть \(A_6\approx1{,}6\) В, \(B_6\approx1{,}4\) В; из них в сумме \(A_6+B_6=2{,}98\) В — предельное значение выхода при \(\sigma\to1\) — совпадает с теоретическим \(2{,}97\) В; а теоретическая зависимость (рис. 13) воспроизводит все 15 точек со среднеквадратичным отклонением \(0{,}01\) В. В пределах точности вольтметра (\(0{,}01\) В) схема работает как задумано: \(A_6\approx1{,}5\) В, \(B_6\approx1{,}5\) В; узкий диапазон \(\sigma\) (от \(0{,}84\) до \(0{,}99\)) делает наклон и пересечение подгонки сильно коррелированными, поэтому каждое из них по отдельности определено хуже, чем их сумма.

Проверка. Пределы: при \(x\to\infty\) имеем \(\sigma\to1\) и \(y_6\to A(1-\eta)+\eta U_{+V}=A+\eta(U_{+V}-A)=2{,}74+0{,}457\cdot0{,}50=2{,}97\) В — согласуется с последней точкой (\(2{,}97\) В). При \(\eta=0\) получаем исходный выход нейрона, при \(\eta=1\) — постоянное напряжение \(U_{+V}\).

Обратите внимание: резистор \(R_{\text{вых}}\) входит в \(\eta\); если им пренебречь (\(\eta=R_a/R_P\)), положение движка получится неверным, и \(A_6\) и \(B_6\) не совпадут одновременно с заданными.

Прочитали решение — спросите себя, как можно было до этого додуматься. А через день-два решите задачу заново, не подглядывая.