Для мейкерів · прошивка 2.6

Трекінг обличчя на ESP32-CAM із сервоприводами: як це працює.

Як OKO-1 розпізнає обличчя на ESP32-CAM за $6, передає кілька байтів другій ESP32 і перетворює їх на спокійні й точні рухи повороту та нахилу двома сервоприводами MG90S. Реальні цифри з відкритої прошивки.

Читати кодІнструкція зі збирання
Архітектура

Дві плати, одна пара дротів

OKO-1 ділить роботу між двома чипами ESP32. ESP32-CAM (AI-Thinker, OV2640) стоїть на голові, що нахиляється, поруч із вебкамерою і лише шукає обличчя. Головна ESP32 стоїть у корпусі, керує обома сервоприводами і спілкується з компʼютером по USB для налаштувань. Їх зʼєднує один UART на 921 600 бод. Оскільки камера трекера їде на голові, контур замкнений: кожна корекція змінює те, що камера побачить далі.

Розпізнавання≈7.2 fps на чипі
Кадр320 × 240 (PSRAM)
ЗвʼязокUART 921 600
Компенсація затримкиісторія 640 мс
Підсилення kp0.70
Мертва зона2°
Макс. швидкість90°/с
Встановлення≈500 мс, без перерегулювання
Плата трекера ESP32-CAM з чотирма дротами Dupont
Плата трекера ESP32-CAM з чотирма дротами Dupont
Головна ESP32: UART камери на IO16 / IO17, сервоприводи на IO18 / IO19
Головна ESP32: UART камери на IO16 / IO17, сервоприводи на IO18 / IO19
ESP32-CAM

Розпізнавання обличчя на 7 fps на платі за $6

Скетч камери використовує детектор облич esp-dl від Espressif з ядра Arduino esp32 2.0.17. Потрібні йому заголовки прибрали в ядрі 3.x, тож версія важлива. Детектор витрачає близько 17 мкс на вхідний піксель, тому повний кадр 320 × 240 обробляється повільно. Отже, у прошивці два шляхи:

  • Пошук: увесь кадр сканується лише тоді, коли обличчя не захоплене, або одразу після промаху.
  • Швидкий шлях: коли обличчя знайдено, вирізається лише квадратне вікно навколо нього, зменшується усередненням до малого входу (кожен вихідний піксель це середнє з 4 відліків, що заодно прибирає шум) і перевіряється знову. Саме це тримає розпізнавання близько 7.2 разу на секунду.
  • Сенсор працює вільно з двома буферами кадрів, і перемагає найновіший кадр, тож цикл ніколи не чекає на камеру.
  • З PSRAM працює в QVGA (320 × 240); без PSRAM усе одно стежить у QQVGA (160 × 120). Wi-Fi ніколи не вмикається.
UART

Текстовий протокол, який можна прочитати

Кожен оброблений кадр дає рівно один рядок. Під час трекінгу з камери не виходить жодного зображення, лише рамка обличчя і час:

камера → головна, 921600 бод
F <cx> <cy> <w> <score*100> <W> <H> <ms>    face found
N <W> <H> <ms>                              no face in this frame

cx cy w це центр і ширина обличчя в пікселях, W H розмір кадру, а ms вік кадру на момент відправлення рядка. Саме це останнє число змушує закон керування працювати.

Головна ESP32

Закон керування: коригувати від того, де була камера

Наївний трекер бере помилку з останнього кадру і рухається на цю величину. З повільним детектором це дає перерегулювання: поки звіт дійде, голова вже зрушила. OKO-1 записує положення сервоприводів кожні 10 мс за останні 640 мс, знаходить, куди дивилась голова в момент знімання кадру, і ставить ціль відносно цього положення. Нічого не інтегрується, тож контур лишається спокійним за будь-якої частоти кадрів.

прошивка 2.6, базовий закон
// main ESP32, on every face report from the camera
dpp   = fov / max(W, H)                 // degrees per pixel, fov = 56° (OV2640 stock lens)
ex    = (cx - W/2) * dpp - aimX         // horizontal error, degrees
ey    = (H/2 - cy) * dpp - aimY         // vertical error, degrees
back  = (frameAge + lag) / 10 ms        // lag = 80 ms by default
pan0  = panHistory[back]                // where the head pointed when the frame was taken
if |ex| > dead:  panTarget = pan0 + ex * kp     // kp = 0.70, dead = 2°
(same for tilt)
  • Самоперевірка: якщо корекції стабільно збільшують помилку, прошивка сама інвертує цю вісь. Сервопривод, встановлений навпаки, виправляється за кілька секунд.
  • Зміщення прицілу: вебкамера стоїть за кілька сантиметрів від камери трекера. aimx / aimy зсувають ціль так, щоб обличчя було в центрі вебкамери, а не ESP32-CAM.
  • Домашня позиція: через 6 с без обличчя голова плавно повертається в центр.
  • Прогнозний альфа-бета фільтр є як експеримент (set pred), але після кожного запуску він вимкнений: у живих тестах базовий закон відчувався краще.
Сервоприводи

Плавний рух з критичним загасанням

Сервоприводи ніколи не стрибають до цілі. Вони йдуть за нею, як пружина з критичним загасанням: рух мʼяко починається, мʼяко гальмує і ніколи не перелітає. Близько 90 % руху виконується за smooth мс (типово 500), максимум 90°/с. Нова ціль посеред руху просто вигинає траєкторію. Значення ШІМ переписується лише тоді, коли змінюється, і це прибирає класичне тремтіння хобі-сервоприводів. Масштаб MG90S: близько 10.3 мкс на градус.

Підводні камені

Живлення двох сервоприводів від порту ноутбука

  • Два MG90S під навантаженням просаджують лінію USB 5 В. Прошивка вимикає скидання ESP32 при просіданні напруги, інакше плата перезавантажувалась би на кожному швидкому русі.
  • Під час увімкнення сервоприводи стартують по черзі з інтервалом 350 мс, щоб зменшити пік струму.
  • Конденсатор 470-1000 мкФ між 5 В і GND допомагає слабкому порту.
  • Камера живиться від піна 3V3 головної плати; її власний пін 5 В лишається вільним.
Серійний монітор, 921600

Команди налаштування

Типові значення і еталонна збірка. Цифри на цій сторінці це типові значення прошивки. OKO-1 на відео працює з налаштованими: kp 0.85, мертва зона 1.5°, 180°/с, затримка 120 мс, smooth 500 мс, нахил вниз до −65°. Налаштуйте свій командами нижче і save.
КомандаЩо робить
statusПоточний стан: LOCK / SEARCH / NOLINK, кути, fps
track 0 / 1Трекінг вимкнено / увімкнено
centerОбидва сервоприводи в центр (для встановлення качалок)
pan <deg> / tilt <deg>Ручний рух
flip pan | tiltІнвертувати вісь
set kp | dead | speed | smooth | aimx | aimy …Налаштування; `show` показує все
cam <rot | score | in | roi | perf …>Налаштування ESP32-CAM, передаються напряму
bridgeЗвʼязок USB ↔ камера для прошивання ESP32-CAM
logОстанні 256 звітів камери з кутами сервоприводів
saveЗберегти налаштування у флеш
FAQ

Питання мейкерів

Чому розпізнавання облич на ESP32-CAM не компілюється на ядрі Arduino 3.x?

Заголовки детектора облич esp-dl, які використовує класичний приклад CameraWebServer, прибрали з ядра Arduino-ESP32 у версії 3.x. OKO-1 закріплює ядро 2.0.17, де вони ще є.

Чи може одна ESP32-CAM керувати сервоприводами напряму?

Може, але на платі камери мало вільних пінів і живлення спільне з сенсором. OKO-1 залишає плату камери тільки для розпізнавання, а ШІМ, згладжування і USB-налаштування віддає другій дешевій ESP32. Так надійніше і коштує всього близько $4.50 зверху.

Як позбутися перерегулювання при трекінгу сервоприводами?

Коригувати від того положення, куди дивилась голова в момент знімання кадру, а не від поточного. OKO-1 записує положення сервоприводів кожні 10 мс, бере вік кадру від камери, щоб подивитися назад, і рухається на 70 % помилки з мертвою зоною 2° та критичним загасанням.

Чи працює без PSRAM?

Так. Без PSRAM камера працює в 160 × 120 і все одно стежить за обличчям на відстані робочого столу.

Код

Форкайте, портуйте, покращуйте

Ліцензія MIT. Обидва скетчі, скрипти прошивання і монітор на Python з живою телеметрією лежать у репозиторії.