Дві плати, одна пара дротів
OKO-1 ділить роботу між двома чипами ESP32. ESP32-CAM (AI-Thinker, OV2640) стоїть на голові, що нахиляється, поруч із вебкамерою і лише шукає обличчя. Головна ESP32 стоїть у корпусі, керує обома сервоприводами і спілкується з компʼютером по USB для налаштувань. Їх зʼєднує один UART на 921 600 бод. Оскільки камера трекера їде на голові, контур замкнений: кожна корекція змінює те, що камера побачить далі.


Розпізнавання обличчя на 7 fps на платі за $6
Скетч камери використовує детектор облич esp-dl від Espressif з ядра Arduino esp32 2.0.17. Потрібні йому заголовки прибрали в ядрі 3.x, тож версія важлива. Детектор витрачає близько 17 мкс на вхідний піксель, тому повний кадр 320 × 240 обробляється повільно. Отже, у прошивці два шляхи:
- Пошук: увесь кадр сканується лише тоді, коли обличчя не захоплене, або одразу після промаху.
- Швидкий шлях: коли обличчя знайдено, вирізається лише квадратне вікно навколо нього, зменшується усередненням до малого входу (кожен вихідний піксель це середнє з 4 відліків, що заодно прибирає шум) і перевіряється знову. Саме це тримає розпізнавання близько 7.2 разу на секунду.
- Сенсор працює вільно з двома буферами кадрів, і перемагає найновіший кадр, тож цикл ніколи не чекає на камеру.
- З PSRAM працює в QVGA (320 × 240); без PSRAM усе одно стежить у QQVGA (160 × 120). Wi-Fi ніколи не вмикається.
Текстовий протокол, який можна прочитати
Кожен оброблений кадр дає рівно один рядок. Під час трекінгу з камери не виходить жодного зображення, лише рамка обличчя і час:
F <cx> <cy> <w> <score*100> <W> <H> <ms> face found N <W> <H> <ms> no face in this frame
cx cy w це центр і ширина обличчя в пікселях, W H розмір кадру, а ms вік кадру на момент відправлення рядка. Саме це останнє число змушує закон керування працювати.
Закон керування: коригувати від того, де була камера
Наївний трекер бере помилку з останнього кадру і рухається на цю величину. З повільним детектором це дає перерегулювання: поки звіт дійде, голова вже зрушила. OKO-1 записує положення сервоприводів кожні 10 мс за останні 640 мс, знаходить, куди дивилась голова в момент знімання кадру, і ставить ціль відносно цього положення. Нічого не інтегрується, тож контур лишається спокійним за будь-якої частоти кадрів.
// main ESP32, on every face report from the camera dpp = fov / max(W, H) // degrees per pixel, fov = 56° (OV2640 stock lens) ex = (cx - W/2) * dpp - aimX // horizontal error, degrees ey = (H/2 - cy) * dpp - aimY // vertical error, degrees back = (frameAge + lag) / 10 ms // lag = 80 ms by default pan0 = panHistory[back] // where the head pointed when the frame was taken if |ex| > dead: panTarget = pan0 + ex * kp // kp = 0.70, dead = 2° (same for tilt)
- Самоперевірка: якщо корекції стабільно збільшують помилку, прошивка сама інвертує цю вісь. Сервопривод, встановлений навпаки, виправляється за кілька секунд.
- Зміщення прицілу: вебкамера стоїть за кілька сантиметрів від камери трекера.
aimx/aimyзсувають ціль так, щоб обличчя було в центрі вебкамери, а не ESP32-CAM. - Домашня позиція: через 6 с без обличчя голова плавно повертається в центр.
- Прогнозний альфа-бета фільтр є як експеримент (
set pred), але після кожного запуску він вимкнений: у живих тестах базовий закон відчувався краще.
Плавний рух з критичним загасанням
Сервоприводи ніколи не стрибають до цілі. Вони йдуть за нею, як пружина з критичним загасанням: рух мʼяко починається, мʼяко гальмує і ніколи не перелітає. Близько 90 % руху виконується за smooth мс (типово 500), максимум 90°/с. Нова ціль посеред руху просто вигинає траєкторію. Значення ШІМ переписується лише тоді, коли змінюється, і це прибирає класичне тремтіння хобі-сервоприводів. Масштаб MG90S: близько 10.3 мкс на градус.
Живлення двох сервоприводів від порту ноутбука
- Два MG90S під навантаженням просаджують лінію USB 5 В. Прошивка вимикає скидання ESP32 при просіданні напруги, інакше плата перезавантажувалась би на кожному швидкому русі.
- Під час увімкнення сервоприводи стартують по черзі з інтервалом 350 мс, щоб зменшити пік струму.
- Конденсатор 470-1000 мкФ між 5 В і GND допомагає слабкому порту.
- Камера живиться від піна 3V3 головної плати; її власний пін 5 В лишається вільним.
Команди налаштування
save.| Команда | Що робить |
|---|---|
status | Поточний стан: LOCK / SEARCH / NOLINK, кути, fps |
track 0 / 1 | Трекінг вимкнено / увімкнено |
center | Обидва сервоприводи в центр (для встановлення качалок) |
pan <deg> / tilt <deg> | Ручний рух |
flip pan | tilt | Інвертувати вісь |
set kp | dead | speed | smooth | aimx | aimy … | Налаштування; `show` показує все |
cam <rot | score | in | roi | perf …> | Налаштування ESP32-CAM, передаються напряму |
bridge | Звʼязок USB ↔ камера для прошивання ESP32-CAM |
log | Останні 256 звітів камери з кутами сервоприводів |
save | Зберегти налаштування у флеш |
Питання мейкерів
Чому розпізнавання облич на ESP32-CAM не компілюється на ядрі Arduino 3.x?
Заголовки детектора облич esp-dl, які використовує класичний приклад CameraWebServer, прибрали з ядра Arduino-ESP32 у версії 3.x. OKO-1 закріплює ядро 2.0.17, де вони ще є.
Чи може одна ESP32-CAM керувати сервоприводами напряму?
Може, але на платі камери мало вільних пінів і живлення спільне з сенсором. OKO-1 залишає плату камери тільки для розпізнавання, а ШІМ, згладжування і USB-налаштування віддає другій дешевій ESP32. Так надійніше і коштує всього близько $4.50 зверху.
Як позбутися перерегулювання при трекінгу сервоприводами?
Коригувати від того положення, куди дивилась голова в момент знімання кадру, а не від поточного. OKO-1 записує положення сервоприводів кожні 10 мс, бере вік кадру від камери, щоб подивитися назад, і рухається на 70 % помилки з мертвою зоною 2° та критичним загасанням.
Чи працює без PSRAM?
Так. Без PSRAM камера працює в 160 × 120 і все одно стежить за обличчям на відстані робочого столу.
Форкайте, портуйте, покращуйте
Ліцензія MIT. Обидва скетчі, скрипти прошивання і монітор на Python з живою телеметрією лежать у репозиторії.