Новая технология учит роботов «видеть» сквозь коробки и стены с помощью Wi-Fi

Новая технология учит роботов «видеть» сквозь коробки и стены с помощью Wi-Fi
© Телеканал «Наука»

Исследователи MIT (Массачусетский технологический институт) при поддержке Microsoft разработали новую технологию визуализации, которая позволяет видеть скрытые от глаз объекты — с помощью отраженных сигналов миллиметровых волн, таких как Wi-Fi. Эта система может кардинально изменить работу роботов на складах, в домах и даже в сферах безопасности.

Система, получившая название mmNorm, использует сигналы миллиметровых волн (mmWave) для построения 3D-моделей предметов, находящихся за препятствиями — например, в закрытой коробке или за тонкой стеной. Миллиметровые волны легко проходят через пластиковые и картонные упаковки, а затем отражаются от скрытых объектов, позволяя «увидеть» их форму и расположение.

«Мы долго работали над этой задачей, но прежние методы не давали нужного результата. Нам пришлось переосмыслить сам подход к работе с такими сигналами», — говорит Фадель Адиб, доцент MIT и руководитель проекта.

Как работает технология

Традиционные радиолокационные методы, такие как обратная проекция, используют отраженные сигналы для грубого распознавания объектов. Однако они не позволяют точно «увидеть» небольшие или сложные по форме предметы — например, столовые приборы или инструменты.

Исследователи MIT сделали шаг вперед: вместо того чтобы просто определять, откуда отражается сигнал, система mmNorm также анализирует, в каком направлении «смотрит» поверхность объекта в каждой точке. Для этого она использует так называемые нормали поверхности — векторы, которые показывают наклон и ориентацию поверхности. Это позволяет системе понять, как именно изогнута поверхность — и воссоздать ее форму.

Для этого радар с несколькими антеннами прикрепляется к роботизированной руке. Двигаясь вокруг объекта, он собирает сигналы разной силы, в зависимости от того, под каким углом отражается волна. Каждая антенна как бы «голосует» за предполагаемое направление поверхности. После чего алгоритм объединяет эти «голоса» и строит согласованную 3D-модель.

Чтобы выбрать наиболее точную форму, система использует алгоритмы из области компьютерной графики — это позволяет отфильтровать ошибочные модели и оставить наиболее реалистичную.

С какой точностью удалось «увидеть» объекты

mmNorm показала 96% точности при распознавании более 60 различных предметов — от кружек до вилок, ножей и инструментов. Это на 40% точнее, чем современные методы, и не требует дополнительной пропускной способности.

Система может:

различать похожие предметы в одной коробке (например, ложку и вилку);

определять положение и форму скрытых объектов (например, ручку у молотка);

работать с предметами из пластика, дерева, металла, стекла и их комбинаций.

Однако технология пока не может эффективно работать сквозь металл или очень толстые стены — это ограничение исследователи планируют преодолеть в будущем.

«Наши качественные результаты говорят сами за себя. Такие точные 3D-реконструкции открывают множество новых задач и возможностей», — подчеркивает Тара Борушаки, соавтор исследования.

Исследователи планируют улучшить разрешение mmNorm, адаптировать ее к более сложным условиям и сделать способной работать через более плотные препятствия. Они также рассматривают интеграцию с гарнитурами AR, чтобы человек мог буквально «видеть сквозь стены».

«Это сдвиг парадигмы. Мы по-новому смотрим на эти сигналы — и на то, как можно использовать их потенциал», — говорит Лора Доддс, ведущий автор.

Новый искусственный интеллект научился видеть, как человеческий мозг

Созданы роботизированные руки, обладающие человеческой ловкостью: видео

 

Подписывайтесь и читайте «Науку» в Telegram