Новая технология памятна тем, что для обучения ей не нужно дополнительные данные. Она очень хорошо функционирует при любом нахождении объектов.
Программисты создали нейросеть, самостоятельно исследующий сцену и высчитывающий, как располагающиеся в ней предметы будут смотреться с незнакомого ракурса без всякого вмешательства 3D. В основе механизмов машинного зрения лежат обширные нейронные сети, которым нужен большой набор изображений для обучения. На их разработку требуется много времени, в данном случае программисты не могут оперативно и очень качественно создать хороший продукт, поэтому схожие алгоритмы получаются с ограниченными возможностями.
Группа экспертов создала нейросеть с репрезентативной сетью, которая не знает, с каких ракурсов генеративному компоненту нужно «представлять сцену», она сверхдостоверно описывает нахождение предметов в помещении и их цвет. В период тестирования сеть понимает, как выглядят предметы в сцене, как они располагаются друг к другу и какие свойства имеет помещение.
Нейросеть реалистично воспроизвела сцену, создав качественные картинки, не понимая норм перспективы, окклюзии и света. Также алгоритм способен считать число предметов и классифицировать их, даже в том случае, если их не видно.
*