Искусственный интеллект сможет создавать 3D-модели

Результаты опроса руководителей из индустрии 3D-печати показывают, что автоматизация в моделировании с использованием искусственного интеллекта (ИИ) довольно актуальна. Ведь с помощью 3D-печати можно создавать высокоточные изделия и прототипы, которые при этом будут экономически выгодными.

3D-модель лягушки

Например, после того, как пользователь введет «синий ядовитый древолаз, сидящий на водяной лилии», Magic3D создаст трехмерную модель сетки с цветными текстурами примерно за 40 минут.

3D-модель лягушки, сгенерированная с помощью Magic3D от Nvidia

Компания Nvidia описывает Magic3D как ответ на DreamFusion – технологию преобразования текста в 3D-модель, выпущенную командой разработчиков Google в сентябре 2022 года.

Представители Nvidia заявляют, что эта технология позволит любому человеку создавать 3D-модели без специальной подготовки: “После доработки полученная технология может ускорить разработку видеоигр (и виртуальной реальности) и, возможно, в конечном итоге найдёт применение в спецэффектах для кино и телевидения. Мы надеемся, что с помощью Magic3D сможем сделать 3D-моделирование доступнее и популярнее, чтобы каждый мог раскрыть свой творческий потенциал в создании трёхмерного контента”.

Вполне возможно, вскоре эта фишка найдёт применение в художественных сценах CGI или компьютерных играх. Например, нейросеть сможет создавать одни и те же модели с разными разрешением, в зависимости от места нахождения и угла обзора персонажа, которым управляет игрок.

Примеры текстовых запросов и 3D-моделей, сгенерированных Magic3D

У компании есть все возможности для развития искусственного интеллекта. Графические процессоры Nvidia могут быстро визуализировать изображения благодаря своей конструкции для одновременного выполнения нескольких простых вычислений, таких как затенение пикселей, в отличие от микропроцессоров Intel или процессоров общего назначения. Сейчас компания делает ставку на приложения с искусственным интеллектом как важнейший фактор роста. Агентство Bloomberg уже связало увеличение состояния основателя Nvidia (Дженсена Хуанга) на 4,6 миллиарда долларов с популярностью ChatGPT – чат-бота с искусственным интеллектом.

Какие задачи может выполнять Magic3D?

Компания Nvidia не публиковала код Magic3D, однако вот что нам известно:

Magic3D использует двухэтапный метод создания модели. Нейросеть генерирует неоптимизированную грубую модель из текстового запроса или изображения. Следующим шагом пользователь уточняет данные по тому, как нужно доработать модель, а искусственный интеллект принимает правки и генерирует финальную версию, используя собственный черновик.

Мы предполагаем, что изображение используется как промежуточный вариант, поэтому технология сможет создавать модели, используя изображения.

Аналогичным способом DreamFusion использовали модель преобразования текста в картинку для получения 2D-изображения.

По мнению авторов, полученная в результате технология Magic3D позволяет создавать 3D-объекты в два раза быстрее, чем DreamFusion.

Magic3D также позволяет редактировать 3D-модели на основе текстовых запросов. Используя 3D-модель с низким разрешением и подсказки пользователя, можно улучшать итоговую модель. Кроме того, авторы Magic3D демонстрируют возможность сохранения в различных версиях от высокополигональной модели до низкой (в источнике используется термин “когерентность”), и применяют стиль двухмерных изображений (таких как кубистические картины) к 3D-моделям.

Потенциал искусственного интеллекта в 3D-печати

Magic3D от Nvidia и DreamFusion от Google не единственные, кто увлечён синтезом ИИ с 3D-печатью. Physna Inc. – компания, которая специализируется на разработке приложений для AR / VR и производства, создала простой прототип искусственного интеллекта для 3D-моделей за 2 недели, используя всего 8000 моделей и трёх инженеров.

Основатель и генеральный директор Physna – Пол Пауэрс поделился своими мыслями о создании искусственного интеллекта, генерирующего трехмерные модели. Он считает, что за 2022-й год ИИ завоевал сердца и умы пользователей из многих стран, поэтому компания попробовала объединить их. ИИ взял штурмом многие отрасли промышленности, но отстает в области 3D-печати – объясняет Пауэрс.

Есть мнение, что кроме более сложной структуры 3D-моделей есть ещё одна причина отставания – совместимость форматов для трёхмерных изображений. И научить нейросеть создавать 3D-модели труднее, так как ранее они выпускались в различных несовместимых форматах. К тому же, им уделялось намного меньше внимания по сравнению с 2D-контентом (текстом, изображениями, видео и т.д.). Кроме того, исторически немногие предприятия выбирают 3D, как флагманское направление, чаще ограничиваясь привлекательными декоративными функциями. Например, заказывая виртуальные 3D-модели или макеты для презентации своих продуктов.

Как графический процессор может улучшить 3D-печать?

При вычислениях графический процессор (graphics processing unit) используется в качестве сопроцессора для ускорения работы процессоров для технологических и научных вычислений. Разгружая часть трудоемкого кода, графический процессор ускоряет работу приложений на базе центрального процессора. Остальная часть приложения продолжает выполняться на процессоре. С точки зрения пользователя, приложение работает быстрее, поскольку оно использует параллельную вычислительную мощность графического процессора для повышения производительности. Этот тип вычислений известен как “гибридные” вычисления. Центральный процессор обычно имеет от четырёх до восьми процессорных ядер, в то время как графический процессор обычно имеет сотни ядер меньшего размера. Высокая вычислительная производительность графического процессора достигается за счет его массивной параллельной структуры.

Разработчики приложений могут воспользоваться преимуществами производительности параллельной архитектуры GPU, используя модель параллельного программирования NVIDIA “CUDA”. Модель поддерживается всеми графическими процессорами NVIDIA, включая GeForce, Quadro и Tesla.

Ранее Nvidia представила способ преобразования 2D-изображений в 3D-модели. Фреймворк демонстрирует, как можно определить форму, текстуру и свет по одному изображению способом, аналогичным тому, как работает человеческий глаз.

Специалист по связям с общественностью NVIDIA Лорен Финкл написала в блоге компании: “Закройте левый глаз, когда смотрите на этот экран. Теперь закройте правый глаз и откройте левый, вы заметите, что ваше поле зрения меняется в зависимости от того, каким глазом вы пользуетесь. Это потому, что, хотя мы видим в двух измерениях, изображения, захваченные вашей сетчаткой, объединяются, чтобы обеспечить глубину и создать ощущение трехмерности”.

Платформа рендеринга NVIDIA, известная как средство визуализации на основе дифференцируемой интерполяции, или DIB-R, обладает потенциалом для применения в различных областях 3D-дизайна и робототехники и ускорения процесса рендеринга 3D-моделей за считанные секунды. По словам Лорен Финкл, 3D-мир, в котором мы существуем, рассматривается через стереоскопическое зрение (по сути 2D-линзу). Глубину создает наш мозг путем слияния изображений, видимых каждым глазом, создавая впечатление трехмерного изображения. DIB-R, который работает по аналогичному принципу, может предсказывать форму, цвет, текстуру и освещение изображения, преобразуя входные данные из 2D-изображения в карту. Затем эта карта используется для создания многоугольной сферы, в результате чего получается 3D-модель, представляющая компонент на исходном 2D-изображении.

Можно ли уже сейчас применять искусственный интеллект в 3D-печати?

На просторах интернета мы смогли найти ту самую лягушку, 3D модель которой создал искусственный интеллект. Вот что пишет об этом автор фото с никнеймом Adam from Powerbelt3D:

“Я скачал примеры моделей, немного подчистил сетки и использовал плоскость, чтобы получить ровную поверхность для печати в 3D-принтере”.

А вот что о применении ИИ в создании моделей говорится в статье:

Даган Кэм, преподававший в школе архитектуры Бартлетта Лондонского университетского колледжа, создал безупречную 3D-печатную архитектуру с использованием вычислений на графическом процессоре.

Кэм использовал свой опыт работы с моделью параллельного программирования CUDA и графическими процессорами NVIDIA, чтобы научить свою роботизированную производственную систему использовать алгоритмы для завершения абстрактно спроектированных структур перед 3D-печатью прототипа.

Кэм обратился к Boston Limited и Materialise для 3D-печати своего модернистского прототипа после завершения 3D-модели с помощью видеокарты Quadro K6000 и графического ускорителя Tesla K40.

Для 3D-печати прототипа использовался гигантский стереолитографический принтер Materialise с высоким разрешением, способный производить крупномасштабные и сложные отпечатки в одном экземпляре. Получившийся прототип был замысловатым, абстрактным и эстетически приятным, что, по-видимому, идеально подходил для показа в МОМА или Лувре.

Пока технология 3D-моделирования при помощи нейросетей только развивается, вы можете узнать об услуге 3D-моделирования в компании 3DVision.