소개

생성형 AI에게 3D 프린팅용 머그컵을 설계해 달라고 요청하면, 대개 커피를 담을 수 없는 예쁜 컵이 돌아옵니다. 이런 모델은 사물이 어떻게 생겼는지는 알지만 어떻게 작동하는지는 모르기 때문입니다. 벽이 종이처럼 얇거나, 손잡이가 제대로 붙어 있지 않거나, 바닥이 이상한 곳에서 비어 있는 식입니다. MIT CSAIL이 Google, 노스이스턴(NEU)과 함께 만든 새 도구는 바로 ” 보기 좋다”와 “실제로 인쇄된다” 사이의 간극을 겨냥합니다.

이 시스템의 이름은 InstructMesh로, 모델링 경험이 전혀 없는 사람도 포함해 누구나 프린터에 보내기 전에 AI가 생성한 3D 모델을 수정할 수 있게 해 줍니다. 문제 영역을 드래그로 선택하고 평범한 말로 수정 내용을 설명하거나(또는 슬라이더를 움직여) 결과를 승인하면 됩니다.

왜 대부분의 AI 생성 3D 모델은 인쇄에 실패하는가

생성형 3D 도구는 기하학적 정확성보다 시각적 그럴듯함을 최적화합니다. 연구팀은 마이크로소프트 TRELLIS 생성기가 3D 프린팅 가능 모델이 가장 큰 라이브러리 중 하나인 Thingiverse의 인기 모델들을 재현하도록 했고, 결과는 다음과 같았습니다: 생성된 모델의 약 80%가 구조적으로 결함을 가지고 있었습니다. 표면이 봉인되어야 할 곳에 뚫려 있고, 벽이 슬라이서를 견디기에도 너무 얇거나, 부품이 서로 분리되어 베드에 올라가면 떨어지는 문제입니다.

이런 결함은 화면에서는 발견하기 쉽고, 인쇄 도중에 발견하면 비용이 큽니다. 특히 배우는 중인 사용자에게는 더욱 그렇습니다. 전통적으로 이를 고치려면 전문 CAD나 메시 편집 소프트웨어를 익혀야 해서, 많은 창의적인 아이디어가 책상 위에 멈춰 있는 경우가 많습니다.

InstructMesh는 어떻게 해결하는가

InstructMesh는 전혀 다른 두 AI 시스템을 결합합니다. 마이크로소프트의 TRELLIS가 3D 생성을 담당해 텍스트나 이미지 프롬프트를 모델로 바꾸고, GPT-4가 사용자가 무엇을 바꾸고 싶은지 이해하는 추론 계층을 맡습니다.

핵심은 수정이 개별 메시 정점이 아니라 생성 모델의 잠재 공간에서 일어난다는 점입니다. 사용자는 청사진의 특정 영역을 선택한 뒤, 공극을 열거나 닫거나 국부 두께를 조절하는 같은 표적 작업을 실행합니다. 수정은 자연어로 설명할 수도(“이 벽을 더 두껍게”, “이 뚜껑을 제거해”) 있고, 더 정밀하게 하려면 슬라이더로 조절할 수도 있습니다. 결과는 실시간으로 갱신되고, 유지 여부는 사용자가 결정합니다.

사용자 실험에서 초보자는 AI 생성 모델의 제작 관련 결함을 약 90%의 성공률로 찾아내고 수정했습니다(전문가 검토 기준). 참가자는 휴대폰 거치대, 화병 같은 일상 용품을 만들었고, 슬라이더와 자연어를 함께 쓰는 하이브리드 인터페이스를 일관되게 선호했습니다.

프롬프트에서 실제로 작동하는 오브젝트로

시연 오브젝트는 생성과 수정이 함께할 때 무엇이 가능한지를 보여 줍니다. 몸통을 감싼 용이 손잡이가 된 머그컵, 실제로 소리를 내는 조개 모양 호루라기, 나비 날개가 돋아난 안경, 촉수마다 컵 여러 개에 음료를 따르는 문어 형태의 디스펜서입니다. 이들은 포트폴리오용 렌더링이 아니라, 팀이 실제로 인쇄하고 사용한 물건입니다.

맞춤형 인쇄 서비스 입장에서는 이것이 생각보다 중요합니다. 대부분의 고객 아이디어는 스케치, 사진, 한 문단의 설명으로 도착하는데, 그것을 인쇄 가능한 메시로 바꾸는 작업이 여전히 가장 느리고 가장 비싼 단계입니다. “프롬프트에서 인쇄 가능까지”의 간격을 줄여 주는 도구는 고객의 아이디어가 물리적 파트가 되는 경로를 직접 단축합니다.

다음 단계

제1저자인 파라즈 파루키(현재 Google 근무)는 다음 단계를 시사했습니다. InstructMesh를 증강현실 워크플로에 통합해, 주변 상황을 설명하면 시스템이 그 맥락을 활용해 설계하고 즉시 3D 프린팅하는 것입니다. 예를 들어 지갑과 딱 맞는 휴대폰 케이스 같은 것이죠. 논문 “InstructMesh: Selective Refinement of Generative 3D Models for Fabrication“은 MIT CSAIL, Google, 노스이스턴 연구진이 공동으로 작성했습니다.

맞춤형·교육용 인쇄에 의미하는 것

교실, 메이커스페이스, 취미 사용자에게 InstructMesh의 매력은 창의성 자체가 아니라 모델링 병목을 없앤다는 데 있습니다. 수정 내용을 말로 표현할 수 있는 학생이라면 보통 몇 주는 익숙해지기 쉬운 소프트웨어를 마스터하지 않고도 인쇄 가능한 결과물을 얻을 수 있습니다. 팀이 직접 보여 준 예시—휴대폰 거치대, 화병, 소리 나는 호루라기—는 대부분의 초보 3D 프린팅 프로젝트를 움직이는 바로 그 작고 개인적인 물건들입니다.

이는 전문 워크플로가 나아갈 방향의 예이기도 합니다. 생성 이후 메시를 수동으로 고치는 대신, 설계자는 AI 산출물을 초보 동료의 초안을 검토하듯 검토합니다. 문제를 짚고, 무엇을 바꿔야 하는지 설명하고, 수정안을 승인하는 방식입니다. 같은 패턴이 슬라이서와 모델링 스위트에서 이미 나타나기 시작했고, 렌더링이 아니라 실물이 필요한 모든 사람의 기술 장벽을 낮추고 있습니다.

결론

AI가 “예쁘지만 인쇄 불가능한” 모델을 만드는 일은 당분간 계속될 것입니다. InstructMesh가 보여 주는 것은 그 수정 작업이 반드시 수동 CAD일 필요는 없다는 점입니다. 영역 선택, 자연어, 몇 개의 슬라이더만으로 첫 인쇄 사용자도 인쇄를 망칠 결함을 바로잡을 수 있습니다. “아이디어가 있다”와 “부품이 손에 있다” 사이의 거리는 계속 좁혀지고 있습니다.