콘텐츠로 이동

Cosmos WFMs(World Foundation Models)

개요

Cosmos는 Physical AI 개발을 가속화하기 위한 플랫폼으로, 가상 환경의 미래 상태를 예측하고 물리 인식 비디오를 생성할 수 있는 신경망인 WFMs(world foundation models)를 제공합니다. WFMs는 텍스트, 이미지, 비디오 등의 입력 데이터를 이용해 장면 내 오브젝트의 공간 관계와 물리적 상호 작용을 정확하게 모델링하는 방식으로 가상 세계를 생성하고 시뮬레이션합니다.

Cosmos WFMs는 여러 개의 독립된 AI 서브시스템으로 구성되어 있으며, 이 서브시스템 전체가 리벨리온 ecosystem에서 동작합니다. Cosmos WFMs는 3개의 모델 타입을 포함하며, 아래 표에 각 타입의 세대별 모델과 튜토리얼 링크를 정리했습니다. 각 튜토리얼은 내용 상 순차적으로 연결되어 있으나, 각각을 독립적으로 테스트할 수도 있습니다.

다음 그림은 RBLN NPU에서 Cosmos-Predict1-7B로 수행한 Text-to-World 추론 결과입니다.

두 개의 행으로 구성된 그림. 각 행 왼쪽의 상자에 입력 프롬프트가 있고, 화살표가 오른쪽의 생성된 비디오로 이어집니다 두 개의 행으로 구성된 그림. 각 행 왼쪽의 상자에 입력 프롬프트가 있고, 화살표가 오른쪽의 생성된 비디오로 이어집니다

Cosmos WFMs 구성 요소

Cosmos-Predict: World Generation Models

Predict 모델은 물리 인식 이미지와 비디오를 예측하고 생성합니다. Cosmos-Predict2.5는 이전 세대 대비 Text2World, Image2World, Video2World를 하나의 flow 기반 모델로 통합하고 Cosmos-Reason1을 텍스트 인코더로 사용하도록 개선되었습니다.

모델 크기 기능 입력
Cosmos-Predict1 7B, 14B Text2World, Video2World 텍스트/이미지/비디오
Cosmos-Predict2 2B, 14B Text2Image, Video2World 텍스트/이미지/비디오
Cosmos-Predict2.5 2B, 14B Text2World, Image2World, Video2World 텍스트/이미지/비디오
  • HuggingFace Cosmos-Predict2.5 on RBLN NPUs
    파이프라인의 각 모듈을 컴파일하고, 텍스트 프롬프트와 입력 이미지로 비디오를 생성합니다.

Cosmos-Transfer: Multi-ControlNet Models

Transfer 모델은 edge, depth, segmentation, blur 등의 공간적 제어 입력을 조건으로 월드를 생성합니다. Cosmos-Transfer2.5는 Cosmos-Predict2.5 기반 모델로, 제어 신호를 따르는 world simulation 비디오를 생성합니다.

모델 크기 기능 입력
Cosmos-Transfer1 7B multi-controlnet 기반 비디오 생성 텍스트/컨트롤 비디오
Cosmos-Transfer2.5 2B multi-controlnet 기반 비디오 생성 텍스트/컨트롤 비디오

Note

diffusers는 Cosmos-Transfer1 파이프라인을 제공하지 않아서, RBLN Model Zoo에서는 다른 Cosmos 예제가 사용하는 파이프라인 API 대신 NVIDIA의 코드베이스 위에 이 모델을 구현했습니다. 실행 가능한 예제는 RBLN Model Zoo - Cosmos-Transfer1에서 확인할 수 있습니다.

  • HuggingFace Cosmos-Transfer2.5 on RBLN NPUs
    파이프라인과 edge ControlNet을 컴파일하고, 컨트롤 비디오의 구조를 따르는 비디오를 생성합니다.

Cosmos-Reason: Reasoning Vision-Language Models

Reason 모델은 이미지와 비디오 입력에서 공간, 시간, 물리 법칙을 이해하고 chain-of-thought 방식으로 추론합니다. Cosmos-Reason2는 Qwen3-VL-Instruct를 기반으로 사후 학습한 모델로, 2D/3D 위치 좌표와 바운딩 박스 출력, 최대 256K 토큰의 입력 컨텍스트를 지원합니다.

모델 크기 기능 입력
Cosmos-Reason1 7B 시각적 추론 텍스트/이미지/비디오
Cosmos-Reason2 2B, 8B, 32B 시각적 추론, 객체 위치 검출 텍스트/이미지/비디오

참고