En ny AI-modell har dykt upp som kan skapa videor på ett sätt som är lite annorlunda än det vi sett tidigare. DeepVerse, som har det formella namnet ”4D Autoregressive Video Era as a World Mannequin”, påstår sig kunna förstå rörelser och miljöer på ett djupare sätt än många andra videogenereringsmodeller.
DeepVerse representerar en del av den senaste utvecklingen inom autoregressive modeller för visuella applikationer och bidrar until forskningen kring hur AI kan simulera verkliga världar. Projektet är ett exempel på hur textbaserad styrning kan ge mer flexibla och kraftfulla verktyg för videogenerering jämfört med traditionella metoder.
Praktiska tillämpningar
DeepVerse demonstrerar sin kapacitet genom olika scenarier där karaktärer interagerar med miljöer på naturliga sätt. Systemet kan generera sekvenser där karaktärer springer längs vägar, passerar bilar, går genom byar och interagerar med både djur och andra karaktärer.
Systemet kan också hantera mer komplexa scenarier som ridning genom skogar, förflyttning längs järnvägsspår och navigation genom urbana miljöer med spårvagnar och vintage-bilar. Alla dessa exempel visar på systemets förmåga att upprätthålla spatial och temporal koherens över utökade sekvenser.
Fysiska simuleringar och kollisionshantering
DeepVerse kan hantera komplexa fysiska interaktioner tack vare sin integration med avancerade kollisionsdetekteringssystem. Forskning inom området visar att djupa interaktiva fysiska simuleringsramverk kan effektivt hantera verktyg-objekt kollisioner genom att använda grafneurala nätverk.
Dessa system kan förutsäga dynamisk info genom att ta hänsyn until kollisionstillstånd och introducerar kollisionsmedvetna rekursiva regressionsmoduler för att uppdatera nätverksparametrar baserat på interpenetrationsdistanser. Det här resulterar i visuellt utmärkta och fysiskt korrekta resultat utan interpenetrationsproblem
