Når de tre AI-giganter OpenAI, Anthropic og Googles flagskibmodeller mødes i direkte duel, hvem er så bedst til at styre robotter?
Den 20. oktober offentliggjorde RoboColiseum, der er fælles initieret af næsten 20 universiteter, virksomheder og forskningsinstitutioner verden over, herunder Mifeng Technology, Hugging Face, NVIDIA og Tsinghua University, resultaterne af denne evalueringsrunde: Claude Opus 5.5 indtager førstepladsen samlet blandt de fire flagskibsmodeller, tæt fulgt af GPT-6 Astra.
Opdelt efter delområder fører GPT-6 Astra blandt de fire flagskibsmodeller inden for instruktionsfølge og generel forstyrrelsestilpasning, hvor scoren for instruktionsfølge når 99,35; Opus klarer sig bedre inden for rumlig forståelse og generel manipulation og sikrer sig førstepladsen i flagskibsgruppen samlet med det laveste tokenforbrug gennem alle evalueringsrunder. I testen med forstyrret billedkvalitet ligger GPT-6.1 Sol tydeligt bag de øvrige tre modeller, hvilket viser forskelle i forskellige modellers stabilitet over for ændringer i visuel information.
Men de to øverste pladser i denne rundes samlede rangering besættes fortsat af embodied policy-modeller, som især bevarer deres forspring inden for generel manipulation.
Denne direkte konfrontation giver branchen en intuitiv reference til at forstå styrker og svagheder ved generelle store modeller og embodied policy-modeller.
RoboColiseum præsenterer fire underranglister for kapaciteter og 78 højfidelitets-simuleringsevalueringsopgaver omkring instruktionsfølge, rumlig forståelse, forstyrrelsestilpasning og generel manipulation. Platformen viser både modellernes delresultater og registrerer trin til opgaveløsning og fejlplaceringer, så udviklere hurtigt kan identificere modellernes kapacitetsmangler.
Som medinitiator leverer Mifeng højfidelitets-objektaktiver og simuleringsscenarier til RoboColiseum, understøtter opbygningen af evalueringsmiljøer til komplekse robotmanipulationsopgaver og leverer grundlæggende ressourcer til test af modelkapaciteter under forskellige objektinteraktioner, rumlige layouts og miljøforhold.
Om modellernes resultater i simulering kan afspejle reel operationsadfærd, er også afgørende for evalueringen. Ifølge de offentliggjorte testresultater på platformen når korrelationen mellem RoboColiseums simuleringsevaluering og virkelig implementering 89,5%, og forskellen mellem evaluering i simulering og i den virkelige verden for samme model er under 10%, hvilket kan give udviklere en reference til modelscreening og problemlokalisering før test på rigtige robotter.
Mifeng Technology leverer et dataleverancesystem, der er "komplet, godt og hurtigt", og som dækker tre dataparadigmer: virkelige robotter, simulering og uden kropslig tilstedeværelse. Inden for simulering leverer Mifeng to typer ressourcer, objektaktiver og miljøaktiver, som dækker en lang række hverdagsgenstande og indendørsscenarier, og tilbyder også kapaciteter som sceneriokonstruktion, indsamling af eksperttrajektoriedata og visualisering af evalueringsresultater, så modelteams kan gennemføre varieret træning og evaluering.
Coliseum refererede oprindeligt til det antikke romerske amfiteater, og RoboColiseum bruger dette som billede til at opbygge et multidimensionelt systematisk evalueringssystem og give embodied intelligens-modeller en offentlig, neutral og reproducerbar "arena" og "træningsplads" gennem simuleringsevaluering, der i høj grad stemmer overens med virkelig ydeevne. Enhver udvikler fra universiteter, forskningsinstitutioner eller virksomheder kan indsende sin model og gennemgå en standardiseret "eksamen". Siden lanceringen i august har mere end 100 teams fra ind- og udland gennemført modeltræning og evaluering på platformen.
RoboColiseum er nu åbent for udviklere verden over, og modelteams er velkomne til at deltage i evalueringen.
