Keep up to date with our innovative initiatives.
Sign up here
Després de tres anys i mig de feina, el 28 de juny va acabar oficialment el projecte de recerca ViVIM, coordinat per la Fundació i2CAT i en el que també han col·laborat el Centre de Visió per Computador (CVC), Eurecat, la Corporació Catalana de Mitjans Audiovisuals i VISYON (GRUP MEDIAPRO). ACCIÓ, l’Agència per a la Competitivitat de l’Empresa, ha finançat el projecte dins del pla d’actuacions de la Comunitat Ris3CAT Media impulsada pel Govern de la Generalitat de Catalunya.
Els investigadors han centrat la seva recerca a la producció de nous formats de vídeo immersiu que milloren l’experiència dels consumidors de productes audiovisuals i que es poden consumir des de tota mena de dispositius, incloent-hi els nous sistemes de realitat virtual (com les ulleres RV), les tauletes, els mòbils o el televisor. L’objectiu global del projecte era crear noves experiències audiovisuals personalitzades, dinàmiques, interactives i immersives.
El projecte s’ha tancat amb la creació de cinc components tecnològics molt innovadors. La Fundació i2CAT ha desenvolupat un sistema de distribució i sincronització de vídeo, un reproductor web de vídeo interactiu amb adaptació automàtica al tipus de dispositiu i una tecnologia d’holoconferència pionera, que permet la representació volumètrica de l’usuari, a través d’un holograma, dins l’entorn virtual. Eurecat, ha desenvolupat un sistema innovador d’estimació de profunditat dels entorns virtuals i el CVC ha contribuït al projecte amb un sistema per a la detecció i seguiment de persones basades en parts i esqueletonització 3D, aplicades a vídeo 360°.
Pilots en entorns reals
Durant l’execució del projecte ViVIM s’han dut a terme diferents pilots en entorns reals per provar la resposta i fiabilitat de les solucions tecnològiques desenvolupades per a l’emissió i consum de continguts immersius, la interacció i representació de l’usuari o la hibridació de tecnologies 360° i 3D. Aquests pilots han comptat amb la col·laboració tant de la CCMA com de l’empresa VISYON.
Així, l’abril del 2021, es va presentar en el web de TV3 un ascensor virtual que permetia als usuaris participar d’un viatge immersiu per conèixer la història de la televisió pública catalana.
El febrer del 2022, TV3 i Canal Blau van participar en una producció coordinada per retransmetre les comparses del carnaval de Vilanova i la Geltrú en format multicàmera 360° des de diferents punts de la plaça de la Vila i amb pantalles sincronitzades.
L’abril i el maig de 2023, TV3 també va fer servir la tecnologia 360° multicàmera per retransmetre la gala de repesca i la gala final del famós programa musical “Eufòria”. L’audiència va poder gaudir en directe de totes les actuacions des de diferents punts de vista gràcies a la instal·lació de càmeres 360° en diferents punts del plató, com ara al mig de l’escenari o al costat de la taula del jurat. Els continguts immersius es podien visualitzar des de diferents dispositius (ordinador, tauleta o mòbil) de manera interactiva, seleccionant la càmera d’interès. El sistema incloïa un nou reproductor web, amb suport multiplataforma, que no necessitava cap instal·lació prèvia.
Finalment, a començaments de juny de 2023, els investigadors van presentar un pilot de realitat immersiva al cafè “Els Quatre Gats”. Aquest permetia als visitants endinsar-se en l’ambient de la Barcelona modernista i gaudir d’una recreació virtual de la primera exposició individual de Pablo Picasso, instal·lada l’any 1900 al popular local modernista. El pilot combinava tecnologies de vídeo 360º i de Computer Generated Imagery (CGI) per a la creació d’un entorn virtual immersiu que recreava l’estètica del cafè a inicis del segle XX. Els usuaris eren teleportats a l’interior de l’espai mitjançant tecnologies de representació volumètrica (hologrames) i podien interactuar amb diferents punts d’interès a través d’elements interactius.
En Sergi Fernández, director de l’àrea de recerca en Media Internet de la Fundació i2CAT i coordinador del projecte ViVIM, ha destacat que “ViVIM, a més d’ajudar-nos a portar la nostra tecnologia de distribució de vídeo 360° i de vídeo volumètric a un estat de preproducte, ha estat la llavor de noves vies de col·laboració. Des d’i2CAT, amb VISYON, estem participant en un nou projecte amb finançament europeu, XReco, per desenvolupar algoritmes d’intel·ligència artificial que incrementin l’automatització en la generació de nous continguts immersius. Per altra banda, amb la CCMA, estem treballant per fer arribar al sector broadcast el nostre sistema de distribució sincronitzada multicàmera end to end, des de la càmera al reproductor, que facilita i abarateix enormement la distribució d’experiències multicàmera en temps real”.
