HEAT

HEAT (Hybrid Extended reAliTy) neix per obrir el camí a les experiències distribuïdes de pròxima generació, abordant els principals desafiaments per fer realitat aquelles experiències que fins ara només podien ser a la nostra imaginació: estar immersos de manera realista (holo-transportats) dins d’espais 3D hiperrealistes omnidireccionals i navegables capturats realment, sentir la seva atmosfera i compartir aquestes experiències amb altres, independentment de la seva ubicació. HEAT té l’objectiu d’integrar tecnologies de mitjans immersius, com ara núvol de punts/imatges hologràfiques, mitjans multisensorials, Realitat Virtual/Estesa Social (VR/XR) en un sistema de comunicació multiusuari i amb retroalimentació habilitada, per proporcionar la construcció d’experiències convincents, conscients del context i corporals, per a aplicacions XR híbrides innovadores. En aquestes aplicacions, els usuaris remots poden experimentar un entorn real capturat mitjançant VR immersiva, mentre que els usuaris presents poden visualitzar i interactuar amb els hologrames dels usuaris remots integrats a l’entorn real mitjançant la renderització hologràfica. El sistema facilitarà l’explotació de tècniques d’adquisició de dades 3D àgils (multisensorials), millorant el rendiment alhora que redueix els costos de la tecnologia. Crearà un canal de comunicació escalable que incorporarà tant l’encapsulació de diferents mitjans, des d’àudio-vídeo clàssic fins a mitjans multisensorials i vídeo hologràfic, com combinacions d’aquests, proporcionant mitjans per a una codificació, processament, emmagatzematge, _streaming_ (en temps real) i renderització eficients i escalables. El projecte proporcionarà escenaris dissenyats i totalment provats en entorns reals per a experiències XR millorades: aprenentatge combinat (_blended learning_), un teatre modern, un festival de música i un espectacle d’òpera. Totes les accions pilot garantiran que el RGPD i l’ètica s’abordin per als usuaris finals (metodologia de privacitat i ètica des del disseny).

Dins del projecte, la Fundació i2CAT actua com a Coordinador Tècnic i lidera el Paquet de Treball WP3 – Components Tecnològics i Integració Arquitectònica, l’objectiu principal del qual és el disseny i el desenvolupament dels components tecnològics innovadors requerits per a la realització del projecte i la seva integració en l’arquitectura d’extrem a extrem proposada, des de la captura/recuperació de mitjans fins a la presentació de mitjans, incloent-hi una àmplia gamma de contingut multimodal i mètodes d’interacció. Dins del WP3, i2CAT també liderarà dues tasques: la T3.2, que se centrarà en l’Orquestració de serveis i mitjans, així com en el lliurament adaptatiu de baixa latència, i la T3.5, que se centrarà en les activitats d’integració i proves iteratives. El resultat tecnològic clau del WP3 per part d’i2CAT serà una plataforma de comunicacions hologràfiques evolucionada, que permetrà una interacció veritablement natural i rica entre usuaris remots connectats mitjançant modes XR híbrids (és a dir, usuaris presents interactuant amb l’entorn real connectant-se mitjançant el mode AR/XR, i usuaris remots connectant-se mitjançant el mode VR i estant immersos en rèpliques virtuals de l’entorn real).

Dins del projecte, i2CAT també participarà en altres Paquets de Treball. Específicament, el centre de recerca català participarà en el Paquet de Treball WP2 – Requisits, Escenaris, Arquitectura de Plataforma i Metodologia QoE liderant la Tasca 2.2 – Disseny i Arquitectura de la Plataforma. Dins d’aquesta tasca, els investigadors especificaran l’arquitectura general de la plataforma, amb la modularitat necessària per adaptar-se als escenaris previstos. Aquesta tasca també inclourà una anàlisi exhaustiva per maximitzar la interoperabilitat amb els estàndards oberts existents, la infraestructura de xarxa actual i les solucions de _hardware_ i _software_ comercials aplicables i/o rellevants per a la plataforma extensible que s’ha de desenvolupar. L’especificació de l’arquitectura també inclourà una descripció completa dels components de _hardware_ i _software_, els mòduls associats i les interfícies requerides.

i2CAT també participarà en el Paquet de Treball WP4 – Pilots, Producció de Continguts i Avaluació, jugant un paper clau en les activitats de planificació i execució dels pilots, que adoptaran les contribucions tecnològiques d’i2CAT.

HEAT considerarà quatre casos pilot diferents com a exemples de desplegament de les tecnologies desenvolupades en escenaris reals. Els pilots s’utilitzaran per validar l’aplicabilitat i l’eficàcia del sistema proposat mitjançant l’avaluació de proves.

• Pilot XREL: Una conferència, és a dir, un entorn d’aula/laboratori que inclou un professor i equips de laboratori, es capturarà utilitzant càmeres volumètriques, micròfons i dispositius d’adquisició multisensorial. L’entorn capturat (és a dir, la conferència en directe) serà processat i lliurat dinàmicament als estudiants remots mitjançant auriculars XR i actuadors multisensorials (és a dir, dispensadors d’olfacció, guants/armilles hàptiques). Els estudiants remots seran capturats al seu lloc utilitzant dispositius disponibles (per exemple, càmeres 360°/plenòptiques/RGB-D/micròfons estèreo de _smartphones_ o càmeres dedicades), sent el seu holograma teletransportat a l’aula, que estarà equipada amb pantalles hologràfiques per permetre als professors i als estudiants remots interactuar socialment, compartint amb ells senyals socials visuals.
• Pilot XR Theatre: En una representació cultural de teatre modern, l’entorn (és a dir, l’escenografia, l’escenari i els artistes) es capturarà amb càmeres volumètriques, micròfons i dispositius d’adquisició multisensorial. El públic remot experimentarà l’entorn juntament amb el públic present, amb l’ús d’auriculars XR i actuadors multisensorials (és a dir, dispensadors d’olfacció, guants/armilles hàptiques), com si estiguessin asseguts en una posició específica segons la seva sol·licitud. El públic remot serà capturat al seu lloc, utilitzant dispositius disponibles (per exemple, càmeres 360°/plenòptiques/micròfons estèreo de _smartphones_ o càmeres dedicades), sent el seu holograma teletransportat al teatre mitjançant pantalles hologràfiques 3D i/o auriculars XR.
• Pilot XR Blues: L’actuació d’una banda de _blues/rock_ en un club es capturarà utilitzant càmeres volumètriques i dispositius d’adquisició multisensorial. El so es capturarà dinàmicament des de la taula de mescles de l’escenari i es sincronitzarà amb la part visual. El públic remot experimentarà l’entorn amb el públic present, utilitzant auriculars XR i actuadors multisensorials (per exemple, dispensadors d’olfacció, guants/armilles hàptiques). El públic remot serà capturat al seu lloc utilitzant dispositius disponibles (per exemple, càmeres 360°/plenòptiques/micròfons estèreo de _smartphones_ o càmeres dedicades), i el seu holograma serà teletransportat al club mitjançant pantalles hologràfiques 3D.
• Pilot XR Opera: En una representació cultural d’òpera, l’escenografia i els artistes de l’òpera es capturaran amb càmeres volumètriques, micròfons i dispositius d’adquisició multisensorial. El públic remot experimentarà l’entorn juntament amb el públic present, amb l’ús d’auriculars XR i actuadors multisensorials (és a dir, dispensadors d’olfacció, guants/armilles hàptiques), com si estiguessin asseguts en una posició específica segons la seva sol·licitud. El públic remot serà capturat al seu lloc utilitzant dispositius disponibles (per exemple, càmeres 360°/plenòptiques/micròfons estèreo de _smartphones_ o càmeres RGB-D dedicades), sent el seu holograma teletransportat al teatre i renderitzat mitjançant pantalles hologràfiques 3D. A més, s’adquirirà la retroalimentació multisensorial (per exemple, hàptica, freqüència cardíaca) dels usuaris remots, i s’investigarà la possibilitat de renderitzar-la dinàmicament als artistes mitjançant dispositius _wearable_.