Streaming Foveado: A Tecnologia Brilhante por Trás do Steam Frame da Valve e Seu Desempenho de Jogo Sem Fio Fluido

Tornando o VR sem fio verdadeiramente possível.

O Steam Frame possui uma série de novos recursos para descobrir, mas quero focar em um aqui: o streaming foveado. Pode soar como um termo médico, mas garanto que se trata de assegurar que a conexão sem fio do Steam Frame seja robusta, estável e de alta qualidade.

O Steam Frame oferece algumas maneiras de jogar, tanto localmente em seu próprio chip Arm quanto transmitido de um PC gamer próximo. Como o nome sugere, o streaming foveado é usado neste último cenário.

‘Muitas pessoas devem ter ouvido falar de renderização foveada‘, diz Jeremy Selan, engenheiro da Valve trabalhando no Steam Frame. ‘É quando você usa a direção para a qual está olhando para otimizar o desempenho do dispositivo. Assim, ele só precisa concentrar o processamento nessa área. Estamos fazendo algo semelhante a isso, aplicado especificamente ao processo de streaming.’

O streaming foveado requer o novo recurso de rastreamento ocular do Steam Frame. Este utiliza duas câmeras embutidas logo acima dos olhos do usuário, através das quais a Valve pode monitorar muito rapidamente para onde o usuário está olhando a qualquer momento. A área mais nítida do seu campo de visão, isso é graças à sua fóvea, daí o nome.

Conectando-se a um PC através de seu próprio adaptador sem fio e uma conexão dedicada de 6 GHz, o Steam Frame possui um nível de largura de banda relativamente alto disponível. Mas ele também usa duas telas de 2160 x 2160 e pode rodar até 144 Hz (em um modo experimental), o que, combinado com o fluxo de áudio, representa uma grande quantidade de dados para transmitir mesmo em uma conexão sem fio de alta capacidade.

Para superar essas limitações, a Valve está enviando a imagem de mais alta qualidade apenas para a área diretamente à frente de onde o usuário está olhando.

‘Podemos enviar uma representação de altíssima fidelidade dos dados de origem para onde você está olhando e, em seguida, gastar muito menos bits na área circundante’, diz Selan.

‘Assim, você pode imaginar que se essa área foveada, digamos, representa 10% do campo de visão total, isso representaria, na verdade, uma otimização de 10 vezes na largura de banda, na latência, na robustez.’

Em vez de enviar duas visualizações (uma para cada olho), o que geralmente é necessário para VR, a Valve está enviando quatro. Duas visualizações são enviadas em baixa resolução e representam o campo de visão inteiro. As outras duas são apenas um fragmento da imagem completa, mas enviadas em alta resolução.

‘Enviamos uma quantidade significativamente maior de bits para essa área do que para a imagem de baixa resolução’, diz Selan.

Funciona como uma lupa, oferecendo uma visão melhor do que quer que esteja sobrevoando e seguindo a visão do usuário.

‘O truque é que o rastreamento ocular é rápido o suficiente para essencialmente antecipar para onde você está olhando. Então, no momento em que você olha para a direita, já enviamos os bits em altíssima resolução para onde você está olhando. Quando enviamos, se você olhar para a esquerda, nós antecipamos o movimento dos seus olhos para lá e já enviamos os dados na resolução total.’

Usei o Steam Frame e não percebi nenhuma área de baixa resolução na minha visão. Quase me esqueci do streaming foveado até que me mencionaram. Tentei mover meus olhos rapidamente da esquerda para a direita para tentar ‘enganar’ o rastreamento ocular, mas ele manteve-se perfeitamente sincronizado.

‘Descobrimos que, mesmo para os usuários mais atentos, é muito, muito difícil perceber o que está acontecendo’, diz Selan.

Aceitei o desafio, mas ainda não consigo ver nenhuma diferença de qualidade em nenhuma parte da tela. Mesmo quando Selan ativou um modo especial em Half-Life Alyx que realçava a área de alta qualidade, para onde eu estava olhando, eu ainda não conseguia distinguir as áreas de baixa qualidade. Não sei se você já tentou focar em algo na sua visão periférica sem olhar diretamente para ele, mas é bastante desafiador. Além disso, essa parte da sua visão não é muito detalhada – nosso cérebro preenche muitas das lacunas. É exatamente disso que o streaming foveado se aproveita.

A renderização foveada, um recurso com o qual você pode estar mais familiarizado, funciona de forma semelhante com o rastreamento ocular. O que é conhecido como renderização de quatro visualizações (quad view rendering) opera de forma similar. A principal diferença aqui é que o streaming foveado não reduz os requisitos de desempenho para o PC que está renderizando o jogo de VR a ser enviado para o Steam Frame – ele trabalha intensamente para entregar a imagem completa e nítida.

Isso é uma coisa boa e ruim. Por um lado, se o seu PC gamer tiver dificuldades para executar jogos de VR, o streaming foveado não ajudará. Por outro lado, o streaming foveado não exige nenhum esforço adicional dos desenvolvedores. Embora eu não me preocuparia em ter que escolher entre eles: a Valve confirmou que você poderá usar ambos ao mesmo tempo em jogos que suportam renderização foveada.

‘Mais importante ainda, o desenvolvedor de software, os parceiros que lançam na Steam, não precisam fazer nenhum trabalho para aproveitar essa tecnologia’, diz Selan.

Tendo passado um tempo sem um cabo para me prender, posso ver por que a Valve está se esforçando para eliminar os cabos da experiência de VR. A experiência é muito mais imersiva sem eles. Assim também a experiência de streaming parece a parte mais convincente do Steam Frame, até mais do que suas novas capacidades de processamento embarcado. Não menos importante porque a duração da bateria durante o streaming deve ser significativamente maior do que jogar diretamente no headset. Isso parece uma vantagem clara, assim como o streaming foveado.