IA Generativa 3D: Como a Meta SAM 3D automatiza scaneamento 3D e modelagem 3D | Workshop 3/6

Bom, agora passando para o lado direito do cérebro, acho que é o lado direito que é criativo, né? O nome do evento é CRI com IA, mas a gente não vai entrar muito no design, mas eu queria mostrar isso aqui para vocês. O Meta acabou de lançar essa semana um modelo que ele chama Synthesize Qualquer Coisa, alguma coisa assim em tradução. Eu não lembro exatamente o que significa, mas SEM é uma sigla. Basicamente é você consegue escanear qualquer coisa. Então vou mostrar aqui para vocês, tá público, vocês também conseguem acessar. Vocês jogarem no Google Sun 3D, já vai conseguir achar também e é gratuito para testar. O que que essa galera fez? A galera lá do laboratório do Meta que tá aparecendo aí nas nas headlines toda hora. De novo, tentando descobrir e fazer aplicações diferentes para usuários específicos, como o Kumo fez, eles pensaram aqui num problema bem específico, que é como a gente vai treinar modelos de IA de visão. Então, aqui é um modelo totalmente para visão, todo esse SAM é tudo para visão. E aí eles pensaram: como que eu vou treinar um modelo para visão que ele consiga me ajudar no meu próprio trabalho de treinamento de IA? Porque quando a galera precisa treinar, então você, por exemplo, você quer tirar uma foto com o ChatGPT ou com o Gemini e você quer que ele identifique que isso aqui é uma mochila, ou que isso aqui é uma mesa, um computador, isso aqui é uma pessoa. Alguém lá teve que de alguma forma fazer um monte de fotos de mochilas e identificar. "Ó, isso aqui é mochila, isso também é mochila, isso é mochila branca, isso é mochila azul e tal." Por quê? O modelo ele não tá vendo nada, o modelo não sabe, ele não é um ser vivo, certo? Então o que ele consegue armazenar dentro dos parâmetros da cabecinha dele lá? Ele armazena dados. Então da mesma forma que eu expliquei pra vocês que esses modelos eles conseguem armazenar palavras para conseguir completar frases para mostrar para vocês, esses modelos de visão fazem a mesma coisa, só que o insumo para eles aprenderem são imagens que precisam serem labeling, precisam ser notadas, precisam anotar o que é cada, desculpa pessoal das palavras aí, mas precisa ser anotada, basicamente precisa anotar que isso aqui é isso aqui, isso aqui não é isso aqui, tá. E então a galera, com base no problema próprio deles e a criatividade, eles pensaram: então por que a gente não treina um modelo que consiga fazer isso automaticamente? Certo? Então uma aplicação para isso, por exemplo, a indústria. Então eu quero colocar uma câmera na minha indústria ou em qualquer lugar fazer monitoramento e eu quero que rode nessa câmera um modelo que consiga identificar as coisas sozinho, que não precisa ficar ninguém fazendo o negócio. "Eu também não quero ficar fazendo treinamento, eu não quero botar um humano ali para ficar fazendo notação de que que é cada coisa." Então eles pegaram o modelo, essa ideia, e pegaram um montão de dados, uma montanha gigantesca, gastaram provavelmente algumas centenas de milhões de dólares e fizeram um modelo bem massa que eu vou mostrar para vocês, que ele consegue escanear objetos em 3D, ele consegue fazer edições também de vídeo, manipular vídeos também automaticamente, E ele já gera o 3D para vocês, tá? Então, sem mais delongas, deixa eu clicar aqui. É aqui, segmente qualquer coisa, que ele chama o SAM, seria isso. Segmentar é isso que eu falei, é conseguir ver uma parada e eu consigo segmentar isso. O que que é isso? Beleza, entrei aqui. Então é tudo gratuito. Vou nem logar, não vou fazer nada aqui. Eles têm umas outras demos aqui do que dá para fazer. Vocês podem olhar depois, dá para fazer umas edições bestas, que aqui a galera tentou inventar alguma coisa para o marketing, né? Vamos fazer uns videozinhos engraçados para o marketing. Aí fizeram aí uns vídeos engraçados, mas a função do modelo é científica. Beleza. E aí tem uma demo legal, eu acho que tá Aqui vocês conseguem ver o que eu quero dizer para vocês. Então, uma aplicação aqui que eles estão estudando, que eu não sei se já está online ou não, mas é no Facebook Marketplace, a pessoa conseguir— você quer anunciar alguma coisa, você tira uma foto e o modelo ele já faz o escaneamento 3D. E aí a pessoa que quer comprar consegue fazer o VR automático. Não precisa de código. Então quem fazia isso aqui? Tem alguém aqui que faz 3D? "I'm so sorry." Então, isso aqui é um exemplo, né? E aí é interessante falar isso também porque existe uma parada que é meio que uma ansiedade. Você tem que ficar ligado com essas coisas de IA porque toda semana sai coisa. E coisas massas, não é "sai qualquer merda", não. Sai umas coisas massas, tipo isso aqui saiu essa semana e eu estou mostrando aqui para vocês. Então vamos demonstrar. Vou entrar aqui. Eu quero criar um 3D. Deixa eu traduzir para português. Tem alguma plataforma, algum canal que você usa para se manter antenado desses lançamentos? Cara, eu uso o Twitter. O Twitter é o principal, mas tem uns canais brasileiros que eu acho que já começaram a postar e esse tipo de coisa você consegue descobrir. É meio que procurar coisas open source. Por quê? OpenAI e Anthropic têm alguns laboratórios muito grandes que ganham muitos bilhões e eles têm desenvolvimento e coisas assim, só que eles não dão para a gente usar. Você tem que pagar para usar. Então, por exemplo, quero utilizar no Cursor lá um modelo de estado da arte de programação, eu vou pagar uma nota para eles, né? Então hoje está girando em $200 por mês para você conseguir utilizar ali. Eu tenho vários. Então, a gente está fadado a isso, porque não existe, em teoria, modelos gratuitos open source, né, abertos, que eles tenham nesse nível, conseguem dar esse nível de retorno para você e treinamento e tal. Então, essa galera gasta centenas de milhões de dólares para conseguir fazer dinheiro, certo? Então, enfim, existem modelos privados e existem modelos públicos. Dentro do Meta, o Meta comprou uma empresa que chama Llama, Ou llama. E é o principal, ou foi o principal por muito tempo, de desenvolvimento de modelos de código aberto, modelos open source. Eles agora estão numa ideia de fazer um closed source, talvez não vão mais publicar modelos abertos gratuitos. Mas ainda tem bastante coisa, isso aqui, por exemplo, é deles. E tem bastante coisa vindo da China também. Então, grandes modelos vindo da China, Qwen, Qimi, tem outros bem massa. Mas beleza. Vamos lá, criar um modelo aqui, mostrar para vocês. Alguém é empresa de produto físico aqui? Vamos pegar um produto teu. Qual que é o site? Como? Tairu.store. Pegar aqui. Vamos pegar esse tênis. Vamos pegar um negócio mais difícil aqui. Vamos ver se eu consigo baixar. Peraí, gente. Ele não tá deixando eu clicar. Peraí. Peraí que eu vou ter que achar a imagem aqui, mas eu já tô quase. Cadê? Peraí, deixa eu ver se tem outra imagem aqui embaixo. Não tem. Tá aí, vamos procurar no Google, mais fácil, que eu não tô achando. Tênis. Beleza, aqui, ó, tá, baixamos um PNG. Beleza, consegui. Dessa vez vai, dessa vez vai. Aqui o tênis. Tá, então aqui é um aplicativo que eles fizeram, né? Então, se você baixar o modelo que é open source, eles, até onde eu vi, eles não provém API ainda para isso, mas se você baixar o modelo open source, é só o modelo que faz essa função, você tem que construir o aplicativo que usa esse modelo, tá? Então, no caso aqui, eles fizeram esse aplicativo bem massa, que bem fácil, Eu vou clicar em adicionar e ele identificou esse tênis. Cara, já sei! E aí vou tentar adicionar o outro também. Aê! Gerar 3D. É, pessoal, acabou aí. Acabou para a galera do 3D. Brincadeiras à parte, o que é que esse modelo está fazendo? Então, tudo que a gente falou até aqui, hoje a arquitetura mais utilizada é essa do Transformer. Então, é uma arquitetura computacionalmente cara, você tem que fazer muita multiplicação para conseguir fazer esse resultado e fazer o modelo aprender, então é caro No treinamento é caro para você rodar, é caro em tudo, mas produz coisas incríveis. A gente consegue ensinar para máquina coisas incríveis como essa. Então a foto ela só tinha um lado, ele teve que prever o que estava do outro lado e conseguiu. Provavelmente você teria que fazer um processo que chama fine-tuning, o ajuste fino, com datasets, com conjunto de dados de fotos de dente. Eu não sei se é possível porque existe o fator humano que provavelmente deve ser muito único. Não sei se é possível conseguir. Mesmo se a gente conseguir um bilhão de fotos de dente do mundo inteiro e a gente consegue treinar, ó, dente de chinês é assim, dente de brasileiro é assim, dente de assado é assim, De novo, alguém vai ter que fazer isso lá, ó, isso aqui é dente chinês, isso aqui é dente brasileiro. Se a gente conseguisse fazer isso, eu ainda não sei se seria possível fazer automático tudo, entendeu? Mas, enfim, dá pra tentar, não é um negócio impossível. É que é um negócio bem específico, o dente é uma geometria muito específica pra fazer. Mas enfim, coisa que ele viu, a gente pode testar depois, pega a dentadura e joga aqui, ele provavelmente vai fazer. Hoje você vai exportar em nada, porque é só uma demonstração. Eles não deram esse mole, que imagina a quantidade de gente que ia entrar aqui para fazer isso. Mas eles não deram esse mole, então você não consegue baixar agora, você consegue só demonstrar. E aí se você quiser usar o modelo, o modelo é gratuito e público. Você vai entrar num site, chama Hugging Face, esse site que eu vou mostrar para vocês daqui a pouco é o site que todo mundo publica os modelos. Gratuitos e conjuntos de dados, datasets, também gratuitos. Então você pegaria lá e aí eu vou ter que dar um jeito de rodar esse modelo, vou ter que dar um jeito de fazer o aplicativo, aí funciona. Só que é um passo, né? A galera falou: "Você também, vou dar um negócio aqui, custou dinheiro, agora você se vira aí." Basicamente é isso que eles fizeram. Ele faz vídeos também, outras coisas, mas eu não vou mostrar aqui, mas é um negócio incrível. Por exemplo, para um e-commerce, funcionário, sobe a foto do produto, já gerou 3D. Imagina, aí você tem os cenários, ele já bota no cenário. Se você consegue chegar— eu não cheguei a analisar o nível de texturização, tá vendo que não é muito alto, mas dependendo o futuro disso aqui, se você fizer um fine tuning, um ajuste fino de texturização sobre o seu produto, por exemplo, pode ser que você consiga eliminar fotografia 100%. Você não precisa mais fazer ensaio, coisa assim, entendeu? Ah, tira uma foto aqui de qualquer jeito em cima da mesa, escaneou. Aí você consegue escanear as pessoas também. Então você tem alguém que você gosta do corpo, aí você consegue escanear a pessoa. Ai, deixa eu mostrar aqui para vocês. Vou usar a demonstração deles para não pegar uma foto minha aqui, para não ficar um modelo muito feio, tá? Usando a foto deles aqui. Então, é aqui, pelo que eu lembro, pessoas, ele não gera texturas e tal, mas isso aqui para quem faz modelagem 3D, meu Deus do céu, isso aqui já é um um salto absurdo, porque é muito difícil modelar isso. Enfim, aqui já tem uns negocinhos, você conseguiria fazer o movimento das pessoas também. Não dá para fazer aqui, mas dentro de um Blender, alguma coisa você conseguiria fazer. Então, uma demonstração aqui, a parte mais criativa do workshop. Beleza? Alguém quer perguntar alguma coisa? Como é que funciona? Qualquer coisa sobre a meta? Eu ia perguntar se o formato exporta esses dados. Não exporta. É, ele não deve ter isso na documentação, não olhei. Eu acho que é o BJ, seria o— ele é uma nuvem de pontos, tá, o mesh é uma malha, né, uma nuvem de pontos. Então não é parametrizado, não é para produção, tá. Isso aí você teria que fazer um treinamento à parte. Você tem como aqui, eu posso mostrar para vocês, mas não preciso. Você pode fazer isso aqui, uma peça, por exemplo, Então, tava falando com o Sávio, Sávio, tava falando com o Sávio agora há pouco, por exemplo, um caso de parquet, preciso escanear às vezes alguma coisa para poder fazer um ambiente com aquela coisa ali e botar no ambiente, por causa do meu projeto. Os scanners que vendem isso, que acabaram de acabar por causa disso, custam R$50 mil. Eu tenho um amigo meu que é engenheiro mecânico, que ele faz escaneamento 3D É que o scanner exporta a mesma coisa, é uma nuvem de pontos da mesma forma. E o negócio aqui gratuito vai fazer no seu celular. Então, claro, você vai, se você não escanear direito, é a mesma coisa, né? Não vai ficar um scan bom, mas enfim. Isso é uma tecnologia bem nova, bem recente, então eles estão fazendo as melhorias. Com certeza. É semana, esses dias, foi acho que anteontem. Bem recente. Por isso que eu falei do negócio da ansiedade. Eu fico ali no Twitter, ali, ó, fica aí, caralho. É assim, gente, senão você sente que você ficou para trás. Hoje já lançaram um novo modelo da Anthropic. Meu Deus! Aí você fica assim, meu Deus do céu. É assim a