A NVIDIA lançou nesta terça-feira (13) a ferramenta “Chat With RTX”, que cria um chatbot
local no estilo ChatGPT
para sistemas com placas GeForce RTX 3000 ou superiores. Ainda em fase de demonstração técnica, o “Chat With RTX” (Converse com RTX) está disponível para download e é uma das primeiras ferramentas locais de chatbot lançadas para o consumidor doméstico.

A iniciativa segue a proposta do RTX Remix
e NVIDIA TensorRT
de implementar soluções de software
gratuitas — e em alguns casos de código aberto — para desbloquear o potencial de IA local de todos os produtos com núcleos Tensor. O movimento ainda sugere que a NVIDIA está focada em liberar cada vez mais soluções locais de IA
como resposta à estratégia de mercado adotada pela Intel
com os processadores Intel Core Ultra com NPU e aceleradores de IA embarcados.

ChatGPT local em placas GeForce RTX 3000

De maneira geral, soluções online como o Gemini (antigo Bard)
, da Google
, o Copilot, da Microsoft
e o próprio ChatGPT
utilizam modelos abertos com dados disponíveis na internet para criar as interações com os usuários. O problema é que as respostas costumam ser muito genéricas, sendo preciso várias interações até encontrar a resposta mais adequada.

–
Siga o Canaltech no Twitter
e seja o primeiro a saber tudo o que acontece no mundo da tecnologia.
–

Inicialmente, os maiores beneficiados pelo “Chat With RTX” serão criadores de conteúdo e profissionais autônomos. Um youtuber poderia, por exemplo, buscar em qual momento de um vídeo ele falou sobre seu personagem gratuito favorito de Genshin

para criar cortes pontuais, mas os links precisam ser inseridos manualmente.

Ao testar a ferramenta, foi possível inserir pastas inteiras com arquivos de texto para criar um banco de dados unificado. Ao realizar a pergunta — inclusive em português —, a plataforma realiza a busca das informações entre os documentos em extensões DOC/DOCX, TXT e PDF, e gera respostas em inglês.

No caso de vídeos, ainda é necessário inserir o endereço do vídeo no YouTube
, ainda não sendo possível utilizar uma biblioteca local. Contudo, ainda se trata de uma demonstração em versão 0.2, sendo provável que a funcionalidade seja introduzida futuramente, permitindo criar assistentes virtuais totalmente personalizadas.

O maior problema da novidade, no entanto, é que ela é extremamente pesada, com mais de 35 GB de download — que precisam ser descompactados antes da instalação —, e exige no mínimo uma placa de vídeo GeForce RTX 3000. Por outro lado, não é preciso baixar modelos LLM
separadamente, pois o “Chat With RTX” já inclui os modelos reduzidos do Mistral, Llama 2
, TensorRT-LLM e a ferramenta de Geração Aumentada de Recuperação (RAG), para otimizar as repostas com os dados dos usuários.

Leia a matéria no Canaltech
.

Trending no Canaltech: