Com os recentes avanços no processamento de linguagem natural, o GPT-3 da OpenAI emergiu como o modelo ideal para a geração de linguagem natural. Seus recursos avançados permitiram que as empresas gerassem conteúdo com rapidez e precisão, mas sua base de código fechada dificultou o uso por pesquisadores independentes e empresas que exigem total flexibilidade.
Mas agora existem várias alternativas de código aberto ao GPT-3 que estão se mostrando tão poderosas para empresas quanto para pesquisadores. Neste artigo, veremos:
- Os benefícios e limitações do uso do GPT-3
- Alternativas de código aberto GPT-3 em 2023
- Como testar modelos de código aberto
Portanto, se você estiver procurando por uma alternativa de código aberto ao GPT-3, este artigo o ajudará a tomar uma decisão informada. Vamos começar!
O que é GPT-3
GPT-3 é a abreviação de Generative Pre-trained Transformer 3 é um modelo de linguagem não supervisionado desenvolvido pela OpenAI. Na época em que foi lançado em 2020, o GPT-3 era o maior modelo de linguagem já criado, contendo mais de 175 bilhões de parâmetros.
GPT-3 e modelos de linguagem em larga escala de código aberto usam uma grande quantidade de dados de treinamento para produzir texto humano e concluir tarefas como responder a perguntas, resumir documentos e traduzir idiomas sem a necessidade de nenhum treinamento adicional.
Em 2023, o Instituto Alemão Max Planck realizou um estudo para comparar as habilidades cognitivas de humanos e GPT-3 usando testes psicológicos canônicos para comparar suas habilidades na tomada de decisões, busca de informações e relações de causa e efeito. Os resultados do estudo são surpreendentes:
- A IA pode resolver problemas e tomar decisões com base em descrições tão bem ou melhor que os humanos
- A IA não está apenas no nível das pessoas, mas também comete os mesmos erros que são comuns às pessoas
Mas em duas habilidades cognitivas, a IA fica aquém dos humanos:
- Ao buscar informações, o GPT-3 não apresenta sinais de pesquisa direcionada
- Em problemas de causa e efeito, o GPT-3 está no nível de uma criança pequena
Os autores acreditam que, para alcançar os humanos nessas duas habilidades, a IA deve se comunicar ativamente com os humanos. Não é difícil imaginar que esse obstáculo seja superado rapidamente com milhões de pessoas já se comunicando com o ChatGPT.
Benefícios do uso do GPT-3
O lançamento do GPT-3 da OpenAI foi um marco no desenvolvimento de sistemas de IA de linguagem natural. Pela primeira vez, um modelo de IA foi capaz de formular textos curtos de maneira tão crível e coerente que não poderiam mais ser reconhecidos por humanos como gerados por IA. Posteriormente, o modelo provou ser flexível para muitas outras aplicações, como a geração de código que exigia apenas um pequeno ajuste fino.
Desde o lançamento, a série de modelos GPT-3 se expandiu para incluir modelos de conversação AI como ChatGPT e modelos mais poderosos, como DaVinci, que fornecem:
- Maior qualidade de formato longo: o modelo GPT-3 DaVinci foi projetado para fornecer respostas de formato longo de alta qualidade, mais naturais e diferenciadas do que os modelos anteriores.
- Maior escalabilidade: o GPT-3 DaVinci é capaz de escalar para conjuntos de dados maiores e modelos de treinamento maiores, permitindo que ele lide com tarefas mais complexas.
- Compreensão de linguagem aprimorada: o GPT-3 DaVinci é capaz de entender a linguagem natural melhor do que os modelos anteriores, permitindo produzir resultados mais precisos.
Limitações do uso do GPT-3
Embora o GPT-3 ofereça um conjunto atraente de benefícios, ele tem limitações que são importantes a serem consideradas ao tomar uma decisão de tecnologia para sua empresa:
- Segurança deficiente: como o OpenAI não fornece visibilidade de seu modelo e dados de treinamento, algumas empresas estão preocupadas com a forma como seus dados estão sendo processados e armazenados. Alternativas de código aberto podem fornecer melhores opções de segurança para empresas que precisam proteger dados confidenciais.
- Personalização limitada: GPT-3 pode não fornecer o nível de personalização que alguns usuários precisam. Se for necessário um alto nível de personalização, as equipes podem precisar usar outras opções de código aberto sobre as quais possam criar soluções.
- Acesso limitado: detalhes sobre o modelo do GPT-3, incluindo informações sobre os dados de treinamento, não são disponibilizados para grandes empresas de tecnologia ou pesquisadores. Se esta for a chave para o seu caso de uso, você certamente desejará procurar outras opções.
Alternativas de Código Aberto ao GPT3
Nos últimos anos, pesquisadores independentes têm se esforçado para tornar os modelos de linguagem em larga escala mais acessíveis ao público, desenvolvendo alternativas de código aberto para modelos de IA, como o GPT-3 da OpenAI e o LaMDA do Google, que normalmente são bem guardados. Ao fazer isso, esses pesquisadores esperam incentivar mais pesquisas e desenvolvimento nessa área e fornecer ao público acesso gratuito e irrestrito a essa tecnologia de inteligência artificial.
Os pioneiros incluem o coletivo de pesquisa EleutherAI e BigScience. Hoje, até mesmo gigantes como Google, Meta e Microsoft começaram a fornecer acesso público aos seus modelos. Vejamos as principais alternativas de código aberto GPT-3:
BLOOM
BigScience Bloom é uma verdadeira alternativa de código aberto ao GPT-3, com acesso total disponível gratuitamente para projetos de pesquisa e fins empresariais.
O modelo de linguagem Bloom foi treinado com 176 bilhões de parâmetros durante 117 dias no centro de supercomputação do Centro Nacional Francês de Pesquisa Científica. O desenvolvimento foi organizado pelo projeto BigScience, coordenado pela Hugging Face, cofinanciado pelo governo francês e envolveu mais de 1000 pesquisadores voluntários.
BLOOM vs GTP-3:
- O Bloom está focado em fornecer um modelo de IA multilíngue e tem a capacidade de gerar texto em 46 idiomas e 13 linguagens de programação. Embora o OpenAI possa fornecer respostas em vários idiomas, ele foi treinado principalmente com conteúdo em inglês.
- O Bloom foi treinado apenas em tarefas de geração de texto , portanto, tem uma capacidade limitada de atender a solicitações fora disso. Por outro lado, o GPT-3 foi desenvolvido para realizar uma ampla gama de tarefas, como escrever código de programação.
- Como o Bloom é uma IA de código aberto, os pesquisadores podem baixá-lo gratuitamente no Hugging Face. O GPT-3 está disponível por meio da API da OpenAI com acesso completo e muito limitado, fornecido apenas a algumas poucas empresas selecionadas.
GPT-JT
GPT-JT é um modelo de linguagem descentralizado desenvolvido pela comunidade Together, incluindo pesquisadores da ETH Zurich e da Universidade de Stanford. Ele se baseia no parâmetro GPT-J-6B de seis bilhões da EleutherAI e foi ajustado com 3,5 bilhões de tokens. O GPT-JT foi projetado para ser usado com data centers mais lentos com até um gigabit/s disponível e tem o potencial de alcançar o mesmo desempenho que o GPT-3 em modelos de linguagem grandes.
Jack Clark, autor do boletim informativo Import AI, afirma que o GPT-JT pode ser o fim de uma era de desenvolvimento de IA que é conduzida exclusivamente por grupos com acesso a grandes redes de computadores centralizadas. Ele afirmou que “o GPT-JT sugere um futuro radicalmente diferente – coletivos distribuídos podem, em vez disso, agrupar computadores em links de internet ruins e treinar modelos juntos”.
GPT-JT vs GPT-3:
- O GPT-3 tem quase 30 vezes mais parâmetros que o GPT-JT, com 175 bilhões, mas o GPT-JT ainda ocupa o segundo lugar no RAFT Score para avaliação holística do modelo de linguagem.
- O GPT-JT usa uma infraestrutura distribuída dividindo tarefas em pequenos pedaços e distribuindo-os em vários nós em uma rede, o que ajuda a reduzir a latência e maximizar a escalabilidade . Comparado ao GPT-3, isso torna muito mais fácil para os grupos acessarem, utilizarem e estendê-lo que podem não ter acesso a grandes redes de computadores centralizadas.
GPT-NeoX
GPT-NeoX (ou também chamado GPT-NeoX-20B) é um dos modelos de processamento de linguagem natural (NLP) de código aberto mais avançados disponíveis. Este modelo de linguagem autorregressiva de 20 bilhões de parâmetros foi desenvolvido por um coletivo de pesquisadores da EleutherAI e treinado no “Pile”.
Ele se baseou em versões anteriores menores do modelo, como GPT-J6B e GPT-Neo. GPT-NeoX-20B usa um tokenizer diferente daquele usado em GPT-J-6B e GPT-Neo, que aloca tokens adicionais para caracteres de espaço em branco, tornando o modelo mais adequado para certas tarefas como geração de código.
GPT-NeoX vs GTP-3:
- De acordo com Max Woolf , o modelo de código aberto GPT-J é melhor na geração de código do que o GPT-3 . Observe que esses testes foram de meados de 2021 e o GPT-3 Davinci não estava disponível na época. O GPT-3 Davinci agora pode rivalizar ou superar o desempenho do GPT-J. Woolf também viu resultados semelhantes para a geração de código Python.
- Embora o GPT-3 possa ser usado tanto para pesquisa quanto para produção, a EleutherAI recomenda o uso do GPT-NeoX apenas para fins de pesquisa .
Megatron-Turing Geração de Linguagem Natural (MT-NLG)
O MT-NLG é o maior e mais poderoso modelo de transformador monolítico em inglês disponível. Este grande modelo de linguagem foi desenvolvido pela NVIDIA em colaboração com a Microsoft e possui mais de 530 bilhões de parâmetros, o triplo do tamanho do GPT-3 da OpenAI.
Como sucessor do Turing NLG 17B e do Megatron-LM , o MT-NLG é capaz de realizar tarefas de linguagem natural com maior precisão, como predição, compreensão de leitura, raciocínio de senso comum, raciocínio de linguagem natural e desambiguação do significado de palavras. Foi treinado com a ajuda do supercomputador Selene e seus 560 servidores A100. Este modelo é aprimorado ainda mais pelo uso de treinamento de precisão mista e HDR InfiniBand com extensão full-fat tree.
MT-NLG vs GPT-3:
- O MT-NLG foi treinado usando o Pile e tem 3 vezes mais parâmetros do que o GPT-3 da OpenAI.
- Os pesquisadores devem se inscrever para obter acesso à API do MT-NLG . O modelo do GPT-3 é abstrato e está disponível para qualquer pessoa via API.
OPT-175B
OPT-175B é um modelo de linguagem desenvolvido pela Meta com 175 bilhões de parâmetros treinados em conjuntos de dados disponíveis publicamente. Ele é projetado para casos de uso de pesquisa e envolvimento da comunidade e é lançado sob uma licença não comercial. Ele foi projetado para ser mais eficiente em termos de energia do que o GPT-3, consumindo apenas 1/7 da pegada de carbono.
O OPT-175B é treinado usando a API de código aberto Fully Sharded Data Parallel (FSDP) da Meta e a abstração paralela de tensor da NVIDIA no Megatron-LM para permitir a eficiência ideal do treinamento.
OPT vs GPT-3:
- O OPT-175B tem uma taxa de utilização mais alta de ~147 TFLOP/s/GPU nas GPUs A100 de 80 GB da NVIDIA, em comparação com o GPT-3, que tem uma taxa de utilização de aproximadamente 130 TFLOP/s/GPU
- OPT-175B é distribuído sob uma licença não comercial , enquanto o GPT-3 é distribuído sob uma licença comercial
- OPT AI tem desempenho semelhante ao GPT-3, mas com apenas 1/7 da pegada de carbono.
Flan-T5
Flan-T5 é um poderoso modelo de linguagem de código aberto desenvolvido pelo Google AI que usa uma abordagem de texto para texto para processamento de linguagem natural (NLP). É uma arquitetura baseada em transformador que requer menos parâmetros e pode ser treinada mais rapidamente do que outros modelos.
Ele é capaz de quebrar o texto, raciocinar sobre ele e detectar sarcasmo. Ele também é capaz de reinterpretar perguntas e fornecer respostas mais intuitivas do que um modelo tradicional de resposta a perguntas.
Flan-T5 vs GPT-3:
- Ao contrário do GPT-3, o Google tornou o modelo FLAN-T5 acessível ao público , abrindo a oportunidade para empresas e pesquisadores acessarem os pesos e pontos de verificação do modelo.
- Para desenvolvedores e pesquisadores que desejam experimentar a IA, o FLAN-T5 oferece uma proposta de valor atraente: é mais eficiente computacionalmente do que o GPT-3, permitindo treinamento mais rápido e pontos de verificação menores.
- O FLAN-T5 é otimizado especificamente para tarefas como tradução automática, resumo e classificação de texto , enquanto o GPT-3 pode ser menos eficaz nessas tarefas.
Como testar modelos de código aberto
Como vimos, existem muitos LLMs disponíveis, tanto para fins comerciais quanto para fins de pesquisa. Ao selecionar um modelo para trabalhar, você também precisa saber como testá-lo adequadamente para poder avaliar o desempenho, a precisão e a confiabilidade do modelo em diferentes cenários.
Nesta seção, veremos três dos métodos mais comuns para testar modelos de IA de código aberto.
Usando Hugging Face
A plataforma Hugging Face fornece uma interface fácil de usar para testar LLMs de código aberto. Possui uma interface de linha de comando que permite aos usuários acessar os modelos, executar experimentos e avaliar os resultados. Ele também fornece uma biblioteca de modelos pré-treinados que podem ser usados para avaliar a precisão e o desempenho dos LLMs.
Aqui tem uma amostra de demonstração do Hugging Face para o Flan-T5 do Google para você começar.
Testando localmente
Testar LLMs de código aberto localmente permite que você execute experimentos em seu próprio computador. A vantagem dessa abordagem é que ela fornece um ambiente mais controlado, onde você pode personalizar os experimentos de acordo com suas necessidades específicas. Além disso, a execução local elimina a necessidade de carregar dados na nuvem, o que pode economizar tempo e dinheiro.
Como começar:
- Crie uma conta do Hugging Face.
- Baixe a biblioteca e suas dependências.
- Crie um projeto que utilize a biblioteca.
- Crie testes para a funcionalidade da biblioteca.
- Certifique-se de que todos os testes sejam executados sem erros.
Usando a nuvem
Se você não tiver acesso a uma máquina local com uma GPU suficiente para executar o modelo de código aberto, poderá usar os serviços de nuvem para testar seus modelos de linguagem natural de código aberto. Serviços de nuvem como AWS, GCP e Azure fornecem recursos de computação poderosos e permitem que você teste seus modelos de maneira rápida e fácil. Você pode usar seus modelos pré-treinados ou fazer upload de seus próprios modelos para testá-los.
Como começar:
- Crie uma instância de nuvem com a biblioteca e suas dependências instaladas.
- Crie um projeto que utilize a biblioteca.
- Crie testes para a funcionalidade da biblioteca.
- Certifique-se de que todos os testes sejam executados sem erros.
Conclusão
O lançamento do GPT-3 está no centro dos avanços recentes em grandes modelos de gerenciamento, mas é claro que alternativas de código aberto também estão ajudando a fazer avanços significativos no campo.
As alternativas de código aberto ao Open AI GPT-3 estão se mostrando uma opção viável para quem deseja desenvolver seus próprios modelos de IA ou estender os modelos existentes. Esses modelos estão ajudando os pesquisadores a ultrapassar os limites do que é alcançável na pesquisa de IA e ajudando as empresas a obter maior flexibilidade e controle sobre os modelos que usam.
Se você está desenvolvendo um aplicativo de IA e precisa escalar o time para entregar o projeto no prazo e com maior qualidade, considere nosso serviço de Outsourcing de Desenvolvimento. Nossa equipe pode ajudá-lo a montar um Squad ágil ou alocar desenvolvedores individualmente.
