A um nível elevado, ChatGPT é um modelo de aprendizagem profunda que utiliza uma rede neural para gerar texto de tipo humano. A versão específica do modelo, ChatGPT-3, é baseada numa técnica chamada arquitectura transformadora. Este tipo de arquitectura permite que o modelo reconheça padrões e estruturas na linguagem. Faz isto processando uma sequência de fichas e gerando uma sequência de saída.
O modelo incluiu um enorme conjunto de dados de texto, incluindo livros, artigos, websites, e muito mais. Durante o processo de formação, o modelo acolheu milhões de exemplos de texto e pediu para prever a palavra seguinte em cada sequência.
A forma de interagir com o ChatGPT consiste em fornecer um aviso ou uma pergunta. Em seguida, o modelo gera uma resposta com base nos padrões que aprendeu com os dados de treino. O resultado é uma ferramenta de processamento de linguagem natural (PNL) altamente inteligente.
O que significa GPT (Generative Pre-trained Transformer)?
“Generativa” em GPT representa a sua capacidade de gerar texto em linguagem humana natural. O “Pré-formado” representa o facto de o modelo já ter sido treinado em alguns conjuntos de dados finitos. O “Transformer”, por outro lado, representa a arquitetura subjacente de aprendizagem automática que alimenta o GPT.
Quais são as razões para utilizar o ChatGPT?
Como modelo linguístico formado pelo OpenAI , ChatGPT tem uma vasta gama de capacidades e pode realizar muitas tarefas diferentes. Aqui estão algumas das coisas que o ChatGPT pode fazer:
- Responder a perguntas: ChatGPT pode responder a perguntas em linguagem natural, fornecendo informação sobre uma grande variedade de tópicos.
- Gerar texto: Pode gerar texto de tipo humano numa variedade de estilos e tons, tornando-o útil para a criação de conteúdo e geração de texto.
- Resumir texto: ChatGPT pode fornecer uma visão geral concisa de artigos ou documentos longos, facilitando a rápida compreensão das ideias principais.
- Traduzir texto: Tem a capacidade de traduzir texto de uma língua para outra, o que o torna útil para comunicar com pessoas que falam línguas diferentes.
- Gerar poesia: ChatGPT pode criar poemas originais numa variedade de estilos, fornecendo inspiração e exemplos para poetas e escritores.
- Fornecer feedback sobre a escrita: O ChatGPT analisa a escrita e fornece feedback sobre factores como a gramática, o estilo e o tom, ajudando os escritores a melhorar a sua arte.
Como é que o ChatGPT é treinado?
Uma técnica de aprendizagem profunda denominada arquitectura de transformador treinou o chatGPT. A versão específica do modelo, ChatGPT-3, recebeu um enorme conjunto de dados com mais de 45 terabytes de texto.
Modelo SFT (Fine Tuning supervisionado)
No desenvolvimento inicial, o modelo GPT-3 evoluiu através da contratação de 40 contratantes para produzir um conjunto de dados de formação supervisionada, em que a entrada tem um resultado conhecido que o modelo pode aprender. As entradas, ou prompts, eram entradas reais do utilizador na API Aberta.
Modelo de Recompensa
O passo seguinte é utilizar um modelo de recompensa para melhorar a qualidade das respostas geradas. O modelo de recompensa avalia o resultado do modelo SFT. Em seguida, atribui uma pontuação com base no grau de correspondência com o resultado pretendido.
Modelo de Aprendizagem de Reforço
O passo final é utilizar uma abordagem de aprendizagem reforçada para melhorar ainda mais o desempenho do GPT. O algoritmo de Otimização da Política Proximal implica que o chatbot de IA interaja com os utilizadores num ambiente simulado. Depois, recebe um sinal de recompensa com base no seu desempenho.
Avaliação de Desempenho
A entrada de trabalhadores humanos treinam o modelo. É por isso que a parte principal da avaliação se baseia no feedback humano, levando os etiquetadores a classificar a qualidade dos resultados do modelo.
Três critérios de alto nível avaliam o modelo:
- Utilidade : Avaliar a capacidade do modelo para seguir e inferir instruções do utilizador.
- Veracidade: Em tarefas de domínio fechado, avaliar a propensão do modelo para alucinações (inventar factos). O modelo é testado utilizando o conjunto de dados TruthfulQA.
- Inofensividade: Avaliar se o resultado do modelo é adequado, se deprecia uma classe protegida ou se contém conteúdo depreciativo.
- Escolha uma API ou biblioteca do ChatGPT : Existem várias APIs e bibliotecas disponíveis para usar o ChatGPT. Escolha a que melhor se adapta às suas necessidades e experiência de programação.
- Criar uma conta e obter uma chave de API (se aplicável) : No caso de utilização de uma API, será necessário criar uma conta e obter uma chave de API para utilizar o ChatGPT. Seguir as instruções fornecidas pelo fornecedor do API.
- Instalar as bibliotecas necessárias (se estiver usando uma biblioteca) : No caso de utilizar uma biblioteca como a Hugging Face Transformers, será necessário instalar as bibliotecas necessárias no ambiente de programação.
- Inicializar o ChatGPT : Depois de ter as bibliotecas ou chaves API necessárias, inicialize o modelo ChatGPT no programa.
- Introduzir o prompt : Para utilizar o ChatGPT, é necessário fornecer um prompt que descreva o contexto ou o tópico da conversa, caso pretenda gerar uma resposta.
- Gerar resposta : Depois de fornecer o comando, o modelo ChatGPT gera uma resposta com base no comando de entrada e no contexto dos seus dados de treino.
- Avaliar e refinar a resposta : A qualidade da resposta gerada pode variar consoante a pergunta de entrada e outros factores. Verifique a resposta, uma vez que ainda precisa de ajuda para discernir os factos a partir da desinformação.
- Repetir : Repita os passos 5-7 tantas vezes quantas as necessárias para gerar uma conversa ou uma série de respostas que satisfaçam as suas necessidades.
