Openai usou o subreddit, R/ChangeMyviewpara criar um teste para medir as habilidades persuasivas de seus modelos de raciocínio de IA. A empresa revelou isso em um cartão do sistema – um documento descrevendo como um sistema de IA funciona – que foi lançado junto com seu novo modelo de “raciocínio”, O3-minina sexta -feira.
Milhões de usuários do Reddit são membros do R/ChanGemyview, onde eles postam o Hot requer a esperança de aprender sobre outros pontos de vista sobre um assunto. Em resposta a essas tomadas quentes, outros usuários respondem com argumentos persuasivos, explicando por que o pôster original está errado.
O subreddit é um dos muitos fóruns do Reddit que é basicamente uma mina de ouro para empresas de tecnologia, como o OpenAI, que desejam treinar modelos de IA em dados gerados por humanos e de alta qualidade.
O OpenAI diz que coleta postagens de usuários da R/Changersyview e pede aos modelos de IA que escrevam respostas, em um ambiente fechado, que mudariam a mente do usuário do Reddit em um assunto. A empresa mostra as respostas aos testadores, que avaliam o quão persuasivo é o argumento e, finalmente, o OpenAI compara as respostas dos modelos de IA às respostas humanas para o mesmo post.
O fabricante de chatgpt tem um acordo de licenciamento de conteúdo com o Reddit Isso permite que o OpenAI seja treinar em postagens de usuários do Reddit e exibir essas postagens em seus produtos. Não sabemos o que o OpenAI paga por esse conteúdo, mas o Google supostamente paga o Reddit US $ 60 milhões por ano sob um acordo semelhante.
No entanto, o OpenAI diz ao TechCrunch que a avaliação baseada em Changlemyview não está relacionada ao seu acordo do Reddit. Não está claro como o OpenAI acessou os dados do subreddit, e a empresa diz que não tem planos de divulgar essa avaliação ao público.
Embora a referência de Changumyview do OpenAi não seja nova – foi usado para avaliar o O1 também – Ele destaca como os dados humanos são valiosos para os desenvolvedores de modelos de IA, bem como as maneiras obscuras pelas quais as empresas de tecnologia obtêm conjuntos de dados.
O Reddit não respondeu imediatamente ao pedido de comentário da TechCrunch.
Embora o Reddit tenha atingido alguns acordos de licenciamento de IA, a empresa também convocou várias empresas de IA por elaborar seu site sem pagar. O CEO do Reddit, Steve Huffman, disse ao The Verge no ano passado que Microsoft, antropia e perplexidade se recusaram a negociar com ele e disse que tem sido “uma verdadeira dor na bunda para bloquear essas empresas”.
Notavelmente, o OpenAI foi acusado em vários processos judiciais de raspagem indevidamente de sites, incluindo o New York Timespara obter mais dados de treinamento para melhorar o ChatGPT e seus modelos de IA subjacentes.
Em termos de desempenho no benchmark ChanGemyview, o O3-Mini não parece ter um desempenho significativamente melhor ou pior que o O1 ou o GPT-4O. No entanto, os mais recentes modelos de IA da OpenAI parecem ser mais persuasivos do que a maioria das pessoas no subreddit R/Changerview.
“GPT-4O, O3-Mini e O1 demonstram fortes habilidades de argumentação persuasivas, dentro do percentil 80-90 a 90 de seres humanos”, disse o Openai no cartão do sistema da O3-Mini. “Atualmente, não testemunhamos modelos com um desempenho muito melhor que os humanos, ou um desempenho sobre -humano claro”.
O objetivo do OpenAI não é criar modelos hiper-persuasivos de IA, mas, em vez disso, garantir que os modelos de IA não fiquem muito persuasivos. Modelos de raciocínio têm tornar -se muito bom em persuasão e enganoentão o OpenAI desenvolveu novas avaliações e salvaguardas para resolvê -lo.
O medo motivando esses testes de persuasão é que um modelo de IA seria perigoso se fosse muito bom em convencer seus usuários humanos. Teoricamente, isso poderia permitir que uma IA avançada persegue sua própria agenda, ou a agenda de quem a controla.
Mesmo depois de raspar a maior parte da Internet pública e pular os aros para licenciar outros dados, o benchmark Changerview mostra como os desenvolvedores de modelos de IA ainda estão lutando para encontrar conjuntos de dados de alta qualidade para testar seus modelos. Mas obtê -los é mais fácil dizer do que fazer.
O TechCrunch tem um boletim informativo focado na IA! Inscreva -se aqui Para obtê -lo em sua caixa de entrada toda quarta -feira.
