MIT propõe o VPO: recompensas vetoriais em vez de escalares para manter a diversidade na busca durante os testes de LLMs

Normal
, , , ,
1

Pesquisadores como Ryan Bahlous-Boldi, doutorando no MIT CSAIL, publicaram em 21 de maio um artigo no arXiv (arXiv:2605.22817) no qual apresentam o algoritmo de Otimização de Políticas Vetoriais (Vector Policy Optimization, VPO). As abordagens atuais de treinamento reforçado para LLMs — como o GRPO — comprimem previamente todos os sinais de recompensa em um único escalar, o que faz com que o valor de entropia da distribuição de saídas do modelo seja baixo e a diversidade de soluções geradas seja insuficiente; por isso, seu desempenho fica limitado quando é preciso buscar a melhor resposta entre múltiplas opções candidatas durante a inferência (métricas pass@k ou best-of-k). A ideia central do VPO é que, na prática, as recompensas já possuem uma estrutura vetorial: por exemplo, no caso da geração de código, cada teste tem seu próprio resultado de aprovação ou reprovação, assim como existem diversos modelos de preferências dos usuários. Ao realizar o treinamento conjunto sob diferentes distribuições de pesos de recompensa por meio da conversão aleatória em escalares, o modelo consegue gerar respostas especializadas em distintas regiões do espaço de recompensas, mantendo a qualidade das produções e aumentando sua diversidade. O VPO pode substituir diretamente o estimador de vantagem do GRPO, sem elevar significativamente os custos operacionais. No LiveCodeBench, o VPO superou o GRPO em relação à métrica pass@k e também manteve maior diversidade no espaço de recompensas em diversos domínios de tarefas. Soheil Feizi, professor na Universidade de Maryland, comentou ao compartilhar o artigo que a perspectiva de recompensas escalares é “intrinsecamente perdedora” e que o VPO, juntamente com métodos como o GEPA, aponta para a necessidade de redefinir o conceito de “recompensa” como um objeto de feedback estruturado.

arXiv | X (@RyanBoldi)