LM Studio e Apple demonstram no WWDC cluster de quatro Mac Studios rodando localmente o Kimi K2.6 com 1 trilhão de parâmetros

Normal
,
1

A LM Studio anunciou, em 18 de junho, que, durante a WWDC, em parceria com a Apple, conseguiu executar com sucesso o modelo de parâmetros trilhões Kimi K2.6, da Moonshot AI, em um cluster de quatro Mac Studios usando a versão de pré-visualização do LM Studio. Através do recurso LM Link, foi demonstrado o acesso remoto seguro a partir de um MacBook Neo e de um iPhone, mostrando a possibilidade de executar IA de ponta localmente sem depender da nuvem. A LM Studio descreveu isso como “um vislumbre de IA pessoal, privada e de ponta”. Dados específicos sobre configuração, velocidade de processamento e latência de inferência ainda não foram divulgados. Usuários nos comentários questionaram amplamente o custo do hardware (cerca de 40 a 60 mil dólares pelos quatro Mac Studios) e a descontinuação do Mac Studio no site da Apple, mas a LM Studio ainda não respondeu publicamente.

LM Studio