「LLM」相關新聞

Google 發布 TurboQuant：LLM 記憶體壓縮6倍、推理速度快8倍，零精度損失

Google 推出 TurboQuant 壓縮算法，讓前沿 LLM 在 16GB Mac Mini 或智慧型手機上運行成為可能，零精度損失。