4대의 M4 Mac Mini를 Thunderbolt 5 상호 연결(80Gbps)을 사용하여 분산된 LLM를 실행하는 시도가 이어지고 있습니다. 4개의 M4 Pro Mac Mini로 기본 연결을 하여 시작을 하겠지만 결국엔 40개의 M4 Mac Mini로 썬더볼트 연결을 하여 구성된 클러스터도 만들어질 겁니다. 4개의 Mac Mini로 만들어지는 클러스터는 작습니다. 이렇게 만들어진 구성으로 Nemotron 70B를 8 tok/sec로 실행하고 Llama 405B로 확장한다고 합니다. 애플이 의도적으로 Mac Mini 판매가를 낮춘 것인지는 모르겠지만, 예상했듯이 Mac Mini 를 활용하여 AI 클러스터를 만드는 시도는 많이 나올 겁니다. 엔비디아의 AI 서버와 앤비디아의 GPU 가격이 매우 고가..
