4대의 M4 Mac Mini를 Thunderbolt 5 상호 연결(80Gbps)을 사용하여 분산된 LLM를 실행하는 시도가 이어지고 있습니다.
4개의 M4 Pro Mac Mini로 기본 연결을 하여 시작을 하겠지만 결국엔 40개의 M4 Mac Mini로 썬더볼트 연결을 하여 구성된 클러스터도 만들어질 겁니다.
4개의 Mac Mini로 만들어지는 클러스터는 작습니다.
이렇게 만들어진 구성으로 Nemotron 70B를 8 tok/sec로 실행하고 Llama 405B로 확장한다고 합니다.
애플이 의도적으로 Mac Mini 판매가를 낮춘 것인지는 모르겠지만, 예상했듯이 Mac Mini 를 활용하여 AI 클러스터를 만드는 시도는 많이 나올 겁니다. 엔비디아의 AI 서버와 앤비디아의 GPU 가격이 매우 고가이다보니 다양한 다른 시도를 해야 하는데 그 중에서 2024년 가을에 발표한 애플의 M4 Mac Mini는 누가 봐도 가격적인 메리트와 성능이 뛰어나기 때문입니다.
제가 보기엔 애플이 의도적으로 가격을 낮게 책정한 것이라고 봅니다.
'IT·TECH' 카테고리의 다른 글
| 아직도 AI가 거품이라고 평하는 사람과는 상종을 말아야 함 (0) | 2024.11.14 |
|---|---|
| SW 리버스 엔지니어링(일명 크랙)를 만드는 과정을 쉽게 알 수 있는 영상 (0) | 2024.11.12 |
| 2024년 3분기, 아이폰15는 전세계에서 가장 많이 팔린 스마트폰 (0) | 2024.11.10 |
| iOS 18.2 에서 충전 예상 시간 알림 (0) | 2024.11.08 |
| 별 사진 찍는 방법 (0) | 2024.11.07 |