UnifiedMemory1 왜 LLM에서는 Mac 구조가 유리한가? LLM 프로그램을 하기 위해서 맥과 DGX Spark 중에서 고민중입니다.어떤 것이 나에게 유리한지 찾고 있습니다. AI LLM 프로그램을 공부하는것이 과연 나에게 얼마나 영향을 줄지 모르겠지만.그래서 고민한 결과를 저장합니다. 표로 정리 하면 이렇다.모델 크기별 LLM 속도 비교 (개념적)모델 크기Mac (M5 Max 128GB)GPU PC (RTX 4090 24GB)DGX Spark3B120 ~ 200 tok/s180 ~ 300 tok/s100 ~ 150 tok/s7B70 ~ 120 tok/s120 ~ 200 tok/s60 ~ 100 tok/s13B40 ~ 80 tok/s70 ~ 120 tok/s35 ~ 60 tok/s30B20 ~ 40 tok/s불가 (VRAM 부족)18 ~ 35 tok/s70B5.. 2026. 3. 14. 이전 1 다음
