본문 바로가기

LLM4

왜 LLM에서는 Mac 구조가 유리한가? LLM 프로그램을 하기 위해서 맥과 DGX Spark 중에서 고민중입니다.어떤 것이 나에게 유리한지 찾고 있습니다. AI LLM 프로그램을 공부하는것이 과연 나에게 얼마나 영향을 줄지 모르겠지만.그래서 고민한 결과를 저장합니다. 표로 정리 하면 이렇다.모델 크기별 LLM 속도 비교 (개념적)모델 크기Mac (M5 Max 128GB)GPU PC (RTX 4090 24GB)DGX Spark3B120 ~ 200 tok/s180 ~ 300 tok/s100 ~ 150 tok/s7B70 ~ 120 tok/s120 ~ 200 tok/s60 ~ 100 tok/s13B40 ~ 80 tok/s70 ~ 120 tok/s35 ~ 60 tok/s30B20 ~ 40 tok/s불가 (VRAM 부족)18 ~ 35 tok/s70B5.. 2026. 3. 14.
알파고(바둑)와 LLM은 무엇이 다른가? 바둑 AI에서 LLM까지, 무엇이 같고 무엇이 다른가이번 글은 알파고의 바둑 구조에서 시작해, 오늘날 LLM까지 이어지는 흐름을 하나의 관점으로 정리한 내용이다. 핵심은 단순하다. 바둑이든 대화형 AI든 결국 어떤 상태를 받아 다음 응답을 선택하는 구조라는 점이다. 다만 그 세계의 크기와 성격이 다를 뿐이다.1. 바둑은 지능을 시험하기 위한 작은 세계였다바둑은 AI를 시험하기에 매우 좋은 환경이었다. 이유는 분명하다. 규칙이 명확하고, 공간이 제한되어 있으며, 승패가 분명하기 때문이다. 즉 바둑은 현실 세계 전체가 아니라, 인간이 익숙하게 다룰 수 있도록 잘 정리된 작은 실험장에 가깝다.19x19라는 제한된 판, 흑과 백이라는 명확한 역할, 한 수씩 번갈아 두는 턴 구조. 이 모든 것은 AI가 계산하기 .. 2026. 3. 12.
AI와 구조적 기획 방법 — 대화형 함수를 이용한 사고 AI와 구조적 기획 방법 — 대화형 함수를 이용한 사고AI를 사용하다 보면 대부분 이렇게 생각한다.“AI에게 무엇을 물어볼까?”하지만 실험을 해보면서 조금 다른 결론에 도달했다.AI는 단순한 질문 도구라기보다 대화형 함수에 가깝다.1. AI를 함수로 바라보기일반적인 함수 구조는 단순하다.input → output하지만 AI는 조금 다르다.input (대화)+ context (설정)+ state (현재 상황)↓output (대화)겉으로 보면 문자열이 들어가고 문자열이 나온다.하지만 실제로는 단순한 string 처리가 아니라의미 → 해석 → 의미의 과정이다.2. 대화는 단발성이 아니다일반적인 Q&A 시스템은 다음과 같다.질문 → 답변하지만 실제 대화는 이렇게 흐른다.질문↓답변↓새 질문↓답변↓새 질문즉 대화는.. 2026. 3. 5.
위키 + AI + 멀티 LLM으로 소설에 도전한다 위키 + AI + 멀티 LLM으로 소설을 만드는 방법최근 흥미로운 실험을 해보았다. 단순히 AI에게 소설을 써달라고 하는 것이 아니라 세계관을 구조화하고 그 안에서 캐릭터를 움직이게 만든 뒤 이야기를 추출하는 방식이다. 이 방법의 핵심은 세 가지 요소의 결합이다.위키(Wiki) → 세계관 구조화AI Role Play → 캐릭터 대화 생성멀티 LLM → 서로 다른 캐릭터 사고 방식 구현1. 세계관을 먼저 구조화한다소설을 시작하기 전에 세계관을 위키에 정리한다. DokuWiki 같은 위키 시스템을 이용하면 인물, 종족, 세계 설정 등을 체계적으로 관리할 수 있다.소설 세계관 ├─ 인물 ├─ 종족 ├─ 세계 ├─ 설정 └─ 스토리이렇게 하면 세계관의 규칙이 명확해지고 AI에게도 일관된 기준을 줄 수 있다.2... 2026. 3. 4.