LLM: 우리가 놓치고 있었던 것들

Sun, 12 Apr 2026 00:00:00 +0000

LLM: 우리가 놓치고 있었던 것들

“지금 Temperature 값을 몇으로 쓰고 계신가요?” 누군가 이렇게 물어보면 뭐라고 답하시나요? “기본값요”, “0.7이요”, 아니면 “글쎄요, 그게 중요한가요?” 보통 이 세 가지 답변 중 하나일 겁니다. 그리고 왜 그 값을 쓰는지 정당화하려 하면 금세 말문이 막히곤 하죠.

우리는 지금 LLM을 딱 이 정도로 사용하고 있습니다. 매일 API를 호출하고, 프롬프트를 messages에 담아 보내고, 응답을 받아오죠. 하지만 “Temperature는 실제로 어떤 역할을 하지?”, “Top-P는 Temperature랑 뭐가 다른 거지?”, “Prompt Caching은 켜기만 하면 알아서 작동하나?”, “모델을 더 좋은 걸로 바꾸면 환각(hallucination) 현상이 사라질까?” 같은 질문이 나오면 답변이 모호해집니다.

두 번째 GPU가 일을 안 하는 이유: PCIe부터 NVLink까지, x86 I/O 병목 현상 파헤치기

Fri, 02 Jan 2026 00:00:00 +0000

Understand how CPUs communicate with GPUs, NVMe drives, and network cards. Learn about MMIO, DMA, PCIe topology, and why your second GPU might be slower than expected.

Performance on nbdawn's Blog

LLM: 우리가 놓치고 있었던 것들

LLM: 우리가 놓치고 있었던 것들

두 번째 GPU가 일을 안 하는 이유: PCIe부터 NVLink까지, x86 I/O 병목 현상 파헤치기