9AI Ship — Technical AI cho Developer
LLM Engineering #002 — LLM thực sự sinh token như thế nào?
· 13 λεπ.
Σημειώσεις επεισοδίου
Một LLM thực sự làm gì từ lúc bạn gửi prompt cho đến khi token tiếp theo xuất hiện?
Episode này đi từ tokenizer, embeddings và Transformer đến logits, sampling, prefill, decode và KV Cache — đồng thời liên hệ trực tiếp những khái niệm đó với latency, context length, streaming và chi phí inference.
Một mental model nền tảng để hiểu LLM engineering thay vì chỉ trial-and-error với API.
Ιστότοπος: podcasters.spotify.com
