대치동명강사의 추천시스템

🧠 LLM을 이해하기 위한 첫걸음: 토큰(Token)과 임베딩(Embedding)요즘 대세로 떠오른 생성형 AI 모델, 특히 GPT나 Claude, Gemini 같은 대형 언어 모델(LLM)을 살펴보다 보면 꼭 마주치게 되는 두 개념이 있습니다. 바로 **토큰(Token)과 **임베딩(Embedding)**입니다. 얼핏 보면 단순한 개념처럼 보일 수 있지만, 사실 이 두 가지는 LLM의 작동 원리를 이해하는 데 있어서 매우 중요한 핵심 개념입니다. 이 글에서는 LLM을 구성하는 핵심 개념 중 **토큰화(Tokenization)**와 **임베딩(Embedding)**에 대해 깊이 있게 설명하고, 실제 코드 예제와 함께 LLM이 텍스트를 처리하는 과정을 하나하나 짚어보려고 합니다. - 토크나이저가 언어 모..

🔧 transformers로 첫 번째 텍스트 생성하기 (with Phi-3-mini)💡 주의: 아래 코드를 실행하기 전 반드시 transformers의 버전을 4.48.0으로 맞춰야 합니다.!pip install transformers==4.48.0 ✅ 1. 어떤 모델을 사용할 것인가?LLM(Large Language Model)을 선택하는 일은 생각보다 중요합니다.이때 가장 편하게 모델을 검색하고 사용할 수 있는 플랫폼이 바로 Hugging Face Hub입니다.허깅페이스(Hugging Face)는 유명한 transformers 라이브러리를 만든 회사로, 이름처럼 트랜스포머 기반 모델을 중심으로 다양한 AI 리소스를 제공합니다.이 플랫폼에는 수백만 개의 모델이 등록되어 있으며,텍스트 생성은 물론, ..