transformer

LLM – GPT (Generative Pre-trained Transformer)란?

by

GPT(Generative Pre-trained Transformer)는 OpenAI에서 개발한 대규모 언어 모델(LLM)로, 딥러닝 기반의 자연어 생성(Natural Language Generation, NLG) 모델이다. 이 모델은 트랜스포머(Transformer) 모델을 기반으로 하며, 대량의 텍스트 데이터를 학습하여 문맥을 이해하고 자연스러운 문장을 생성하는 데 특화되어 있다. GPT 시리즈는 지속적으로 발전해 왔으며, 최근에는 GPT-4.5가 가장 최신 버전이다. 1. GPT의 주요 특징 (1) 사전 학습(Pre-training)과 미세 조정(Fine-tuning) (2) 트랜스포머(Transformer) … Read more

LLM – LLM의 구조와 역할

by

LLM(대규모 언어 모델, Large Language Model)은 자연어를 이해하고 생성하는 인공지능 모델로, 주로 딥러닝과 트랜스포머(Transformer) 구조를 기반으로 동작한다. LLM의 핵심 개념과 역할을 간단히 정리하면 다음과 같다. 1. LLM의 구조 LLM은 주로 트랜스포머(Transformer) 아키텍처를 기반으로 하며, 핵심 구성 요소는 다음과 같다. (1) 트랜스포머 구조 트랜스포머는 2017년 Google의 논문 *”Attention Is All You Need”*에서 처음 소개된 모델로, LLM의 … Read more