학습

LLM – 새로운모델 GPTx를 만들어보라고 시켜봤더니..

by

LLM에 대해 대략적(겉핥기~)으로 살펴보고 약간은 이해를 하기도 했으니.. 새로운 모델을 하나 만들어볼 수 있을까 싶어 gpt에게 시켜봤습니다. 실제로 동작하지는 않겠지만 대략저긴 코드 이해하는데 역시 큰 도움이 되었습니다. 트랜스포머 모델은 수학적 개념이지만, 이걸 학습하고 실행하는건 코드로 되어 있을거고, 이 코드를 쉽게 만들 수 있도록 pytorch나 tensorflow와 같은 프레임워크가 존재하는거지?자 그럼 신규 트랜스포머 모델을 활용한 GPTx 라는 … Read more

LLM – Chain-of-Thought (COT)란?

by

Chain-of-Thought (COT) 학습 기법은 AI 모델이 단순히 답을 예측하는 것이 아니라, **중간 과정(논리적 사고 과정)**을 거쳐 답을 생성하도록 유도하는 방법.즉, “한 번에 답을 내기보다는, 여러 단계를 거쳐 논리를 확장해 나가도록” 훈련하는 기법이라고 볼 수 있음. 이 기법이 도입되면서 GPT-4 같은 모델이 보다 복잡한 문제를 더 정확하게 풀 수 있게 되었음.예를 들어, 수학 문제 해결, 논리적 … Read more

LLM – GPT는 과연 질문을 이해하는걸까?

by

LLM과 gpt에 대해서 궁금해서 이런 저런 질문을 하다 아래와 같은 질문을 해봤고 이에 대한 답변을 올려드립니다. 어떻게 보면 LLM이 사람이 말하는 방식과 유사한 방식으로 이해하고 생성해내는거 아닐까 싶기도 하네요. 우리가 질문을 이해하는것도 연관성을 학습하여 그 결과가 이해한다로 이어진건 아닐까하는 생각이 드네요. GPT의 경우 트랜스포머 기반이고, 셀프어텐션과 FNN으로 단어간의 연관성을 이해하고, 표현력을 풍부하게 한 후, decoder만을 … Read more