[LLM] LangChain: 초거대 언어모델 간단 설명

 

출처: https://youtube.com/watch?v=XwlLeVhWCCc

 

 

LangChain의 구조

LLM 뿐만 아니라 자연어 형태로된 데이터 처리를 위해 현재 NLP(Natural Language Process) 모델의 거의 대부분은 Transformer 아키텍처를 기반으로 하며, 모델의 용도에 따라 트랜스포머의 Encoder, Decoder를 개별 또는 통합 사용하는 추세

 

기계와 말을 주고받기 위해 어떤 식으로 모델을 구성해야하는지 연구하다가 최종적으로 효율적이라고 판단한 구조가 바로 Transformer 모델이므로, 우리의 말을 '잘 이해하고', 의도된 대로 '대답을 잘 하는' 역할이 중요함

 

• Encoder: 문장을 줬을 때 잘 이해하는 부분을 담당(분홍색)
• Decoder: 말을 잘 하는 부분(파란색)

디코더 위주로 빠른 발전이 진행되어 왔음

 

 

 

 

LLM의 Source

2개로 양분해서 볼 필요가 있음 → Closed Source, Open Source

Closed의 경우, 우리가 가져다 쓸 때 돈을 지불해야하며, 해당 모델의 구성 요소와 같이 상세한 내용을 알 수 없음

 

1) Closed Source

• 장점: 뛰어난 성능 (예: GPT-4, LLM 성능 측정 기준으로 많이 사용됨. GPT-4 성능이 최우수함을 의미), API 방식의 편리한 사용성
• 단점: 보안을 보장할 수 없음(나의 정보를 회사에 보내는 것이므로 위험 존재), API 호출 비용이 발생함(큰 회사에서 서비스를 만들 때 비용 발생)

 

2) Open Source

• LlaMA 계열 LLM: 메타에서 가장 먼저 오픈소스로 LLM을 출시한 모델
  • 우리나라 스타트업 기업 '업스테이지'에서 Fine-tuning하여 내놓은 모델이 리더보드 1등을 차지함
  • 아직 GPT-4의 성능을 이길 수 있을지는 의문이지만, Code-LLaMA의 경우 GPT-4보다 성능이 좋다고 밝혀지기도
  • 그 외 Open-source LLM: MPT-7B, WizardLM이 있음
• 장점: Closed Source 못지 않은 성능, 높은 보안성, 낮은 비용
• 단점: 개발 난이도가 높음, 사용을 위한 GPU 서버 필요