반응형
Fine-tuning
- 미리 학습된 LLM을 특정 작업이나 도메인에 적합하게 조정하는 과정
- 학습이 완료된 기준 LLM 모델의 가중치를 새로운 학습 데이터를 이용하여 변경시키는 것
- 파인 튜닝의 목적
- 도메인 특화된 모델 생성
- 다국어 지원
- 기존 모델의 성능/기능 향상
Fine-tuning 프로세스에서 LangChain 역할
- 데이터 준비 : LangChain은 특정 작업에 맞는 데이터 세트를 준비하는데 도움을 제공
- 모델 훈련 : LangChain은 파인 튜닝을 위한 효율적인 훈련 파이프라인을 설정하는데 도움을 제공
- 모델 평가 : LangChain은 파인 튜닝된 모델의 성능을 평가하는 데 도움을 제공
파인 튜닝의 영향
- 대량의 데이터로 학습된 모델에게 새로운 데이터 제시
- LLM 학습의 결과물인 기존 파라미터가 수정됨
- 이를 Catastrophic Forgetting 이라고 부름
파인 튜닝의 단점
- 컴퓨팅 자원이 굉~~장히 많이 소모됨
- 로컬 오프라인 모델을 파인 튜닝하는 경우 업데이트가 어려움
파인 튜닝의 대안
- PEFT(Parameter Efficient Fine Tuning)
- 파라미터를 전부 다 업데이트하지 않고도 성능을 향상시킬 방법이 없을까?
- 파인 튜닝에 비해 훨씬 적은 노력으로 큰 성능을 얻는 획기적인 방법
- 전체 파라미터를 다 업데이트하는 것은 어려우므로 일부만 업데이트 하기
- 나머지 파라미터는 고정
LLM을 보완한다는 점에서는 RAG와 같지만 원리가 완전 다르다.
파인튜닝 (Fine-tuning)
- 기존 LLM의 파라미터(가중치)를 업데이트해서 특정 분야나 스타일에 맞게 모델을 조정하는 방법
- 고정된 패턴을 학습시켜야 하는 경우 → 파인튜닝
- 특정 고객 서비스 응답 패턴, 기업 내부 업무 스타일 반영
RAG (Retrieval-Augmented Generation, 검색 기반 생성)
- 모델이 외부 데이터베이스에서 실시간으로 필요한 정보를 검색하여 답변에 반영하는 방식
- 자주 변하는 정보나 방대한 문서를 활용해야 하는 경우 → RAG
- 뉴스 기사, 금융 데이터, 기술 문서
반응형
