[LLM] koalpaca 강의

https://github.com/Beomi/KoAlpaca

GitHub - Beomi/KoAlpaca: KoAlpaca: Korean Alpaca Model based on Stanford Alpaca (feat. LLAMA and Polyglot-ko)

KoAlpaca를 만드신 선생님의 간단한 KoAlpaca 강의를 들었다.

 

Pretrain model

- 데이터를 직접 수집하여 만든 모델, 모델 사이즈가 큼

 

Finetuning model

-pretrain model을 DAPT(domain-adaptive pretraining)를 진행하여 만들어진 모델

(e.g KoAlpaca)

 

[DAPT(domain-adaptive pretraining) 설명 링크]

http://dsba.korea.ac.kr/seminar/?mod=document&uid=1456 

[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks

 

[내가 했던 질문]

Q. 데이터는 보통 웹에서 크롤링하여 오는데 웹사이트나, 그 글을 쓴 글쓴이가 저작권을 주장하면 어떻게 되는지?

A. 한국, 미국 둘 다 저작권 문제가 해결된 판례가 있음.

- 온라인에서 로그인 없이 볼 수 있는 데이터의 경우 저작권 문제가 없다고 하심.

 

와... 이분은 천재다...

-> 내 스스로에 대해 많이 현타가 왔다...

 

요즘은 "개발자"+"모델링능력" 이렇게 2가지를 가지고 있는 게 먹고살기 좋을듯한 느낌이었다.