Tech News

https://www.technologyreview.kr/ai-large-language-models-bigscience-project/ 

현재 상황

- 구글 IO에서 발표한 람다(LaMDA), MS에서 독점 라이센스를 구매한 GPT-3, 페이스북에서 번역 및 콘텐츠 관리용 자체적으로 개발한 LLM(Large Language Model) 등 거대 기업들에서 각자의 초대형 NLP Model들을 개발 중

- 각자 비공개적으로 만들고 있는 모델들이 실생활에 활용될 때, LLM의 결함이 사람들에게 어떤 영향을 미치는지, 어떤 문제가 있고 그걸 해결 할 수 있는 지에 대한 연구는 전무한 상황.

- 지난 12월 구글은 윤리적 AI(Ethical AI) 부서의 공동 팀장 팀닛 게브루(Timnit Gebru)를 해고 되면서 문제가 더 심화됨

새로운 시도를

- 허깅페이스(Huggingface)가 이끄는 빅사이언스(BigScience) 프로젝트에 전 세계에서 500명이 넘는 연구자들이 모여 오픈소스 LLM을 구축하기 위해 박차를 가하고 있다.

- 슈퍼컴퓨터의 생애주기 비용(life-cycle costs)을 고려하여 모델의 훈련과 운용에 따른 탄소발자국을 포함한 LLM의 환경 영향을 측정하는 실무그룹

- 어떻게 하면 책임 있는 방식으로 훈련 데이터를 확보할 수 있을지를 고민하는 실무그룹