MS와 Nvidia가 세계 최대규모 언어 모델 MT-NLG 530B를 발표


제목	MS와 Nvidia가 세계 최대규모 언어 모델 MT-NLG 530B를 발표2021-10-13 17:11
작성자	happydaddy
https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ - Megatron-Turing Natural Language Generation - GPT-3의 1750억개보다 큰 5300억개의 파라미터 - 기존과 비교되지 않는 정확도를 보임 ㅤ→ 문장 완성, 이해력, 상식적인 추론, 자연어 추론 등 - 105개 레이어, 트랜스포머 기반 - NVIDIA A100 Tensor Core GPU & HDR InifiniBand 네트워킹 - 슈퍼컴퓨팅 클러스터인 NVIDIA Selene 와 Microsoft Azure NDv4

이전	개발자들이 알면 좋은 크롬의 숨겨진 기능들	happydaddy	2021-10-13
-	MS와 Nvidia가 세계 최대규모 언어 모델 MT-NLG 530B를 발표	happydaddy	2021-10-13
다음	브라우저와 HTML을 어뷰징 하기	happydaddy	2021-10-13

Tech News