agenticai1 Ilya Sutskever, 학습 데이터의 고갈과 AI Pre-Training의 종말에 대한 언급 Sutskever는 NeurIPS 2024에서, 인터넷에서 얻을 수 있는 고품질 데이터가 점점 고갈되고 있다는 ‘Peak Data’ 개념을 제시했어요. 🚀 이 개념을 바탕으로 "이제 학습 데이터는 고갈했으며, 거대 언어 모델의 Pre-training 시대는 끝났다고 선언" 했어요. 이는 화석 연료가 고갈되면 더이상 화력 발전을 할 수 없는 것처럼, 학습에 사용할 수 있는 추가적인 데이터가 없다면 Pre-training 중심의 AI 기술 개발이 새로운 도전에 직면 할 수 있음을 강조하는 언급이었어요. 📖Sutskever는 이러한 한계로 인해, 기존의 대규모 데이터를 학습하는 방식에서 벗어나, AI 모델이 적은 데이터로도 효율적이고 독립적으로 학습할 수 있는 새로운 접근법이 필요하다고 언급했어요. 이러한.. 2024. 12. 29. 이전 1 다음
