지식 확장33 LLM이 생성한 데이터를 LLM 학습에 이용하면? 영국 옥스포드 대학, 임피리얼 컬리지 런던, 캠브릿지 대학의 과학자들이 공동으로 수행한 연구 결과가 "AI models collapse when trained on recursively generated data"라는 제목의 논문으로 국제 저명 학술지 네이처에 2024년 7월 25일자로 게재 되었어요. 📘 이와 비슷한 연구로 미국 Rice 대학 및 Stanford 대학에서는 "Self-Consuming Generative Models Go MAD" 라는 논문을 arXiv에 게재했어요. 🖋️ 두 논문의 핵심 주장은 실제 Real-world의 데이터 주입 없이 AI가 생성한 데이터만으로 모델을 계속 학습시키면, 몇 세대 만에 모델의 품질이 현저히 떨어진다는 내용이예요. 📉Sutskever가 최근에 언급.. 2025. 1. 1. Ilya Sutskever, 학습 데이터의 고갈과 AI Pre-Training의 종말에 대한 언급 Sutskever는 NeurIPS 2024에서, 인터넷에서 얻을 수 있는 고품질 데이터가 점점 고갈되고 있다는 ‘Peak Data’ 개념을 제시했어요. 🚀 이 개념을 바탕으로 "이제 학습 데이터는 고갈했으며, 거대 언어 모델의 Pre-training 시대는 끝났다고 선언" 했어요. 이는 화석 연료가 고갈되면 더이상 화력 발전을 할 수 없는 것처럼, 학습에 사용할 수 있는 추가적인 데이터가 없다면 Pre-training 중심의 AI 기술 개발이 새로운 도전에 직면 할 수 있음을 강조하는 언급이었어요. 📖Sutskever는 이러한 한계로 인해, 기존의 대규모 데이터를 학습하는 방식에서 벗어나, AI 모델이 적은 데이터로도 효율적이고 독립적으로 학습할 수 있는 새로운 접근법이 필요하다고 언급했어요. 이러한.. 2024. 12. 29. Ilya Sutskever의 10년 여정: "시퀀스 투 시퀀스 학습에서 슈퍼지능까지" Sutskever의 NeurIPS 2024 컨퍼런스 발표 영상이 공개됬어요. "Sequence to sequence learning with neural networks: what a decade" 라는 제목의 발표였어요. 📖 인공지능 산업이 지금의 위치에 오기까지 Sutskever의 기여가 상당하다고 생각해요. 😊Sutskevers는 Geoffrey Hinton 교수의 지도하에 박사과정을 마쳤고, Andrew Ng 교수의 연구실에서 박사후연구원 과정을 거치면서 수많은 연구 논문(google scholar)을 출판했어요. 😊 이후, OpenAI에서 ChatGPT 및 GPT-4의 설계를 주도한 것으로 알려져 있어요. 하지만, 2024년 5월 15일부로 OpenAI를 퇴사하여, Safe Superint.. 2024. 12. 29. DeepSeek, 671B AI 모델 공개 🚀 중국의 AI 스타트업 DeepSeek에서 거대 언어 모델(LLM) DeepSeek-V3를 오픈소스 형태로 공개했어요. 🌐 공개된 모델이 궁금하시다면 Hugging Face의 deepseek-ai에 방문해보세요. DeepSeek 서비스 웹사이트(chat.deepseek.com)에 가입하면 누구나 무료로 사용해 볼 수도 있어요.DeepSeek 모델은 671B 개의 파라미터로 구성되어 있으며, 텍스트 생성, 소프트웨어 코드 작성, 번역 등 다양한 작업을 수행하며, 최신 벤치마크 테스트에서 OpenAI의 GPT-4o, Google의 Gemini, Anthropic의 Claude 3.5 Sonnet 등 최신 Proprietary 모델과도 경쟁력 있는 성능을 보여주고 있어요. 🏆 DeepSeek의 기술 개발 .. 2024. 12. 28. Apple Intelligence에 통합된 Ferret-UI 기술💡 Apple의 Ferret-UI 기술은 스마트폰과 다양한 플랫폼에서 사용자 인터페이스(UI)를 이해하고 분석하는 최첨단 멀티모달 거대 언어 모델(Multi-modal Large Language Model, MLLM)이에요. 이 기술은 Apple Intelligence와 통합되어 더 강력한 기능을 제공하면서, 인공지능 기반의 새로운 사용자 경험을 제공하고 있어요.Ferret-UI 기술이 Apple Intelligence에 활용된 사례 🚀접근성 향상: 시각 장애인을 위한 화면 설명 🦯Ferret-UI는 Apple Intelligence의 VoiceOver 기능과 통합되어, 시각 장애인을 위해 화면을 설명하는 기능을 제공해요. 예를 들어, 사용자가 화면을 터치하면, Ferret-UI가 화면에 있는 아이콘, .. 2024. 12. 28. AI 기본법: 주요 법조항과 국회 논의 과정 AI 기본법 주요 법조항 📜① 고영향 인공지능 정의 및 규제고영향 인공지능은 사람의 생명, 신체 안전 및 기본권에 중대한 영향을 미치는 시스템으로 정의되었어요. 이 시스템을 개발·운영하는 사업자는 안전성 확보 의무를 지며, 이용자에게 사전 고지해야 해요. 이를 통해 AI로 인한 위험성을 최소화하고 이용자의 권익을 보호하고자 해요. 🛡️논의 초기에는 고위험 인공지능이라는 표현을 사용했는데, 부정적 느낌이 강하다는 의견이 있어서 고영향 인공지능으로 표현을 바꿨다고 해요.② 생성형 AI 콘텐츠의 투명성 확보생성형 인공지능이 만든 콘텐츠에는 워터마크 삽입이 의무화되었어요. 이는 딥페이크와 허위 정보의 확산을 방지하고 이용자가 AI 생성물임을 명확히 인지할 수 있도록 돕기 위한 조치예요. 🔗③ 인공지능 기본.. 2024. 12. 18. 이전 1 2 3 4 ··· 6 다음
