지난 10년 동안 데이터를 다루는 역할이 급격히 늘어나면서 "데이터 과학자"라는 타이틀이 기술과 비즈니스 영역에서 포괄적으로 사용되는 용어로 등장했습니다. 해당 포지션은 특정 회사 내에서 또는 특정 산업 내에서 어떤 역할을 하게 될까요? 넷플릭스(Netflix)에서 데이터 과학자는 실험, 인과 추론, 기계 학습, NLP, 모델링, 그리고 최적화를 포함하여 기술 전문화의 여러 영역의 업무를 수행하고 있습니다. 데이터 분석 및 데이터 엔지니어링과 함께 넷플릭스에서는 더 큰 중앙 집중식 데이터 과학 및 엔지니어링 그룹을 구성하고 있습니다.
데이터를 통한 학습은 Netflix의 DNA라고 할 수 있습니다. 유사 실험을 통해 스트리밍 경험을 지속적으로 개선하여 회원에게 버퍼링 시간을 줄이고 비디오 품질을 향상시킬 수 있습니다. A/B 테스트를 통해서 (회원들이 다음으로 좋아하는 영상을 발견하는데 도움이되는) 일일 Top 10과 같은 신작 영상을 추천하기도 합니다. 실험 및 인과적 추론에 초점을 맞춘 데이터 과학자는 서비스 전반에 걸쳐 비즈니스 의사 결정, 제품 혁신, 그리고 엔지니어링 개선을 형성하는 데 도움을 주기도 합니다.
이제부터 나올 이야기는 Netflix에서 실험 및 인과적 추론 업무를 수행하는 데이터 과학자의 일과에 대한 인터뷰 입니다. 우리는 지불 및 파트너십, 콘텐츠 및 마케팅 분석 연구, 콘텐츠 평가, 고객 서비스, 제품 혁신 및 스튜디오 제작과 같은 분야의 과학자들과 이야기를 나눴습니다. 그들의 배경, 현재 Netflix에서의 역할을 위해 가장 잘 준비한 것이 무엇인지, 그들이 일상에서하는 일, Netflix가 데이터 과학자의 성장에 어떻게 기여하는지에 대해서 옅볼 수 있습니다.
넷플릭스의 데이터 과학자는?
Netflix에서 데이터 과학자로 일하기 좋은 점 중 하나는 원래부터 "데이터 과학자"로 일했던 사람이 없다는 것입니다! Netflix의 데이터 과학자는 경제학, 방사선 치료, 신경 과학, 응용 수학, 정치 과학, 그리고 생물 통계학을 포함한 많은 학문적 배경을 가지고 있습니다.
Netflix에 합류하기 전에 기술, 엔터테인먼트, 소매, 과학 정책, 연구 등 다양한 산업에서 일했습니다. 이러한 다양하고 보완적인 배경은 우리 각자가 새로운 비즈니스 질문에 대해 가져 오는 관점과 기술 툴킷을 풍부하게합니다. 이제부터 데이터 과학자 몇 명을 소개하고 그들이 어떻게 여기에 왔는지 들어 볼 것입니다.
데이터 과학 분야에 진출하게 된 계기는 무엇입니까? 당신이 데이터 과학이란 일을 하고 싶다는 것을 것을 알고 있었나요?
[Roxy D.] 관심, 열정, 행운의 조합! 정치학 박사 과정을 밟는 동안 저는 방법론적 교과 과정을 통해서 통계 및 데이터 과학과 관련된 다수의 심과 과정을 수강하게되었습니다. 나중에 저는 학자들이 업계 역할로 전환하는 데 초점을 맞춘 데이터 과학 프로그램에 등록했습니다.
[Reza B.] 데이터로부터 얻은 정보에 입각한 결정을 내리려는 박사 과정에서 저는 최적화 기술을 사용하여 임상 실습 결과를 개선하기위한 방사선 치료 분류 체계를 설계했습니다. 데이터에서 흥미로운 통찰력을 더 잘 추출하는 방법을 배우고 싶었고, 그 결과 통계 및 기계 학습에 대한 여러 과정을 수강하게되었습니다. 박사 학위를받은 후 저는 Target에서 데이터 과학자로 일하기 시작했습니다. 여기서 실시간 가격 추천 및 광고 게재 엔진을 개선하기위한 수학적 모델을 구축했습니다.
[Gwyn B.] : 저는 수학과 통계를 좋아했기 때문에 대학 졸업 후 통계학자가 될 계획이었습니다. 졸업 후 지역에 있는 결제 처리 회사에서 일하기 시작했습니다. 그곳에서 평생 가치를 계산하는 생존 모델을 구축하고 새로운 빅데이터 스택에서 이를 실험했습니다. 저는 스스로 데이터 과학자라는 것을 깨닫지 못한 채 데이터 과학을하고 있었다.
Netflix에서 현재의 역할을 위해 가장 잘 준비한 것은 무엇입니까? Netflix에 독특한 목소리 / 관점을 제공하는 데 특히 도움이 된 경험이 있습니까?
[David C.] 저는 학부 졸업 후 경영 컨설턴트로 일하면서 기회의 잠재적인 영향을 파악하는 방법에 대해 많은 것을 배웠습니다. 이것은 제가 작업의 우선 순위를 정하는 데 도움이 되었기 때문에 대부분의 시간을 영향력이 큰 프로젝트에 사용하게되었습니다.
[Aliki M.] 저의 학부 전공은 기술적인 면에서 확실히 도움이되었습니다. 연구에 대한 배경 지식은 비판적 사고와 모호함에 익숙해지는데도 도움이됩니다. 개인적으로 저는 제가 가르치는 경험을 가장 소중하게 생각합니다. 문제를 효과적으로 접근하고 분석하는 방식을 개선 할 수 있었기 때문입니다.
Netflix에서하는 일
하지만 넷플릭스의 실험 / 인과 적 추론 데이터 과학자의 하루는 실제로 어떤 모습일까요? 우리는 비즈니스, 제품 및 창의적인 의사 결정권자, 엔지니어, 디자이너 및 소비자 통찰력 연구원과 긴밀히 협력하여 다기능 환경에서 작업합니다. 우리의 작업은 통찰력을 제공하고 제품을 개선하고 회원들에게 더 많은 기쁨을주는 주요 결정을 알려줍니다. 더 들으시려면 멋진 동료들에게 다시 넘겨 드리겠습니다.
당신의 비즈니스 영역과 정기적으로 파트너 관계를 맺고있는 이해 관계자의 유형에 대해 이야기해 줄 수 있나요? 데이터 과학자로서 제품, 엔지니어링, 그리고 디자인 사이의 간극을 어떻게 채우십니까?
[Roxy D.] 저는 제품 관리자와 협력하여 제품 혁신을 주도하는 AB 테스트를 진행하고 있습니다. 아이디어 구상, 구현, 분석, 그리고 의사 결정을 포함하여 테스트 수명주기 동안 제품 관리자, 디자이너, 그리고 엔지니어와 협력합니다. 최근에 우리는 아이들이 재시청한 타이틀을 더 쉽게 찾을 수 있도록 아이들 프로필에 간단한 변경을 도입했습니다. 이 실험은 소비자 조사에 참여한 회원들로부터들은 내용을 바탕으로 고안되었으며, 회원들이 필요하다고 생각하는 요구 사항을 해결하는 과정이 매우 기뻤습니다.
[David C.] Artwork and Video 팀에는 여러 데이터 과학자가 있습니다. 저의 전문 분야는 통계 및 최적화 분야입니다. 최근 가장 좋아하는 프로젝트는 타이틀용으로 생성 할 최적의 이미지 수를 결정하는 것이 었습니다. 이것은 최적화, 통계, 강화 학습 알고리즘에 대한 이해, 그리고 일반적인 비즈니스 감각을 결합하고 비즈니스에 광범위한 영향을 미치기 때문에 저에게 재미있는 프로젝트였습니다.
이 프로젝트에서 데이터 과학자로서 귀하의 책임은 무엇입니까? 가장 많이 사용하는 기술은 무엇입니까?
[Gwyn B.] 데이터 과학자는 실험 프로젝트의 모든 측면을 수행 할 수 있습니다. 제가 일상적으로 맡고 있는 몇 가지 업무는 테스트 설계, 메트릭 개발 및 성공 여부 정의, 사용자 지정 메트릭을 위한 데이터 파이프 라인 및 시각화 도구 구축, 결과 분석, 광범위한 팀과 최종 권장 사항 전달입니다. 통계 소프트웨어와 SQL을 사용한 코딩은 제가 가장 널리 사용하는 기술입니다.
[David C.] 제가 맡은 가장 중요한 책임 중 하나는 우리의 bandit 알고리즘에 의해 생성된 사실과 반대되는(counterfactual) 데이터를 탐색하고 분석하는 것입니다. 이러한 분석은 이해 관계자가 주요 기회, 버그를 식별하고 엔지니어링 파이프 라인을 강화하는 데 도움이되었습니다. 제가하는 가장 일반적인 분석 중 하나는 탐색 데이터에 대한 룩백 분석입니다. 이 데이터는 자연 실험을 분석하고 어떤 유형의 이미지가 회원에게 콘텐츠를 더 잘 소개하는지 이해하는 데 도움이됩니다.
[Stephanie L. & Wenjing Z.] Partnerships의 데이터 과학자로서 우리는 비즈니스 개발, 파트너 마케팅 및 파트너 참여 팀과 긴밀히 협력하여 모든 장치에서 가능한 최상의 Netflix 경험을 제공합니다. 당사의 분석은 고객에게 최상의 경험과 가치를 제공하기 위해 특정 제품 기능 (예 : 스마트 TV의 Netflix 행) 및 소비자 제안 (예 : Netflix를 번들 패키지의 일부로 제공)을 개선하는 방법을 알려줍니다. 그러나 무작위로 통제된 실험이 항상 가능한 것은 아닙니다. 우리는 다양한 형태의 인과 추론 (중단된 시계열 설계, 역 확률 가중치 및 인과 기계 학습)에 대한 기술적 전문성을 활용하여 유망한 자연 실험을 식별하고 유사 실험을 설계하며 통찰력을 제공합니다. 우리는 분석의 모든 단계를 소유하고 Netflix 내에서 결과를 전달할뿐만 아니라 종종 제품을 개선하는 최선의 방법에 대해 외부 파트너와 논의에 참여합니다. 여기서는 강력한 비즈니스 컨텍스트와 커뮤니케이션을 활용하여 가장 효과적인 역할을합니다.
가장 많이 사용하는 비 기술적 스킬은 뭘까요?
[Aliki M.] 기술 및 비기술 청중 모두와 잘 소통할 수 있도록 커뮤니케이션 스타일을 조정할 수 있습니다. 파트너와 강력한 관계를 구축하고 팀에서 효과적으로 작업합니다.
[Gwyn B.] 서면(Written) 커뮤니케이션은 가장 중요한 비기술 자산 중 하나입니다. 넷플릭스는 메모 기반의 문화이므로 읽고 쓰는 데 많은 시간을 할애합니다. 이것은 우리가 결과와 권장 사항을 공유하고 프로젝트 아이디어에 대한 피드백을 요청하는 기본 방법입니다. 데이터 과학자는 통계 분석, 테스트 결과, 그리고 중요성을 팀이 이해하고 조치를 취할 수있는 "제안" 사항으로 변환 할 수 있어야합니다.
Netflix에서 일하는 것이 이전에 일했던 것과 어떻게 다른가요?
[Reza B.] 넷플릭스 문화 덕분에 기술적으로나 개인적으로도 지속적으로 성장할 수있었습니다. 여기에서 위험을 감수하고 흥미롭고 영향력있는 문제를 해결할 수있는 기회가 있습니다. Netflix는 흥미로운 문제를 해결하여 매일 도전하고 싶은 호기심 많은 연구자들에게 좋은 곳입니다. 여기의 툴링은 놀랍기 때문에 회사 전체에서 내 모델을 대규모로 쉽게 사용할 수 있습니다.
[Mihir T.] 각 회사는 데이터 과학자의 책임에 대해 고유 역할을 부여하고 있습니다. 이전 회사에서는 데이터 검색, 정리, ETL, 분석 및 모델링과 같은 모든 것을 엔드투엔드로 소유했습니다. 반대로 Netflix는 데이터 인프라와 품질 관리를 전문 플랫폼 팀의 권한 아래에 두어 제품 이해 관계자를 지원하기 때문에, 데이터 과학자는 실험 방법론을 개선하는 데 집중할 수 있습니다. 내 위시리스트 프로젝트가 여기서 현실화되고 있습니다. 실험 상호 작용 효과를 연구하고 베이지안 추론의 시간 절약을 정량화하고 Mindhunter Season 3을 옹호합니다.
[Stephanie L.] 마지막 역할은 D.C. 지역의 연구 싱크 탱크에서 일하면서 국방과 과학 정책에 대한 실험과 인과적 추론에 집중했습니다. Netflix를 차별화하는 요소(도메인 이동 제외!)는 맥락이 풍부한 문화와 광범위한 정보 보급입니다. 새로운 이니셔티브와 전략 베팅은 회사의 모든 사람이 담론을 읽고 참여할 수 있도록 메모 형태로 기록됩니다. 이러한 맥락이 풍부한 문화를 통해 새로운 비즈니스 맥락을 빠르게 흡수하고 궁극적으로 이해 관계자들과 생각을 공유할 수 있는 더 나은 파트너가 될 수 있습니다.
Netflix의 데이터 과학자는 많은 색을 갖고 있습니다. 아이디어화 단계에서 비즈니스 및 창의적 이해 관계자와 긴밀히 협력하여 기회를 식별하고 연구 질문을 공식화하며 성공을 정의하고 연구를 설계합니다. 엔지니어와 협력하여 실험을 구현하고 디버깅합니다. 우리는 연구 분석의 모든 측면을 소유하고 (우리의 뛰어난 데이터 엔지니어링 및 실험 플랫폼 팀의 도움을 받아) 작업 결과를 광범위하게 전달합니다. 회사 전체 메모 외에도, 우리는 종종 분석 관점을 롤아웃 결정 및 제품 전략에 대한 활발한 교차 기능 토론에 가져옵니다. 이러한 책임에는 통계 및 기계 학습에 대한 기술적 인 기술과 통계 소프트웨어 (R 또는 Python) 및 SQL에 대한 프로그래밍 지식이 필요합니다. 그러나 우리의 업무에 진정으로 효과적이려면 의사 소통 및 학제 간 팀의 협업과 같은 비 기술적 기술에 의존합니다.
이제 데이터 과학자들이 어떻게 여기에 왔는지, 그리고 그들이 Netflix에서 성공하도록 이끈 이유를 들어 보셨을 것입니다. 그러나 데이터 과학의 도구와 회사의 데이터 요구 사항은 지속적으로 진화하고 있습니다. 마무리하기 전에 패널에 한 번 더 전달하여 Netflix에서 데이터 과학 여정에서 계속 성장할 계획을 들어 보겠습니다.
가까운 장래에 데이터 과학자로서 어떻게 발전 할 계획이며 Netflix가 그 길을 어떻게 도울 수 있습니까?
[Reza B.] 연구원으로서 저는 기술적으로나 비기술적으로 계속 성장하는 것을 좋아합니다. 계속해서 배우고 도전하며 영향력있는 문제를 해결합니다. Netflix는 저에게 다양한 흥미로운 문제를 해결하고 최첨단 기술을 배우고 영향력을 행사할 수있는 기회를 제공합니다. 저는 데이터를 통한 의사 결정 개선에 열정적이며 Netflix는 저에게 그 기회를 제공합니다. Netflix 문화는 비기술적 및 기술적 기술에 대한 피드백을 지속적으로 받아 성장하고 더 나은 과학자가되는 데 도움이되는 맥락을 제공합니다.
[Aliki M.] Netflix의 가치에 충실한 저는 매우 호기심이 많으며 계속해서 제 기술을 배우고 강화하고 확장하고 싶습니다. Netflix는 디자인에서 실행에 이르기까지 비판적 사고가 필요한 흥미로운 질문에 저를 노출합니다. 저는 저에게 영감을주고 건설적인 피드백을 통해 더 나아지도록 도와주는 열정적인 사람들로 둘러싸여 있습니다. 마지막으로, 관리자는 저의 직업적 목표와 관련하여 저와 밀접하게 연관되어 있으며 저의 관심과 열정에 맞는 기회를 찾습니다.
[Roxy D.] 저는 기술적 측면과 비기술적 측면에서 지속적으로 성장할 수 있기를 기대합니다. Netflix는 학계 밖에서 처음으로 경험 한 경험이었으며 비즈니스 환경에서 데이터 과학의 영향과 기여에 대해 배우는 것을 즐겼습니다. Netflix의 문화를 통해 비즈니스의 다양한 측면에 대한 통찰력을 얻고 더 효율적으로 일하고 잠재적으로 더 큰 영향을 미칠 수있는 유용한 컨텍스트를 제공 할 수 있다는 점에 감사드립니다.
데이터 과학자로서 우리는 지속적으로 기술 툴킷에 추가하고 업무에 더 많은 영향을 미치는 비기술적 기술을 육성하기 위해 노력하고 있습니다. 다양한 기술 및 비즈니스 분야의 멋진 동료들과 함께 일한다는 것은 우리가 서로에게서 끊임없이 배우고 있다는 것을 의미합니다. Netflix의 모든 비즈니스 영역에서 데이터 과학에 대한 강력한 수요는 새로운 문제 영역에서 협력하고 새로운 기술을 개발할 수있는 능력을 제공하며, 리더는 이러한 기회를 식별하여 개인 성장 목표를 달성 할 수 있도록 지원합니다. 넷플릭스의 건설적인 피드백 문화도 우리의 성장을 가속화하는 데 중요합니다. 사각 지대를 확인하고 개선 할 부분을 식별하는 데 도움이 될뿐만 아니라 서로가 성장할 수 있도록 지원하는 환경을 조성합니다.
참고) 위 글의 원문은 아래 링크에서 읽어 보실 수 있습니다.
A Day in the Life of an Experimentation and Causal Inference Scientist @ Netflix
Hear from some our data scientists working in Experimentation and Causal Inference
netflixtechblog.com
'데이터과학 > 업계 이야기' 카테고리의 다른 글
| 2022년 애드테크(AdTech) 및 마테크(MarTech) 동향 (0) | 2022.03.28 |
|---|---|
| 모형의 성능 지표 : 누적 이익 및 Lyft 차트 (0) | 2021.02.25 |
| 금융에서의 딥러닝 (개요) (0) | 2021.02.14 |
| 금융 분야의 6가지 데이터 과학 사용 사례 (0) | 2021.02.14 |
| 60세 이상을 위한 모바일 뱅킹 앱, 왜 안 되는가 (UI / UX 연구 사례) (0) | 2021.01.22 |
