전체 글132 [pyspark] GraphFrames 다루기 GraphFrames 생성하기 Vertex와 Edge DataFrames을 이용하여 GraphFrames를 만들 수 있습니다. Vertex DataFrame은 그래프의 각 Vertex에 대해 고유한 ID를 지정하는 "id"라는 특수 열이 포함되어야 합니다. Edge DataFrame은 "src"(source vertex ID of edge) 및 "dst"(destination vertex ID of edge)라는 두 개의 특수 열이 포함되어야 합니다. 두 DataFrame에는 임의의 다른 column을 포함할 수 있으며, 이러한 항목들은 edge 및 vertex의 속성을 나타낼 수 있습니다. GraphFrame은 edge 정보만을 포함하는 DataFrame을 통해서도 구성할 수도 있습니다. 이렇게 구성하.. 2022. 6. 7. [SQL] row_number() vs. count(1) SQL에서 "partition by"를 사용하여, 동일한 파티션 내의 번호를 부여하는 싶은 경우가 있습니다. 이러한 경우에 다음의 두가지 문법 중에서 어떤 것을 선택해야 할까요? row_number() over (partition by ...) count(1) over (partition by ...) 아래의 쿼리를 발생시켰을때, 데이터에 따라서 동일한 결과를 보여주는 경우도 있습니다. select element1, employee , row_number() over (partition by element1 order by employee) as 'row_number' , count(1) over (partition by element1 order by employee) as 'count' from db.. 2022. 6. 4. 2022년 애드테크(AdTech) 및 마테크(MarTech) 동향 애드테크(AdTech)는 Advertising Technology의 줄임말이며, 마테크(MarTech)는 Marketing Technology의 줄임말입니다. 2021년은 애드테크, 마테크, 그리고 프로그래밍 방식의 광고 산업 분야에서 매우 중요한 해였습니다. 애글(Apple)과 구글(Google)은 2021년 개인정보보호 강화 조치를 발표하였으며, 이로 인해서 애드테크 분야의 많은 기업들이 영향을 받게 되었습니다. 애플(Apple)은 개인정보 보호와 관련해서 많은 변화를 시도했고, 구글 크롬은 개인 정보 샌드박스를 제안했습니다. 애플은 개인의 프라이버시 보호 기능 강화를 위해 IDFA(Identifier for Advertisers)에 대한 정보주체의 동의요건을 옵트아웃(opt-out)에서 옵트인(op.. 2022. 3. 28. Publications Google Scholar Citation https://scholar.google.co.kr/citations?hl=en&user=lBVSwScAAAAJ&view_op=list_works&sortby=pubdate Scopus Profile https://www.scopus.com/authid/detail.uri?authorId=35233777000 Publication List (*: corresponding author, †: first or equally contributed author) [As a first author or corresponding author] Sunghyon Kyeong†, Daehee Kim, Jinho Shin, Can System Log Data Enhance the.. 2021. 12. 9. Step-by-step understanding LSTM Autoencoder layers 이번 포스팅은 아래 글을 번역한 것임을 밝힙니다. https://towardsdatascience.com/step-by-step-understanding-lstm-autoencoder-layers-ffab055b6352 Step-by-step understanding LSTM Autoencoder layers Here we will break down an LSTM autoencoder network to understand them layer-by-layer. We will go over the input and output flow between… towardsdatascience.com 이번 글에서는 LSTM Autoencoder 네트워크를 계층별로 이해하기 위해 전체 구조를 분해할 것입니다. 계층.. 2021. 9. 8. 넷플릭스 데이터 과학자의 하루 지난 10년 동안 데이터를 다루는 역할이 급격히 늘어나면서 "데이터 과학자"라는 타이틀이 기술과 비즈니스 영역에서 포괄적으로 사용되는 용어로 등장했습니다. 해당 포지션은 특정 회사 내에서 또는 특정 산업 내에서 어떤 역할을 하게 될까요? 넷플릭스(Netflix)에서 데이터 과학자는 실험, 인과 추론, 기계 학습, NLP, 모델링, 그리고 최적화를 포함하여 기술 전문화의 여러 영역의 업무를 수행하고 있습니다. 데이터 분석 및 데이터 엔지니어링과 함께 넷플릭스에서는 더 큰 중앙 집중식 데이터 과학 및 엔지니어링 그룹을 구성하고 있습니다. 데이터를 통한 학습은 Netflix의 DNA라고 할 수 있습니다. 유사 실험을 통해 스트리밍 경험을 지속적으로 개선하여 회원에게 버퍼링 시간을 줄이고 비디오 품질을 향상시킬.. 2021. 4. 2. 이전 1 2 3 4 5 6 7 ··· 22 다음 728x90
