데이터 사이언스/데이터 분석 실습
-
[pyspark] GraphFrames 다루기데이터 사이언스/데이터 분석 실습 2022. 6. 7. 23:09
GraphFrames 생성하기 Vertex와 Edge DataFrames을 이용하여 GraphFrames를 만들 수 있습니다. Vertex DataFrame은 그래프의 각 Vertex에 대해 고유한 ID를 지정하는 "id"라는 특수 열이 포함되어야 합니다. Edge DataFrame은 "src"(source vertex ID of edge) 및 "dst"(destination vertex ID of edge)라는 두 개의 특수 열이 포함되어야 합니다. 두 DataFrame에는 임의의 다른 column을 포함할 수 있으며, 이러한 항목들은 edge 및 vertex의 속성을 나타낼 수 있습니다. GraphFrame은 edge 정보만을 포함하는 DataFrame을 통해서도 구성할 수도 있습니다. 이렇게 구성하..
-
[SQL] row_number() vs. count(1)데이터 사이언스/데이터 분석 실습 2022. 6. 4. 12:27
SQL에서 "partition by"를 사용하여, 동일한 파티션 내의 번호를 부여하는 싶은 경우가 있습니다. 이러한 경우에 다음의 두가지 문법 중에서 어떤 것을 선택해야 할까요? row_number() over (partition by ...) count(1) over (partition by ...) 아래의 쿼리를 발생시켰을때, 데이터에 따라서 동일한 결과를 보여주는 경우도 있습니다. select element1, employee , row_number() over (partition by element1 order by employee) as 'row_number' , count(1) over (partition by element1 order by employee) as 'count' from db..
-
Step-by-step understanding LSTM Autoencoder layers데이터 사이언스/데이터 분석 실습 2021. 9. 8. 16:55
이번 포스팅은 아래 글을 번역한 것임을 밝힙니다. https://towardsdatascience.com/step-by-step-understanding-lstm-autoencoder-layers-ffab055b6352 Step-by-step understanding LSTM Autoencoder layers Here we will break down an LSTM autoencoder network to understand them layer-by-layer. We will go over the input and output flow between… towardsdatascience.com 이번 글에서는 LSTM Autoencoder 네트워크를 계층별로 이해하기 위해 전체 구조를 분해할 것입니다. 계층..