인공지능과 데이터과학/데이터 분석 실습39 [pyspark] GraphFrames 다루기 GraphFrames 생성하기 Vertex와 Edge DataFrames을 이용하여 GraphFrames를 만들 수 있습니다. Vertex DataFrame은 그래프의 각 Vertex에 대해 고유한 ID를 지정하는 "id"라는 특수 열이 포함되어야 합니다. Edge DataFrame은 "src"(source vertex ID of edge) 및 "dst"(destination vertex ID of edge)라는 두 개의 특수 열이 포함되어야 합니다. 두 DataFrame에는 임의의 다른 column을 포함할 수 있으며, 이러한 항목들은 edge 및 vertex의 속성을 나타낼 수 있습니다. GraphFrame은 edge 정보만을 포함하는 DataFrame을 통해서도 구성할 수도 있습니다. 이렇게 구성하.. 2022. 6. 7. [SQL] row_number() vs. count(1) SQL에서 "partition by"를 사용하여, 동일한 파티션 내의 번호를 부여하는 싶은 경우가 있습니다. 이러한 경우에 다음의 두가지 문법 중에서 어떤 것을 선택해야 할까요? row_number() over (partition by ...) count(1) over (partition by ...) 아래의 쿼리를 발생시켰을때, 데이터에 따라서 동일한 결과를 보여주는 경우도 있습니다. select element1, employee , row_number() over (partition by element1 order by employee) as 'row_number' , count(1) over (partition by element1 order by employee) as 'count' from db.. 2022. 6. 4. Step-by-step understanding LSTM Autoencoder layers 이번 포스팅은 아래 글을 번역한 것임을 밝힙니다. https://towardsdatascience.com/step-by-step-understanding-lstm-autoencoder-layers-ffab055b6352 Step-by-step understanding LSTM Autoencoder layers Here we will break down an LSTM autoencoder network to understand them layer-by-layer. We will go over the input and output flow between… towardsdatascience.com 이번 글에서는 LSTM Autoencoder 네트워크를 계층별로 이해하기 위해 전체 구조를 분해할 것입니다. 계층.. 2021. 9. 8. LSTM 또는 CNN을 이용한 주가 예측 LSTM은 보통 순차 데이터의 이동 알고리즘으로 간주되어 왔으며 CNN은 보통 이미지 데이터 처리를 위한 최고의 알고리즘으로 간주되었습니다. LSTM 또는 기타 Recurrent Neural Network (RNN)와 동등하거나 더 나은 문자 수준 CNN의 사용에 대한 많은 논문이 출판되었습니다. 이 가설을 테스트하기 위해 두가지 알고리즘을 시계열 분석의 전형적인 사례인 주가 예측에 구현해보겠습니다. 실험에서 서로 다른 두 알고리즘이 어떻게 일치하는지에 대한 공정한 비교를 제공하기 위해 이러한 각 알고리즘의 작동 방식에 대한 컨텍스트를 제공해야합니다. LSTM LSTM은 알고리즘 출력에 대한 기능을 제공하는 많은 신경망으로 구성된 반복 신경망의 한 유형입니다. 예를 들어 중복 신호의 가중치를 줄 이도록 .. 2021. 1. 31. 이전 1 2 3 4 ··· 10 다음 728x90
