금융 데이터를 분석하는 뇌과학자

1. 샤딩Sharding 시스템 구축MongoDB 샤딩 시스템 구축을 위한 개요도는 다음 그림과 같습니다. 3대의 Config 서버와 4대의 Sharding 서버로 구성된 시스템을 만들어 보려 합니다. 위의 그림과 같은 시스템 구성을 위해서는 각각의 node에 접속하여 아래와 같이 설정하면 샤딩 서버와 Config 서버를 구성할 수 있습니다. Config 서버는 각 Shard 서버에 어떤 데이터들이 어떻게 분산 저장되어 있는지에 대한 Meta Data가 저장되어 있으며 MogoS가 데이터를 쓰고/읽기 작업을 수행할 때 Config 서버를 통해서 처리됩니다. in node 1 $ mkdir /data/config1 $ mongod --configsvr --dbpath /data/config1 --port ..

1. 맥미니 클러스터의 구성MongoDB를 설치하기 위한 맥미니 클러스터의 구성은 다음과 같습니다. 원활한 설정을 위해서 hostname과, ip address를 제외한 설정은 동일하게 하는 것이 좋습니다. (각 node의 user name은 모두 skyeong로 동일하게 설정합니다.) Hostname IP 용도 제품 성능 node1 192.168.3.1 Config Server Slave Server Name: Mac Mini CPU: 2.6GHz Inte Core i7 Memory: 16GB HDD: 1TB Fusion Drive OS X version: 10.8.3 (mountain lion) node2 192.168.3.2 Shard Server Slave Server node3 192.168.3..

구글에서 분산컴퓨팅 플랫폼으로 map-Reduce 방식을 제안하면서부터 빅데이터의 저장 및 처리를 위한 기술이 급격하게 발달하고 있습니다. Map-Reduce는 분할-정복 방식으로 대용량 데이터를 병렬로 처리할 수 있는 프로그래밍 모델로, 오픈소스인 Hadoop의 Map-Reduce 프레임워크가 동일한 기능을 제공해 줍니다. MongoDB는 비정형 데이터를 다룰 수 있는 NoSQL 데이터베이스로서, 샤딩Sharding 시스템을 구성함으로써 Map-Reduce 기능을 구현할 수 있습니다.여러대의 컴퓨터에 데이터를 분할해서 저장하겠다는 큰 포부로 컴퓨터를 여러대 구입하다 보면 예산도 이슈가 되지만, 컴퓨터를 쌓아둘 공간이 있는가? 에 대해서도 고민하지 않을 수 없습니다. OS X 기반의 맥미니를 사용한다면 ..

Mac OS X 10.8에 Open CV를 설치하기 위해서는 몇가지 준비해야할 사항이 있습니다.우선 필자가 OpenCV 를 build한 환경은 Xcode 4.6.2 (4H1003)이상에 'Command Line Tools'가 설치되어 있는 상태입니다. OpenCV 설치를 위해서 먼저 설치되어야 하는 라이브러리들은 다음과 같습니다. - mp3lame, facc, faad, ffmpeg mp3lame 설치curl -L -o lame-3.99.5.tar.gz http://sourceforge.net/projects/lame/files/lame/3.99/lame-3.99.5.tar.gz/download tar xzvf lame-3.99.5.tar.gz cd lame-3.99.5 ./configure --disa..

Amazone EC2 instance를 생성하면,자동으로 ec2-user가 생기게 된다. 하지만, 비번을 설정해 줘야 하는데.. 그렇게 하려면 root의 비번을 알아야 한다.AWS EC2에 접속한 후에~> sudo su -를 입력하면, root 계정으로 바뀌는데... 이때~> passwd ec2-user를 통해서 default 계정인 ec2-user에게 password를 할당해 주고,~> vi /etc/sudoers 를 입력한 후에, 에디터 창이 뜨면-----------------------------------root ALL=(ALL) ALLec2-user ALL=(ALL) ALL-----------------------------------을 추가해주면, ec2-user에게 root 권한이 부여된다...