본문 바로가기

데이터 분석13

TCI & Functional Modular Organisation 논문 수락 후기 뇌과학 분야에서 출판한 첫 논문이기에 꼭 후기를 남기고 싶었다. 물리학 분야에서 첫 논문이 출판되었을때 후기를 썼던 것 처럼... 논문의 Manuscript가 대략적으로 완성된 시점은 2012년 12월 쯤으로 기억한다. 데이터 획득부터, 뇌영상 데이터의 분석, 그리고 논문 작성의 전체 과정에 직접 참여했기 때문에 나에게 의미가 더욱 각별하게 느껴지는 논문이다. 이번 연구는 "기질Temperament에 따라서 뇌네트워크의 연결성이 다르게 나타나고 그로 인해서 서로 다른 모듈 구조를 갖는다"는 것을 주요 결과로 하고 있으며, 논문 초안의 제목은 으로 정했다. 인성의 외향성은 기질의 위험회피 척도와 자극추구 척도로 구분하는 것이 무리일 수도 있다는 것은 어느정도 예상했고, 특히 성격심리학자들이 보기에는 완전 .. 2014. 7. 19.
Data Analysis (1): Neuroimaging Data loading using SPM8 toolbox 일반적인 데이터 분석에 관련된 기술을 포스팅하고 싶었지만, 데이터 분석은 data specific한 부분들이 있기 때문에 일반적인 데이터 분석 및 시각화 기법에 대한 강의는 어려울것 같고, 뇌영상 데이터와 트위터 데이터 수집 및 분석과 관련된 포스팅을 연재하고자 합니다. 일단 뇌영상 데이터 분석 기법으로 강의를 시작하는 이유는 최근 5년 동안 제가 연구해온 분야로 expert까지는 아니어도 intermediate 이상의 실력은 된다고 생각하고 있기에, 지금까지 습득한 노하우를 관련 분야에 계신 분들께 나누고 싶은 생각이 들었습니다. 뇌영상 분석에 사용되는 툴은 여러가지가 있지만, 보통은 MATLAB 기반의 SPM8, linux 기반에서 작동하는 AFNI 또는 FSL 등이 가장 많이 이용되고 있습니다.어떤.. 2014. 1. 26.
유니코드 변환 파이썬 프로그램 - convert to unicode (python program) 파이썬에서 한글을 다루다 보면, 인코딩에 대한 이슈를 그냥 지나칠 수 없다. 파이썬의 장점은 methods의 입력 데이터 형식을 지정하지 않아도 된다는 것이다. C/C++에 익숙했던 분들은 아주 생소하게 느껴질 수 있는 부분이다. 가령 덧셈 함수를 만든다고 하면, def sum(a,b): return a+b 로 간단하게 할 수 있다. 여기서 a, b는 정수, 실수 모두 가능하게 된다. 하지만, a와 b가 리스트list 또는 사전dict 형태의 데이터라면 어떻게 처리해야 할까? 리스트 형식의 데이터라면, 각 i 번째 element끼리 더해서 결과를 반환하도록 하면되고, 사전 형식의 데이터라면, 같은 key 값을 갖는 데이터끼리 더해서 결과를 반환하도록 하면 될 것이다. 이제 원래 이슈로 돌아가서, 입력 데.. 2013. 12. 16.
맥미니 몽고디비 분산 시스템 (5) - Aggregate 1. Sharding을 위한 Shard key 생성Sharding을 위해서는 Shard Key를 생성해야 하며, 생성된 Shard Key에는 반드시 인덱스의 생성이 요구됩니다. $ mongo 192.168.3.2:27017/admin mongos> mongos> db.runCommand( {enablesharding : "test"} ) // test db 의 Shard 기능 활성화 mongos> mongos> use test mongos> db.things.ensureIndex( {empno : 1} ) // empno 항목에 대한 오름차순 색인 생성 mongos> mongos> use admin mongos> db.runCommand( {shardcollection : "test.things", ke.. 2013. 7. 20.
맥미니 몽고디비 분산 시스템 (3) - Sharding 1. 샤딩Sharding 시스템 구축MongoDB 샤딩 시스템 구축을 위한 개요도는 다음 그림과 같습니다. 3대의 Config 서버와 4대의 Sharding 서버로 구성된 시스템을 만들어 보려 합니다. 위의 그림과 같은 시스템 구성을 위해서는 각각의 node에 접속하여 아래와 같이 설정하면 샤딩 서버와 Config 서버를 구성할 수 있습니다. Config 서버는 각 Shard 서버에 어떤 데이터들이 어떻게 분산 저장되어 있는지에 대한 Meta Data가 저장되어 있으며 MogoS가 데이터를 쓰고/읽기 작업을 수행할 때 Config 서버를 통해서 처리됩니다. in node 1 $ mkdir /data/config1 $ mongod --configsvr --dbpath /data/config1 --port .. 2013. 7. 20.
맥미니 몽고디비 분산 시스템 (2) - 클러스터 구축 준비 1. 맥미니 클러스터의 구성MongoDB를 설치하기 위한 맥미니 클러스터의 구성은 다음과 같습니다. 원활한 설정을 위해서 hostname과, ip address를 제외한 설정은 동일하게 하는 것이 좋습니다. (각 node의 user name은 모두 skyeong로 동일하게 설정합니다.) Hostname IP 용도 제품 성능 node1 192.168.3.1 Config Server Slave Server Name: Mac Mini CPU: 2.6GHz Inte Core i7 Memory: 16GB HDD: 1TB Fusion Drive OS X version: 10.8.3 (mountain lion) node2 192.168.3.2 Shard Server Slave Server node3 192.168.3.. 2013. 7. 20.