목록hadoop (4)

yekang

HDFS 입출력 예제

SingleFileWrite.java 1234567891011121314151617181920212223242526272829303132333435363738package edu.pusan.ch03; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path; public class SingleFileWrite { public static void main(String[] args) { // TODO Auto-generated method stub if(args.length!..
빅데이터 2018. 1. 25. 12:05
하둡1 wordcount -하늘과 바람과 별과 시 (1948)

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816..
빅데이터 2018. 1. 25. 10:09
하둡1 wordcount - 문재인 대통령

문재인 대통령의 취임사를 wordcount 해보았다. 하둡 1 환경설정에 오랜 시간이 걸렸다. 다 끝나니 리눅스가 깨져버리기도 했다.아래는 start-all.sh 명령으로 HDFS 와 맵리듀스 모두 실행하고 그 이후의 코드이다. 12345678910111213141516171819202122232425# moon.txt 를 워드카운트 하자. 1) WinSCP를 이용하여 윈도우에 있는 moon.txt를 리눅스 서버로 복사 - 리눅스 유저 hadoop의 download 디렉터리로 복사하세요. 2) 리눅스 파일시스템에 있는 moon.txt를 HDFS로 복사 (HDFS에 input 디렉터리가 이미 만들어져 있다고 가정) $ hadoop fs -put ~/download/moon.txt input 3) 워드카운트..
빅데이터 2018. 1. 24. 17:07
빅데이터란?

한국은 2010년초에 도입된 개념 빅데이터 등장배경: "경제활성화"대학교 연구실(lab)에서는 칭하지는 않았지만 대비하고 있었음.(bio lab 등)유전자 조합의 수 데이터를 한번에 돌릴 수 있는 임시/영구저장장치 필요(memory/process통해 나온 결과를 저장할 장치) => 한 대의 슈퍼컴퓨터로 유전자 분석 불가능놀고 있는 피시들을 연결해서 필요한 메모리나 하드디스크 프로세스를 올리는 기술=>클라우드 기술(분산처리 기술을 응용)한대의 컴퓨터처럼 보이게 함 => 분산처리 기술(예전부터 있던 기술) 한 대의 피시에 들어가는 cpu가 고성능이니 그 성능을 나누어서 사용하자. => 가상화 기술한 대를 100퍼센트 쓰기 위해 사용된다.(보통 100퍼센트 다 쓰지 못한다.) 삼성전자가 트랜지스터에 집적시킬때..
빅데이터 2017. 7. 3. 10:27
Prev 1 Next