하둡1 wordcount - 문재인 대통령

문재인 대통령의 취임사를 wordcount 해보았다. 하둡 1 환경설정에 오랜 시간이 걸렸다. 다 끝나니 리눅스가 깨져버리기도 했다.

아래는 start-all.sh 명령으로 HDFS 와 맵리듀스 모두 실행하고 그 이후의 코드이다. 

# moon.txt 를 워드카운트 하자.
 
1) WinSCP를 이용하여 윈도우에 있는 moon.txt를 리눅스 서버로 복사
   - 리눅스 유저 hadoop의 download 디렉터리로 복사하세요.
 
2) 리눅스 파일시스템에 있는 moon.txt를 HDFS로 복사
   (HDFS에 input 디렉터리가 이미 만들어져 있다고 가정)
 
   $ hadoop fs -put ~/download/moon.txt input
 
3) 워드카운트 프로그램 실행
   
   $ hadoop jar /opt/hadoop/hadoop/hadoop-examples-1.2.1.jar wordcount input/moon.txt output-moon
 
4) 결과 파일을 HDFS에서 직접 읽어보기
 
   $ hadoop fs -cat output-moon/part-r-00000
 
 
5) 결과 파일을 리눅스 파일시스템으로 복사해 오기
 
   $ hadoop fs -get output-moon/part-r-00000 ~/download/moon-result.txt
 
 
6) WinSCP를 이용하여 결과 파일을 윈도우로 가져오기

아래는 wordcount에 사용된 moon.txt 파일이다.

아래는 wordcount 결과 파일이다. 메모장으로 열면 포맷이 원래 깨져 나오는데 나는 왜인지 여백에 추가로 깨져 나왔다. 

그래서 notepad++로 결과를 확인했다.

2017년    2
5월10일    1
5월10일,    1
가겠습니다.    1
가고.    1
가까운    1
가능할    1
가득차    1
가슴은    1
가장    1
각지에서    1
갈등은    1
갈등을    1
갈등의    1
감내하며    1
감사드립니다.    1
감사의    1
감사합니다.    2
감히    1
강력한    1
강화를    1
강화하겠습니다.    1
거듭    1
거짓으로    1
것임을    1
것입니다.    6
격변기를    1
격의없는    1
견제장치를    1
결과는    1
결별하겠습니다.    1
겸손한    1
겸허한    1
경쟁의    1
경제가    1
경험하지    1
계기로    2
계속되고    1
계층과    1
고르게    1
고향으로    1
곧바로    1
골고른    1
곳에    1
공정한    1
공정할    1
공존의    1
과감히    1
과정에서    2
과정은    1
관행과    1
광화문    1
광화문광장에서    1
광화문시대    1
구속앞에서도    1
구시대의    1
국민    12
국민과    4
국민들은    2
국민들의    1
국민들이    1
국민으로    1
국민은    1
국민의    1
국민이    1
국민이고,    1
국방력에서    1
국정운영의    1
군림하고    1
권력기관도    1
권력기관은    1
권력을    1
권력이    1
권력행사를    1
권위적    1
그    2
그래서    1
그런    1
그리고    2
그토록    1
기록될    1
기회는    1
긴장완화의    1
길에    1
길을    1
깊이    1
깨끗한    1
꼼꼼하게    1
끝나야    1
나누겠습니다.    2
나눌    1
나라    1
나라냐고    1
나라답게    2
나라를    4
나라입니다.    2
나서서    1
나와    1
날아가겠습니다.    1
남겠습니다.    2
낮은    2
낱말이    1
내딛습니다.    1
노력하겠습니다.    1
노심초사하는    1
눈높이를    1
눈물을    1
능력과    1
다시    1
다하겠습니다.    2
다할    1
닦아드리는    1
대로    1
대선에서    1
대역사가    1
대원칙으로    1
대토론회를    1
대통령    3
대통령,    1
대통령부터    2
대통령선거는    1
대통령으로    1
대통령으로서    1
대통령으로서의    1
대통령을    1
대통령의    5
대통령이    17
대한    1
대한민국    3
대한민국은    1
대한민국을    3
대한민국의    2
대한민국이    1
대화를    2
대화하겠습니다.    1
대화하고    1
더불어민주당정부에서    1
더욱    1
덮지    1
도쿄에도    1
독립시키겠습니다.    1
돌아가    1
동반자입니다.    2
동북아    1
동분서주하겠습니다.    1
동시에    1
돼    1
되겠습니다.    13
되기    1
되어    2
두    1
두렵지만    1
뒤로하고    1
들러    1
등용하겠습니다.    1
따뜻한    1
때로는    1
또    2
뜨겁습니다.    1
마련하겠습니다.    2
마음으로    2
마주치는    1
마치는    1
마침내    1
막강한    1
막중한    1
만나겠습니다.    1
만드는    2
만들겠다는    1
만들겠습니다.    5
만들기    1
만들어가려는    1
만들어주셨습니다.    1
많은    1
말씀과    1
말씀드리겠습니다.    1
말씀드립니다.    1
맞대고    1
맞잡고    1
맞추는    1
맡기겠습니다.    1
머리는    1
머리숙여    1
머리와    1
먼저    1
몇달    1
모두의    1
모든    1
모범이    1
모색하겠습니다.    1
못하게    1
못한    1
무겁습니다.    1
무소불위    1
무엇보다    1
문재인    1
문재인과    1
문재인은    1
문제도    1
문제를    1
문화를    1
물었습니다.    1
미국    1
민생도    1
및    1
바꾸겠습니다.    1
바로    1
바쳐    1
반칙이    1
베이징과    1
보냈습니다.    1
보는    1
보답하겠습니다.    1
보수와    1
부여받은    1
북핵    1
분    1
분도    1
분열과    1
불가능한    1
불구하고    1
불리한여론을    1
불행한    2
브리핑하겠습니다.    1
비롯됩니다.    1
비정규직    1
빈손으로    2
사드문제    1
사라질    1
사람,    1
사랑하고    1
사랑하는    2
사안은    1
살피겠습니다.    1
삼겠습니다.    1
삼고초려해    1
상관없이    1
상식대로    1
새로    1
새로운    7
새로워지겠습니다.    1
서둘러    1
서러운    1
선거    2
선거를    2
선거에서는    1
선대들이    1
선택에    1
선택해주셨습니다.    1
섬기겠습니다.    1
성공한    1
성원에    1
세대간    1
세상을    5
세월    1
소명감으로    1
소명을    1
소외된    1
소통하는    3
손을    1
솔선수범해야    1
솔직한    1
수    2
수시로    2
순간을    1
숱한    1
승자도    1
승화시켜    1
시대를    1
시민들과    1
시민이    1
시작되는    1
시작됩니다.    1
시작하겠습니다.    1
시작합니다.    1
시장에    1
신뢰받는    1
신명을    1
심심한    1
싶어했던    1
아니라    1
아픔을    1
안보는    1
안보위기도    1
안팎으로    1
않겠습니다.    3
않고    1
않았던    1
앞길을    1
앞에    1
앞으로    1
앞장서겠습니다.    1
야당은    1
약속드립니다.    1
약속들을    1
약속을    1
약속했듯이    1
어깨는    1
어깨를    1
어떤    1
어렵습니다.    2
언론에    1
없는    1
없도록    1
없습니다.    1
여건이    1
여러분,    5
여러분으로부터    1
여러분의    2
여부와    1
역사가    2
역사는    1
역사를    1
역사에    1
역사와    1
열겠습니다.    2
열어갈    1
열어주셨습니다.    1
열었습니다.    1
열정으로    1
예로    1
오늘    3
오늘부터    2
오히려    1
완전히    2
외면하지    1
우리    2
우리가    1
우리국민들은    1
우리는    2
우리의    2
우선    1
워싱턴으로    1
위대한    1
위대함은    1
위대함입니다.    1
위대했습니다.    1
위로를    1
위해    5
위해서라면    1
유능한    1
유례없는    1
이    2
이게    1
이끌어가야    1
이날은    1
이득을    1
이루고    1
이를    1
이번    4
이웃과    1
이웃의    1
이제    1
인사를    1
인사의    1
인재를    1
일관되게    1
일은    1
일을    3
일자리를    1
일하겠습니다.    2
있겠습니다.    1
있는    2
있습니다.    2
자랑으로    1
자세로    1
자주국방력    1
잘못된    1
잘못한    1
잘못했다고    1
재벌개혁에도    1
저는    5
저를    1
저에    1
저의    2
적재적소를    1
전국    1
전국적으로    1
전기를    1
전임    1
전진해야합니다.    1
전합니다.    1
전화위복의    1
젊은이들이    1
정경유착이란    1
정례화하고    1
정부    1
정을    1
정의로울    1
정착시켜    1
정치는    1
정치도    1
정치로부터    1
정치를    1
정치발전이    1
정치적    1
제    3
제19대    2
제가    2
제왕적    1
조성되면    1
존경하고    1
존경하는    3
종식돼야    1
좌절과    1
좌절하지    1
주십시오.    1
주요    1
준비를    1
중국과    1
지금    3
지금의    1
지난    2
지역과    1
지지    1
지지로    1
지지와    1
지지하지    1
지키는    1
직접    2
진보의    1
진정한    2
진지하게    1
질문에서    1
차별없는    1
참모들과    1
책임과    1
챙기겠습니다.    2
천명합니다.    1
첫걸음을    1
청사진으로    1
청산하겠습니다.    1
청와대에서    1
최대한    1
최선을    1
추구했던    1
취임하고    1
치러졌습니다.    1
치른    1
치열했던    1
친구같은    1
큰소리치지    1
탄핵과    1
탄핵으로    1
토대도    1
토론하겠습니다.    1
통치하는    1
통합과    1
통합이    1
퇴근길에는    1
퇴임하는    1
특권과    1
튼튼한    1
패배에도    1
패자도    1
평가하는    1
평등할    1
평범한    1
평양에도    1
평화구조를    1
평화를    1
평화정착을    1
필요하면    1
하겠다고    1
하나의    1
하에서는    1
하지    1
한    2
한미동맹은    1
한반도    3
한번도    1
한편으로    1
할    2
함께    4
함께해    1
합니다.    2
항상    1
해결을    1
해결의    1
해결하겠습니다.    1
해결할    1
해소하고    1
해야    1
했던    1
향해    1
헌신을    1
현직    1
협상하겠습니다.    1
혼란스러웠지만    1
후보들께    1
훗날    1
희생과    1
힘들었던    1
존경하고    1
 

후에 이를 바탕으로 감성분석을 하면 좋을 것 같다. 

* 하둡1의 치명적인 단점 

단일 장애점(單一障礙點, 영어: single point of failure, SPOF)은 시스템 구성 요소 중에서, 동작하지 않으면 전체 시스템이 중단되는 요소를 말한다. 예를 들어 이더넷 케이블과 전원, 이더넷 허브(HUB), 접속 단말들의 NIC(Network Interface Card) 등으로 이루어진 간단한 이더넷(Ethernet) 네트워크 시스템에 있어서 네트워크 허브(HUB) 장치의 전원은 SPOF이다. 허브의 전원이 차단됨과 동시에 나머지 모든 요소들은 네트워크를 사용할 수 없다. 높은 가용성을 추구하는 네트워크, 소프트웨어 애플리케이션, 상용 시스템에 단일 장애점이 있는 것은 바람직하지 않다. 단일 고장점, 단일 실패점이라고도 한다.

잠재적인 단일 장애점을 평가함으로써, 복잡한 시스템 안에서 오작동 시 전체 시스템 중단을 야기하는 치명적인 컴포넌트를 판별할 수 있다. 높은 신뢰성을 요구하는 시스템은 단일 컴포넌트에 의존하지 않는 것이 좋다.

[출처 : https://ko.wikipedia.org/wiki/%EB%8B%A8%EC%9D%BC_%EC%9E%A5%EC%95%A0%EC%A0%90 ]