728x90
반응형
SMALL

Data Base/Hadoop, HDFS 3

Hadoop 설치

1. VM 가상머신 '새로만들기' 클릭 - 이름: Centos_Hadoop | 폴더: 별도로 생성 2. 기본 메모리, 프로세스 설정 - CPU 2개로 설정 3. 가상 하드 디스크 - 50.00GB 늘리기 4. 요약 화면 확인 후 '완료' 5. 생성 확인. 6. 설정 클릭 - '저장소' 클릭 → '컨트롤러: IDE' → '광학 드라이브(D): IDE 세컨더리 장치 0' → CD 아이콘 클릭 7. 네트워크 설정 #) 어댑터 1 '네트워크 어댑터 활성화(E) NAT' 확인 #) 어댑터 2 - 체크 → '호스트 전용 어댑터' 8. 공유 폴더 설정 - 폴더 아이콘 → '공유 추가' → '폴더 경로:' → '자동 마운트(A)' 체크 → 확인 9. 일반 설정 → '확인' - '고급' → '스냅샷 폴더(N):' → 폴..

Hadoop Distributed File System, HDFS

■ 하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS) 1) 하둡은 대용량 데이터를 분산 처리할 수 있는 java 기반의 오픈 소스 프레임워크이다. 2) 구글에 쌓여지는 수많은 빅데이터(웹페이지, 로그성 데이터(iot))들을 RDBMS(오라클)에 입력하고 데이터를 저장하고 처리하려고 시도를 했으나, 데이터가 너무 많아서 실패하고 자체적으로 빅데이터를 저장할 기술을 개발하고 대외적으로 '구글 파일 시스템' 논문을 발표했다. 그 논문을 야후에 있는 더그커팅(하둡을 만든 사람)이 읽고 java 로 구현했다. RDBMS(오라클) Hadoop(하둡) 실시간 데이터 처리배치처리유료 서비스무료, 분산처리 □ 분산 처리: 여러 대의 노드(서버)를 묶어서 마치 하나의 서버처럼 보이..

728x90
반응형
LIST