728x90
반응형
SMALL

전체 글 341

Hadoop 설치

1. VM 가상머신 '새로만들기' 클릭 - 이름: Centos_Hadoop | 폴더: 별도로 생성 2. 기본 메모리, 프로세스 설정 - CPU 2개로 설정 3. 가상 하드 디스크 - 50.00GB 늘리기 4. 요약 화면 확인 후 '완료' 5. 생성 확인. 6. 설정 클릭 - '저장소' 클릭 → '컨트롤러: IDE' → '광학 드라이브(D): IDE 세컨더리 장치 0' → CD 아이콘 클릭 7. 네트워크 설정 #) 어댑터 1 '네트워크 어댑터 활성화(E) NAT' 확인 #) 어댑터 2 - 체크 → '호스트 전용 어댑터' 8. 공유 폴더 설정 - 폴더 아이콘 → '공유 추가' → '폴더 경로:' → '자동 마운트(A)' 체크 → 확인 9. 일반 설정 → '확인' - '고급' → '스냅샷 폴더(N):' → 폴..

Hadoop Distributed File System, HDFS

■ 하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS) 1) 하둡은 대용량 데이터를 분산 처리할 수 있는 java 기반의 오픈 소스 프레임워크이다. 2) 구글에 쌓여지는 수많은 빅데이터(웹페이지, 로그성 데이터(iot))들을 RDBMS(오라클)에 입력하고 데이터를 저장하고 처리하려고 시도를 했으나, 데이터가 너무 많아서 실패하고 자체적으로 빅데이터를 저장할 기술을 개발하고 대외적으로 '구글 파일 시스템' 논문을 발표했다. 그 논문을 야후에 있는 더그커팅(하둡을 만든 사람)이 읽고 java 로 구현했다. RDBMS(오라클) Hadoop(하둡) 실시간 데이터 처리배치처리유료 서비스무료, 분산처리 □ 분산 처리: 여러 대의 노드(서버)를 묶어서 마치 하나의 서버처럼 보이..

RAC 설치과정 2

# Forward 클릭 # 동의 체크 → Forward 클릭 # 방화벽 비활성화 #) 오류 발생 확인 - Yes 클릭 # 비활성화 설정 #) 비활성화로 설정에 대한 오류 - Yes 클릭 # 비활성화 설정 # 시간 설정 - 추후에 설정 가능 # username 설정 X - 건너뛰기 # continue 클릭 # Forward # 추가 설정 없음 # OK 클릭 # 설치 완료되면 'reboot' 클릭 # root 계정으로 로그인 # 로그인 완료 # 게스트 확장 CD 삽입 # Run inTerminal 클릭 # 설치 tip) 마우스 포인터가 이상하게 된다면? os 완전히 끄고 다시 켠다. # 터미널에 'ifconfig' 입력+ hostname 확인 # putty 창으로 접속 # root/oracle 접속 # ho..

RAC 설치 과정

https://mirrors.dotsrc.org/oracle-linux/EL5/U6/x86_64/mirrors.dotsrc.orgmirrors.dotsrc.org NEW 클릭 설정 하고 OK NEW 클릭 설정 후 화면. 기본 설정 건드리지 않고 NEXT # 네트워크 설정 #1) et0: 인터넷 #2) et1: 외부 접속시 192.168.56.101 | 255.255.255.0. #3) et2: 프라이빗 192.168.56.101 | 255.255.255.0. # et1 설정 #) 비활성화 # et2 설정 (et1 과 동일하게 설정) # 네트워크 최종 설정 # 지역 설정 # 패스워드 설정 oracle 설정 # 필수 패키지1 설정 Development 선택 1) development libraries 2) ..

재분배 방식, pq_distribute

#) 파티션 테이블 삭제 drop table hr.emp_part purge; drop table hr.dept_part purge; #) 리스트 파티션 테이블 생성: emp_part create table hr.emp_part partition by list(department_id)( partition p_dept_1 values(10,20,30,40), partition p_dept_2 values(50), partition p_dept_3 values(60,70,80,90,100,110), partition p_dept_4 values(default)) as select * from hr.employees; => Table created. #) 리스트 파티션 테이블 생성: dept_part cre..

Parallel, 병렬 처리

■ 병렬처리 - SQL문이 수행해야 할 작업 범위를 여러 개의 작은 단위로 나누어 여러 프로세스가 동시에 처리하는 작업을 의미한다. #) 테이블 삭제 drop table hr.emp purge; => Table dropped. #) 테이블 생성 create table hr.emp nologging as select rownum as employee_id, last_name, first_name, hire_date, job_id, salary, manager_id, department_id from employees e, (select level as id from dual connect by level Table created. #) 통계수집 - degree=>2: 대부분은 짝수로 exec dbms_st..

정적(static) 파티션 pruning, 동적(dynamic) 파티션 pruning

# 정적(static) 파티션 pruning - 파티션 키 컬럼을 '상수값 조건'으로 조회 - 액세스할 파티션을 쿼리 최적화 시점에 결정(실행 계획을 생성할 때) #) 확인해보기 select * from hr.sal_emp where salary between 5000 and 8000; => 125000 rows selected. #) 실행계획 확인: partition 추가로 확인 select * from table(dbms_xplan.display_cursor(null,null,'allstats last partition')); --------------------------------------------------------------------------------------------------..

728x90
반응형
LIST