분류 전체보기
DB에 다양한 파일형식 로드하기 feat. dat 파일
다양한 데이터 형식 데이터 분석 공부를 시작한 뒤 내가 줄곧 다뤘던 파일 .csv 형식이다. 하지만 세상에는 다양한 파일 형식이 존제하고, 이를 간과했던 나는 대회 중 .dat 형식의 파일을 처음 접해 난관을 겪었다. dat 파일을 오라클에 업로드 하기 위해서 Oracle Developer에서 제공하는 import 기능을 사용하려 했으나 실패했다. 그래서 방법을 찾던 중 SQL*Loader를 사용하는 업로드 방식에 대해 알게 됬다. 과정 1. Oracle Instant client를 설치한다. - Oracle Instant client 설치 시 자동으로, SQL*Plus와 SQL*Loader가 설치된다. 2. 데이터를 임포트할 계정에 테이블 스키마를 생성한다. - .dat파일의 레코드가 각 행에 입력될 ..
R로 Oracle DB에 연동 후 분석하기
R로 Oracle DB에 연동하여 분석하기 Jupyter notebook에서 R커널을 사용, Oracle DB에 접속하기 위해 RJDBC,RJava Library를 사용했다. R에서 제공하는 라이브러리로 데이터 전처리를 할 수 있으나, 데이터 양이 클수록 쿼리문을 통해 데이터 전처리 작업을 하는것이 훨씬 효율적이다. #모듈 로드 library(rJava) library(DBI) library(RJDBC) library(ggplot2) library(dplyr) #오라클 DB 접속을 위한 conn 생성 drv
Code Book(데이터 정의서) 제작과 중요성
Code Book이란? 코드 북을 검색해보면 '코딩 작업을 할 때의 안내서로서 코드의 관리 및 정보 처리 시스템의 효율성을 위하여 필요한 안내서의 일종' 이라고 나온다. 분석시 코드북은 수집한 데이터에 대한 데이터 정의서와 같다. 데이터 정의서가 잘 정리되어 있어야지 모델링 작업 혹은 분석시 필요한 데이터가 무엇인지 보다 더 직관적이고 확실히 확인할 수 있다. 코드북에 들어가는 정보는 때에 따라 다르지만 이정도가 적당하다고 생각한다. 1. 테이블 이름 2. 변수명/설명 3. 데이터 타입 4. Null 값 유무 5. 코드값 여부 6. 코드 테이블 7. 테이블 차원 8. 비고 데이터 정의서 활용법 이번 해커톤을 계획하면서 내가 처음 한일이 코드북을 제작한 것이다. 팀원도 안 모인 상태에서 조금이나..
2020년 말 나의 기술 역량은?
과연 내가 할 수 있는것들은 얼마나 될까? 지난 'VM_Ware 이덕수 이사님'의 특강 후 내 역량을 확인할 필요가 있다고 생각했다. 지금까지 배운 것을 한눈에 보기 쉽게 정리하는 방법에 대해 고민하던 중 마인드맵을 그릴 수 있는 'MindNote'라는 App를 발견, 지금까지 배운 것을 모두 정리해 보았다. 얼마 되지 않을 것 같아서 후다닥 할 줄 알았는데, 내가 배운 것들을 강제 복습하며 만드는데 3일이 걸렸다. 기술 활용은 또 다른 이야기지만, 나열해보니 은근히 배운 것이 많아 나름 뿌듯함과 동시에 앞으로 어떤 부분을 집중적으로 공부해야 할지 확인할 수 있어서 좋았다. 마인드맵(클릭시 확대)
코로나 데이터 분석/시각화
프로젝트 목표 1. 국내 코로나 데이터로 코로나 감염 환자들의 확산 추이를 지도에 나타내는것 2. 데이터를 통해 새로운 인사이트를 도출하여 제안하는것 데이터 수집 코로나 데이터는 DS4C 팀에서 KCDC에서 제공한 자료를 정리하여 배포한 데이터를 사용했습니다. https://www.kaggle.com/kimjihoo/coronavirusdataset 데이터 코드 북
![[Oracle] 오라클이 쿼리문을 이해하는 방식](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fuy8UO%2FbtqKkNQMwHW%2FxT7QT9cqyVL7BYnhseGIC1%2Fimg.jpg)
[Oracle] 오라클이 쿼리문을 이해하는 방식
쿼리 실행 방식 알아보기 단순한 쿼리 문장이어도 오라클은 쿼리를 분석하는 방식은 다르다. 전체적인 과정은, 1. 구문분석(Parsing) 2. 최적화(Optimination) 3. Row source Generator 4. 실행(Execute) 1. 구문분석(Parsing) 작성한 쿼리가 문법적으로 틀리지 않은지 확인하는 단계. 해당 쿼리를 SQL 서버가 이해할 수 있는 단위로 분해하는 과정이다. 만약, 구문이 부정확(문법이 틀리다면)하다면 이 단계에서 처리를 중단한다. 또한, 이 문장이 일괄처리(batch)에 속해 있다면 일괄 처리 전체를 중단한다. 2. 최적화(Optimination) 쿼리 처리에서 매우 중요한 단계로 통계나 조각 정보 등을 바탕으로 실행계획(Execution Plan)을 만들..
![[Oracle] 리스너(Listener)와 리스너 명령어](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FcdT2mM%2FbtqKmoJFjZL%2Fgy5jIVOEFKKuwbSiWg06K1%2Fimg.jpg)
[Oracle] 리스너(Listener)와 리스너 명령어
오라클 리스너란 오라클 리스너는 네트워크를 이용하여 클라이언트에서 오라클 서버로 연결하기 위한 오라클 네트워크 관리자입니다. 네트워크를 통한 연결은 모두 리스너가 담당하며 리스너와 연결되기 위해서는 클라이언트에 오라클 NET8(오라클 클라이언트)이 설치되어 가동중이어야 합니다. 즉, 클라이언트의 데이터베이스 접근에 대한 요청을 받아들일 수 있도록 리스너를 가동하고 있어야 합니다. 이러한 리스너의 시작/종료/상태를 확인하는 오라클 데이터베이스 관리TOOL이 오라클 리스너(LSNRCTL)입니다. LSNRCTL은 리스너 컨트롤의 약자입니다. 리스너 명령어 -- lsnrctl 명령어 lsnrctl help lsnrctl status lsnrctl start lsnrctl stop lsnrctl reload ..
![[Oracle] DB 계정 생성/사용자 확인](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbdrcUm%2FbtqKhjJACd4%2FbKLFH1guUtOGjzZl8WpIqK%2Fimg.jpg)
[Oracle] DB 계정 생성/사용자 확인
SQL*PLUS 실행하기 1. CMD 창에서 SQL을 실행 PC> sqlplus 2. 사용자 이름/비밀번호 적기 Enter user-name : [sys] Enter password : [password] 3. 패스워드는 오라클 Database 설치시 입력했던 패스워드 입력 #만약 패스워드가 안된다면 'sys' 계정으로 들어간 후 비밀번호 부여해야함 연결메시지 확인 Connected to : Oracle database 12c Express Edition Realease 12.2.0.2.0 - 64bit Production 현재 DB에 생성된 계정 확인하기 SELECT * FROM ALL_users; // 모든 계정에 대한 정보 확인 SELECT * FROM DBA_users; // 모든 계정에 ..
파이콘 2020. 나의 첫 파이콘(Pycon)
파이콘(Pycon) 참석 파이콘은 파이썬 프로그래밍 언어 커뮤니티에서 주관하는 비영리 컨퍼런스입니다. 2014년을 시작으로 지금까지 총 7회의 파이콘이 열렸고, 올해는 코로나로 인해 처음으로 온라인 파이콘이 진행되었습니다. 올해 파이콘의 슬로건은 "We are Pythonistas"이었습니다. 파이썬이라는 공통점 하나로 모이는 사람들이 파이썬에 대해서 나누고, 각 분야에서 파이썬이 어떻게 쓰여지고 있는지, 장단점은 무엇이 있는지에 대해 나눌 수 있었던 좋은 기회였습니다. 다양한 강의 중 관심 분야로 집중해서 들은 강의는 아래입니다. 1. Python을 사용하는 데이터 과학자를 위한 서버없는 WEb Assembly 기반 과핟 연산 환경 만들기 by. 신정규 2. 이 선 넘으면 침법이야, BEEP..