분류 전체보기

MySQL 스키마, 테이블 생성

SQL문이 아닌 MySQL Workbench 툴을 이용한 스키마, 테이블 생성방법에 대해 알아보자. 1. Schema(데이터베이스) 생성 좌측 상단에 있는 원통형 아이콘을 클릭하고 이름을 입력후 apply를 눌러준다. 창이 하나 더 뜨는데 다시 apply를 누른다. 새로운 스키마가 생성된걸 확인할 수 있다. 2. Table 생성 테이블 모양 아이콘 또는 마우스 커서에 있는 Create Table을 눌러 테이블을 만들 수 있다. 테이블명, 컬럼명, 데이터타입 등을 지정해주고 apply를 누른다. varchar(15)는 문자열을 최대 15자 까지 저장할 수 있다. 테이블이 생성된 걸 확인할 수 있다. 수정하고 싶으면 Alter Table을 선택하면 된다.

AWS RDS 와 MySQL Workbench 연결하기

Amazon RDS > 데이터베이스 > DB식별자 이름을 클릭한다. . 엔드포인트 주소를 복사한다. MySQL workbench를 실행하고 + 버튼을 누른다. 위에서 복사한 엔드포인트 주소를 Hostname에 붙여넣기 한다. Connection Name 과 Username은 알아서 이름을 정해주면 된다 Store in Vault는 비밀번호를 저장한다. 다 했으면 Test Connection을 눌러 연결이 잘 되는지 확인한다. 정상적으로 연결됐을 때의 화면. 만약 에러가 발생했다면 아래의 방법을 따라해보자. VPC 보안그룹 클릭 인바운드 규칙 클릭 에러가 발생했으면 아마 하단에 박스친 부분이 비어있을 것이다. 그럴 경우 아마존의 방화벽에 막혀 접속이 차단된다. 인바운드 규칙을 추가해 포트의 접속을 허용해줘..

MySQL Workbench 설치하기

MySQL Workbench 설치방법을 알아보자 https://dev.mysql.com/downloads/workbench/ MySQL :: Download MySQL Workbench Select Operating System: Select Operating System… Microsoft Windows Ubuntu Linux Red Hat Enterprise Linux / Oracle Linux Fedora macOS Source Code Select OS Version: All Windows (x86, 64-bit) Recommended Download: Other Downloads: Windows (x86, 64-bit), M dev.mysql.com "No thanks, just start my..

AWS - RDS 만들기

AWS 프리티어로 가입해 무료로 AWS RDS 사용법을 학습하려 한다. 무료 클라우드 컴퓨팅 서비스 - AWS 프리 티어 Q: AWS 프리 티어란 무엇입니까? AWS 프리 티어는 고객에게 서비스별로 지정된 한도 내에서 무료로 AWS 서비스를 살펴보고 사용해 볼 수 있는 기능을 제공합니다. 프리 티어는 12개월 프리 티어, 상 aws.amazon.com AWS 회원가입 하기. 무료로만 사용할 생각이어도 신용카드 등록이 필요하다. 서비스 > 데이터베이스 > RDS 선택 후 데이터베이스 생성 클릭 DB이름, 사용자이름, 암호 설정 건드릴거 없다. 무료로 쓸 거면 스토리지 20으로 한다. 학습용으로 쓸 목적이므로, 어디서든 접속할 수 있도록 퍼블릭액세스를 허용한다. 나머지는 기본옵션 그대로 하고 데이터베이스 생..

데이터 전처리 - Categorical Encoding

카테고리컬 인코딩 컴퓨터는 문자를 인식하지 못하기 때문에, 컴퓨터가 이해할 수 있도록 카테고리컬 데이터를 숫자로 바꿔주는 작업. 카테고리컬 인코딩에는 크게 2가지가 있다. Label Encoding : 0부터 넘버링, 카테고리컬 데이터가 3개 이상일 경우 학습 성능이 떨어진다. One-Hot Encoding : 카테고리컬 데이터를 0과 1의 숫자로 변환, 3개 이상의 카테고리컬 데이터일 경우 사용한다. 1. 레이블 인코딩(Label Encoding) import pandas as pd from sklearn.preprocessing import LabelEncoder encoder = LabelEncoder() X['Country'] = encoder.fit_transform( X['Country'] )..

Numpy/Pandas 에서 datetime 다루기

파이썬의 datetime은 iterable 하지 않다. 그래서 넘파이 라이브러리에선 이를 보강해, array도 처리할 수 있는 datetime64 클래스를 만들었다. 넘파이를 기반으로 하는 판다스에서도 사용가능하다. import numpy as np someday = np.array('2022-05-11', dtype= np.datetime64) someday >>> array('2022-05-11', dtype='datetime64[D]') someday + 10 >>> numpy.datetime64('2022-05-21') someday - 35 >>> numpy.datetime64('2022-04-06') someday + np.arange(5) >>> array(['2022-05-11', '202..

Pandas 데이터프레임에서 boolean indexing의 활용

import pandas as pd df = pd.read_csv('crime.csv', index_col=0) df​ 데이터를 보니 검거율이 100을 넘는 값들이 있다. 100을 초과한 값들을 100으로 변경해주려 한다. 불리언 인덱싱을 활용해 여러 컬럼에 있는 값들을 한번에 바꿀 수 있다. df.loc[: , '강간검거율':'폭력검거율'] > 100 df[ df.loc[: , '강간검거율':'폭력검거율'] > 100 ] df[ df.loc[: , '강간검거율':'폭력검거율'] > 100 ] = 100

Pandas 피벗 테이블(Pivot table)

pivot table을 사용하면 컬럼에 중복된 값이 있을 때, 컬럼을 인덱스로 만들어 유니크하게 만들 수 있다. import pandas as pd import numpy as np df = pd.read_excel('../data/sales-funnel.xlsx') # 에러가 날 경우 pip install openpyxl df pd.pivot_table(df, index=['Name']) # index 파라미터에는, 유니크하게 만들고 싶은 컬럼의 이름을 적는다. # 중복되는게 있을때 디폴트로 수치데이터들의 평균이 출력된다. # Manager 와 Rep 를 유니크하게 만들고, 수치의 평균을 구하라 pd.pivot_table(df, index=['Manager', 'Rep']) # Name 컬럼을 유니크하..