코딩하는 타코야끼

[Review] 비전공자의 제로베이스: 데이터 취업 스쿨 후기

가스오부시 — Sun, 11 Feb 2024 03:19:30 +0900

안녕하세요!

저는 반도체 장비 제작부에서 근무하며 쌓은 경험을 토대로 데이터 분야로의 전환을 꿈꾸게 된 비전공자 입니다!

새로운 도전을 위해 국비 지원 부트캠프에 등록하여 6개월 간 오프라인 수업을 듣고 두 개의 프로젝트에 참여했어요.

다양한 분야의 지식을 접하긴 했지만, 이것만으로는 전문적인 지식을 쌓기에는 부족함을 느꼈어요.

오프라인 부트캠프를 통해 컴퓨터 비전 분야에 큰 관심을 갖게 되었고, 이 분야로의 취업을 목표로 설정했어요.

국비 지원 부트캠프를 마친 후 더 전문화된 교육을 찾아 제로베이스 부트캠프에 등록했는데, 데이터 직군에 특화된 커리큘럼이 인상 깊었어요. 온라인 부트캠프의 유연함이 큰 장점으로 다가왔고,

수강생들과 함께하는 Slack 커뮤니티와 강사님, 멘토님의 지원 덕분에 안심하고 학습할 수 있었어요.

제로베이스에서의 프로젝트 진행 방식도 매우 체계적이었어요.

프로젝트 시작 전에 실시한 설문조사를 통해 저와 시간대가 맞는 팀원들과 매칭되었고, 담임 교수님의 꾸준한 피드백이 큰 도움이 되었어요. 6개월 동안 머신러닝, 딥러닝, 그리고 파이널 프로젝트 등 총 세 개의 프로젝트를 경험했어요.

간단히 제가 진행한 프로젝트를 소개 드릴게요.

[ML프로젝트] 항공편 출발 지연 예측기

개요

프로젝트는 XGBoost 모델을 사용하여 항공편 지연을 예측합니다
기본 설정된 항공사는 'JetBlues'로, 연간 지연율이 거의 20%에 달하는 항공사입니다.
사용자가 출발 주, 도착 주, 출발 시간에 대한 정보를 제공하면, 모델은 항공편의 출발 지연 확률을 제공합니다.
사용자 입력에 따라 앱은 ML 모델을 실행하는 데 필요한 열을 자동으로 생성합니다.
- 주 정보는 공항 코드로부터 추론
- 여행 기간은 예상 출발 시간과 도착 시간으로부터 추론
- 비행 번호(비행기 꼬리 번호)는 무작위로 생성

데이터 셋

DACON에서 제공하는 대규모 데이터셋을 활용했습니다.
출처 Link : https://dacon.io/competitions/official/236094/overview/description

시연 영상

결론

예측 성능: 강력한 데이터셋과 고급 분석을 활용하여, 프로젝트는 예측 정확도와 운영 가능성 사이의 균형을 달성하며, 모델은 지연 예측에서 약 60-65%의 정확도를 보여줍니다.
사용자 친화적 인터페이스: Streamlit 웹 라이브러리는 사용자가 항공편 지연 가능성을 빠르게 평가할 수 있는 직관적이고 접근하기 쉬운 플랫폼을 제공합니다.
종합적 데이터 분석: 광범위한 전처리와 탐색적 데이터 분석을 통해 통찰력 있는 상관관계의 기반한 서비스를 제공합니다.

[DL프로젝트] 손 동작 인식의 정확도를 높이기 위해 단순 이동 평균 기법을 적용한 YOLO 이미지 분류기

개요

이 프로젝트는 손 동작 분류 시 진동을 부드럽게 하기 위해 단순 이동 평균(SMA) 기술을 적용하여 이미지 분류에서 프레임 수준 안정성을 향상시키는 것을 목표로 합니다.

SMA를 적용 전(파란색 선)

SMA 적용 후(주황색 선)

결론

프레임 수준 진동 감소 : 단순 이동 평균(SMA) 전략을 사용하여 프레임 간 진동을 완화하여 보다 안정적이고 일관된 제스처 인식을 제공합니다.
향상된 정확도 및 안정성 : SMA 기술은 특히 기존 방법이 급격한 클래스 변동으로 인해 어려움을 겪을 수 있는 시나리오에서 제스처 분류의 정확성과 안정성을 크게 향상시킵니다.

[Final프로젝트] 조립 과제 검수 및 행동 안내 시스템

문제 정의

수작업에 의존하는 조립 과정에서의 실수는 불가피하며, 이러한 실수는 비용 증가와 제품의 품질 저하를 초래합니다.
새로운 작업이나 복잡한 조립 과제에 대해 빠르게 교육하고 훈련시키는 것이 필수적이지만, 기존의 교육 방식은 많은 시간을 요구합니다.

Process

시연 영상

기대 효과

어린이들의 창의적 사고와 문제 해결 능력 발달에 도움을 주는 교육적 수단으로 활용될 수 있습니다.
고령자가 일상적인 조립 작업을 쉽게 수행할 수 있게 도와 그들의 자립 생활 지원과 삶의 질 향상이 가능합니다

이처럼 프로젝트를 진행하면서,

특히 첫 번째 프로젝트에서 데이터 전처리와 탐색적 데이터 분석(EDA) 과정에서 몇 가지 어려움을 경험했어요.

교수님께서는 데이터와 친해질 것과 EDA를 보다 깊이 있게 활용할 것을 조언해주셨어요.

미국 국내 항공편 데이터를 분석하며,

시간대별 컬럼을 추가한 결과 새벽에 지연률이 높다는 흥미로운 사실을 발견했어요.

계절별 분석을 통해 겨울철에 지연률이 더 높다는 것도 알아냈고,

데이터와의 친밀함이 스토리텔링에 깊이를 더하는 데 큰 도움이 되었어요.

이러한 경험은 나중의 딥러닝 프로젝트와 파이널 프로젝트에서도 EDA를 풍부하게 활용하는 데 큰 도움이 되었어요.

온라인으로 팀 프로젝트를 진행하면서 겪은 어려움도 많았어요.

팀원들의 참여도 문제, Slack을 통한 상황 공유, 개인 사정으로 인한 프로젝트 참여 어려움 등 다양한 문제를 경험했어요.

프로젝트 마감 기한과 발표 일정이 정해져 있었기 때문에, 프로젝트 진행이 더딜 때면 스트레스가 상당했어요.

하지만 저는 팀원들과의 긴밀한 협력을 통해,

서로의 부담을 나누고, 각자의 진행 상황을 함께 검토하며 이를 내 것으로 만드는 데 주력했어요.

서로의 어려움과 모르는 부분을 공유하면서 프로젝트의 진행 상황을 크로스체크하고,

효율적으로 시간을 관리할 수 있었어요.

이러한 노력은 프로젝트의 품질을 시간 투자에 비례하여 향상시킬 수 있다는 것을 실감하게 해주었어요.

파이널 프로젝트 기간 중에 한 팀원이 개인 사정으로 참여가 어려워지는 상황이 발생했지만,

지속적인 커뮤니케이션과 상호 검토를 통해 프로젝트를 성공적으로 완수할 수 있었어요.

끝까지 포기하지 않는 것의 중요성을 깨달았고, 이러한 자세가 앞으로의 진로에 있어 큰 자산이 될 것임을 확신했어요.

제로베이스 부트캠프에서의 6개월은 새로운 시작을 위한 훌륭한 발판이 되었고,

제 개인적 성장에 있어 결정적인 시간이었어요.

이런 분들께 추천해요

제로베이스 부트캠프를 추천하는 이유는 여러 가지가 있어요.

첫째로, 이곳의 커리큘럼은 데이터 직군에 특화되어 있어, 데이터 과학, 머신러닝, 딥러닝과 같은 구체적인 분야에 깊이 있는 지식과 실무 능력을 키울 수 있어요. 저처럼 특정 기술 분야에 전문성을 갖추고자 하는 사람들에게 제로베이스는 이상적인 학습 환경을 제공해요.

또한, 제로베이스는 온라인 부트캠프의 유연성을 큰 장점으로 삼고 있어요.

장소에 구애받지 않고 원하는 시간에 학습할 수 있는 이점은 바쁜 일상 속에서도 꾸준히 학습할 수 있는 동력을 제공하구요. 강의 녹화본을 통해 복습이 가능하고, 개인의 일정에 맞춰 공부할 수 있기 때문에 효율적인 학습 관리가 가능해요.

제로베이스는 또한 수강생들과의 커뮤니티를 중요하게 여겨요.

기수별로 운영되는 Slack 커뮤니티는 동료 학습자들과의 네트워킹, 정보 교환, 질문과 답변 등을 가능하게 하여,

온라인 학습이지만 혼자가 아니라는 느낌을 줘요.

강사님과 멘토님의 적극적인 지원과 피드백은 학습 과정에서 발생할 수 있는 어려움을 쉽게 극복할 수 있게 도와주기도 해요.

제가 생각하는 장점

특히 두드러지는 장점 중 하나는 바로 '이력서 및 포트폴리오 온라인 멘토링' 서비스에요.

이 서비스는 직업을 찾는 과정에서 종종 간과되기 쉬운, 하지만 매우 중요한 부분을 강화해 줘요.

이력서 작성과 포트폴리오 준비 과정에서 전문가의 조언을 받을 수 있어,

지원자가 구직 시장에 자신의 역량을 효과적으로 어필할 수 있도록 도와줘요.

이점은 특히 데이터 분야와 같이 경쟁이 치열한 분야에서 더욱 빛을 발하게 도와줘요.

또한, 제로베이스는 학습자를 '중고 신입'으로 만들어 줄 수 있다는 점에서도 큰 장점을 가저요.

(여기서 '중고 신입'이란, 새로운 직업 분야에 첫 발을 딛는 신입이지만,

이미 해당 분야에 대한 심층적인 이해와 실무 경험이 있는 인재를 의미합니다).

제로베이스의 실무 중심 커리큘럼과 프로젝트 기반 학습은 학습자가 신입사원으로서 기대되는 기본적인 지식뿐만 아니라,

직무 수행에 필요한 실질적인 경험과 스킬을 갖출 수 있도록 설계되어 있어요.

이를 통해 학습자는 취업 시장에서 요구하는 '중고 신입'으로 변모할 수 있으며,

이는 곧 취업률의 향상으로 이어질 수 있어요.

종합적으로 볼 때, 제로베이스는 단순한 기술 전달을 넘어서 취업 성공에 이르기까지

전 과정을 면밀히 지원하는 부트캠프인 것 같아요.

이력서와 포트폴리오 멘토링 서비스는 취업 준비 과정에서 구직자가 전문가적 조언을 통해 자신을 더욱 돋보이게 만들 수 있도록 지원하며, 교육 프로그램 자체가 시장에서 요구하는 실무 역량을 갖춘 '중고 신입'을 양성한다는 점에서

제로베이스 부트캠프는 눈에 띄는 선택지가 되는 것 같아요.

이 모든 것들이 제로베이스를 추천하는 이유이며, 제 개인적인 경험을 통해 이 부트캠프의 가치를 확신하게 되었어요.

⚡️ 다양한 결제 방식

데이터 취업 스쿨에서는 수강생분들이 부담 없이 학습할 수 있도록 최소한의 수강료만을 요구해요.

이러한 정책은 수강생분들이 경제적 부담을 최소화하면서도 필요한 지식과 기술을 습득할 수 있게 하기 위함이에요.

또한, 선불로 납부하는 경우 최대한의 할인을 적용하여,

수강생들이 가장 합리적인 가격에 수강할 수 있도록 배려하고 있어요.

그리고 '후불 등록금 제도'는 수강생들이 교육 과정에 참여하면서 최소한의 운영 비용을 지불하고,

이후 수강료를 납부하는 구조를 가지고 있어요.

이 제도는 수강생들이 교육 과정에 더욱 집중할 수 있도록 하면서도,

후불 납부가 부당하게 이용되는 것을 방지하기 위해 마련되었어요.

등록 시 30만원의 등록금을 내게 되며, 이 금액은 중도 하차나 탈락할 경우 추가 납부 없이 그대로 유지돼요.

다만, 과정이 시작된 후 14일이 지나면 등록금은 환불되지 않으므로, 이 점을 유의하며 수강 신청을 해야 합니다!

긴 글 읽어주셔서 감사합니다!

2024 데이터 직무 100% 취업보장 {데이터 취업 스쿨} | zero-base

비전공자도 2024년 데이터 직무 취업을 100% 보장합니다.

zero-base.co.kr

제로베이스 데이터 취업 스쿨 교육 과정 소개서

논문반/공모전반이 있는 유일한 데이터 취업 교육! 제로베이스 데이터 취업 스쿨만의 자신있는 깊이를 보여드려요.

zero-base.oopy.io

❖ 해당 게시글은 소정의 원고료를 받아 작성되었습니다

[Web-Crawling] 인터파크 영화 Top 10

가스오부시 — Mon, 30 Oct 2023 20:14:19 +0900

1. Target Data(Web Page)

인터파크 영화 예매율 주간순위
Source: 인터파크 영화 랭킹리포트
하기 Image의 [영화 Top 10]이 Target Data 입니다.

2. Web Crawling & DataFrame 만들기_1

import

from selenium import webdriver
from selenium.webdriver.common.by import By 
from selenium.common.exceptions import NoSuchElementException
import pandas as pd

from selenium import webdriver: 웹 브라우저를 제어하기 위한 도구를 가져옵니다.
from selenium.webdriver.common.by import By: 웹 요소를 찾기 위한 방법을 정의합니다.
from selenium.common.exceptions import NoSuchElementException: 웹 요소를 찾지 못했을 때의 예외를 가져옵니다.
import pandas as pd: 데이터를 처리하기 위한 라이브러리인 pandas를 pd로 줄여서 가져옵니다.

객체 생성 및 웹페이지 접근

# 객체 생성
chrome_options = webdriver.ChromeOptions()
chrome_options.binary_location = "./chromedriver" # 경로지정 필요
driver = webdriver.Chrome(options = chrome_options)

# 웹페이지 접근
driver.get("<https://movie.interpark.com/Community/Movie/Ranking/Ranking_Report.asp>")

객체 생성:
- chrome_options = webdriver.ChromeOptions(): Chrome 브라우저의 옵션을 설정할 수 있는 객체를 생성합니다.
- chrome_options.binary_location = "./chromedriver": ChromeDriver의 위치를 지정합니다. binary_location 은 실제 Chrome 브라우저의 실행 파일 위치를 가리킵니다. ChromeDriver의 경로를 설정하려면 executable_path 인자를 사용해야 합니다.
- driver = webdriver.Chrome(options = chrome_options): 위에서 설정한 옵션을 사용하여 Chrome 웹 브라우저를 실행하고 그 제어를 위한 driver 객체를 생성합니다.
웹페이지 접근:
- driver.get("<https://movie.interpark.com/Community/Movie/Ranking/Ranking_Report.asp>"): 생성된 driver 객체를 사용하여 지정된 URL의 웹 페이지에 접근합니다.

반복문

# 빈 리스트 생성
rank = [] # 순위
c_rank = [] # 순위증감
movie_name = [] # 영화제목
reservation = [] # 예매점유율
date = [] # 개봉일

for i in range(2,12):
    # 영화 순위
    element = driver.find_element(By.XPATH, f'/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]')
    # 영화 이름
    element_n = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[2]/table/tbody/tr/td[2]/a/b")
    # 예매점유율
    element_r = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[3]/font/font")
    # 개봉일
    element_d = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[5]")
    
    # 순위증감
    try:
        # <span> 태그 내의 텍스트 추출
        element_s = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]/span").text
        c_rank.append(element_s)
        
    except NoSuchElementException:
        try:
            # <img> 태그의 유무 확인
            driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]/img")
            c_rank.append("new")
            
        except NoSuchElementException:
            # 그 외의 텍스트 추출
            text = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]").text.split(")")[0].split("(")[-1].strip()
            c_rank.append(text)
    
    # 빈 리스트에 추가
    rank.append(element.text.strip().split()[0])
    movie_name.append(element_n.text)
    reservation.append(element_r.text)
    date.append(element_d.text)

# DataFrame 정의
df = pd.DataFrame({
    "순위": rank,
    "순위증감": c_rank,
    "영화제목": movie_name,
    "예매점유율": reservation,
    "개봉일": date
})

변수 초기화:
- rank, c_rank, movie_name, reservation, date: 스크래핑할 데이터를 저장할 리스트들을 초기화합니다.
- for i in range(2,12): 웹 페이지에서 2부터 11까지의 행에 위치한 영화 정보를 스크래핑합니다.
- 각각의 driver.find_element(By.XPATH, ...) 코드는 특정 XPath 위치에 있는 웹 요소를 찾습니다.
- .text 메서드는 해당 웹 요소의 텍스트를 추출합니다.
- rank, movie_name, reservation, date 리스트에 각각의 웹 요소에서 추출한 텍스트를 추가합니다.
- 순위증감 정보를 스크래핑할 때, 특정 요소가 없는 경우를 대비하여 try-except 구문을 사용합니다.
데이터 프레임 생성:
- pd.DataFrame({...}): 스크래핑한 데이터 리스트들을 사용하여 pandas 데이터프레임을 생성합니다

DataFrame 확인

df

3. Web Crawling & DataFrame 만들기_2

페이지 이동 코드

# 페이지 이동
driver.find_element(By.XPATH, "/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[1]/tbody/tr[3]/td/form/select").click()
driver.find_element(By.XPATH, "/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[1]/tbody/tr[3]/td/form/select/option[7]").click()

driver.find_element(By.XPATH, "...").click(): 주어진 XPath 위치에 있는 웹 요소를 찾아 클릭합니다. 여기서는 드롭다운 메뉴를 클릭하여 옵션 목록을 표시하는 작업을 수행합니다.
다음 줄의 코드에서는 드롭다운 메뉴에서 7번째 옵션을 선택하게 됩니다.

반복문

# 데이터를 저장할 데이터프레임
results = []

# 주 50개
for n in range(116, 66, -1):
    
    # 페이지 이동
    driver.find_element(By.XPATH, "/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[1]/tbody/tr[3]/td/form/select").click()
    driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[1]/tbody/tr[3]/td/form/select/option[{n}]").click()
    
    # 빈 리스트 생성
    rank = []
    c_rank = [] 
    movie_name = []
    reservation = []
    date = []
    week = []
    
    # 주 
    for j in range(0, 10): 
        elemet_w = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[1]/tbody/tr[3]/td/form/select/option[{n}]")
        week.append(elemet_w.text.split()[0])
    
    for i in range(2,12):
        # 영화 순위
        element = driver.find_element(By.XPATH, f'/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]')
        # 영화 이름
        element_n = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[2]/table/tbody/tr/td[2]/a/b")
        # 예매점유율
        element_r = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[3]/font/font")
        # 개봉일
        element_d = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[5]")

        # 순위증감
        try:
            # <span> 태그 내의 텍스트 추출
            element_s = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]/span").text
            c_rank.append(element_s)
        except NoSuchElementException:
            try:
                # <img> 태그의 유무 확인
                driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]/img")
                c_rank.append("new")
            except NoSuchElementException:
                # 그 외의 텍스트 추출
                text = driver.find_element(By.XPATH, f"/html/body/table/tbody/tr[2]/td[3]/table/tbody/tr/td/table[3]/tbody/tr[2]/td/table[3]/tbody/tr[3]/td[2]/table/tbody/tr[{i}]/td[1]").text.split(")")[0].split("(")[-1].strip()
                c_rank.append(text)

        # 빈 리스트에 추가
        rank.append(element.text.strip().split()[0])
        movie_name.append(element_n.text)
        reservation.append(element_r.text)
        date.append(element_d.text)

    # 데이터프레임 정의
    df = pd.DataFrame({
        "순위": rank,
        "순위증감": c_rank,
        "영화제목": movie_name,
        "예매점유율": reservation,
        "개봉일": date,
        "주": week
    })
    
		# results 리스트에 추가
    results.append(df)

# 모든 DataFrame 병합
df_target = pd.concat(results, ignore_index=True)
df_target

변수 초기화:
- results: 각 주별로 스크래핑한 데이터를 저장할 데이터프레임 리스트입니다.
주별 데이터 스크래핑:
- for n in range(116, 66, -1): 최근 50주 동안의 데이터를 스크래핑하기 위한 반복문입니다.
- 페이지 이동 부분에서는 각 주의 데이터를 보여주는 페이지로 이동합니다.
주 정보 스크래핑:
- 현재 페이지의 주 정보를 스크래핑합니다.
영화 정보 스크래핑:
- 각 주별로 상위 10개의 영화 정보를 스크래핑합니다.
- 이 부분은 이전에 설명한 코드와 유사하며, 주어진 XPath 위치에서 웹 요소를 찾아 텍스트 정보를 추출합니다.
데이터프레임 생성:
- 스크래핑한 데이터를 pandas 데이터프레임으로 변환하고, results 리스트에 추가합니다.
데이터프레임 병합:
- pd.concat(): 모든 주의 데이터를 포함하는 하나의 데이터프레임으로 합칩니다.

[스터디 노트] Week12_3일차 [6 ~ 7] - ML

가스오부시 — Wed, 11 Oct 2023 15:39:23 +0900

1. Decision Tree를 이용한 Wine 분석

red_url = "<https://raw.githubusercontent.com/PinkWink/ML_tutorial/master/dataset/winequality-red.csv>"
white_url = "<https://raw.githubusercontent.com/PinkWink/ML_tutorial/master/dataset/winequality-white.csv>"

red_wine = pd.read_csv(red_url, sep=";")
white_wine = pd.read_csv(white_url, sep=";")

red_wine.head()
white_wine.head()

⚡️ 레드/화이트 와인별로 등급

fig = px.histogram(wine, x="quality", color="color") 
fig.show()

⚡️ 데이터 분리

X = wine.drop(["color"], axis=1)
y = wine["color"]

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2,
                                                   stratify=y,
                                                   random_state=0)
np.unique(y_train, return_counts=True)
>>>
(array([0, 1]), array([3918, 1279]))

⚡️시각화

# 훈련용과 테스트용이 레드/화이트 와인에 따라 어느정도 구분되었을까
import plotly.graph_objects as go

fig = go.Figure()
fig.add_trace(go.Histogram(x=X_train["quality"], name="Train"))
fig.add_trace(go.Histogram(x=X_test["quality"], name="Test"))

fig.update_layout(barmode="overlay")
fig.update_traces(opacity=0.75)
fig.show()

⚡️ 모델 학습 및 정확성

tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)

X_train_pred = tree.predict(X_train)
X_test_pred = tree.predict(X_test)

print("Train acc : ",accuracy_score(y_train, X_train_pred))
print("Test acc : ",accuracy_score(y_test, X_test_pred))
>>>
Train acc :  0.9998075812969021
Test acc :  0.9830769230769231

2. 데이터 전처리

box-lot

def px_box(target_df):
    fig = go.Figure()
    fig.add_trace(go.Box(y=target_df["fixed acidity"], name="fixed acidity"))
    fig.add_trace(go.Box(y=target_df["chlorides"], name="chlorides"))
    fig.add_trace(go.Box(y=target_df["quality"], name="quality"))

    fig.show()

px_box(X)

컬럼들의 최대/최소 범위가 각각 다르고, 평균과 분산이 각각 다르다.
특성(feature)의 편향 문제는 최적의 모델을 찾는데 방해가 될 수도 있다.

최적화 변환

from sklearn.preprocessing import MinMaxScaler, StandardScaler

MMS = MinMaxScaler()
SS = StandardScaler()

MMS.fit(X)
SS.fit(X)

X_mms = MMS.transform(X)
X_ss = SS.transform(X)

ss_df = pd.DataFrame(X_ss, columns=X.columns)
mms_df = pd.DataFrame(X_mms, columns=X.columns)

결정나무에서는 이런 전처리는 의미를 가지지 않는다.
주로 Cost Function을 최적화할 때 유효할 때가 있다.
MinMaxScaler와 StandardScaler 중 어떤 것이 좋을지는 해봐야 안다.

⚡️ minmaxscaler

# 최대 최소값을 1과 0으로 강제로 맞추는 것
px_box(mms_df)

# MinMaxScaler 적용한 모델
X_train, X_test, y_train, y_test = train_test_split(mms_df, y, 
                                                    test_size=0.2,
                                                    stratify=y,
                                                   random_state=0)

tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)

X_train_pred = tree.predict(X_train)
X_test_pred = tree.predict(X_test)

print("Train_acc : ", accuracy_score(y_train, X_train_pred))
print("Test_acc : ", accuracy_score(y_test, X_test_pred))
>>>
Train_acc :  0.9998075812969021
Test_acc :  0.9830769230769231

⚡️ standardscaler

# 평균을 0으로 표준편차를 1로 맞추는 것
px_box(ss_df)

# StandardScaler을 적용한 모델
X_train, X_test, y_train, y_test = train_test_split(ss_df, y, 
                                                    test_size=0.2,
                                                    stratify=y,
                                                   random_state=0)

tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)

X_train_pred = tree.predict(X_train)
X_test_pred = tree.predict(X_test)

print("Train_acc : ", accuracy_score(y_train, X_train_pred))
print("Test_acc : ", accuracy_score(y_test, X_test_pred))
>>>
Train_acc :  0.9998075812969021
Test_acc :  0.9830769230769231

3. 와인 맛에 대한 분류 - 이진 분류

quality 컬럼을 이진화 진행

wine["taste"] = [1 if grade>5 else 0 for grade in wine["quality"]]
wine.head()

X = wine.drop(["taste", "quality"], axis=1)
y = wine["taste"]

X_train, X_test, y_train, y_test = train_test_split(X, y, 
                                                    test_size=0.2,
                                                    stratify=y,
                                                    random_state=0)

tree = DecisionTreeClassifier(max_depth=2, random_state=0)
tree.fit(X_train, y_train)

X_train_pred = tree.predict(X_train)
X_test_pred = tree.predict(X_test)

print("Train_acc : ", accuracy_score(y_train, X_train_pred))
print("Test_acc : ", accuracy_score(y_test, X_test_pred))
>>>
Train_acc :  0.7379257263806042
Test_acc :  0.71

import sklearn.tree as sk_tree

plt.figure(figsize=(12, 8))
sk_tree.plot_tree(tree, feature_names=X.columns,
                 rounded=True,
                 filled=True)
plt.show()

4. PipeLine

머신러닝에서 "파이프라인" (Pipeline)은 데이터 전처리, 특징 추출, 모델 학습 및 예측과 같은 연속적인 변환 및 추정 작업을 순차적으로 연결하는 방법을 말합니다.

from sklearn.pipeline import Pipeline

X = wine.drop(["color"], axis=1)
y = wine["color"]

X = wine.drop(["color"], axis=1)
y = wine["color"]

pipe.steps[0]
>>>
('scaler', StandardScaler())

set_params( )

스탭이름 “clf” + 언더바 두 개 “- -” + 속성 이름

pipe.set_params(clf__max_depth=2)
# pipe.set_params(clf__random_state=0)

모델 학습 및 추론

X_train, X_test, y_train, y_test = train_test_split(X, y,
                                                    test_size=0.2,
                                                    stratify=y,
                                                    random_state=13
                                                   )
pipe.fit(X_train, y_train)

X_train_pred = pipe.predict(X_train)
X_test_pred = pipe.predict(X_test)

train_acc = accuracy_score(y_train, X_train_pred)
test_acc = accuracy_score(y_test, X_test_pred)

print("Train_acc: ", train_acc)
print("Test_acc: ", test_acc)
>>>
Train_acc:  0.9657494708485664
Test_acc:  0.9576923076923077

모델 구조 확인

import matplotlib.pyplot as plt
import sklearn.tree as sk_tree

plt.figure(figsize=(12, 8))
sk_tree.plot_tree(pipe["clf"], feature_names=X.columns,
                 rounded=True,
                 filled=True)
plt.show()

[스터디 노트] Week12_2일차 [4 ~ 5] - ML

가스오부시 — Wed, 11 Oct 2023 15:24:20 +0900

1. 타이타닉 생존자 분석 - EDA

컬럼의 의미

생존 상황

import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

# 데이터 정의
titanic_url = "<https://raw.githubusercontent.com/PinkWink/ML_tutorial/master/dataset/titanic.xls>"
titanic = pd.read_excel(titanic_url)
titanic.head()

# 시각화
f, ax = plt.subplots(1, 2 ,figsize=(16, 8))
titanic["survived"].value_counts().plot.pie(ax=ax[0], autopct="%1.1f%%", shadow=True, explode=[0, 0.05])
ax[0].set_title("Pie plot - survived")
ax[0].set_ylabel("")

sns.countplot(x="survived", data=titanic, ax=ax[1])
ax[1].set_title("Count plot - survived")

plt.show()

성별에 따른 생존 상황

f, ax = plt.subplots(1, 2 ,figsize=(16, 8))

sns.countplot(x="sex", data=titanic, ax=ax[0])
ax[0].set_title("Count of passenger of Sex")
ax[0].set_ylabel(3)

sns.countplot(x="sex", hue="survived", data=titanic, ax=ax[1])
ax[1].set_title("Sex: Survived and Unsurvived")

plt.show()

3등실에는 남성이 많았다, 특히 20대 남성

grid = sns.FacetGrid(titanic, row="pclass", col="sex", height=4, aspect=2)
grid.map(plt.hist, "age", alpha=0.8, bins=20)
grid.add_legend()

plt.show()

생존율

plt.figure(figsize=(14, 6))

# 선실 등급별 생존율
plt.subplot(131)
sns.barplot(x="pclass", y="survived", data=titanic)

# 나이별 생존율
plt.subplot(132)
sns.barplot(x="age_cut", y="survived", data=titanic)

# 성별 생존율
plt.subplot(133)
sns.barplot(x="sex", y="survived", data=titanic)

plt.show()

성별 별로 본 귀족

# 탑승객의 이름에서 신분을 알 수 있다
import re

title = []
for idx, dataset in titanic.iterrows():
    tmp = dataset["name"]
    title.append(re.search('\\,\\s\\w+(\\s\\w+)?\\.', tmp).group()[2:-1])

titanic["title"] = title

pd.crosstab(titanic["title"], titanic["sex"])

사회적 신분 정리

titanic["title"] = titanic["title"].replace("Mlle", "Miss")
titanic["title"] = titanic["title"].replace("Ms", "Miss")
titanic["title"] = titanic["title"].replace("Mme", "Mrs")

Rare_f = ["Dona", "Dr", "Lady", "the Countess"]
Rare_m = ["Capt", "Col", "Don", "Major", "Rev", "Sir", "Jonkheer", "Master"]

for each in Rare_f:
    titanic["title"] = titanic["title"].replace(each, "Rare_f")
    
for each in Rare_m:
    titanic["title"] = titanic["title"].replace(each, "Rare_m")
    
# 평민 남성 -> 귀족 남성 -> 평민 여성 -> 귀족 여성 순서 (생존율)
titanic[["title", "survived"]].groupby(["title"], as_index=False).mean()

2. 타이타닉 생존자 분석 - 모델 구축

⚡️ 모델 학습

from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()
le.fit(titanic["sex"])

⚡️"sex" 값을 모델을 통해 변환후 "gender"에 반환

titanic["gender"] = le.transform(titanic["sex"])
titanic.head()

⚡️ 결측치 제거

titanic = titanic[titanic["age"].notnull()]
titanic = titanic[titanic["fare"].notnull()]
titanic.info()

⚡️데이터셋 분리 및 모델 학습

# 데이터셋 분리
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

X = titanic[["pclass", "age", "sibsp", "parch", "fare", "gender"]]
y = titanic["survived"]

X_train, X_test, y_train, y_test = train_test_split(X, y,
                                                    test_size=0.2,
                                                   stratify=y,
                                                   random_state=0)

tree = DecisionTreeClassifier(random_state=0)
tree.fit(X_train, y_train)

⚡️ 예측 및 추론

pred = tree.predict(X_test)
print(accuracy_score(y_test, pred))
>>>
0.7368421052631579

⚡️ 오류제거

import warnings
from sklearn.exceptions import DataConversionWarning
warnings.filterwarnings(action='ignore', category=UserWarning)

⚡️ 디카프리오와 윈슬릿의 생존율

dicaprio = np.array([[3, 18, 0, 0, 5, 1]])
winslet = np.array([[1, 16, 1, 1, 100, 0]])

print("Dicaprio: ", tree.predict_proba(dicaprio)[0, 1])
print("Winslet: ", tree.predict_proba(winslet)[0, 1])
>>>
Dicaprio: 0.0
Winslet:  1.0

3. Encoder and Scaler

label encoder

목적: 범주형 변수를 숫자로 변환합니다.
작동 방식: 각 범주에 고유한 정수를 할당합니다. 예를 들어, ['red', 'green', 'blue']는 [0, 1, 2]로 변환될 수 있습니다.
주의점: 이 방법은 명목형 변수에만 적합합니다. 순서형 변수에는 순서가 중요하므로 다른 인코딩 방법을 사용해야 할 수 있습니다.

df = pd.DataFrame({
    "A": ["a", "b", "c", "a", "b"],
    "B": [1, 2, 3, 1, 0]
})
df

⚡️ 모델 학습 및 변환

from sklearn.preprocessing import LabelEncoder

# 모델 학습
le = LabelEncoder()
le.fit(df["A"])

# 변환
df["transform"] = le.transform(df["A"])
df

⚡️ 학습과 변환을 동시에 진행

# 학습과 변환을 동시에 진행
le.fit_transform(df["A"]

# 역변환
le.inverse_transform(df["transform"])
>>>
array(['a', 'b', 'c', 'a', 'b'], dtype=object)

min-max scaler

목적: 데이터를 특정 범위(주로 0과 1 사이)로 조정합니다.
특징: 이 방법은 이상치에 민감합니다. 큰 이상치가 있을 경우 스케일링 범위가 왜곡될 수 있습니다.

⚡️ 표준정규분포 식

from sklearn.preprocessing import MinMaxScaler

# 학습
mms = MinMaxScaler()
mms.fit(df)

# 변환
df_mms = mms.transform(d)

# 역변환
mms.inverse_transform(df_mms)

# 학습 및 변환
mms.fit_transform(df)

standard scaler

목적: 데이터의 평균을 0, 표준 편차를 1로 조정하여 정규화합니다.
특징: 이 방법 역시 이상치에 민감합니다. 그러나 많은 머신러닝 알고리즘이 가정하는 정규 분포를 따르는 데이터 형태에 가깝게 만들어줍니다.

⚡️ 표준정규분포

from sklearn.preprocessing import StandardScaler

ss = StandardScaler()
ss.fit(df)

# 케일러가 학습한 각 특성의 평균, 표준편차 값을 반환
ss.mean_, ss.scale_
>>>
(array([9. , 1.4]), array([12.80624847,  1.0198039 ]))

⚡️ 모델 변환

ss.transform(df)
>>>
array([[ 0.07808688, -0.39223227],
       [ 0.85895569,  0.58834841],
       [-1.48365074,  1.56892908],
       [-0.70278193, -0.39223227],
       [ 1.2493901 , -1.37281295]])

⚡️ 모델 역변환

ss.inverse_transform(df_ss)
>>>
array([[ 10.,   1.],
       [ 20.,   2.],
       [-10.,   3.],
       [  0.,   1.],
       [ 25.,   0.]])

⚡️ 모델 학습 변환

ss.fit_transform(df)
>>>
array([[ 0.07808688, -0.39223227],
       [ 0.85895569,  0.58834841],
       [-1.48365074,  1.56892908],
       [-0.70278193, -0.39223227],
       [ 1.2493901 , -1.37281295]])

robust scaler

목적: 이상치의 영향을 최소화하면서 데이터를 스케일링합니다.
특징: 중앙값과 사분위 범위를 사용하여 스케일링하므로 이상치에 덜 민감합니다.

⚡️ 표준정규분포 식

[스터디 노트] Week12_1일차 [1 ~ 3] - ML

가스오부시 — Tue, 10 Oct 2023 03:02:22 +0900

1. 머신러닝이란

머신러닝(machine learning)

컴퓨터가 데이터를 통해 학습하여 특정 작업을 수행하는 능력을 개선하는 알고리즘과 기술의 집합입니다.
전통적인 프로그래밍에서는 문제를 해결하기 위해 직접 명령어를 작성하는 반면, 머신러닝에서는 대량의 데이터와 알고리즘을 사용하여 패턴을 찾아내고, 그 결과로 예측, 분류, 군집화 등의 작업을 수행합니다.

지도학습 (Supervised Learning)

입력 데이터와 해당 데이터에 대한 목표 또는 라벨이 주어집니다.
알고리즘은 주어진 입력에서 원하는 출력을 예측하는 방법을 학습합니다. 예를 들어, 스팸 메일 필터링이나 이미지 분류와 같은 작업에서 사용됩니다.

비지도학습 (Unsupervised Learning)

입력 데이터만 주어지고 목표 또는 라벨이 주어지지 않습니다.
알고리즘은 데이터의 구조나 패턴을 찾아냅니다. 예를 들어, 군집화나 차원 축소와 같은 작업에서 사용됩니다.

강화학습 (Reinforcement Learning)

에이전트(agent)가 환경과 상호작용하면서 보상을 최대화하는 행동을 학습합니다. 예를 들어, 게임 플레이나 로봇 제어와 같은 작업에서 사용됩니다.

2. 데이터관찰

⚡️ 데이터 보기

from sklearn.datasets import load_iris

iris = load_iris()
iris.keys()
>>>
dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename', 'data_module'])

iris["target"] # 0번 라벨은 setosa, 1번은 versicolor, 2번은 virginica
>>>
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])

⚡️ 종류 라벨 추가

import pandas as pd

df = pd.DataFrame(iris.data, columns=iris.feature_names)
df["species"] = iris.target
df.head()

⚡️ 꽃입 세로 길이(sepal length)

plt.figure(figsize=(12, 6))
sns.boxplot(x="sepal length (cm)", y="species", data=df, orient="h") # orient

⚡️ 꽃입 가로 길이(sepal width)

plt.figure(figsize=(12, 6))
sns.boxplot(x="sepal width (cm)", y="species", data=df, orient="h") # orient

⚡️ 꽃받침 가로 길이(petal length)

plt.figure(figsize=(12, 6))
sns.boxplot(x="petal length (cm)", y="species", data=df, orient="h") # orient

⚡️ 꽃받침 가로 길이(petal width)

plt.figure(figsize=(12, 6))
sns.boxplot(x="petal width (cm)", y="species", data=df, orient="h") # orient

⚡️ pairplot으로 확인

sns.pairplot(df,
             vars=["petal length (cm)", "petal width (cm)"],
             hue="species", height=4, palette="Set2")

⚡️ 시각화 분석

petal length이 2.5 보다 작으면 다 Setosa 다.
petal length이 2.5 보다 크고 petal width가 1.6 이하면 Versicolor
petal lengthdl 2.5 보다 크고 petal width가 1.6 이상이면 Virginica

3. Decision Tree

Decision Tree의 분할 기준(Split Criterion)

엔트로피 개념

열역학의 용어로 물질의 열적 상태를 나타내는 물리 량의 단위 중 하나. 무질서의 정도를 나타냄
1948년 엔트로피 개념에서 힌트를 얻어 확률 분포의 무질서도나 불확실성
혹은 정보 부담 정도를 나타내는 정보 엔트로피 개념을 클로드 섀넌이 고안함

entropy : 얼마만큼의 정보를 담고 있는가? 또한, 무질서도(disorder)를 의미, 불확실성(uncertainty)를 나타내기도 함

p는 해당 데이터가 해당 클래스에 속할 확률이고 위 식을 그려보면 다음과 같다
어떤 확률 분포로 일어나는 사건을 표현하는 데 필요한 정보의 양이며
이 값이 커질수록 확률 분포의 불확실성이 커지며 결과에 대한 예측이 어려워짐

import numpy as np

p = np.arange(0.001, 1, 0.001)
plt.grid()
plt.title("$-p \\log_{2}{p}$")
plt.plot(p, -p*np.log2(p))

4. Scikit Learn

2007년 구글 썸머 코드에서 처음 구현
현재 파이썬에서 가장 유명한 기계 학습 오픈 소스 라이브러리

모델 정의

from sklearn.tree import DecisionTreeClassifier

tree = DecisionTreeClassifier(random_state=0)

모델 학습

tree.fit(iris.data[:, 2:], iris.target)

모델 예측

from sklearn.metrics import accuracy_score

y_pred_tr = tree.predict(iris.data[:, 2:])
y_pred_tr
>>>
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])

모델 정확도

accuracy_score(iris.target, y_pred_tr)
>>>
0.9933333333333333

5. 과적합(overfitting)

지도 학습

학습 대상이 되는 데이터에 정답(label)을 붙여서 학습 시키고
모델을 얻어서 완전히 새로운 데이터에 모델을 사용해서 “답”을 얻고자 하는 것

Tree model visualization

from sklearn.tree import plot_tree

plt.figure(figsize=(12, 8))
plot_tree(tree)

결졍 경계 확인

from mlxtend.plotting import plot_decision_regions

plt.figure(figsize=(14, 8))
plot_decision_regions(X=iris.data[:, 2:], y=iris.target, clf=tree, legend=2)
plt.show()

❗️Accuracy가 높다고? 믿을 수 있는지 의심하기

Acc가 높게 나왔다고 해도 좀 더 들여다 볼 필요가 당연히 있다.
저 경계면은 올바른 걸까?
저 결과는 내가 가진 데이터를 벗어나서 일반화할 수 있는 걸까?
어차피 얻은(혹은 구한) 데이터는 유한하고 내가 얻은 데이터를 이용해서 일반화를 추구하게 된다.
이때 복잡한 경계면은 모델의 성능을 결국 나쁘게 만든

6. 데이터분리

확보한 데이터 중에서 모델 학습에 사용하지 않고 빼둔 데이터를 가지고 모델을 테스트한다.

from sklearn.model_selection import train_test_split

X = iris.data[:, 2:]
y = iris.target

# X, y(전체 데이터셋)을 Train dataset 과 Test dataset으로 분리.
X_train, X_test, y_train, y_test = train_test_split(X, # 전체데이터셋 중 Features, input
                                                    y, # 전체데이터셋 중 Labels, output(target)
                                                    test_size=0.2,# (20%) //  전체중 test set의 비율 (기본값: 0.25)
                                                    stratify=y, # 전체 데이터셋의 출력 클래스의 비율과 동일한 비율로 나눠지도록 한다.분류 Dataset을 나눌때 필수, (회귀는 하지 않음.)
                                                    shuffle=True, # 데이터셋을 나누기 전에 섞는지(랜덤) 여부: True - 섞는다.(기본값), False - 안 섞는다.
                                                    random_state=0 # random seed 값.
                                                   )
X_train.shape
>>>
(120, 2)

❗️ 훈련용 / 테스트용이 잘 분리 되었을까?

np.unique(y_test, return_counts=True)
>>>
(array([0, 1, 2]), array([10, 10, 10]))

모델 학습, 예측 및 추론

tree = DecisionTreeClassifier(random_state=0)

tree.fit(X_train, y_train)
plot_tree(tree)

pred_train = tree.predict(X_train)

# 예측
acc = accuracy_score(y_train, pred_train)
acc
>>>
0.9916666666666667

⚡️ 시각화

from mlxtend.plotting import plot_decision_regions

plt.figure(figsize=(14, 8))
plot_decision_regions(X=X_train, y=y_train, clf=tree, legend=2)
plt.show()

추론 활용기술 - zip과 언패킹

# zip
list1 = ["a", "b", "c"]
list2 = [1, 2, 3]

pairs = [pair for pair in zip(list1, list2)]
pairs
>>>
[('a', 1), ('b', 2), ('c', 3)]

dict(pairs)
>>>
{'a': 1, 'b': 2, 'c': 3}

⚡️ 언패킹

x , y = zip(*pairs)
print(x)
print(y)
>>>
('a', 'b', 'c')
(1, 2, 3)

[스터디 노트] Week10_3일차 [기본] - 통계학

가스오부시 — Mon, 11 Sep 2023 08:58:19 +0900

1. 모집단과 표본

모집단(Population), 표본(Sample)

⚡️표본추출(Sampling)

모집단으로 부터 표본을 추출 하는 것을 Sampling이라고 하며, 표본으로부터 그 특성을 찾아내고 모집단의 특성을 추론하고자 함
모집단에서 표본을 추출하는 방법에는 여러가지가 있음

⚡️ 복원추출(Sampling with replacement)

모집단에서 데이터를 추출 할 때 하나를 추출하고 다시 넣고 추출하는 방법으로 동일한 표본이 추출 될 수 있음

⚡️ 비복원추출(Sampling without replacement)

모집단에서 데이터를 추출 할 때 하나를 추출하고 다시 넣지 않고 추출하는 방법

⚡️Random Sampling

모집단에서 데이터를 추출할 때 주의할 점은 편향되지 않아야 함, 각 개체가 모두 동일한 확률로 추출하는 방법

불균형 데이터(Imbalanced Data)의 문제

데이터가 불균형 데이터 일 경우 문제가 생김
우리가 예측모형을 만드는 목적은 관심이 있는 대상이 발생할 확률을 예측하는 경우가 대부분임, 그런데 예측 대상이 전체 대비 아주 낮다면?
모형의 성능이 괜찮을가? (ex: 신용 평가 모형 개발, 제조 불량 예측 등)

Sampling 기법을 통하여 해결
모델을 통한 성능 개선(ex: Cost-sensitive learning)

Sampling 기법

관심의 대상의 아주 비율이 낮은 경우

⚡️ Over Sampling

타겟 데이터 적은 class의 수를 많은 class의 비율만큼 증가 시킴(일정 비율로 복원추출 하는 개념)
과도적합의 문제 발생할 수 있음

⚡️ Under sampling

타겟 데이터의 많은 class의 수를 적은 class의 비율만큼 감소 시킴
임의로 뽑은 데이터가 biased(편향)될 수 있고, 모형의 성능이 떨어질 수 있음

2. 표본 분포

통계량(Statistic)

표본에 기초하여 계산되는 수치 함수를 통계량이라고 함

표본분포(Sampling distribution

통계량들이 이루는 분포를 표본 분포라고 함

⚡️ 표본 평균(Sample mean)

⚡️ 표본 평균 의 기대값?

⚡️ 표본 평균 의 분산?

중심극한 정리(central limit theorem)

평균이 u 이고 (시그마 제곱) 인 임의의 모집단에서 랜덤 표본 X1, X2, X3, Xn… 을 추출할 때 표본의 크기 n이 충분히( n ≥ SH) 크면,

카이제곱 분포(Chi-square distribution)

자유도(degree of freedom)

표본수-제약조건의 수 또는 표본수-추정해야 하는 모수의 수를 의미하며 일반적으로 n-1을 사용함
예시적으로 설명 드리면 표본의 크기가 5이고, 표본 평균이 3로 정해졌다면, 숫자 4개는 자유롭게 정할 수 있으나 마지막 하나의 숫자는 나머지 네 개의 숫자에 의해 결정. 1, 2, 3, 4를 골랐다면 마지막 숫자는 자동으로 5가 되야 평균이 5로 정해져 있음
카이제곱 분포는 자유도 v의 크기에 따라 모양이 달라짐 자유도가 커질수록 분포가 좌우 대칭 형태로 됨
카이제곱 분포는 자유도가 커지면서 표준정규 분포에 근사하며, m ≥ SH이면, 확률을 근사적으로 정규분포로 구할 수 있음

T분포(t-distribution)

F분포(F distribution)

3. 추정

추정(estimation)

모집단의 모수를 모를 경우 표본으로 추출된 통계량을 모집단의 근사값으로 사용하는 것을 추정이라고

추정량(estimator)

표본 평균으로 모평균을 추정할 때 표본 평균을 모평균에 대한 추정량이라고 함
모수를 추정 하는 방법에는 점추정(point estimation) 과 구간 추정(interval estimation)이 있음
점추정: 모수를 하나의 특정값으로 추정 하는 방법
구간 추정: 모수가 포함될 수 있는 구간을 추정하는 방법

점추정(point estimation)

⚡️ 일치성(Consistency)

표본의 크기가 모집단의 크기에 근접해야 함
표본이 크기가 크면 클수록(모집단에 가까울 수록) 추정량의 오차가 작아짐

⚡️ 불편성(unbiased estimator)

추정량이 모수와 같아야 함

⚡️ 유효성(efficiency)

추정량의 분산이 최소값이어야 함

⚡️ 평균오차제곱(Mean Squared Error, MSE)

평균오차제곱이 최소값이어야 함

구간 추정(interval estimation)

4. 모비율 추정

모비율의 점추정

모비율의 구간 추정

모비율의 표본 크기

모평균 차이의 추정(점추정)

⚡️ 모평균 차이의 추정(구간추정: 대표본)

⚡️ 모평균 차이의 추정(구간추정: 소표본, 모분산을 모르는 경우)

모비율 차이의 추정(점추정)

⚡️ 모비율 차이의 추정(구간추정)

[스터디 노트] Week10_2일차 [기본] - 통계학

가스오부시 — Mon, 11 Sep 2023 08:44:26 +0900

1. 이산형 확률 분포

확률 분포(probability distribution)

확률 변수 X가 취할 수 있는 모든 값과 그 값을 나타날 확률을 표현한 함수

이산형 균등 분포(discrete uniform distribution)

확률 변수 X가 유한개이고, 모든 확률 변수에 대하여 균일한 확률을 갖는 분포를 이산형 균등 분포라고 함

베르누이 시행(Bernoulli trial)

각 시행의 결과가 성공, 실패 두가지 결과만 존재하는 시행을 베르누이 시행이라고 한다.
베르누이 시행에서 성공이 ‘1’, 실패가 ‘0’의 값을 갖을 때 확률 변수 X의 분포를 베르누이 분포(Bernoulli distribution)라고 하며, 다음과 같이 정의함

⚡️ 예제)

파란공 7개, 빨간공 3개가 들어있는 주머니에서 공 하나를 뽑을 때, 파란공이면 성공 빨란공이라면 실패인 실험을 한다고 가정하자. 이때 베르누이 분포를 정의하면

이항분포(Binomial distribution)

연속적인 베르누이 시행을 거처 나타나는 확률 분포이다.
서로 독립인 베르누이 시행을 n번 반복해서 실행 했을 때, 성공한 횟수 X의 확률 분포이다.

⚡️ 예제)

축구선수의 패널티킥 성공률이 80%일때, 10번의 기회에서 성공횟수와 그 확률을 구하면 아래와 같다.

반도체 공장에서 불량이 발생할 확률이 10%라고 하자. 10개의 제품을 생성했을때 불량이 2개 이하일 확률을 구하시오

포아송 분포(Poisson distribution)

어느 희귀한 사건이 어떤 일정한 시간대에 특정한 사건이 발생할 확률 분포 임
예시) 야구장에서 파울볼을 잡을 횟수, 버스 정류장에서 특정 버스가 5분 이내에 도착한 횟수, 1년간 지구에 1미터 이상의 운석이 떨어지는 수 등

⚡️ 포아송 분포의 조건

어떤 단위구간(예, 1일)동안 이를 더 짧은 작은 단위의 구간(예: 1시간)로 나눌 수 있고 이러한 더 짧은 단위구간 중에 어떤 사건이 발생할 확률은 전체 척도 중에서 항상 일정
두 개 이상의 사건이 동시에 발생할 확률은 0에 가까움
어떤 단위구간의 사건의 발생은 다른 단위구간의 발생으로부터 독립적임
특정 구간에서의 사건 발생확률은 그 구간의 크기에 비례함
포아송분포 확률 변수의 기댓값과 분산은 모두 λ 임

⚡️ 예제)

야구장에서 경기당 홈런볼을 잡는 관객이 평균 3명 이라고 가정하자

오늘 경기에서 2명 이상이 홈런볼을 잡을 확률을 구하시오
오늘과 내일 동안 경기에서 홈런볼을 잡지 못할 확률을 구하시오

이항 분포의 포아송 근사

확률 변수 X가 X ~ B(n,p)이고, n이 충분히 크고, p가 아주 작을 때, X의 분포는 평균이 . = x인 포아송 분포로 근사 시킬 수 있다.
보통 n이 클때, np<5를 만족하게 p가 작으면 근사 정도가 좋다고 함 X ~ Poisson(np)

기하분포(geometric distribution)

어떤 실험에서 처음 성공이 발생하기 까지 시도한 횟수 X의 분포, 이때 각 시도는 베르누이 시행을 따른다

⚡️ 예시)

축구선수 손흥민의 필드골 성공 확률이 30%일 때, 5번째 슛팅에서 골을 넣을 확률 분포

음이항분포(negative binomial distribution)

어떤 실험에서 성공확률이 p일 때, r번의 실패가 나올 때 까지 발생한 성공 횟수 X의 확률 분포

⚡️ 예시)

농구 선수 허훈의 자유투 성공 확률이 90%일 때, 3번째 실패가 나올 때 까지 성공시킨 자유투가 10번일 확률

2. 연속형 확률 분포

확률밀도함수(probability density function)

연속형 확률 변수 X에 대해서 함수 f(x) 가 아래의 조건을 만족하면 확률밀도함수라고 한다.

⚡️ 확률 밀도 함수의 성질

⚡️ 확률밀도함수의 평균과 분산

누적분포함수(cumulative density function)

확률밀도함수를 적분하면 누적분포함수가 됨

⚡️ 누적분포함수의 성질

균일분포(uniform distribution)

확률 변수가 X가 a와 b사이에서 아래와 같은 확률 밀도 함수(pdf)를 같음

⚡️ 균일 분포의 평균과 분산

정규 분포(normal distribution)

정규 분포는 19세기 최대 수학자라고 불리는 독일의 가우스에 의해 제시된 것으로 가우스 분포라고도 한다.

⚡️ 정규 분포(normal distribution)의 평균과 분산

⚡️ 파라미터의 따른 정규 분포 모양 비교

⚡️ 표준 정규 분포(standard normal distribution)

⚡️ 정규 분포의 성질

⚡️ 이항분포의 정규 근사

X ~ B(n, p) 일 때, 확률 변수 X는 n이 충분히 크면 근사적으로 정규 분포 X ~ N(np, np(1-p))를 따름

지수분포(exponential distribution)

할때까지 걸린 시간 확률 변수 X는 지수 분포이다.

⚡️ 예시)

버스 정류장에서 100번 버스가 도착하는 횟수가 포아송 분포를 따른다면, 첫 번째 버스가 도착할 때까지 대기 시간의 분포가 지수분포이다.

⚡️ 지수 분포의 pdf

⚡️ 지수 분포의 cdf

지수 분포는 연속 되는 사건의 사이의 대기 시간도 지수 분포이다
즉 앞의 예시에서 두 번째 버스가 도착하고 세 번째 버스가 도착 할 때까지 대기 시간의 분포도 지수 분포이다.

⚡️ 지수 분포의 평균과 분산

⚡️ 지수분포의 무기억성 (Memoryless Property)

어떤 시점 부터 소요되는 시간은 과거 시간에 영향을 받지 않음
예시) 버스를 기다리는 대기시간은 먼저 기다린 사람과 확률이 같음
전구를 한달 동안 사용 했을 때 남은 수명은 한달 간 사용했던 영향을 받지 않음, 즉 새전구와 한달 간 사용한 전구의 남은 수명은 같다고 생각함
이런 문제로 실제 적용에 문제가 있고, 생존 분석에서는 Weibull 분포 또는 log-normal 분포를 사용하여 예측함

⚡️지수분포와 포아송 분포의 관계

[스터디 노트] Week10_1일차 [기본] - 통계학

가스오부시 — Mon, 11 Sep 2023 08:23:55 +0900

1. 통계학

산술적 방법을 기초로 하여, 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 수학의 한 분야이다. 근대 과학으로서의 통계학은 19세기 중반 벨기에의 케틀레가 독일의 "국상학(國狀學, Staatenkunde, 넓은 의미의 국가학)"과 영국의 "정치 산술(Political Arithmetic, 정치 사회에 대한 수량적 연구 방법)"을 자연과학의 "확률 이론"과 결합하여, 수립한 학문에서 발전되었다

기술통계학(descriptive statistics)

데이터를 수집하고 수집된 데이터를 쉽게 이해하고 설명할 수 있도록 정리 요약 설명하는 방법론

추론통계학(inferential statistics)

모집단으로 부터 추출한 표본 데이터를 분석하여 모집단의 여러가지 특성을 추측하는 방법론

2. 데이터와 그래프

변수(Variable)

수학에서의 변수란, 어떤 정해지지 않은 임의의 값을 표현하기 위해 사용된 '기호' 이다. 보통 쉽게 설명하기 위해서 '변하는 숫자' 라는 표현을 자주 쓰고는 한다 (출처: 나무 위키)
통계학에서는 조사 목적에 따라 관측된 자료값을 변수라고 함, 해당 변수에 대하여 관측된 값들이 바로 자료(Data)가 됨

질적 자료

관측된 데이터가 성별, 주소지(시군구), 업종 등과 같이 몇 개의 범주로 구분하여 표현할 수 있는 데이터를 의미함
데이터 입력시 1은 남자, 2는 여자로 표현 가능하나 여기서 숫자의 의미는 없음 (순서형 변수: 교육수준, 건강상태)

양적 자료

관측된 데이터가 숫자의 형태로 숫자의 크기가 의미를 갖고 있음
숫자를 표현할 때는 이산형 데이터와 연속형 데이터로 구분할 수 있음

EDA 분석

데이터를 분석하는 과정 중에 가장 많이 사용하는 분석 방법을 Exploratory Data Analysis 라고함 EDA는 데이터를 탐색하는 분석 방법으로 도표, 그래프, 요약 통계 등을 사용하여 데이터를 체계적으로 분석하는 하나의 방법이다.

목적

데이터 분석 프로젝트 초기에 가설을 수립하기 위해 사용
데이터 분석 프로젝트 초기에, 적절한 모델 및 기법의 선정
변수 간 트렌드, 패턴, 관계 등을 찾고 통계적 추론을 기반으로 가정을 평가
분석 데이터에 적절한가 평가, 추가 수집, 이상치 발견 등에 활용

데이터 시각화

데이터 시각화(data visualization)는 데이터 분석 결과를 쉽게 이해할 수 있도록 시각적으로 표현하고 전달되는 과정을 말한다.
데이터 시각화의 목적은 도표(graph)라는 수단을 통해 정보를 명확하고 효과적으로 전달하는 것이다.

❗️ 데이터를 스토리텔링 한다는 의미이다.

3. 데이터의 기초 통계량

기초 통계량

통계량(statistic)은 표본으로 산출한 값으로, 기술 통계량이라고도 표현함
통계량을 통해 데이터(표본)가 갖는 특성을 이해 할 수 있음

중심 경향치

표본(데이터)를 이해하기 위해서는 표본의 중심에 대해서 관심을 갖기 때문에 표본의 중심을 설명하는 값을 대표값이라 하며 이를 중심경향치라고 함
대표적인 중심 경향치는 평균이며, 중앙값, 최빈값, 절사 평균 등이 있음
평균은 모집단으로 부터 관측된 n개의 x가 주어 졌을때 아래와 같이 정의됨
평균은 표본으로 추출된 표본 평균(sample mean, (아래그림) 으**로 표기)이라고하며, 모집단의 평균을 모평균이라고 하며 아래처럼 표기함

중앙값(median)

평균과 같이 자주 사용하는 값으로 표본으로 부터 관측치를 크기순으로 나열 했을 때, 가운데 위치하는 값을 의미함
관측치가 홀수 일 경우 중앙에 취하는 값이고, 짝수 일 경우 가운데 두개의 값을 산술 평균한 값임
이상치가 포함된 데이터에 대해서 사용함

최빈값(mode)

관측치 중에서 가장 많이 관측되는 값

옷사이즈와 같이 명목형 데이터의 경우 사용

산포도

데이터가 어떻게 흩어져 있는지를 확인하기 위해서는 중심경향치와 함께 산포에 대한 측도를 같이 고려해야 함
데이터의 산포도를 나타내는 측도로는 범위, 사분위수, 분산, 표준편차, 변동 계수 등이 있음

범위(Range)

데이터의 최대값과 최소값의 차이를 의미함

사분위수(quartile)

전체 데이터를 오름차순으로 정렬하여 4등분을 하였을 때, 첫 번째를 제1사분위수(Q1), 두 번째를 제2사분위수(Q2), 세 번째를 제3사분위수(Q3)이라고 한다.
사분위수 범위(interquartile range): IQR = 제 3사분위수(Q3) – 제1사분위수(Q1)

백분위수(percentile)

전체 데이터를 오름차순으로 정렬하여 주어진 비율에 의해 등분한 값을 말하며, 제p백분위수는 p%에 위치한 자료 값을 말함
데이터를 오름차수로 배열하고 자료가 n개가 있을 때, 제(100*p) 백분위수는 아래와 같음

np가 정수이면, np번째와 (np + 1)번째 자료의 평균
np가 정수가 아니면, np보다 큰 최소의 정수를 m이라고 할 때 m번째 자료

표본 분산(variance)

데이터의 분포가 얼마나 흩어져 있는지를 알 수 있는 측도 임
데이터의 각각의 값들의 편차 제곱합으로 계산하며 수식은 아래와 같음

표준 편차(standard deviation)

분산의 제곱근으로 정의하며 수식은 아래와 같음

모 분산

크기가 N인 모집단의 평균을 u라고 할 때 모평균과 모분산은 다음과 같음

변동계수(Coefficient of Variation: CV)

평균이 다른 두개 이상의 그룹의 표준편차를 비교할 때 사용함
변동계수는 표준편차를

왜도(skew)

자료의 분포가 얼마나 비대칭적인지 표현하는 지표임 왜도가 0이면 좌우가 대칭이고, 0에서 클수록 우측꼬리가 길고 0에서 작을수록 좌측 꼬리가 김

첨도(kurtosis)

확률분포의 꼬리가 두꺼운 정도를 나타내는 척도임 첨도값(K)이 3에 가까우면 산포도가 정규분포에 가까움 3보다 작을 경우에는(K<3) 산포는 정규분포보다 꼬리가 얇은 분포로 생각할 수 있다, 첨도값이 3보다 큰 양수이면(K>3) 정규분포보다 꼬리가 두꺼운 분포로 판단

4. 확률

확률(probability)

모든 경우의 수에 대한 특정 사건이 발생하는 비율이다. 대체로 수학 외에서는, 0과 1 사이의 소수 혹은 분수나 순열 등으로 나타내기 보다는, 다른 비율을 나타낼 때처럼 0과 1 사이의 확률에 100을 곱하여 0과 100 사이의 백분율(%)로 나타내거나 옛날처럼 할·푼·리로 나타내기도 한다. (출처: 나무위키)

확률의 고전적 정의

어떤 사건의 발생 확률은 그것이 일어날 수 있는 경우의 수 대 가능한 모든 경우의 수의 비이다. 단, 이는 어떠한 사건도 다른 사건들보다 더 많이 일어날 수 있다고 기대할 근거가 없을 때, 그러니까 모든 사건이 동일하게 일어날 수 있다고 할 때에 성립한다. (확률의 최초의 정의는 수학자 라플라스의 논문 Th.orie analytique des probabilit.s)

표본 공간(Sample Space)

표본 공간이란 어떤 실험에서 나올 수 있는 모든 가능한 결과들의 집합
동전 던지기의 경우 S = {앞면, 뒷면} , 주사위던지기 S = {1,2,3,4,5,6}
사건 A가 일어날 확률을 P(A)라고 하고, 표본 공간(S)가 유한집합일때 표본 공간의 모든 원소들이 일어날 확률이 같으면

ex)

1) 주사위를 던저서 6이 나올 확률 2) 트럼프 카드 52장중 A가 나올 확률 3) 로또 1등에 당첨될 확률

예제 3.1) 동전 두개를 던져서 뒷면이 한번만 나오는 확률을 얼마인가? 표본공간 S = {(앞, 앞), (뒤, 뒤), (앞, 뒤), (뒤, 앞)} 사건 A = {(앞, 뒤), (뒤, 앞)} P(A) = 2/4 = 1/2

통계적 확률 정의

ex)

1) 타자가 타석에서 안타를 칠 확률 2) 공정에서 제품이 정상일 확률(수율)

확률의 성질

⚡️ 합사건(union)

사건 A 또는 사건 B가 일어날 확률 A ∪ B

⚡️ 곱사건(intersection)

사건 A와 사건B가 동시에 일어날 확률 A ∩ B

⚡️ 배반사건(mutually exclusive event)

사건 A와 사건B가 동시에 일어날 수 없을 경우 A ∩ B = ∮

⚡️ 여사건(complement)

사건A가 일어나지 않을 확률 Ac

ex)

1) 확률의 덧셈법칙: P(A ∪ B) = P(A) + P(B) − P(A ∩ B) 2) A와 B가 배반 사건이면, P(A ∩ B) = :(∮ ) = 0 3) A의 여사건이 Ac 이면, P(A) + P(Ac) = 1

! (Factorial)

n개를 일렬로 늘여 놓은 경우의 수를 n!로 표현하며,

순열(Permutation)

순서를 고려하여 n개 중 r개를 뽑아서 배열하는 경우의 수

조합(Combination)

순서를 고려하지 않고 n개중 r개를 뽑아서 배열하는 경우의 수

조건부확률(conditional probability)

어떤 사건 A가 발생한 상황에서(주어졌을 때) 또 하나의 사건 B가 발생할 확률임

확률의 곱셈법칙

5. 확률 변수

확률 변수(random variable)

표본공간에서 각 사건에 실수를 대응시키는 함수를 확률 변수라고 함
확률 변수의 값은 하나의 사건에 대하여 하나의 값을 가지며, 실험의 결과에 의하여 변함
일반적으로 확률 변수는 대문자로 표현하며, 확률변수의 특정값을 소문자로 표현함
- 확률 변수: X, Y 등 대문자 표현
- 확률 변수의 특정값: x, y등 소문자로 표현
- 이산 확률 변수(discrete random variable): 셀 수 있는 값들로 구성되거나 일정 범위로 나타나는 경우
- 연속 확률 변수(continuous random variable): 연속형 또는 무한대와 같이 셀 수 없는 경우
확률 변수 예시 (a) 반도체 1000개의 wafer중 불량품의 수 X (b) 공장에서 생산하는 전구의 수명 T (c) 주사위를 던질 때 나오는 눈의 수 V

확률 변수의 평균 (기대값)

기대값 이라고 표현하기도 하며, 수식은 아래와 같음

주사위를 던졌을때의 기대값은

확률 변수의 분산

기대값의 성질

분산의 성질

공분산

예제)

[스터디 노트] Week9_4일차 [심화_8 ~ 10] - SQL

가스오부시 — Mon, 4 Sep 2023 15:23:33 +0900

1. Scalar Functions (스칼라 함수)

UCASE

영문을 대문자로 반환하는 함수

SELECT UCASE('This Is ucase Test.');

# $15 가 넘는 메뉴를 대문자로 조회
SELECT UCASE(menu) FROM sandwich WHERE price > 15;

LCASE

영문을 소문자로 변환하는 함수

SELECT LCASE('This Is LCASE Test');

MID

문자열 부분을 반환하는 함수

# 6번 위치에서 5글자를 조회
SELECT MID('this is mid test', 6, 5);

# -8번 위치 (뒤에서 8번째 위치) 에서 3글자를 조회
SELECT MID('this is mid test', -8, 3);

LENGTH

문자열의 길이를 반환하는 함수

SELECT LENGTH('this is len test');

SELECT LENGTH('');

SELECT LENGTH(' ');

SELECT LENGTH(NULL);

ROUND

지정한 자리에서 숫자를 반올림하는 함수

# 반올림할 위치를 지정하지 않을 경우, 소수점 자리 (0) 에서 반올림
SELECT ROUND(315.625);

# 십단위 위치는 -2
SELECT ROUND(315.625, -2);

NOW

현재 날짜 및 시간을 반환하는 함수

FORMAT

숫자를 천단위 콤마가 있는 형식으로 반환하는 함수

# 소수점을 표시하지 않을 경우 0
SELECT FORMAT(12345.6789, 0);

SELECT FORMAT(12345.6789, 2);

예제)

# oil_price 테이블에서 가격을 십원단위에서 반올림해서 조회하세요.
SELECT 상호, ROUND(가격, -2) FROM oil_price;

2. Subquery

하나의 SQL 문 안에 포함되어 있는 또 다른 SQL 문을 말한다.
메인쿼리가 서브쿼리를 포함하는 종속적인 관계이다.
서브쿼리는 메인쿼리의 칼럼 사용 가능
메인쿼리는 서브쿼리의 칼럼 사용 불가

Subquery 사용시 주의

Subquery 는 괄호로 묶어서 사용
단일 행 혹은 복수 행 비교 연산자와 함께 사용 가능
subquery 에서는 order by 를 사용X

Subquery 종류

스카라 서브쿼리 (Scalar Subquery) - SELECT 절에 사용
인라인 뷰 (Inline View) - FROM 절에 사용
중첩 서브쿼리 (Nested Subquery) - WHERE 절에 사용

Scalar Subquery (스칼라 서브쿼리)

SELECT 절에서 사용하는 서브쿼리. 결과는 하나의 Column 이어야 한다.

# 서울은평경찰서의 강도 검거 건수와 서울시 경찰서 전체의 평균 강도 검거 건수를 조회
SELECT case_number, 
    (SELECT AVG(case_number) FROM crime_status
    WHERE crime_type = '강도' AND status_type = '검거') avg
FROM crime_status
WHERE police_station = '은평' 
AND crime_type = '강도'
AND status_type = '검거';

Inline View (인라인 뷰)

FROM 절에 사용하는 서브쿼리. 메인쿼리에서는 인라인 뷰에서 조회한 Column 만 사용가능하다.

# 경찰서 별로 가장 많이 발생한 범죄 건수와 범죄 유형을 조회
SELECT c.police_station, c.crime_type, c.case_number
FROM crime_status c,
    (SELECT police_station, max(case_number) count
    FROM crime_status
    WHERE status_type = '발생'
     GROUP BY police_station
    ) m
WHERE c.police_station = m.police_station
AND c.case_number = m.count;

Nested Subquery (중첩 서브쿼리)

WHERE 절에서 사용하는 서브쿼리.
- Single Row - 하나의 열을 검색하는 서브쿼리
- Multiple Row - 하나 이상의 열을 검색하는 서브쿼리
- Multiple Column - 하나 이상의 행을 검색하는 서브쿼리
서브쿼리가 비교연산자( =, >, >=, <, <=, <>, !=)와 사용되는 경우,
서브쿼리의 검색 결과는 한 개의 결과값을 가져야 한다. (두개 이상인 경우 에러)

SELECT name FROM celeb 
WHERE name = (SELECT hot FROM snl_show WHERE id = 1);

⚡️ IN

서브쿼리 결과 중에 포함 될때

# SNL 에 출연한 영화배우를 조회
SELECT host
FROM snl_show
WHERE host IN (SELECT name
              FROM celeb
              WHERE JOB_TITLE LIKE '%영화배우%');

⚡️ EXIST

서브쿼리 결과에 값이 있으면 반환

# 범죄 검거 혹은 발생 건수가 2000건 보다 큰 경찰서 조회 
SELECT name
FROM police_station p
WHERE EXISTS (SELECT police_station
             FROM crime_status c
             WHERE p.name = c.reference AND case_number > 2000);

⚡️ ANY

서브쿼리 결과 중에 최소한 하나라도 만족하면 (비교연산자 사용)

# SNL 에 출연한 적이 있는 연예인 이름 조회
SELECT name
FROM celeb
WHERE name = ANY (SELECT host
                 FROM snl_show);

⚡️ ALL

서브쿼리 결과를 모두 만족하면 (비교 연산자 사용)

SELECT name
FROM celeb
WHERE name = ALL (SELECT host
                 FROM snl_show
                 WHERE id = 1);

⚡️ Multi Column Subquery

서브쿼리 내에 메인쿼리 컬럼이 같이 사용되는 경우.

SELECT name, sex, agency
FROM celeb
WHERE (sex, agency) IN (SELECT sex, agency FROM celeb WHERE name = '강동원');

[스터디 노트] Week9_3일차 [심화_5 ~ 7] - SQL

가스오부시 — Mon, 4 Sep 2023 15:04:20 +0900

1. Primary KEY

테이블의 각 레코드를 식별
중복되지 않은 고유값을 포함
NULL 값을 포함할 수 없음
테이블 당 하나의 기본키를 가짐

PRIMARY KEY 생성 문법-1

CREATE TABLE person(
    pid INT NOT NULL,
    name VARCHAR(16),
    age INT,
    sex CHAR,
    PRIMARY KEY (pid)
);

여러개의 칼럼 기본키 설정

# 여러개의 칼럼을 기본키로 설정하는 경우
CREATE TABLE animal(
    name VARCHAR(16) NOT NULL,
    type VARCHAR(16) NOT NULL,
    age INT,
    PRIMARY KEY (name, type)
);

PRIMARY KEY 삭제

ALTER TABLE person
DROP PRIMARY KEY;

# 여러개의 컬럼이여도 삭제는 동일
ALTER TABLE animal
DROP PRIMARY KEY

PRIMARY KEY 생성 문법-2

# 기본키 1개 설정
ALTER TABLE person
ADD PRIMARY KEY (pid);

# 기본키 여러개 설정
ALTER TABLE animal
ADD CONSTRAINT PK_animal PRIMARY KEY (name, type);

2. FOREIGN KEY (외래키)

한 테이블을 다른 테이블과 연결해주는 역할이며,
참조되는 테이블의 항목은 그 테이블의 기본키 (혹은 단일값)

Table 생성 시 외래키 설정

CREATE TABLE orders(
    oid INT NOT NULL,
    order_no VARCHAR(16),
    pid INT,
    PRIMARY KEY (oid),
    CONSTRAINT PK_person FOREIGN KEY (pid) REFERENCES person(pid)
);

❗️CREATE TABLE 에서 FOREIGN KEY를 지정하는 경우, CONSTRAINT 를 생략할 수 있다.

CREATE TABLE job(
    jid INT NOT NULL,
    name VARCHAR(16),
    pid INT,
    PRIMARY KEY (jid),
    FOREIGN KEY (pid) REFERENCES person(pid)
);

자동 생성된 CONSTRAINT 를 확인하는 방법

SHOW CREATE TABLE job;

FOREIGN KEY 삭제 문법

ALTER TABLE orders
DROP FOREIGN KEY PK_person;

❗️ Table 이 생성된 이후에도 ALTER TABLE 을 통해 FOREIGN KEY 를 지정할 수 있다

ALTER TABLE orders
ADD FOREIGN KEY (pid) REFERENCES person(pid);

따라하기

다음과 같이 study_id 가 PRIMARY KEY, patient_id 가 person 테이블의 pid 와 연결된 FOREIGN KEY 로 지정된 study 테이블을 생성하세요.
생성한 테이블의 PRIMARY KEY 를 삭제하세요.
생성한 테이블의 FOREIGN KEY 를 삭제하세요.
study 테이블의 patient_id 를 person 테이블의 pid 와 연결된 FOREIGN KEY 로 등록하세요.
study 테이블의 study_id 를 PRIMARY KEY로 등록하세요.

# 1번
CREATE TABLE study(
    study_id INT NOT NULL,
    study_date DATE,
    study_time TIME,
    patient_id INT,
    PRIMARY KEY (study_id),
    FOREIGN KEY (patient_id) REFERENCES person(pid)
);

# 2번
ALTER TABLE study
DROP PRIMARY KEY;

# 3번
ALTER TABLE study
DROP FOREIGN KEY study_ibfk_1;

# 4번
ALTER TABLE study
ADD FOREIGN KEY (patient_id) REFERENCES person(pid);

# 5번
ALTER TABLE study
ADD PRIMARY KEY (study_id);

3. Aggregate Functions (집계함수)

여러 칼럼 혹은 테이블 전체 칼럼으로부터 하나의 결과값을 반환하는 함수
SQL에서 여러 행의 데이터를 하나의 결과 값으로 요약하는 데 사용됩니다.
이러한 함수는 주로 GROUP BY 절과 함께 사용되며, 데이터 분석과 보고에 매우 유용합니다.

COUNT

COUNT( ) 함수는 테이블의 행 수를 반환합니다.

SELECT COUNT(*) FROM police_station;

SELECT COUNT(DISTINCT police_station) FROM crime_status;

# crime_type 은 총 몇 가지?
SELECT COUNT(DISTINCT crime_type) FROM crime_status;

SUM

SUM() 함수는 특정 열의 모든 값을 더합니다.

# 범죄 총 발생건수는?
SELECT SUM(case_number) FROM crime_status
WHERE status_type = '발생';

# 살인의 총 발생건수는?
SELECT SUM(case_number) FROM crime_status
WHERE crime_type = '살인' AND status_type = '발생';

# 중부 경찰서에서 검거된 총 범죄 건수는?
SELECT SUM(case_number) FROM crime_status
WHERE police_station = '중부' AND status_type = '검거';

AVG

AVG( ) 함수는 특정 열의 평균 값을 계산합니다.

# 평균 폭력 검거 건수는?
SELECT AVG(case_number) FROM crime_status
WHERE crime_type = '폭력' AND status_type = '검거';

# 중부경찰서 범죄 평균 발생 건수
SELECT AVG(case_number) FROM crime_status
WHERE police_station = '중부' AND status_type = '발생';

MIN

MIN() 함수는 특정 열의 최솟값을 찾아주는 함수.

# 강도 발생 건수가 가장 적은 경우 몇 건?
SELECT MIN(case_number) FROM crime_status
WHERE crime_type = '강도' AND status_type = '발생';

MAX

MAX() 함수는 특정 열의 최댓값을 찾아주는 함수.

# 강남 경찰서에서 가장 많이 발생한 범죄 건수는?
SELECT MAX(case_number) FROM crime_status
WHERE police_station = '강남' AND status_type = '발생';

GROUP BY

그룹화하여 데이터를 조회를 한다.

# 경찰서 별로 총 발생 범죄 건수를 검색
SELECT police_station, SUM(case_number) 발생건수 FROM crime_status
WHERE status_type = '발생'
GROUP BY police_station
ORDER BY 발생건수 DESC
LIMIT 5;

# 경찰서 별로 평균 범죄 검거 건수를 검색
SELECT police_station, AVG(case_number) 평균검거건수 FROM crime_status
WHERE status_type = '검거'
GROUP BY police_station
ORDER BY 평균검거건수 DESC
limit 5;

HAVING

조건에 집계함수가 포함되는 경우 WHERE 대신 HAVING 사용

# 경찰서 별로 발생한 범죄 건수의 합이 4000 건보다 보다 큰 경우를 검색
SELECT police_station, SUM(case_number) FROM crime_status
WHERE status_type = '발생'
GROUP BY police_station
HAVING SUM(case_number) >= 4000;

# 경찰서 별로 발생한 폭력과 절도의 범죄 건수 평균이 2000 이상인 경우를 검색

SELECT police_station, AVG(case_number) FROM crime_status
WHERE crime_type IN ('폭력', '절도') AND status_type = '발생'
GROUP BY police_station
HAVING AVG(case_number) >= 2000;