코딩하는 타코야끼

1. 시계열 데이터개요 📍 시계열 데이터란 시간의 흐름에 따라 수집된 데이터를 말한다. 일반적으로는 시간의 간격이 균등한 고정 빈도(fixed frequency) 데이터가 대부분이지만 불규칙적인 데이터셋도 될 수 있다. 판다스는 날짜를 조작하고 다른 시구간에 대해 집계하고 다른 시간대를 샘플링 하는등의 시계열 데이터 분석을 위한 다양한 기능을 제공한다. 2. 파이썬과 판다스의 날짜/시간 데이터 다루기 파이썬은 datetime 모듈을 이용해 일시를 처리한다. datetime 모듈은 날짜/시간 관련 타입으로 date, time, datetime 세개의 클래스를 제공한다. 판다스는 Timestamp 단일 타입으로 일시를 처리한다. Timestamp 는 나노초 (10억분의 1초) 의 정밀도를 가진다. 파이썬, ..

1. 정돈된 데이터 (Tidy data) 개요 대부분 실행환경에서의 많은 데이터 셋은 세부적 분석을 작업을 하기 전에 상당한 양의 데이터 재구성을 할 필요가 있다. 경우에 따라서는 전체 프로젝트 자체가 오로지 다른 사람들이 사용하기 쉬운 형태로 데이터를 재구성하는 일일 경우도 있다. 데이터 재구성의 목적은 정돈된 데이터(tidy data) 를 만드는 것이다.Tidy data란 용어는 해들리 위컴이 분석이 용이한 형태로 구성되 있는 데이터셋을 설명하기 위해 만든 용어이다. 논문 링크 📍 정돈된 데이터란? 각 변수(데이터의 속성)는 열을 형성한다. 각 관측값(하나의 데이터)은 행을 형성한다. 각 관측 단위별로 별도의 테이블(표)을 구성한다. 단일 관측 🌓 변수 Feature, 컬럼, 속성 데이터를 구성하는 ..

1. pivot_table() 엑셀의 pivot table 기능을 제공하는 메소드.분류별 집계(Group으로 묶어 집계)를 처리하는 함수로 group으로 묶고자 하는 컬럼들을 행과 열로 위치시키고 집계값을 값으로 보여준다.역할은 groupby()를 이용한 집계와 같은데 여러개 컬럼을 기준으로 groupby 를 할 경우 집계결과를 읽는 것이 더 편하다.(가독성이 좋다) DataFrame.pivot_table(values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All') 🌓 매개변수 index 문자열 또는 리스트. index로 올 컬럼들 => groupby였..

1. filter( ) DataFrameGroupBy.filter(func, dropna=True, *args, **kwargs) 특정 조건을 만족하는 Group의 데이터(행)들을 조회할 때 사용한다. 주로 조건은 group별 집계결과를 이용한다. 함수에 group별 DataFrame을 argument로 전달한다. 함수는 받은 DataFrame을 이용해 집계한 값의 조건을 비교해서 반환한다.(반환타입: Bool) 반환값이 True인 Group들의 모든 행들로 구성된 DataFrame을 반환한다. 🌓 매개변수 func: filtering 조건을 구현한 함수 객체 첫번째 매개변수로 Group으로 묶인 DataFrame을 받는다. bool type 값을 반환한다. 매개변수로 받은 DataFrame이 특정 조건..

1. 정규 표현식(Regular Expression) 개요 📍 정규 표현식이란 텍스트에서 특정한 형태나 규칙을 가지는 문자열을 찾기 위해 그 형태나 규칙을 정의하는 것. 파이썬 뿐만 아니라 문자열을 다루는 모든 곳에서 사용된다. 정규식, Regexp이라고도 한다. 📍 기본개념 패턴 정규 표현식이라고 한다. 문장내에서 찾기위한 문구의 형태에 대한 표현식. 메타문자 패턴을 기술하기 위해 사용되는 특별한 의미를 가지는 문자 예) a* : a가 0회 이상 반복을 뜻한다. a, aa, aaaa 리터럴 표현식이 값 자체를 의미하는 것 예) a는 a 자체를 의미한다. 2. 정규 표현식 메타 문자 패턴을 기술하기 위한 문자 📍 문자 클래스 : [ ] [ ]사이의 문자들과 매칭 [abc] : a, b, c 중 하나의 문..

1. Iterator 🌓 Iterable(공장) 여러개의 데이터를 하나씩 또는 한 단위씩 제공하는 객체. Iterator객체를 반환하는 __iter__() 특수 메소드를 정의해야 한다. __iter__()는 iter(Iterable) 내장함수에 의해 호출된다. 🌓 Iterator(가계) 자신을 생성한 Iterable의 값들을 하나씩 또는 한 단위씩 제공하는 객체 Iterable의 값을 제공하는 __next__() 특수 메소드를 정의한다. __next__() 는 next(Iterator) 내정함수에 의해 호출된다. 더 이상 제공할 값이 없을 경우 StopIteration Exception을 발생시켜야 한다. # list -> Iterable 타입 # list_iterator -> list의 iterable..