1. Pandas 기초¶
- Series: Python의 1차원 배열
- DataFrame: Python의 2차원 배열
In [1]:
import pandas as pd
import numpy as np
In [2]:
s = pd.Series([1, 3, 5, np.nan, 6, 8])
s
Out[2]:
In [3]:
dates = pd.date_range('20190716', periods=7) # 날짜형 데이터
dates
Out[3]:
In [4]:
df = pd.DataFrame(np.random.randn(7,4), index=dates, columns=['A', 'B', 'C', 'D']) # 7행 4열 random 변수 생성
df
Out[4]:
In [5]:
df.head(3)
Out[5]:
In [6]:
df.index
Out[6]:
In [7]:
df.columns
Out[7]:
In [8]:
df.values
Out[8]:
In [9]:
df.info() # DataFrame의 개요 확인
* describe(): 통계적 개요 확인¶
- count: 개수
- mean: 평균
- std: 표준편차
- min: 최소
- max: 최대
In [10]:
df.describe()
Out[10]:
* sort_values(): by로 지정된 컬럼을 기준으로 정렬¶
- ascending: 오름차순 정렬
In [11]:
df.sort_values(by='B', ascending=False)
Out[11]:
In [12]:
df
Out[12]:
In [13]:
df['A']
Out[13]:
In [14]:
df[0:4]
Out[14]:
In [15]:
df['20190719':'20190721']
Out[15]:
* loc: 슬라이싱 할 때 location 옵션 이용해서 위치 값 지정 가능¶
In [16]:
df.loc[dates[3]]
Out[16]:
In [17]:
df.loc[:, ['A', 'B']]
Out[17]:
In [18]:
df.loc['20190718':'20190720', ['A','B']]
Out[18]:
In [19]:
df.loc['20190718':'20190720', 'A':'B']
Out[19]:
In [20]:
df.loc['20190722', 'A':'B']
Out[20]:
In [21]:
df.loc[dates[2], 'C']
Out[21]:
* iloc: 슬라이싱 할 때 행과 열 번호를 이용해 데이터 바로 접근 가능¶
In [22]:
df.iloc[3]
Out[22]:
In [23]:
df.iloc[2:4, :3]
Out[23]:
In [24]:
df.iloc[[1,2,5],3]
Out[24]:
In [25]:
df.iloc[0:4, :]
Out[25]:
In [26]:
df.iloc[:, 0:3]
Out[26]:
In [27]:
df
Out[27]:
In [28]:
df[df.B < 0]
Out[28]:
In [29]:
df[df < 0]
Out[29]:
In [30]:
df2 = df.copy() # 데이터의 내용까지 복사함
In [31]:
df2['E'] = ['one', 'one', 'two', 'three', 'four', 'five', 'six']
df2
Out[31]:
In [32]:
df2['E'].isin(['one', 'two'])
Out[32]:
In [33]:
df2[df2['E'].isin(['one', 'two'])]
Out[33]:
* apply(): 함수 적용¶
- cumsum: 누적합
- lambda: one-line 함수
In [34]:
df.apply(np.cumsum)
Out[34]:
In [35]:
df.apply(lambda x: x.max() - x.min())
Out[35]:
2. Pandas 고급 - 두 DataFrame 병합¶
In [36]:
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']},
index = [0, 1, 2, 3])
df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
'B': ['B4', 'B5', 'B6', 'B7'],
'C': ['C4', 'C5', 'C6', 'C7'],
'D': ['D4', 'D5', 'D6', 'D7']},
index = [4, 5, 6, 7])
df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'],
'B': ['B8', 'B9', 'B10', 'B11'],
'C': ['C8', 'C9', 'C10', 'C11'],
'D': ['D8', 'D9', 'D10', 'D11']},
index = [8, 9, 10, 11])
In [37]:
df1
Out[37]:
In [38]:
df2
Out[38]:
In [39]:
df3
Out[39]:
In [40]:
result = pd.concat([df1, df2, df3]) # 데이터를 열 방향으로 단순 합침
result
Out[40]:
In [41]:
result = pd.concat([df1, df2, df3], keys=['x', 'y', 'z'])
result
Out[41]:
In [42]:
result.index # key 지정된 구분은 다중 index 되어 level 형성함
Out[42]:
In [43]:
result.index.get_level_values(0)
Out[43]:
In [44]:
result.index.get_level_values(1)
Out[44]:
In [45]:
df4 = pd.DataFrame({'B': ['B2', 'B3', 'B6', 'B7'],
'D': ['D2', 'D3', 'D6', 'D7'],
'F': ['F2', 'F3', 'F6', 'F7']},
index = [2, 3, 6, 7])
result = pd.concat([df1, df4], axis=1)
In [46]:
df1
Out[46]:
In [47]:
df4
Out[47]:
In [48]:
result
Out[48]:
In [49]:
# 공통된 index로 합치고 그렇지 않은 index의 데이터 버림
result = pd.concat([df1, df4], axis=1, join='inner')
result
Out[49]:
In [50]:
result = pd.concat([df1, df4], axis=1, join_axes=[df1.index]) # 열의 index 직접 지정
result
Out[50]:
In [51]:
result = pd.concat([df1, df4], ignore_index=True, sort=True) # index 무시하고 합친 후 다시 index 부여
result
Out[51]:
In [52]:
left = pd.DataFrame({'key': ['K0', 'K4', 'K2', 'K3'],
'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']})
In [53]:
left
Out[53]:
In [54]:
right
Out[54]:
* merge(): 병합¶
- on: 공통된 열에 대해서만 합침
- how: 기준 데이터 설정
- outer: merge한 데이터 결과를 모두 가짐(합집합)
- inner: 공통된 요소만 가짐(교집합)
In [55]:
pd.merge(left, right, on='key')
Out[55]:
In [56]:
pd.merge(left, right, how='left', on='key')
Out[56]:
In [57]:
pd.merge(left, right, how='right', on='key')
Out[57]:
In [58]:
pd.merge(left, right, how='outer', on='key')
Out[58]:
In [59]:
pd.merge(left, right, how='inner', on='key')
Out[59]:
3. Matplotlib 기초¶
In [60]:
import matplotlib.pyplot as plt
%matplotlib inline
# 그래프의 결과를 출력 세션에 나타나게 하는 설정
In [61]:
plt.figure()
plt.plot([1, 2, 3, 4, 5, 6, 7, 8, 9, 8, 7, 6, 5, 4, 3, 2, 1, 0])
plt.show()
In [62]:
t = np.arange(0, 12, 0.01) # 0부터 12까지 0.01 간격으로 데이터 생성
y = np.sin(t) # 사인 함수에 입력
In [63]:
plt.figure(figsize=(10, 6))
plt.plot(t, y)
plt.show()
In [64]:
plt.figure(figsize=(10, 6))
plt.plot(t, y)
plt.grid() # 그리드 적용
plt.xlabel('time') # x축 라벨 적용
plt.ylabel('Amplitude') # y축 라벨 적용
plt.title('Example of sinewave') # 제목 적용
plt.show()
In [65]:
plt.figure(figsize=(10, 6))
plt.plot(t, np.sin(t))
plt.plot(t, np.cos(t))
plt.grid()
plt.xlabel('time')
plt.ylabel('Amplitude')
plt.title('Example of sinewave')
plt.show()
In [66]:
plt.figure(figsize=(10, 6))
plt.plot(t, np.sin(t), label='sin')
plt.plot(t, np.cos(t), label='cos')
plt.grid()
plt.legend() # 범례 추가
plt.xlabel('time')
plt.ylabel('Amplitude')
plt.title('Example of sinewave')
plt.show()
In [67]:
plt.figure(figsize=(10, 6))
plt.plot(t, np.sin(t), lw=3, label='sin')
plt.plot(t, np.cos(t), 'r', label='cos')
plt.grid()
plt.legend()
plt.xlabel('time')
plt.ylabel('Amplitude')
plt.title('Example of sinewave')
plt.show()
In [68]:
plt.figure(figsize=(10, 6))
plt.plot(t, np.sin(t), lw=3, label='sin')
plt.plot(t, np.cos(t), 'r', label='cos')
plt.grid()
plt.legend()
plt.xlabel('time')
plt.ylabel('Amplitude')
plt.title('Example of sinewave')
plt.ylim(-1.2, 1.2) # y축 제한 설정
plt.xlim(0, np.pi) # x축 제한 설정
plt.show()
In [69]:
t = np.arange(0, 5, 0.5) # 0부터 5까지 0.5 간격
plt.figure(figsize=(10, 6))
plt.plot(t, t, 'r--')
plt.plot(t, t**2, 'bs')
plt.plot(t, t**3, 'g^')
plt.show()
In [70]:
plt.figure(figsize=(10, 6))
pl1 = plt.plot(t, t**2, 'bs')
plt.figure(figsize=(10, 6))
pl2 = plt.plot(t, t**3, 'g^')
plt.show()
In [71]:
t = [0, 1, 2, 3, 4, 5, 6]
y = [1, 4, 5, 8, 9, 5, 3]
plt.figure(figsize=(10, 6))
plt.plot(t, y, color='orange')
plt.show()
In [72]:
plt.figure(figsize=(10, 6))
plt.plot(t, y, color='pink', linestyle='dashed')
plt.show()
In [73]:
plt.figure(figsize=(10, 6))
plt.plot(t, y, color='skyblue', linestyle='dashed', marker='o')
plt.show()
In [74]:
plt.figure(figsize=(10, 6))
plt.plot(t, y, color='gray', linestyle='dashed', marker='o',
markerfacecolor='red', markersize=10)
plt.xlim([-0.5, 6.5])
plt.ylim([0.5, 9.5])
plt.show()
In [75]:
t = np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
y = np.array([9, 8, 7, 9, 8, 3, 2, 4, 3, 4])
In [76]:
plt.figure(figsize=(10, 6))
plt.scatter(t, y)
plt.show()
In [77]:
plt.figure(figsize=(10, 6))
plt.scatter(t, y, marker='>')
plt.show()
In [78]:
colormap = t
plt.figure(figsize=(10, 6))
plt.scatter(t, y, s = 40, c = colormap, marker='<') # x축 값에 따라 색상 바꿈
plt.colorbar()
plt.show()
In [79]:
s1 = np.random.normal(loc=0, scale=1, size=1000) # loc: 평균값 지정
s2 = np.random.normal(loc=5, scale=0.5, size=1000) # scale: 표준편차 지정
s3 = np.random.normal(loc=10, scale=2, size=1000)
In [80]:
plt.figure(figsize=(10, 6))
plt.plot(s1, label='s1')
plt.plot(s2, label='s2')
plt.plot(s3, label='s3')
plt.legend()
plt.show()
In [81]:
plt.figure(figsize=(10, 6))
plt.boxplot((s1, s2, s3))
plt.grid()
plt.show()
In [82]:
plt.figure(figsize=(10, 6))
plt.subplot(221) # 2행 2열의 1번째
plt.subplot(222) # 2행 2열의 2번째
plt.subplot(212) # 2행 1열의 2번째
plt.show()
In [83]:
plt.figure(figsize=(10, 6))
plt.subplot(411)
plt.subplot(423)
plt.subplot(424)
plt.subplot(413)
plt.subplot(414)
plt.show()
In [84]:
t = np.arange(0, 5, 0.01)
plt.figure(figsize=(10, 12))
plt.subplot(411)
plt.plot(t, np.sqrt(t)) # 제곱근(루트) 계산
plt.grid()
plt.subplot(423)
plt.plot(t, t**2)
plt.grid()
plt.subplot(424)
plt.plot(t, t**3)
plt.grid()
plt.subplot(413)
plt.plot(t, np.sin(t))
plt.grid()
plt.subplot(414)
plt.plot(t, np.cos(t))
plt.grid()
plt.show()
