Dasol Yoo

Pandas pd.read_csv의 engine과 encoding

2021-08-23T00:00:00+00:00

데이터 분석가 사전 테스트를 보면 csv파일을 읽어서 데이터 분석을 진행하는 경우가 있습니다.

이럴 때 한글이 깨져서 보이면 당황스럽죠,,

mac에서 jupyter notebook으로 pandas.read_csv()로 파일을 읽어올 때 다음과 같이 하시면 됩니다!

간단하게 해결하세요!

입력 예시

df = pd.read_csv('test.csv', engine="python", encoding='cp949')

포스코 청년 AI·BigData아카데미 15기 과정 시작

2021-08-13T00:00:00+00:00

최종합격

지난 7/1일 떨리는 면접을 마치고, 7/6일에 최종 합격 메일을 받았습니다! 🤩

이후 사전 교육에 대한 시험을 치르고 기대했던 통계 수업을 들었습니다.

지원 동기

🌟포스코 청년 AI·BigData아카데미에서 빅데이터 분석 직무 유사 경험&AI를 사용한 심화 프로젝트 경험을 쌓을 수 있기 때문에!

저는 이공계에서도 비즈니스와는 가장 멀리 있는 천문학을 전공하고 심지어 석사까지 마쳤기 때문에,

첫 면접에서 “왜 전공을 그만두고 바꾸려고 하는가?” 라는 질문을 가장 먼저 받았습니다.

이러한 질문에 대한 대답의 근거를 만들기 위해 비즈니스 데이터 분석 경험이 필요하다고 느꼈습니다.

또한 빅데이터 분석가 취업 공고들에서 요구하는 필요 경험과 역량을 분석하면서,

저에게 가장 필요한 것이 비즈니스 데이터 분석 경험인 것을 다시 한 번 깨달았습니다.

포스코에서는 실제 비즈니스 데이터에서 발생하는 문제를 정의하고, 분석하고, 인사이트를 도출하는 경험을 쌓을 수 있기 때문에 저에게 절실하게 필요한 교육이라는 생각이 들었습니다.

1주차 후기

통계 수업을 통해 기술통계, 확률분포, 통계적 추정과 검정, 상관분석, 회귀분석을 배웠습니다.

제가 혼자 공부하면서 이해하기 어려웠던 개념을 이해할 수 있게 되었을 뿐만 아니라,

기업의 의사결정에 필요한 경우들에 어떤 개념을 적용하는지 예시들을 배우며 해석하는 경험을 했습니다.

자연 과학 연구원에서 일반 기업 취업으로 넘어가기 위해 필요한 핵심 내용들을 배울 수 있어서 감사하고 즐거웠습니다!

이후 진행될 빅데이터 프로젝트에서 배운 개념을 모조리 적용해서 깊이있는 해석을 해볼 것을 기대중입니다!!

선형대수 기초 개념 정리

2021-07-08T00:00:00+00:00

이 글은 포스코 AI・BigData 아카데미 교육과정에서 추천하는 선형대수 온라인 강의를 요약한 것입니다.

향후 내용이 추가될 예정입니다.

[2. 일차종속 및 독립]

일차 결합

벡터와 상수의 곱의 결합

예시) $a1v1+a2v2+…$

생성

일차 결합 계산 결과를 말한다.

일차종속 및 독립

일차(선형)독립?

한 백터에 실수배 해서 다른 벡터를 하나라도 만들어 낼 수 없다.

일차(선형)종속?

한 백터에 실수배 해서 다른 벡터를 하나라도 만들어 낼 수 있다.

예시)

(1,1)과 (2,2)

독립 VS. 종속 판별 방법

정방행렬인 경우> 행렬식으로 판별

행렬식이 0이면 종속/ 0이 아니면 독립
정방행렬이 아닌 경우> 랭크로 독립과 선형을 구분하는 방법
- 랭크 A?
  
  A행렬의 열들 중에서 일차 독립인 열들의 최대 개수
  
  =행렬의 열들로 생성될 수 있는 백터 공간의 차원
- 랭크로 독립과 선형을 구분하는 방법?
  
  각 열에 실수배를 하고 더하는 과정을 거쳤을 때,
  
  맨 마지막 열이 0으로 구성될 경우 실수배해서 생성할 수 있으므로 종속이다.

[3. 기저 및 차원]

기저(basis)

정의

백터 공간 v에 대해 s가 부분집합일 때,

집합 s가

1.v를 생성하고

2.선형독립이라면

s를 v의 기저(basis)라고 한다.

예시) 음악이라는 벡터 공간의 기저는 “도레미파솔라시도”음계이다.

흑백 공간이라는 벡터 공간의 기저는 “종이, 연필, 지우개”이다.

즉 흑백 공간을 만들기 위한 최소의 엑기스는 “종이, 연필, 지우개”이다.

특징

“기저는 여러개일 수 있다. 하지만 차원(기저의 개수)는 변하지 않는다.”

표준 기저

기저 중에 표준인 것을 의미한다.

예시)

R^2: {(1,0), (0,1)} , R2의 기저의 개수, 즉 차원은 2이다.

기저의 좌표

(3,4) = 3(1,0)+4(0,1)이므로

이때 좌표 벡터(상대좌표, 좌표행렬)은 [3,4]이다.

[4. 고유치 및 고유벡터]

📌 정의

A행렬에 어떤 백터 v를 곱한 결과가 v에 어떤 실수 λ배 한 것과 같을 때,

v를 고유 벡터,λ를 고유치라 한다.

고유벡터는 0이 아닌 벡터이기 때문에, A-λI의 역행렬이 존재하면 안된다.

따라서 A-λI의 행렬식이 0이어야 한다.

(즉, 고유 방정식이 0이어야 한다.)

고유치 계산 방법

고유 방정식을 계산한다.

즉, 대각 성분에 λ를 빼준 뒤 행렬식 값을 구한다.

# 3X3이상 큰 행렬의 행렬식을 구할 때,

어떤 행 또는 열에 0을 포함하고 있다면,

0을 포함하는 행 또는 열의 다른 원소를 0으로 만들어준다.

이때 방법은 행 또는 열에 실수배를 하여 더하거나 빼준다.

이러한 방법으로 행렬식 원소를 0으로 만들어서 계산을 간소화 할 수 있다.

고유벡터 계산 방법

구한 고유치 값을 대각성분에서 빼준다.

(A-λI)v=0을 만족하는 x,y를 아무거나 찾아준다.

[5. 고유치 및 고유벡터의 성질]

📌Trace

Tr(A)=A행렬의 대각 행렬들을 모두 더한 것

📌 [성질 1]

A행렬의

1.고유치의 합은 trace(A)와 같다.

2.고유치의 곱은 A의 행렬식 값과 같다.

📌[성질 2]

1.A^T와 A의 고유치는 같다.

(단, 고유벡터는 같다고 보장할 수 없다.

2.A의 고유치가 lambda이면,

A^n의 고유치는 lambda^n이다.

A^(-1)의 고유치는 lambda^(-1)이다.

aA의 고유치는 alambda이다.

A+a*I의 고유치는 lambda+a이다.

📌[성질 3]

1.대칭행렬의 고유치는 항상 실수이며,

서로 다른 고유치에 해당하는 각각의 고유벡터는 수직관계를 갖는다.

(즉, 두 벡터를 내적하면 0이다.)

# 팁: 내적계산은 전치와 같다.

# 이유: 원래 벡터는 세워서 쓴느게 원칙이기 때문에, 전치를 하면 눕혀진다. 그 결과 내적 계산과 같아진다.

2.교대행렬의 고유치는 0 또는 순허수이다.

3.직교 행렬의 고유치는 1 또는 -1 및 켤례복소수이며, 그 절댓값은 항상 1이다.( 즉 $a^{2}+b^{2}=1$)

[6. 닮은 행렬과 대각화 행렬]

닮은 행렬

📌정의

$Q^{-1}AQ = B$ 일 때, (단, Q가 역행렬이 존재할 때)

A와 B는 닮은 행렬이다.

이는 “행렬의 성질이 같음을 의미한다.”

1)행렬식 값이 같다.

2)Rank값이 같다.

3)Tr(A)=Tr(B)

4)고유치가 서로 같다.(고유 벡터가 같다고 보장할 수는 없다.)

대각화 행렬

$P^{-1}AP = D$

P: 대각화 시키는 행렬 (이때, P는 A의 고유벡터로 이루어진 행렬)

D: 대각화 행렬 (A의 고유치로 이루어진 행렬)

대각화 시키는 행렬과 대각화 행렬을 구하는 방법

먼저 A행렬의 고유치와 그에 해당하는 고유 벡터를 구한다.

이때 P는 고유벡터를 세로로 놓으면 되며,

D는 대각 부분에 고유 고유벡터에 해당하는 고유치를 순서대로 넣어주면 된다.

D는 항상 존재하는가? =A 행렬은 대각화 가능한가?

무조건 존재하지는 않는다. P의 역행렬이 존재할 때만 존재한댜.

P의 역행렬이 존재하면 P의 행렬식 값이 0이 아니다.

이는 P를 이루는 고유벡터 열들이 일차독립이어야 함을 의미한다.
- 방법>
  
  1.서로 다른 고유치가 N개 존재해야한다.
  
  만약 중근을 갖는 경우, 대각화는 가능할 수도 불가능 할 수도 있다.
  
  따라서 2번째 조건을 추가로 확인한다.
  
  2.대각화가 가능하려면 일차독립인 고유벡터의 개수가 N개 존재해야한다.
  
  중근인 고유치에 해당하는 고유 벡터가 서로 다른지 확인한다.

[7. 벡터]

벡터 표현

시점에서 종점으로 방향과 힘이 제시된 수학적 연산이다.

벡터의 상등

크키와 방향이 같은 벡터.

이러한 벡터는 이동이 가능하다.

벡터의 실수배

방향은 그대로이지만 크기가 실수배 된다.

음수를 곱할 경우 방향이 반대가 된다.

단위벡터

크기가 1인 벡터.

단위 벡터 만드는 방법:벡터 자기 자신의 크기로 나눈다.

벡터의 사칙연산

덧셈, 뺄셈, 곱셈만 존재한다.

[8. 벡터의 내적]

내적의 성질

#중요: 수직인 두 벡터의 내적은 0이다.

[9. 랭크 1]

랭크 연산법

=연립방정식을 푸는 방법과 완전히 동일하다.

행 작업만 가능하다.
행과 행을 바꿔도 된다.
행에 실수배를 해도 된다.

[가우스 소거법]

첫번째 행의 선두(0이 아닌 숫자) 밑에를 0으로 만든다.

두번째 행의 선두 밑을 0으로 만든다.

이때 랭크는 행이 0으로 이루어지지 않은 행의 개수이다.

[10. 랭크의 활용]

Reference

포스코 AI・BigData 아카데미 교육과정에서 추천하는 선형대수 온라인 강의와,

https://www.youtube.com/playlist?list=PLxMkK1K0XECOj2sZG-gCk-CjvZhJ_75I4

추가적인 개념 이해에 도움 받은 블로그들입니다.

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=sw4r&logNo=221921810588
https://angeloyeo.github.io/2019/07/17/eigen_vector.html

Summary for BFS Algorithm

2021-06-08T00:00:00+00:00

🌟코딩테스트에서 BFS 문제를 풀기 위해 꼭 필요한 함수 총 정리!!!!!🌟

코테 전에 BFS 알고리즘 필수 요약 보고 들어가세요!

계속 업데이트 합니다.

Queue 만드는 방법

queue에 2D node를 추가할 때 시공간 복잡도가 가장 낮은 방법.

(현재까지 진행한 여러가지 테스트롤 통해 내린 결론이며, 향후 변경될 수 있다.)

from collections import deque

q = deque()
q.append((sy, sx))
(y, x) = q.popleft()
q.append((ny, nx))

Graph 만드는 방법

node와 edge가 주어질 때

# Make Graph
graph=[[]for i in range(node+1)]
for _ in range(edge):
    node1, node2 = map(int,sys.stdin.readline().split())
    graph[node1].append(node2)
    graph[node2].append(node1)

N X M 인접 행렬(adjacency matrix)이 주어질 때

input = sys.stdin.readline
n = int(input())

graph=[]
for i in range(row):
    line = input().split() # returns list ex>['0110100']
    graph.append([])
    for j in line[0]:
        graph[i].append(int(j))

visited = [[0]*column for _ in range(row)]

문제 유형

모든 노드 방문할 때

노드 n개가 연결된 경로가 존재하는지 구하기

13023번 - ABCDE

1. for문 사용하여 모든 노드 방문 1. DFS: level == n-1일 때 return

모든 노드 방문하며 그 순서 출력하기

1260번 - DFS와 BFS

visited = []에 pop한 node를 추가한다
visited를 return한다

연결 요소(connected component)의 개수 구하기

11724번 - 연결 요소의 개수

for문 사용하여 모든 노드 방문
1. 방문하지 않은 노드만 방문한다
  1. BFS

일부 노드만 선택적으로 방문할 때: 2D

📌 1. 먼저 자식 노드의 위치가 2D array index 범위 안에 위치하는지 조사하기

✔️ 가능한 < 또는 >을 사용하자‼️ <= 또는 >= 사용을 피하자‼️

예를들어 0<=ny <= n - 1 을 사용하지 말고, 예를들어 0<=ny < n 을 사용하자.

이유) <=을 사용하는 경우 -1 연산을 추가로 하게 되므로 ~ 효율성이 낮아진다.

✔️이 과정이 선행되어야 방문 여부를 확인할 때 2D array index 범위를 벗어나는 error가 발생하지 않는다.

📌 2. 이후 자식 노드의 방문 여부를 조사하고, 동시에 방문 여부 리스트에 탐색 비용을 저장하자‼️

자식 노드의 탐색 비용이 동일할 때

📌 목표 node까지 도달하는데 필요한 최소한의 edge개수/시간/이동/거리를 구하는 방법은?

즉, 탐색 깊이를 count할 때

➡️ 동일한 부모 노드와 연결된 자식 노드라면 같은 level을 가지도록 한다.

즉, 모든 자식 노드의 visited 값에 부모 노드의 visited 값에 1을 추가한다.

이 방법을 사용하면 목표 node에 도달했을 때 visitied에 저장된 level이 자연스럽게 최소 edge개수/시간/이동/거리가 된다.

1D: 다양한 방향

최단 경로로 이동할 때 지나가는 노드를 print 하기

13913번 - 숨바꼭질 4

BFS 방법을 사용하면 같은 level의 자식 노드를 node를 방문한다.

따라서 node를 pop하여 모두 저장하는 방법으로는 최단 경로를 print 할 수 없다.

➡️ parent list를 만들어서, 자식 노드 방문시 부모 노드를 저장한다.

BFS를 마치고 도착한 노드의 parent list 값을 확인하여 이전에 방문한 노드를 알아내는 것을 반복한다.

2D: 좌 우 상 하

목적지에 도달하기 위한 최소의 칸 수 구하기

목적지에 도달하는 최소 이동 거리 구하기

2178번 - 미로 탐색

visited = [[0]*node for _ in range(node)]
for 문으로 가능한 모든 자식 노드 조사 (if 문으로 각 경우를 조사하는 것이 더 빠르지만 코드가 길어져서 작성 시간이 더 오래 걸린다.)
1. 자식 노드의 row와 column이 2D array의 Index 범위를 벗어나지 않는지 조사
  1. 방문하지 않은 자식 노드만 방문
    1. visited[child_y][child_x] = visited[parent_y][parent_x] + 1

연결 요소(connected component)의 개수 구하기

2667번 - 단지번호붙이기

시작 노드가 여러 개인 경우, 가능한 모든 시작 노드에서 동시에 BFS 탐색하기

➡️ Queue안에 모든 시작 노드를 추가한다. 이 방법으로 차례로 BFS를 진행하게 된다.

7576번 - 토마토

예를 들어 이 문제에선 [0,0]과 [3,5]에 토마토가 존재하므로, 탐색 시작 노드가 2개가 된다.

따라서 두 노드를 queue에 올려서 BFS를 진행하면서, 자식 토마토가 익는데 걸리는 시간을 채워준다.

그 결과는 다음과 같다.

[[ 1 -1 7 6 5 4] [ 2 -1 6 5 4 3] [ 3 4 5 6 -1 2] [ 4 5 6 7 -1 1]]

2D: 다양한 방향

목적지에 도달하는 최소 이동 거리 구하기

7562번 - 나이트의 이동

dx = [-1,-2,-2,-1,1,2,2,1]
dy = [2,1,-1,-2,-2,-1,1,2]

for i in range(8):
    ny, nx = y + dy[i], x + dx[i]
    if 0 <= nx < l and 0 <= ny < l and visited[ny][nx] == -1:
        q.append((ny, nx))
        visited[ny][nx] = visited[y][x] + 1

자식 노드의 탐색 비용이 서로 다를 때

최단 경로이면서 탐색 비용이 최소인 경로 구하기

1261 알고스팟, 13549 숨바꼭질 3

➡️ 탐색 비용이 작은 자식 노드를 queue의 앞에 추가하고, 탐색 비용이 큰 자식 노드는 뒤에 추가한다.

✔️ q.appendleft(), q.append() 를 사용한다.

이 방법은 비용이 적은 경로부터 우선적으로 탐색하고, 가장 적은 비용에 대한 탐색이 끝나고 나서야 비로소 더 큰 비용의 경로를 탐색하기 시작한다.

따라서 이 방법을 통해 탐색 비용과 길이가 이 최소인 경로를 찾을 수 있다.

이분 그래프 (Bipartite Graph) 판별하기

이분 그래프란? 그래프의 정점의 집합을 둘로 분할하여, 각 집합에 속한 정점끼리는 서로 인접하지 않는 그래프이다.

1707번 - 이분 그래프

➡️ 방문하지 않은 자식 노드의 탐색 비용 저장시, 부모 노드의 값에 -1을 곱하여 서로 다른 집합임을 표시한다.

만약 자식 노드를 이미 방문했으며, 부모 노드와 탐색 비용이 동일하다면 return false

NAVER AI Now

2021-05-25T00:00:00+00:00

기존 AI 시대

각 문제별로 데이터 확보->정제->모델개발->서비스

문제: 긴시간과 많은 리소스 필요, 결과물을 다른데 사용하는데 제한
한계: 한정적 자원에 의한 속도와 스케일 한계->새로운 패러다임의 필요성
해결: Big model의 일반화와 확장을 통한 플랫폼화

BIG AI 시대

정의

새로운 AI 시대: 파라메터 수 높이는 것
- 파라메터 수가 많아짐에 따라 해결 가능한 문제 수가 많아진다.
- 더 큰 모델, 더 빠른 학습이 경쟁 주제이다.

필요한 것

슈퍼컴퓨팅 인프라: 필수, NAVER는 700pf이상 성능을 갖춘 슈퍼 컴퓨터 도입
데이터: 고품질 풍부한 데이터, 가장 많은 사용자가 있는 플랫폼에서 나오는 데이터, 한국어 모델
AI 전문가: 학회 발표 논문 (국내 기업중 최대), 글로벌 공동 연구

방법

비지도학습 방법이 가능하게 만들었다.

모델 규모가 클수록 효율성이 늘어난다. (loss 줄어든다)

모델의 진화

예시) HyperCLOVA 특장점

맥락을 이해하는 대화
창장을 도와주는 글쓰기
1. 크리에이터의 창작
  1. 그렇다면 창작의 가치는 어떻게 되는가? 이전을 모방하는 창작은 AI도 가능해진다는 뜻이므로 가치가 낮아질 것이다.
  2. 가치있는 창작이란? 이전에 없던 것을 만드는 것이 될 것이다.
정보 요약
1. 여러 문서를 읽고 요약해준다.
데이터 생성
1. 데이터 구축 과정의 비용과 시간 단축
AI 개발자가 아니어도 누구나 필요한 서비스를 만고, 문제를 해결할 수 있다.
1. 그렇다면 AI 개발자로서 나아가야 할 방향은 무엇인가?

인프라

GPU 서버 병렬 학습이 필수가 되었다.

규모

NLP Big Data 수집

딥러닝에서 중요한 것은 좋은 데이터 확보하는 것

다양한 내용
범용의 구성 (대화, Q&A…등)
양질의 정보 (내용을 믿을 수 있는가)
1. 영역 선별 모델 개발
2. 저품질 문서 필터링: 비속어, 반복단어 등 제거
충분한 양

NAVER AI Lab: R&D

공개된 기술 적용 VS 자체 기술 개발: 리더쉽 확보를 위해 자체 기술 개발.

매출의 25%를 개발에 투자하며 그중 AI가 큰 비중을 차지한다.

AI 연구 동향 핵심
- BIG (모델, 데이터, 개발인력): 연구 중심이 아카데미->기업!!
- AI 배우려면 이제 회사를 가야한다.
- 발표 논문의 상단수를 인턴과 함께 작성했다.
- 연구 결과가 사용자에게 직접적으로 적용된다는 점이 의미있다.
- 서울대, 카이스트와 협업이 국내 최고
NAVER AI Lab 리더께서 선지원 노고민! 을 부탁하셨다.

AI 윤리 준칙

사람을 위한 AI 개발

다양항 존중 …등 5가지

네이버의 관점

누구나 쉽고 빠르게 활용할 수 있는 사람을 위한 일상의 도구
예시: Clove carecall (반복 업무 효율성 증가)

HyperCLOVA 기술

현재 모델의 크키가 커지는 속도가 GPU 메모리가 증가하는 속도보다 더 크다.

따라서 큰 모델을 위해서 GPU에 나누어 연산을 수행하고 나중에 합치는 방법이 필수적이며, 3중 병렬화 방법이 현재 적용되고 있다.

모델의 크기가 클수록 후반 loss 감소가 크다.

Few-shot Learning 딥러닝 시 데이터 수가 매우 적을 때?

2021-05-18T00:00:00+00:00

Reference

이 글은 카카오브레인 AutoLearn 연구팀의 퓨샷 러닝 연구를 참고 요약한 것입니다.

논문

https://arxiv.org/pdf/1905.01436.pdf @ CVPR 2019

EGNN

Edge-Labeling Graph Neural Network for Few-shot Learning

필요성

딥러닝 시 데이터 수가 매우 적을 때
{러시안블루, 페르시안, 먼치킨}처럼 고양이의 종류를 구분하는 태스크를 풀 때
- 같은 범주의 데이터를 더 가깝게, 다른 범주의 데이터를 더 멀게 할 정도로 충분히 복잡하지 않을 때

방법

데이터셋을 훈련에 사용하는 서포트 데이터(support data)와 테스트에 사용하는 쿼리 데이터(query data)로 구성

퓨샷 러닝 태스크: ’N-way K-shot 문제’

N은 범주의 수, K는 범주별 서포트 데이터의 수
퓨샷 러닝은 이 K가 매우 작은 상황에서의 모델 학습을 가리킵니다
퓨샷 러닝 모델의 성능은 N과 반비례하며 K와는 비례하는 관계
- K가 많을수록 이 범주에 해당하는 데이터를 예측하는 모델의 성능(추론 정확도)은 높아진다
- 반면, N의 값이 커질수록 모델 성능은 낮아진다

특장점

거리 학습과 그래프 신경망의 장점을 합쳤다.

EGNN은 퓨샷 러닝 문제가 주어졌을 때 쿼리 데이터와 서포트 데이터가 그래프 구조 상에서 상호 작용하며 데이터 간 거리를 계산

사이드 프로젝트 적용 포인트

benchmark 실험: 범주(N)가 10개 이하이며, 서포트 데이터(K)가 1 또는 5개, 쿼리 데이터는 범주당 15개
5-way 10-shot 모델의 정확도 80% 수준

모델 성능 평가 지표

2021-05-18T00:00:00+00:00

‘현재 딥러닝을 하고 있다면 축하한다. 딥러닝을 시작하려고 마음을 먹었다면 축하한다. 만약, 세상을 바꾸고 싶다면, 여기가 바로 그런 곳이다’. -Andrew Ng-

Confusion matrix

정답
- True를 True로 예측: True Positive(TP)
- False를 False로 예측: True Negative(TN)
오답
- True를 False로 예측: False Negative(FN)
- False를 True로 예측: False Positive(FP)

Precision

정밀도 = 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율
Precision = True Positive/(True Positive+False Positive)
Positive 정답률, PPV(Positive Predictive Value)
모델이 True라고 분류한 데이터 중에 실제 True인 경우가 많을수록 정밀하다.

Recall

재현율 = 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율
Recall = True Positive/(True Positive+False Negative)
Sensitivity, hit rate
실제 데이터에서 True인 경우 중 모델이 True라고 말한 경우가 많을술록 재현이 잘되었다고 말한다.

좋은 모델이란?

Precision의 관점에서 실제 False이지만 True라고 분류한 경우의 수(False Positive)가 적어야 하며,
동시에 Recall의 관점에서 실제 True이지만 False로 분류한 경우의 수(False Negative)가 적어야 한다.

Precision과 Recall의 관계

False Positive와 False Negative는 하나가 줄면 하나가 증가하는 trade-off 관계이므로 Precision과 Recall을 동시에 증가시키기 어렵다.

Accuracy

정확도 = 전체 중에서 정답을 맞춘 비율
Accuracy = (True Positive + True Negative) / (TP+TN+FP+FN)
사용하는 데이터가 True or False에 bias되었을 때 accuracy는 모델을 평가하는 적절한 지표가 아닐 수 있다.

Reference

https://sumniya.tistory.com/26

DFS (Depth-First Search) 알고리즘

2021-05-05T00:00:00+00:00

DFS (Depth-First-Search)은 깊이 우선 탐색 알고리즘의 줄임말입니다.

필요성

한 node에서 목표 node로 도착할 수 있는 경로(short-path)를 찾을 때
예) 미로찾기, 재귀, 백트레킹

구현

구현 방법은 두 가지만 기억하면 됩니다.

문제를 그래프로 구현한다.
- 인접 리스트(adjacency list)을 사용해서 이웃 node와의 관계를 기록한다.
  - 장점: 인접 행렬(모든 노드의 관계 저장)보다 효율적인 메모리 사용 (연결된 노드만들 저장하기 때문)
  - 단점: 두 노드가 연결되어있는지 확인하는 속도 느림 (특정 노드와 연결된 모든 인접 노드를 순회해야하기 때문)
    - 이런 속성 덕분에 특정 노드와 연결된 모든 인접 노드를 순회해야하는 문제에서 메모리 효율성을 높일 수 있다.
깊이 우선 탐색 방법을 사용한다.
- 스택를 생성하고 스택에 첫 번째 노드 넣기
- 스택에서 노드 꺼내기
- 노드의 방문 여부를 조사
  - 목적: 탐색 스택에 같은 노드가 반복해서 추가되어 무한 탐색되는 경우를 방지하기 위함
- 노드를 방문하지 않았다면 노드를 방문한 것으로 표시하고 자식 노드 탐색 시작
- 자식 노드 중 방문하지 않은 자식 노드만을 탐색 스택에 추가
- 탐색 스택에 있는 노드가 없어지거나 답을 찾을 때까지 위의 과정 반복

# Make Graph
n, m, v = map(int, input().split()) # n:node개수, m:edge개수, v:시작 node

graph = [[] for _in range(n)]	# node 개수 만큼 빈 list를 만들어준다.
for _ in range(m):
    n1, n2 = map(int, input().split())
    graph[n1].append(n2)	# node에 연결된 자식 node를 기록한다.
    graph[n2].append(n1)

def dfs(v):
    stack = deque([v])
    visited = []
    while stack:  # stack에 노드가 없을 때까지
        node = stack.pop()
        if node not in visited:  #방문하지 않은 노드만 방문한다.
          	visited.append(node)	#노드를 방문한 것으로 기록한다.
            for child in sorted(graph[node], reverse=True): # pop은 오른쪽 원소부터 꺼내므로 내림차순 정렬해준다.
                if child not in visited:  # 방문하지 않은 자식 노드를 큐에 추가한다.
                    stack.append(child)
    return visited

재귀함수를 이용하는 방법

참고 서적: 이것이 코딩테스트다 by 나동빈

def dfs(graph, v, visited):
  # 현재 노드를 방문 처리
  visited[v] = True
  # 현재 노드와 연결된 다른 노드를 재귀로 방문
  for i in graph[v]:
    if not visited[i]:
      dfs(graph, i, visited)

Mutable & Immutable

2021-05-02T00:00:00+00:00

python 함수 밖에 있는 데이터를 함수 안에 가져와서 연산하고 변화된 데이터를 return해야할 때가 있죠!

python 기초 공부를 마치신 분들은 integer를 함수 안으로 가져오는 방법에 대해서 익숙하실겁니다.

저도 integer에 대해서 공부했기때문에, list를 가져오는 방법도 동일할 것이라고 생각했습니다.

📌 그렇지만 list는 integer와 달리 불러오지 않아도 함수 안에서 바로 사용할 수 있습니다‼️

이유가 뭘까요?

mutable과 immutable

필요성

python은 객체 지향이므로 객체 생성 후 변경 여부 관리가 중요
예를 들어 객체를 함수의 parameter로 전달할 때, 변경 가능한 객체의 관리가 필요

mutable (참조 객체)

변수에 저장되는 것? 객채의 값들이 저장된 참조

따라서 실제 값 변경이 가능

종류

list, dic, set

적용 방법

함수의 parameter 또는 변수로 사용하며 원본 값 변경을 하고 싶은 경우?
- 참조만 복사하는 shallow copy
원본 값 변경하지 않으려면?
- 참조와 전체 값을 복사하여 다른 객체를 생성하는 deep copy

immutable (값 객체)

변수에 저장되는 것? 객채의 값

따라서 변경 불가 (변수 치환은 가능)

종류

tuple, string, Numbers(숫자형)

mutable은 항상 변경될까?

🌟정답: 아니다‼️

📌전체를 대입하는 경우 새로운 주소를 가지는 지역 변수로 인식(가정)된다.

따라서 원본 변경이 되지 않는다.

📌오직 mutable 객체의 일부를 바꾸는 경우에 전역변수로 인식되어,

원본 변경이 된다.

변경 안되는 경우

def f(x):
    x = [2,2]
    print(x) #-> [2, 2] 지역 변수로 인식
    print(id(x)) #->140724879389376 함수 밖 x와 다른 새로운 주소를 가리킴

x = [1,1]
print(x) #->[1, 1]
print(id(x)) #->140724621066624

f(x)
print(x) #->[1, 1] 원본 변경 안됨
print(id(x)) #->140724621066624 원본과 동일한 주소를 가짐. 변경 안됨

변경되는 경우

def f(x):
    x[0] = 2
    print(x) #-> [2, 1] 전역 변수로 인식
    print(id(x)) #->1140724633650432 함수 밖 원본 x와 동일한 주소를 가짐

x = [1,1]
print(x) #->[1, 1]
print(id(x)) #->140724633650432

f(x)
print(x) #->[2, 1] 원본 변경됨
print(id(x)) #->1140724633650432 원본과 동일한 주소를 가짐

shallow & deep copy

shallow

객체의 주소를 복사한다.

📌 따라서 복사한 값을 변경하면 원본도 바뀐다.

a = [0,1]
copy_a = a
id(a), id(copy_a)
#->140225591189056 140225591189056

a[1] = 100
print(a, copy_a)
#-> [0, 100] [0, 100]

deep copy

객체의 값을 복사하여 주소가 다른 새로운 객체를 생성한다.

📌 따라서 복사한 값을 변경해도 원본은 바뀌지 않는다.

a = [0,1]
copy_a = a[:]
print(id(a), id(copy_a))#->140225331150528 140225591181376
a[1] = 100
print(a, copy_a)#->[0, 100] [0, 1]

import copy
a = [0,1]
copy_a = copy.deepcopy(a)
print(id(a), id(copy_a))#->140225591154176 140225331159744
a[1] = 100
print(a, copy_a)#->[0, 100] [0, 1]

함수 밖의 integer를 함수 안으로 가져와 변경하는 방법

두 가지 방법이 알려져 있습니다.

매개변수로 가져오기
- def function(매개변수)에서 “매개변수” 자리에 integer를 넣어준다.
- 함수 안에서 연산한다.
- 변화된 integer 값을 (new_integer) return 으로 내보낸다.
- ‼️주의) 새로운 변수를 return하는 것 뿐이지, 원본 값은 변경되지 않는다.

def function(integer):
    integer +=1
    print(integer) #-> 2
    print(id(integer)) #->4344387968 지역변수이므로 다른 주소를 가짐
    return integer # 지역 변수의 주소와 같은 주소를 return

integer = 1
print(id(integer)) #->4344387936

new_integer = function(integer)
print(new_integer) #-> 2
print(id(new_integer)) #->4344387968 함수 내부에서 사용하던 지역변수와 같은 주소 return

print(integer) #-> 1 원본 값 변경 안됨
print(id(integer)) #->4344387936 원본과 동일한 주소

global을 사용하기
- 매개변수를 사용하지 않고 global interger로 가져온다.
- 함수 안에서 연산한다.
- return으로 변화된 값을 내보낸다.

def function():
    global integer
    print(id(integer)) #->4344387936 global을 사용하여 원본과 동일한 주소 가짐
    
    integer +=1 # immutable 객체는 연산을 통해 새로운 객체 생성
    print(integer) #-> 2
    print(id(integer)) #->4344387968 새로운 주소를 가지는 새 객체
    return integer # 지역 변수의 주소와 같은 주소를 return

integer = 1
print(id(integer)) #->4344387936

new_integer = function()
print(new_integer) #-> 2
print(id(new_integer)) #->4344387968 함수 내부에서 사용하던 지역변수와 같은 주소 return

print(integer) #-> 2 원본 값 변경
print(id(integer)) #->4344387968 원본과 다른 주소 

함수 밖의 list를 함수 안으로 가져오는 방법

📌list는 함수 밖 list를 사용할 때, 그냥 바로 사용하면 됩니다.

integer와 달리 매개변수로 데러오지 않아도, global로 선언하지 않아도 됩니다‼️

그 이유는? list가 mutable객체이기 때문입니다.

l = [1,2,3]
def function():
    l[0]+=100
    l.pop()
    
function()
print(l) #-> [101, 2]

list와 integer 함수 매개변수 사용 방법 차이 이유?

📌 integer는 immutable(변화 불가능한)

integer가 정의되면 특정 주소에 저장되기 때문에, integer를 복사하고 그 값을 연산해도 원본 값은 변화하지 않는다.
따라서 매개변수 또는 global로 직접 값을 가져와서 연산해줘야 원본에 변화를 줄 수 있다.

📌list는 mutable(변화 가능한)

list.pop()과 같은 연산은 list 원본에 변화를 줄 수 있다.
따라서 함수 내부에서 list의 연산은 함수 밖의 list 원본에 영향을 미친다.

Reference

https://stackoverflow.com/questions/23029727/why-do-list-operations-in-python-operate-outside-of-the-function-scope
포스코 AI&BigData 아카데미 수업

BAEKJOON 백준 시작 방법 초보자 길라잡이

2021-04-30T00:00:00+00:00

프로그래머스만 사용하다가 백준을 시작하면 테스트 값 입력 방식이 달라서 당황스러울 수 있습니다.

백준은 프로그래머스와 다르게 입력 값을 직접 받아서 처리해줘야하기 때문입니다.

백준 ABCDE 문제 13023번을 예로 들며 백준 문제 풀기 방법에 대해 익혔습니다.

입력 예시

프로그래머스에서는 함수를 만들고 제출하면 함수에 입력 값이 자동으로 입력되었었죠?

하지만 백준에서는 답안을 제출할 때 입력을 받아서 처리한뒤 사용하는 코드를 추가해줘야합니다.

예를 들어, 백준에서는 아래와 같이 배열도 리스트도 아닌 숫자 모음이 입력 예시로 주어집니다.

입력 값 받아오기

백준에서 공식적으로 추천하는 방법은 input() 사용입니다.

a, b = map(int, input().split())
print(a,b)

그런데 문제 풀이를 구글에 검색해보면 sys.stdin.readline()을 사용합니다. (stdin은 standard input을 의미합니다.)

📌input()대신 sys.stding.readline을 사용하면 input이 여러 줄인 경우 시간 초과를 막을 수 있습니다.

📌sys.stdin.readline()은 입력 값을 한 줄 단위로 읽고 str 자료형으로 저장합니다.

따라서 input이 여러 줄이라면 for loop에서 sys.stdin.readline()를 사용하여 한 줄씩 읽어주면 됩니다.
따라서 str 자료형을 int로 바꿔줘야합니다.

# 입력 받기
import sy
input = sys.stdin.readline	# 한 줄 단위로 입력되고 str으로 저장된다.

한 줄 읽기

# 한 줄씩 읽기
n, m = map(int, input().split())	# 입력의 첫 번째 줄의 str을 모두 int로 바꾼다.
a, b = map(int, input().split())
c, d = map(int, input().split())
print(n,m)  #->5 4
print(a,b)  #->0 1
print(c,d)  #->1 2

여러 줄 읽기: 반복문 사용

# 여러 줄 반복문으로 읽기
n, m = map(int, input().split())
for _ in range(m):
    a, b= map(int, input().split())

print 시간 단축 방법

integer

sys.stdout.write(str(answer))

list

시간은 단축되지만 메모리 사용은 증가한다.

print(' '.join(map(str, list)))