LearnFit

 YouTube, CS224W: Machine Learning with Graphs | 2021 | Lecture 3.1 - Node Embeddings

yun님의 학습노트

CS224W: Machine Learning with Graphs | Lecture 3.1 - Node Embeddings

#Jure Leskovec

#Machine Learning

#Machine Learning with Graphs

#Graphs

#CS224W

#Stanford

#Node Embeddings

#nodes

#links

#graphs

#graph representation learning

00:00강의노트(1p~18p) : http://snap.stanford.edu/class/cs224w-2020/slides/03-nodeemb.pdf

00:13Traditional ML for Graph 요약

00:56입력 그래프가 주어지고

00:59그래프의 구조적 특징을 생성

01:05알고리즘을 적용해 예측

01:31graph representation learning의 아이디어는 엔지니어가 feature engineering을 해야하는 수고를 덜자!

01:40관심있는 것 : Automatically learn the features

01:56representation learning : feature engineering이 더이상 필요하지 않도록 하는 것

02:06모든 노드를 d차원 공간에 매핑하고 d의 벡터로 나타내는 것

02:19d개의 벡터를 feature representation이라고 하고 또한 embedding이라고 함

02:26goal : mapping이 자동으로 진행되고 이 벡터가 기본 네트워크의 구조를 캡처하여 이것을 우리가 분석하거나 예측하는 것

02:41embedding을 만드는 이유

02:52idea : 노드 간 embedding의 유사도가 네트워크에서의 유사성을 나타냄

03:18embedding으로 할 수 있는 일 : node 분류, link 예측, graph 분류, 이상 노드 감지, 클러스터링 등

03:27example of node embedding

04:56임베딩 하는 방법

05:01먼저 그래프를 인접행렬로 표현함

05:32왼쪽 그래프를 인접행렬 A로 나타냄. 또한 단순성을 위해 이것을 비방향성 그래프로 가정

05:37목표

06:05과정 요약 : 입력값으로 주어지는 그래프의 각 노드가 임의의 인코더를 통과하여 임베딩 공간에 위치하는 벡터로 바뀌는 과정 : 이 과정은 그래프에서 유사한 노드들이 임베딩 공간에서도 근처에 있도록 맵핑하고자 하는 것

07:23 노드 임베딩의 과정 1. 인코더가 노드를 임베딩 공간으로 맵핑하여 벡터를 생성 2. 노드 유사도 함수를 정의하고, 이를 통해 그래프에서 노드 간 유사도 측정 3. 디코더가 맵핑된 벡터에 대해 유사도 측정 4. 2와 3에서 측정된 유사도가 비슷해지도록 인코더의 파라미터 최적화 그럼 이제 모르는 것은 1. 어떻게 그래프에서 유사도를 정의할지. 2. 어떻게 인코더를 구성할지.

08:51Shallow Encoding : 인코더가 단순히 embedding-lookup하는 것

09:39Z : 노드 당 하나의 열이 있는 행렬

09:49행렬의 크기는 노드 수에 임베딩 차원을 곱한 값이 됨

11:00각각의 노드가 개별적인 임베딩 벡터를 가지고 있음.

11:28framework summary

12:29노드 유사성과 임베딩 공간의 벡터의 유사성을 높이는 것이 목표인데, 그렇다면 노드 유사성은 어떻게 정의할까?

12:48node가 edge로 연결되어 있는 경우 유사한 임베딩을 가져야 함

13:22random walks를 이용해 노드의 유사도를 정의(다음 영상)

13:40노드 임베딩 자체는 비지도 학습 혹은 자기지도 학습의 일종으로 노드의 레이블이나 변수들을 전혀 사용하지 않음

14:12대신 그래프의 구조를 보존하면서 직접적으로 노드들의 좌표계를 얻고자 함

14:25이를 통해 태스크 마다 개별적으로 임베딩할 필요없이 하나의 임베딩을 다양한 태스크에 사용할 수 있다.

✔ 학습 완료