뒤로 가기
홈으로 이동
LearnFit
공유하기
YouTube, CS224W: Machine Learning with Graphs | 2021 | Lecture 3.1 - Node Embeddings
yun님의 학습노트

CS224W: Machine Learning with Graphs | Lecture 3.1 - Node Embeddings

#Jure Leskovec
#Machine Learning
#Machine Learning with Graphs
#Graphs
#CS224W
#Stanford
#Node Embeddings
#nodes
#links
#graphs
#graph representation learning
00:00강의노트(1p~18p) : http://snap.stanford.edu/class/cs224w-2020/slides/03-nodeemb.pdf
00:13Traditional ML for Graph 요약
00:56입력 그래프가 주어지고
00:59그래프의 구조적 특징을 생성
01:05알고리즘을 적용해 예측
01:31graph representation learning의 아이디어는 엔지니어가 feature engineering을 해야하는 수고를 덜자!
01:40관심있는 것 : Automatically learn the features
01:56representation learning : feature engineering이 더이상 필요하지 않도록 하는 것
02:06모든 노드를 d차원 공간에 매핑하고 d의 벡터로 나타내는 것
02:19d개의 벡터를 feature representation이라고 하고 또한 embedding이라고 함
02:26goal : mapping이 자동으로 진행되고 이 벡터가 기본 네트워크의 구조를 캡처하여 이것을 우리가 분석하거나 예측하는 것
02:41embedding을 만드는 이유
02:52idea : 노드 간 embedding의 유사도가 네트워크에서의 유사성을 나타냄
03:18embedding으로 할 수 있는 일 : node 분류, link 예측, graph 분류, 이상 노드 감지, 클러스터링 등
03:27example of node embedding
04:56임베딩 하는 방법
05:01먼저 그래프를 인접행렬로 표현함
05:32왼쪽 그래프를 인접행렬 A로 나타냄. 또한 단순성을 위해 이것을 비방향성 그래프로 가정
05:37목표
06:05과정 요약 : 입력값으로 주어지는 그래프의 각 노드가 임의의 인코더를 통과하여 임베딩 공간에 위치하는 벡터로 바뀌는 과정 : 이 과정은 그래프에서 유사한 노드들이 임베딩 공간에서도 근처에 있도록 맵핑하고자 하는 것
07:23 노드 임베딩의 과정 1. 인코더가 노드를 임베딩 공간으로 맵핑하여 벡터를 생성 2. 노드 유사도 함수를 정의하고, 이를 통해 그래프에서 노드 간 유사도 측정 3. 디코더가 맵핑된 벡터에 대해 유사도 측정 4. 2와 3에서 측정된 유사도가 비슷해지도록 인코더의 파라미터 최적화 그럼 이제 모르는 것은 1. 어떻게 그래프에서 유사도를 정의할지. 2. 어떻게 인코더를 구성할지.
08:51Shallow Encoding : 인코더가 단순히 embedding-lookup하는 것
09:39Z : 노드 당 하나의 열이 있는 행렬
09:49행렬의 크기는 노드 수에 임베딩 차원을 곱한 값이 됨
11:00각각의 노드가 개별적인 임베딩 벡터를 가지고 있음.
11:28framework summary
12:29노드 유사성과 임베딩 공간의 벡터의 유사성을 높이는 것이 목표인데, 그렇다면 노드 유사성은 어떻게 정의할까?
12:48node가 edge로 연결되어 있는 경우 유사한 임베딩을 가져야 함
13:22random walks를 이용해 노드의 유사도를 정의(다음 영상)
13:40노드 임베딩 자체는 비지도 학습 혹은 자기지도 학습의 일종으로 노드의 레이블이나 변수들을 전혀 사용하지 않음
14:12대신 그래프의 구조를 보존하면서 직접적으로 노드들의 좌표계를 얻고자 함
14:25이를 통해 태스크 마다 개별적으로 임베딩할 필요없이 하나의 임베딩을 다양한 태스크에 사용할 수 있다.
✔ 학습 완료

이런 러닝패스는 어때요?

yun님의 다른 노트는 어때요?

yun의 프로필 이미지
yun
의 학습노트

[EdTech 입문] DKT란?_Deep Knowledge Tracing

영상 재생 모양 아이콘
Video
⏱ 핵심 스탬프
14
00:23
목차 1. DKT Model 2. DKT Model Input&Output 3. DKT 특성 및 한계
00:38
DKT 모델을 알아보자. DKT는 Knowledge Tracing에 DL을 적용시킨 모델로 학생들의 반응을 예측하는 문제에 RNN과 LSTM모델을 적용시킨 방법
👍
1
스크랩
yun의 프로필 이미지
yun
의 학습노트

CS224W: Machine Learning with Graphs | 2021 | Lecture 1.3 - Choice of Graph Representation​

영상 재생 모양 아이콘
Video
⏱ 핵심 스탬프
20
00:00
강의노트(59p~끝까지) : http://snap.stanford.edu/class/cs224w-2020/slides/01-intro.pdf
00:17
graph의 구성 요소
스크랩
👋 다양한 인사이트를 읽어보고 계신가요?
나만의 학습 기록을 남기고, 관리하고 싶다면!
다양한 전문가의 멤버십 전용 콘텐츠를 보고 싶다면!
나의 학습 내용을 공유하고, 수익을 올리고 싶다면!
3초 회원가입/로그인으로, 런핏의 커뮤니티에 여러분도 함께하세요.
3초 만에 가입하기