멀티모달개론

Introduction to Multimodal AI

한국외국어대학교 Language & AI 융합학부

Hankuk University of Foreign Studies

강의 개요

텍스트, 이미지, 오디오 등 다양한 모달리티를 결합하여 처리하는 멀티모달 인공지능의 기초 이론과 응용을 학습합니다.

학습 목표

  • 멀티모달 데이터의 특성 이해
  • Vision-Language 모델의 구조 학습
  • 멀티모달 융합 기술 습득
강의 정보
  • 강의 시간: 수요일 7,8,9교시 (15:00-18:00)
  • 강의실: 교수학습개발원 2108호 (PC실습실)
  • 학점: 3학점
  • 수강권장 사전지식: 자료구조, 선형대수, 기계학습, 딥러닝 기초
사용 도구
  • 언어: Python
  • 라이브러리: PyTorch, HuggingFace
  • 환경: Git/GitHub, Google Colab, Linux Server

과목 정보

과목 기본정보
  • 과목명: 멀티모달개론
  • 개설학과: Language & AI 융합학부
  • 담당교수: 최승택

강의 계획

주차 주제 세부 내용 자료
1주차
2026.03.04
Intro
Introduction Course Introduction & Syllabus 강의자료
2주차
2026.03.11
Fundamentals
Fundamentals (1) Unimodal Rep (Text, Image, Audio) 강의자료
3주차
2026.03.18
Fundamentals
Fundamentals (2) Multimodal Architectures & Interaction 강의자료
4주차
2026.03.25
Fundamentals
Fundamentals (3) Optimization & Training Strategies 강의자료
5주차
2026.04.01
MM Learning
Multimodal Learning (1) Vision-Language Alignment (CLIP, ALIGN) 강의자료
6주차
2026.04.08
MM Learning
Multimodal Learning (2) Cross-modal Translation (Captioning, VQA) 강의자료
7주차
2026.04.15
MM Learning
Multimodal Learning (3) Transfer Learning & Generalization 강의자료
8주차
2026.04.22
중간고사
중간고사 전반부 내용 평가 -
9주차
2026.04.29
Generative
Generative Multimodal (1) Invited Talk (Speaker: Jin-Young Kim) 강의자료
10주차
2026.05.06
Generative
Generative Multimodal (2) Video & Audio Generation 강의자료
11주차
2026.05.13
Generative
Generative Multimodal (3) Omnimodal Models (Any-to-Any) 강의자료
12주차
2026.05.20
Advanced
Advanced Topics (1) TBD 강의자료
13주차
2026.05.27
Advanced
Advanced Topics (2) Invited Talk (Speaker: Yunsung Lee @ WoRV, Maum AI) 강의자료
14주차
2026.06.03
휴강
지방선거일 제9회 전국동시지방선거 (휴강) -
15주차
2026.06.10
Advanced
Advanced Topics (3) TBD 강의자료
16주차
2026.06.17
기말고사
기말고사 후반부 내용 평가 -

평가 체계

중간고사 35%
기말고사 35%
출석 및 참여 0%
프로젝트/과제 30%
총합 100%

학습 자료 및 도구

교재
강의자료 및 논문 제공

공지사항