플레이어로 건너뛰기본문으로 건너뛰기푸터로 건너뛰기
  • 어제

카테고리

📺
TV
트랜스크립트
00:00다음 영상에서 만나요.
00:30다음 영상에서 만나요.
01:00생성형 AI 시대가 시작되면서 프롬프트 엔지니어라는 직업이 등장했는데요.
01:08생성형 AI랑 대화하는 기술을 프롬프트 엔지니어링이라고 합니다.
01:12이번 강의에서는 생성형 AI는 무엇인가, 우리 삶에 스며든 AI가 어떤 종류가 있는지를 예시와 함께 프롬프트와 프롬프트 엔지니어링이 어떤 개념인지에 대해서 살펴보고자 합니다.
01:25우선 지금 보시는 이 그림은요. 한때 커뮤니티에서 굉장히 화제가 됐던 사진입니다.
01:39프랑스의 거리를 보여주고 있고 그 거리에 쓰레기가 가득 찬 모습인데 이 사진이 어떻게 진짜로 보이시나요? 혹은 가짜로 보이시나요?
01:49이 사진은 많은 사람들을 놀라게 했던 가짜 사진입니다.
01:53이만큼 이미지 모델이 정말로 저희를 깜짝 속이고 있는 시대입니다.
02:00생성형 AI 플랫폼이 정말 다양한데요.
02:03생성형 AI라고 해도 특정 분야에 특화된 어떤 모델들이 있어요.
02:09예를 들어서 이미지는 사진을 많이 학습한 모델들이 잘할 거 아니에요.
02:13미드전이나 달리나 스테이블 디퓨전이라는 이미지만 생성하는 모델이 있고요.
02:19이 이미지 모델을 사용을 하면 자연어로 시각적인 자료를 뽑을 수 있는 그런 모델이고요.
02:26이번에 멀티모달의 예시를 함께 볼 텐데 멀티모달은 영상, 이미지 같은 것들을 말을 해요.
02:32세일러 앤 더 씨라는 제목이에요.
02:43노인이 바다에서 배 하나에 이렇게 몸을 띄우고 항해하는 그 모습을 보여주고 있는 짧은 영상이었는데
02:50너무나 자연스럽게 실사 영화를 사람이 촬영한 것처럼 보여주고 있는 영상이죠.
02:57이것도 자연어로만 가지고서 프롬프트를 통해서 만든 영상이라 또 화제가 되었습니다.
03:04다음에 보실 예시는요.
03:06올 초에, 2025년 초에 엔비디아의 젠승황이 발표한 모델인데요.
03:12코스모스라는 모델입니다.
03:14이 모델은요.
03:15피지컬 AI라고 해요.
03:16그래서 프롬프트에 물방울이 지금 떨어지고 있는 장면을 묘사해줘 라고만 썼어요.
03:22그럼 이 코스모스 모델은 이 물방울이 중력에 의해서 어떻게 떨어지고 바닥에 어떻게 퍼지는지를 보여주는데요.
03:30그래서 이것을 통해서 자율주행하는 AI 자동차가 시뮬레이션을 학습하는 데 쓰이고 있어요.
03:37여기까지 이미지, 영상, 그리고 피지컬 AI를 살펴봤다면
03:41요즘에 왜 바이브 코딩이라는 말이 화제입니다.
03:46바이브 코딩은 말 그대로 자연어로 컴퓨터 언어를 개발한다는 뜻이에요.
03:51그냥 자연어만으로 내가 이런 기능이 필요한데 이 기능을 만들어줘 라고 하면
03:58AI가 필요한 코드를 쫙 생성을 해줘요.
04:02코드를 알아서 짜주고 필요한 부분 수정해주고 고쳐주고
04:06그래서 정말 말도 안 되는 시간 안에 원하는 제품 기능을 만들고 코드를 쌓는 그런 기술까지 올라왔습니다.
04:14그래서 정의를 한다고 하면 어떤 모델이 학습된 데이터를 바탕으로 하여
04:19텍스트, 이미지, 오디오, 동영상, 심지어 저희 노래까지도 막 자연어로 AI가 만들어주고 있어요.
04:27이렇게 콘텐츠를 모델이 생성할 수 있는 인공지능 기술을 생성형 AI라고 합니다.
04:34이 AI가 가능하게 했던 어떤 이유는요.
04:37딥러닝, 신경망, 트랜스포머 등 최신 머신러닝 기술을 활용해 패턴을 학습했기 때문인데요.
04:44저희가 이제 더 이상 이렇게 어려운 딥러닝이나 신경망이나 트랜스포머 기술을 몰라도
04:51생성형 AI를 이용할 수 있습니다.
04:54프롬프트를 알면 이 AI한테 어떤 일을 시킬 수도 있고
04:58창의적인 결과물을 만들어낼 수가 있는 세상이 왔어요.
05:02바로 저희가 쓰는 그 자연어 프롬프트라고 하는데요.
05:06여러분들이 왜 채취피티 쓰시면서 오늘 날씨 혹은 오늘 주식
05:10혹은 오늘 환율 이런 거 많이 물어보시잖아요.
05:14이러한 단순한 텍스트를 프롬프트라고 할 수가 있고요.
05:18프롬 엔지니어링은 상호작용이라는 개념이 들어갑니다.
05:22언어 모델을 이용할 때 저희는 더 이상 어려운 코드나
05:26별다른 모델을 이용하기 위한 기술적인 지식이 필요 없고
05:29자연어만 할 수 있다고 하면 이러한 기술을 이용할 수가 있어서
05:34프롬 엔지니어링은 인문학과 어떤 기술의 만남이에요.
05:39그래서 인문학과 기술의 그 중간 단계에 있는 게 프롬 엔지니어링인데
05:43두 가지를 적재적소 활용을 해야 생성형 AI를 더 잘 이용을 할 수 있습니다.
05:49그리고 이 중간에서 일을 하는 게 제가 하는 프롬 엔지니어의 일입니다.
05:54컴퓨터랑 AI랑 계속 계속 상호작용하면서 내가 원하는 결과물을 만들어내고
06:01어떠한 효율을 이끌어내는 작업이라고 할 수 있겠어요.
06:05용에 대한 이야기를 들려줘 라고 하면 프롬프트가 되고요.
06:10용감한 용이 마을을 구하는 어떤 생생한 스토리를
06:147살 아이한테 흥미로울 수 있도록 한국어로 자세하게 말을 해줘
06:20이런 식으로 조금 더 구체적으로 결과물을 개선하는 걸
06:24프롬 엔지니어링이라고 할 수가 있어요.
06:27그렇다면 보시는 분들은
06:29프롬프트가 왜 중요한데?
06:32프롬 엔지니어링이 왜 중요한데? 라는 어떤 중요성에 대해서 궁금하실 수가 있어요.
06:37중요성이라고 한다고 하면 저는 두 가지 이유를 항상 꼽아요.
06:40첫 번째는 생성형 AI는 완전하지 않습니다.
06:45완전하지 않다라는 거는 완벽하지 않다라는 얘기인데요.
06:48여러분들 많이 아시겠지만
06:50어? AI 결과물 어떻게 믿을 수가 있어요?
06:53AI 결과물을 이렇게 할 거면 번거로워서 그냥 사람이 하는 게 나은 거 아니에요?
06:58라는 어떤 한계와 제한점이 많은데
07:02아무리 사람이 기술이 발달이 되더라도
07:06사람이 하는 그런 맥락
07:08그 대화 안에서 생각해야 되는 그 맥락적인 부분을 놓칩니다. AI는
07:13그래서 이 두 개를 해결할 수가 있어서
07:15프롬프트가 굉장히 중요하다고 할 수가 있습니다.
07:19그 이유는 언어 모델을 이용을 할 때의 프롬프트로 시작을 하기 때문에
07:24프롬프트를 알아야 어떤 기술의 한계를 알 수 있고
07:27극복할 수 있기 때문에 중요하다고 하고 있습니다.
07:30인간의 커뮤니케이션의 역사가 어떻게 흘렀는지를 살펴볼 필요가 있어요.
07:46생성형 AI가 나오고 생성형 AI가 나오지 않은 시대
07:51이 두 가지 시점으로 한번 나눠서 생각을 해보면요.
07:54우선 문자가 발명이 되면서 인간은 책으로 기록을 하고
07:59텍스트 기반에 전달을 하면서 정밀성, 정보의 정밀성을 획득할 수가 있었죠.
08:05지식이 대중화되는 것은 인쇄술의 발달 때문인데요.
08:09인쇄술이 발달이 되면서 보급이 되죠, 지식이.
08:13그리고 전화나 라디오나 텔레비전이 발달이 되면서
08:17즉각적인 어떤 원격 소통, 먼 거리에 있는 분한테
08:21혹은 사람한테 정보를 전달할 수 있는 시대가 되었습니다.
08:25인터넷과 모바일 시대가 되면서 실시간으로 대화가 가능해졌어요.
08:30그런데 이 도구의 발달이 인간의 소통을 편리하게 했던 예시들이죠.
08:36생성형 AI는 조금 다릅니다.
08:38그래서 어떻게 다를까요?
08:40생성형 AI는 인공지능과 상호작용을 하는 건데요.
08:44르네 데카르트의 철학자의 말하면
08:48나는 생각해서 고로 나는 존재한다.
08:50그래서 인간이 왜 인간인지를 말해주는
08:53그런 어떤 사유와 사고를 하게 하는 그런 문장인데요.
08:57요즘에 생성형 AI가 너무 발달을 해서
09:00사고하는 AI라고 해요.
09:02그렇다면 어떻게 써야지만 인간이 인간다울 수 있는지
09:06내가 쓰는 언어가 AI 언어랑 어떻게 다른지를
09:09한번 사고해봐도 좋을 것 같습니다.
09:11LLM이라고 지금 말씀드리는 것은
09:15라스 랭고지 마를이라고 거대 언어 모델이에요.
09:18그래서 생성형 AI를 만들 수 있는 어떤
09:22소스 모델이라고 하면 이해하기 쉬울 것 같아요.
09:26그럼 이 모델이 뭐를 잘하고 뭐를 못하는지를
09:29한번 살펴보겠습니다.
09:31잘하는 건요.
09:32여러분들이 이미 체감하시는 것처럼
09:34언어를 이해하고 생성을 하는 데 있어서
09:38굉장히 짧은 시간이 걸리죠.
09:401분도 안 되는 시간 안에 보고서 요약 결과를 받는다든지
09:45아니면 뭔가 분석한 리포트를 받는다든지
09:48어떤 비용 효율이 있고요.
09:50다국어를 지원해주고 있어요.
09:52그래서 내가 어떤 영어를 잘하지 못해도
09:54프랑스어를 잘하지 못해도
09:56실시간 번역을 해주기 때문에
09:59이 LLM을 통해서 번역 활동 같은 것도 할 수가 있고
10:02아까 예시 봤던 것처럼 코드도 너무 잘 써주고 있고
10:05창의적으로 어떤 표현을 생성하는 거는 잘하고 있어요.
10:08그런데 여전히 이 생성형 AI는 못하는 것이 더 많습니다.
10:13실제로 이 범용 인공지능 시대가 오기까지는
10:17아직 좀 멀었다고 볼 수가 있어요.
10:20첫 번째는 사람처럼 어떤 연상기업법이라든지
10:25추론을 하지 못합니다.
10:27그래서 단순한 계산은 잘하는데
10:29연상기업법을 잘 못하고 있어서
10:31추론 성능을 개선하려고 하고 있고요.
10:33모델이 학습한 데이터랑 추론 능력을 분리해야 되는데
10:37학습하지 않은 것에 대해서도
10:40학습했다고 말을 하는 거짓말하는 현상이
10:43못하는 것으로 대표적으로 뽑을 수 있어요.
10:45이걸 전문용어로 할루시네이션이라고 합니다.
10:49그래서 사실이 아닌데
10:51사실처럼 생성하는 거를 말을 하고요.
10:54인간처럼 복잡한 상호작용을 하지 못합니다.
10:58그래서 굉장히 수동적이에요.
10:59내가 먼저 AI한테 말을 걸어야지만
11:02AI는 답변을 해주고 있거든요.
11:051대1 답변 체계인데
11:06먼저 말을 걸어주거나
11:08냉동적으로 하지는 못하고 있죠.
11:10여러분들 왜 생성형 AI 창에 뭔가 질문을 넣고
11:13계속해서 그 한창에서 대화를 했을 때
11:17어느새 AI가 내가 시킨 걸 까먹어요.
11:20까먹어서 목표를 이탈하는 거예요.
11:23나는 분명히 요약을 백자이내로 하라고 했는데
11:25대화할수록 목표를 이탈해서
11:28답변에 엉뚱한 답변의 결과물을 내주는 거
11:31그리고 규칙 기반의 작업을 수행을 해야 돼요.
11:34예를 들어서 끝에는 음, 함, 채로 끝내줘
11:38라고 이제 규칙을 만들었는데
11:40조금만 대화를 길게 하면
11:42어느새 이것도 잘 하지 못해요.
11:44그리고 사람처럼 어떤 현상에 대해서
11:47생성은 잘 해놓고
11:49그래서 한 줄로 결과가 뭔데? 라고 하면
11:51일반화하는 능력이 굉장히 부족합니다.
11:54그래서 그저 그럴 듯한
11:56보편적인 답변을 잘하지
11:58어떤 뾰족한 통찰력이라든지
12:01비판적 사고를 하지 못하는 것도
12:03저희의 생성형 AI가 못하고 있는 영역입니다.
12:07그래서 지금부터 함께하는 강의는
12:09이 못하는 것들을 어떻게 해결할 것인가에 대해서
12:13우선 앞에서는
12:15인간의 언어가 무엇인지를 한번 살펴볼 예정이에요.
12:19제가 이 프롬프트 엔지니어로 일을 할 수 있었던 까닭은
12:22이 언어를 전공을 해서
12:24자연어가 가진 그 어떠한 원리나
12:27과학적인 접근에 대한 방법론을 알기 때문에
12:31AI와 소통하는 게 한결 편해졌거든요.
12:34그래서 이 언어를 좀 살펴보면서
12:36어떤 교양 느낌으로 들어보셔도 좋을 것 같아요.
12:40저희 인간의 언어는 세 가지로 이루어져 있습니다.
12:44의미가 있고요.
12:46이 의미를 이루는 형식이 있고 맥락이 있어요.
12:51의미라는 거는 사과가 사과라고 말하는 거
12:54저희가 사과라고 하면 다들 똑같이
12:56빨간 사과, 초록색 사과 이런 거 생각하실 텐데
12:59어떤 사물에 있어서 의미를 갖고 있는 걸 의미라고 하고
13:03형식은 사과를 사과라고 어떻게 말하는가
13:08그리고 사과가 갖고 있는 어떤 형태론
13:11그리고 문법적인 거를 말을 해요.
13:14마지막은 맥락인데
13:16화용론이라고 해요.
13:18예를 들어서 사과가 먹는 사과라고
13:191차적인 의미를 갖고 있다고 하면
13:21화용은 사람들이 만들어진 새로운 의미예요.
13:25약간 상징적인 의미라고 할 수가 있어요.
13:28그래서 저는 사과하면 스티브 잡스가 생각이 나는데
13:33백설공주의 사과일 수도 있고
13:34한 어떤 단어가
13:36말하는 사람들에 의해서
13:38의미가 약간 변형돼서 상징적으로
13:41맥락 안에서 이해할 수 있는 걸
13:42화용론이라고 하는데
13:43지금의 생성형 AI는
13:45의미와 형식은 잘 말하고 있지만
13:48인간의 화용론
13:50맥락적인 부분에 있어서는
13:52굉장히 이해력이 떨어집니다.
13:53이 화용론을 잘 못하는 AI 때문에
13:57이 프롬프트 기술을 통해서
13:58화용적인 부분에 있어서 해결을 많이 보려고 하고 있어요.
14:02그러면 이 프롬프트를 잘 쓰려면
14:05이 랭고스틱스를 어떻게 활용해야 되고
14:08어떤 관계가 있을까라는 궁금증을 갖고 계실 텐데요.
14:12저는 랭고스틱스 언어학의 이론들을요.
14:16다음에 세 가지에 활용을 하는데
14:18일단 제가 가장 많이 강의나 세미나를 하면
14:23많이 물어보는 질문이
14:25프롬프트를 한국어로 쓰는 게 좋아요.
14:28영어로 쓰는 게 좋아요.예요.
14:30저 같은 경우는 영어로 프롬프트를 쓰는데
14:32바로 한국어가 가진 어떠한 언어적 특수성 때문이에요.
14:36한국어에는 생각보다
14:38다이어가, 모호한 다이어가 많아요.
14:41그래서 예를 들어 나누다 라고 제가 말을 한다고 하면
14:45시청자분들께서 뭐를 나누지?
14:47돈을 나누는 건가? 마음을 나누는 건가?
14:51혹은 뭔가 쌀을 나누는 건가?
14:53되게 다양한 의미로 해석할 수가 있잖아요.
14:55그래서 이런 걸 다이성을 가진다라고 하는데
14:59영어 같은 경우는 점액락 언어입니다.
15:01그 문장에서 지시하는 바를 정확하게 알 수 있는 게 점액락 언어인데
15:06한국어 같은 경우는 고맥락 언어이기 때문에
15:09여러분들이 쓰시는 프롬프트가 상당히 추상적이고
15:13맥락 안에서만 나만 알고 있는 경우가 많고
15:16혹은 같이 말을 하고 있는 대화 상황에서 알고 있는 경우가 많아요.
15:20그럴 때 의미의 모호성을 줄이기 위해서
15:23언어학의 이론을 쓰고
15:25또 아까 전에 말씀드린 맥락을 잘 잃어버리는데
15:29한 번만 대화하는 게 아니라 대화형으로 여러 번 대화했을 때
15:33이 AI가 초점이나 어떤 중심, 어떤 핵심, 요지를 잘 놓쳐요.
15:40그랬을 때 인간의 어떤 저희가 생각하는 인지구조, 개념
15:44이런 체계를 이해하게 하면 더 잘 찾아서 활용을 합니다.
15:48세 번째는 아까 말씀드린 화용론인데
15:51화용론은 이 담화와 대화 구조를 이해를 해야
15:56AI가 잘 파악을 해서 답변을 하는데
16:002부에서 말씀을 드릴게요.
16:021화에서 가장 강조하고 싶은 것은 대화의 기술이 중요하다.
16:06그래서 프롬프트 엔지니어가 하는 일 잠깐 소개 드렸고
16:10프롬프트와 프롬 엔지니어링에 대한 개념들이
16:13어떻게 다른지를 살펴봤어요.
16:16그리고 AI가 어디까지 지금 할 수 있는지
16:19예시를 통해서 저희가 함께 살펴봤습니다.
16:22그래서 다음에 이어서 대화를 그럼 어떻게 해야 되는데
16:25하는 기술에 대해서 조금 면밀히 살펴보겠습니다.