플레이어로 건너뛰기본문으로 건너뛰기푸터로 건너뛰기
ontvkorea
  • 그저께

카테고리

😹
재미
트랜스크립트
00:00다음 영상에서 만나요.
00:30다음 영상에서 만나요.
01:001회차부터 4회차까지는 이론과 언어학의 기반에 대해서 살펴봤다고 하면 5회차부터는 응용입니다.
01:08그래서 효과적으로 프롬프트를 어떻게 쓸 수 있는지 요소와 함께 직접 시연을 하면서 살펴보겠습니다.
01:15우선 프롬프트를 잘 쓰려면 기본적으로 필요한 요소들이 있어요.
01:29하나는 지시문이 있어야 되고 맥락, 입력 데이터, 출력 지시문 이 네 요소입니다.
01:35지시문은요.
01:39뭐뭐 해줘, 뭐뭐 해주세요 하는 이 언어 모델이 수행해야 되는 어떤 특정 작업을 말을 하고요.
01:46맥락이 가장 중요한데 내가 지금 어떤 상황이고 어떤 일을 하고 있고 어떤 것이 필요하며 누구한테 말할 것인가,
01:54이 결과물을 어떻게 쓸 것인가에 대한 모델이 작업을 할 때 필요한 최소한의 어떤 지식이나 배경들이고요.
02:03그 다음에 입력 데이터라고 하면 이 모델이 창고에서 생성해야 되는 어떠한 값들 데이터를 말을 해요.
02:10그래서 검색 결과가 될 수가 있고 내가 가진 어떤 문서나 어떤 책의 어떤 발췌문이나 이러한 입력 데이터를 넣어주셔야지만 더 정확한 결과가 나올 수 있습니다.
02:24마지막에는 출력 지시문인데요.
02:26언어 모델은 발산을 굉장히 잘해요.
02:30그래서 점 하나만 찍어도 의미 없는 문장을 막 지어내거나 그럴 듯하게 말은 많이 하는데
02:36뭔가 수렴해가지고 고도화하고 깊이 있게 하는 걸 잘 못하거든요.
02:42그래서 출력을 어떤 형태로 하게 할 것인가에 대해서 포맷에 대한 제약을 주는 그런 요소입니다.
02:48굉장히 가볍고 기본적인 것처럼 느껴지시겠지만
02:53실제로 여러분들이 쓰시는 프롬프트는 이 네 가지 요소가 잘 들어가지가 않았어요.
02:58그래서 이거를 함께 보면서 말씀을 드리겠습니다.
03:02보시는 프롬프트의 예시가 정말 심플하면서도
03:06이 모델사들에서 기본적인 좋은 프롬프트로 말하는 그런 요소를 모두 갖추고 있습니다.
03:12지시문, 맥락, 입력 데이터, 출력 지시문 이렇게 있고요.
03:17센티멘 아날레시스는 감정 분석이에요.
03:19그래서 감정 분석을 해줘라고 하고
03:22아래 텍스트를 긍정, 중립, 부정 중에서 구분해줘라고 말을 하고
03:27텍스트 땡땡 하면서
03:29그럭저럭 괜찮았다 영화가? 라는 문장이 들어가고요.
03:34마지막에 출력 지시문은 센티먼트라고 하면서
03:37중과로 중립 이렇게 넣어주고 있는데
03:40이게 왜 좋은 프롬프트인지에 대해서 설명을 드리면요.
03:44우선 지시문이 정확하게 들어가 있고
03:46코드 스위칭을 한번 합니다.
03:48코드 스위칭은 어떤 한 언어에서 다른 언어로 바꾸는 작업을 말을 해요.
03:53제 프롬프트를 보시면
03:55영어와 한국어를 동시에 쓴 걸 볼 수가 있는데
03:58영어로 만약에 쓰실 수 있는 단어가 있다고 하면
04:01그 단어를 써주시면서 정확성을 올려주시는 거예요.
04:04그래서 센티멘 아날레시스는 영어로 했고
04:08그 다음에 아래 텍스트인데
04:09이 언어 모델은 이런 식으로 땡땡을 굉장히 좋아하거든요.
04:14모델을 만든 회사들에서는
04:16프롬프트를 어떻게 써야 되는지에 대한
04:19프롬프트 교과서라는 게 있어요.
04:21그 교과서에 나오는 제 여러 가지 원칙 중에 하나가
04:26기호 사용이에요.
04:27자연어에 있어서 처리를 잘하도록
04:29모호성을 없애도록 하는 거
04:31기호를 사용할 때 조금 더 자연어를
04:33차이처리할 수 있도록 하는 그런 방식입니다.
04:36그냥 자연어로 쭉 나열하는 게 아니라
04:38여기 땡땡 쓰면서 제목 만들어주고
04:42하면서 문장을 구조화한다고 말을 하거든요.
04:46이 기호 사용에 있어서 규칙은 딱히 없어요.
04:48기호의 어떤 종류의 제약은 없습니다.
04:52그래서 제가 많이 사용하는 거를 한번 말씀을 드리면
04:54우선은 저는 카테고리를 만들 때는
04:58이런 가로를 쓰고요.
05:00그 다음에 이 점선 많이 써요.
05:04이 텍스트랑 아래 텍스트는 좀 다른 거야
05:06라고 하는 그런 성질이 다르다는 의미에서의 기호를 쓰고요.
05:09분류 작업을 할 때는 이거가 가장 많이 쓰이거든요.
05:14어떤 분들은 진짜 프롬프트를 길게 쓰시는데
05:17AI가 처리할 때 누락이나 어떤 미싱 인포메이션이 많아요.
05:21그랬을 때 정말 중요한 것들은 잘 처리하기를 하는 방법 중에 하나가
05:26이런 식으로 그 쿼테이션을 써가지고 처리하는 방식이 있고요.
05:31아주 단순한 건데 이 모든 문장들에 있어서 저는 마침표를 꼭 찍습니다.
05:35그래서 마침표를 찍어가지고 이 문장이 하나가 끝났다.
05:39이 마침표가 끝나서 여기까지 끝난 거다라고도 쓰기도 하고
05:43콤마를 써요.
05:45그래서 여기서 잠깐 쉬어가자 라는 자연어의 어떤 문장보를 쓰기도 하고
05:49여기서 하나 더 보여드리고 싶은 기호는
05:52이런 거를 XML 태그라고 하거든요.
05:56너의 최종 답변을 아래 포맷에 따라 불려주세요.
06:02라고 하면 여기에서 think, 생각한 거, 그 다음에 answer, 최종 답변.
06:16근데 이 XML 태그를 쓰실 때는 열었으면 꼭 이렇게 닫아주셔야 되거든요.
06:23이런 식으로 기호를 사용해서 조금 더 자연어를 차이처리할 수 있도록 하는 그런 방식입니다.
06:28추측에 여지가 없이 문장을 주고 있고
06:30마지막에 그냥 분류해줘 라고 하면 이 한 문장 정도는 정말 잘 분류를 할 텐데
06:36만약에 만 개의 문장을 분류해야 된다고 생각하시면
06:40이 만 개를 LLM은 다 처리를 하지 못하고 누락을 시키는데
06:44마지막에 sentiment, 중과로 라고 하면 이 일괄적인 형태로 출력을 해서 누락이 없게 할 수가 있습니다.
06:52그래서 이 기본 구조를 가지고 저희가 한번 시연을 해볼 거예요.
06:56기본 구조는 네 가지 유형으로 분류를 제가 해봤어요.
07:00A형, B형, C형, D형이 있는데
07:03A형은 여러분들이 가장 많이 쓰시는 지시문을 넣고 출력을 받는 그냥 형태
07:09B 같은 경우는 맥락을 추가한 형태
07:12맥락을 특히 넣어야 되는 상황은요.
07:15출원 모델은 출원을 잘할 수 있도록 맥락을 많이 넣어주실수록 답변 품질이 좋아지거든요.
07:21그래서 이 맥락을 넣는 형태가 B형이고
07:24타입 C 같은 경우는 예제를 주는 방식이에요.
07:28그래서 예제를 주면서 답변을 끌어내는 방식
07:30타입 D 같은 경우는 내가 갖고 있는 데이터 안에서 생성을 하게 해서
07:35모델이 가진 어떤 할루시네이션이라는 어떤 환각 현상이라든지
07:40없는 정보에 대해서 말하지 않도록 하는 그런 방식입니다.
07:44그래서 중요한 포인트는 여러분들이 하시려고 하는 그 태스크마다 유형별로
07:51탁월한 답변을 보이는 그런 유형들이 있어요.
07:55그래서 프롬프트를 쓰시면서 발견해가는 과정이 굉장히 중요합니다.
07:59그래서 함께 살펴볼게요.
08:08일단 타입 A의 유형부터 시연을 시작해 보겠습니다.
08:14같은 프롬프트라도 생성형은 결과가 다르게 나와가지고
08:18제가 시연을 할 때 지금 두 가지 다른 생성형 AI 플랫폼을 이용할 예정이에요.
08:23하나는 검색에 최적화된 서비스 플랫폼인 퍼플렉시티를 이용할 예정이고요.
08:30다른 하나는 많이 쓰시는 최체피티 4.5 모델을 쓰면서 한번 시험해 볼게요.
08:36같은 질문에 답변이 어떻게 달라지는지를 보시는 게
08:39괄목 포인트라고 생각합니다.
08:44보시면 왼쪽 같은 경우는 관세 정책에 대해서 주요 내용을 말을 하고 있고
09:00그 다음에 향후 전망 요약까지 하고
09:04관련 후속 질문으로 사용자가 이어서 할 수 있는 질문을 팝업 띄워주고 있죠.
09:10최체피티 4 같은 경우에는 요약하고
09:12그 요약의 결과를 어디서 가져왔는지에 대해서 보여주고 있고요.
09:17그 다음에 영향 및 평가, 한국에 대한 영향
09:19이 부분이 퍼플렉시티에서는 없었던 그런 부분이고
09:23결론 이렇게 말을 해주면서 소스 출처를 볼 수 있도록 이런 식으로 보여주고 있습니다.
09:30이게 가장 기본적인 구조의 타입 A였어요.
09:33A에서는 특별한 어떠한 특징을 잡을 수가 없죠.
09:38그렇다면 여기에서 살을 붙여가서 B형을 볼 텐데요.
09:42B형 같은 경우는 맥락을 추가하는 거예요.
09:45그래서 현재 경제분석국에서 분석관으로 일하고 있다는 어떤 역할을 지정해 주겠습니다.
09:52이거를 역할을 지정해 준다고 하는데
09:54아마도 너는 10년 차 전문가야
09:57너는 한 영역에서 오랫동안 일을 해왔어 라는 역할을 많이 주실 텐데요.
10:04정확하게 경제분석국에서 분석관으로 일하고 있다는 맥락을 조금만 추가를 할게요.
10:10일단 퍼플렉시티 같은 경우는 검색에 최적화되어 있기 때문에
10:13검색을 먼저 어떤 소스를 했는지 보여주고 있고
10:16이 테스크에 대해서 결과를 서치하고 읽고 마무리했다라는 과정을 보여주고 있는 게 또 특징이라고 할 수 있고요.
10:25여기서 보시면 경제분석만으로 이 단어 자체가 굉장히 많이 바뀐 걸 볼 수가 있어요.
10:31이 분야에서 쓸 법한 어떤 전문 도메인 용어들이 나오기 시작하면서
10:36더 덥스가 있는 답변을 하는 것을 볼 수가 있죠.
10:40이어서 이게 B타입이었다라고 하면 C타입을 한번 말씀을 드리겠습니다.
10:45여기에 근데 예시를 조금 추가를 하는 거예요.
10:48그래서 이 예시는 그냥 LLM한테 AI한테 이거 해줘 라고 하는 게 아니라
10:54내가 필요한 어떤 답변의 구조를 말을 하거나
10:59혹은 만약에 쓰시고 싶은 특정한 예시가 있으면
11:02함께 참고해서 답변해줘 하는 그런 방식이에요.
11:06여기서 한번 또 시연을 해보겠습니다.
11:08이번에는 GPT-4를 써가지고 한번 해볼게요.
11:12그리고 저희가 이제 이전 회차에서 공손한 합법이 좋은 결과를 낸다라고 했으니까
11:17다 존대어로 바꿔보겠습니다.
11:202025년 미국 트럼프 대통령의 관세 정책에 대해서 알려주세요.
11:25아래 예시대로 답해주세요.
11:28하고 방법은 여기 이렇게 기호를 좀 쓰시는 거예요.
11:32이게 자연어 덩어리이기 때문에 이런 기호를 써가지고
11:37조금 더 LLM이 처리하기 쉬운 어떠한 표현을 해줄수록 좋습니다.
11:42그래서 예시는 1번 가장 핵심 포인트 3개
11:47한국 관련해서 알아야 할 기사 3개
11:55그 다음에 여기서 포맷을 기사와 기사 내용
12:01요약 한 줄 그 다음에 출처
12:05출처 링크 제공
12:09이런 식으로 이제 답변을 한번 받아볼게요.
12:15아셔야 되는 점은 왼쪽처럼 이렇게 출처를 말해주고 있는데
12:19일일이 다 확인을 한번 해보시는 게 중요해요.
12:22가끔은 없는 링크를 또 띄워서
12:26거짓말을 하는 현상도 있거든요.
12:29그래서 이런 식으로 기사 출처 링크 제공이라고
12:32한번 프롬프트로 말씀해 주시면
12:34이 AI가 링크를 제공하는 과정에서
12:37한번 답변을 필터링을 하거든요.
12:39그래서 더 정확한 정보를 제공받을 수가 있습니다.
12:43핵심 포인트 3개와
12:44그 다음 한국에 관련해서 알아야 될 기사 3개에 대해서
12:48정확하게 출처와 함께 기사 내용을 요약해주는 것을 볼 수가 있고
12:52이런 식으로 답변을 계속 계속 고도화해서
12:56살을 붙여가는 것을 보여드리고 있어요.
12:59정리하면 A는 그냥 기본형
13:01그래서 지시문 넣고 출력받는 것
13:03B 같은 경우는 경제분석관이라는 어떤 맥락을 추가해서
13:08역할을 넣었더니 도메인 용어가 바뀌는 걸 저희는 봤죠.
13:11C타입에서는 예시를 썼는데
13:13뭐 신문기사 그냥 가져오게 하는 게 아니라
13:16어떠한 형태로 출력을 제어를 해야 되는지를 보여드렸어요.
13:20마지막 예시는 타입 D인데
13:23그리고 D타입 같은 경우는 입력값인데요.
13:26RAG라는 기술이 있어요.
13:28LLM이 한국의 작은 회사나
13:30혹은 한국의 어떤 모든 것들을 학습하지 않았을 거 아니에요.
13:34학습하지 않은 데이터에 대해서는 거짓말을 하니까
13:38LLM이 창고에서 답변해야 될 어떤 데이터를 마련해주는 것을
13:44그런 기술을 RAG라고 합니다.
13:46아주 간단하게 여러분들이 프럼프트로도 해결을 해보실 수가 있어요.
13:50그래서 이 타입 D는 지시문, 맥락, 입력값, 출력문이고
13:56한번 해볼게요.
13:57저는 여기에서 아까 전에 상호관세 도입에 대한 거를 한번 해보겠습니다.
14:02지시문에서 2025년 트럼프 관세 정책 요점 정리라고 하고
14:09맥락은 경제분석관으로 일하고 있어요라고 하고
14:15데이터는 지금 이렇게 제목의 상위 제목을 만들어주고
14:22제가 기호를 쓰고 있죠.
14:24지금 저런 간단한 거에서는 이렇게 하지 않아도 답변을 잘하겠지만
14:27정말 여러분들이 A4에 한 10장 넘는 분량을 만약에 정보를 넣는다고 하실 때
14:33이런 식으로 제목을 만들어서 이 문장이 어떤 요소인지를 함께 이렇게 지목해 주시면서
14:39제목을 만들어주면 더 정확하게 처리를 합니다.
14:43지시문의 요점 정리 아래 이 데이터를 활용해서
14:48세 문단으로 기사체로 작성해 주세요라고 할게요.
14:55이 세 문단은 정확하게 세 문단으로 나와야 되는 어떤 출력값에 대한 제어고요.
15:01기사체는 그 한국의 신문기사체를 의미를 합니다.
15:04그래서 어떻게 하는지 한번 볼게요.
15:06그러면 기사체로 잘 나오고 있죠.
15:10세 문단이 나오는지를 한번 보겠습니다.
15:13정확하고 할루시네이션이 없는 결과물을 얻고 싶으시다면
15:16저처럼 이렇게 입력값을 넣어서 이거 안에서 풀게 하는 게 방법이 될 수 있습니다.
15:22지금 정확하게 세 문단이 나오면서
15:24좀 더 답변을 원하는 대로 고도화한 작업을 보여드렸어요.
15:29이게 가장 프롬프트를 쓰는 기본 방법입니다.
15:32모델마다 학습한 방법이 다르고 학습 데이터가 달라요.
15:36그래서 순서를 잘 써야지만 좋은 답변을 얻을 수가 있는데
15:41특히 번역할 때 순서가 엄청 중요해요.
15:45그래서 어떤 거는 지시문 넣고 번역할 문장이 나와야지만 잘 나오는 게 있고
15:51혹은 지시문을 맨 마지막에 번역해줘 했을 때 잘 나오는 게 있어요.
15:55보여드리면
15:56이게 지금 변수 테스트를 하는 건데
15:58지시문에 다음 한국어를 영어로 번역해주세요 라고 해보고
16:04번역할 문장이 이거면
16:07일부러 이렇게 순서를 섞어서 테스트를 해보는 환경이거든요.
16:18지금 이 모델은 답변 보시면 거의 똑같이 나오잖아요.
16:22그랬을 때 얘는 잘하고 있다 이런데
16:25만약에 좀 더 작은 모델을 쓴다고 했을 때
16:30답변이 어떤 건 나오고 답변이 나오지 않을 때가 있거든요.
16:53지금 여기 보시면 이거는 잘못 나오고 있죠.
16:56물론 이게 어떤 과제를 하느냐에 따라서 조금 구조가 다르지만
17:02마지막에 지시문을 넣었을 때 더 잘 듣는 모델들이 있거든요.
17:07이런 식으로 순서가 굉장히 중요합니다.
17:10이랬을 때 원인을 잡아가지고
17:12순서를 바꿔서 답변을 만들기도 하고
17:15그런 과정을 거치고 있어요.
17:17답변을 보시고 파악해야 하는 그런 일을 해야 됩니다.
17:22그래서 이번 회차에서는 이 네 가지 타입에서 말씀을 드렸고
17:26앞으로의 편들에서는 프롬프팅 기법들에 대해서
17:29다양한 기법들과 함께 조금 더 심화 과정을 함께 해보시겠습니다.