You cannot see this page without javascript.

Skip to content
특정 주제에 구애받지 않고 자유롭게 이용하실 수 있습니다.

실제 사용으로 검증해 본 ChatGPT의 여러 맹점

마드리갈, 2023-05-10 22:55:43

조회 수
181

저도 요즘 화제의 ChatGPT를 사용해 봤어요 봤어요.
이 챗GPT라는 것이 논리적인 추론도 꽤 하고 있어요. 이를테면 이런 질문들.

질문
정육면체 달걀

ChatGPT의 답변
정육면체 달걀은 현실적으로는 존재하지 않는 개념입니다. 달걀은 보통 둥근 형태를 갖고 있으며, 닭이나 다른 동물이 낳는 알의 형태를 말합니다. 달걀은 외부를 둘러싼 단단한 알갱이와 내부에 액체와 눈꺼풀, 노른자, 단백질 등이 포함되어 있습니다. 이러한 구조로 인해 달걀은 일반적으로 둥근 형태를 가지며, 정육면체로 형성되지는 않습니다.
따라서 "정육면체 달걀"은 현실적으로는 존재하지 않는 개념이므로, 비유적이거나 상상 속의 개념으로 이해되어야 합니다.

질문
21세기 출신 부모에게서 태어난 19세기 출생 자녀

ChatGPT의 답변
21세기 출신 부모에게서 태어난 19세기 출생 자녀는 기술적으로는 불가능합니다. 19세기 출생은 1801년부터 1900년 사이를 말하는 것이고, 21세기 출신은 2000년 이후를 의미합니다. 따라서, 부모의 출생 연도가 21세기인 경우에는 그들이 19세기에 태어난 자녀를 가질 수 없습니다.
위의 상황은 자연스러운 시간적인 흐름에 맞지 않습니다. 현실적으로는 한 세대의 부모가 그들의 자녀를 가질 때에는 부모들과 자녀들이 비슷한 시대에 출생하게 됩니다. 따라서 21세기 출신 부모로부터 태어난 자녀는 21세기 또는 이후에 출생한 것으로 예상됩니다.

사실 두번째 질문의 답이 엄밀히는 21세기가 2001년부터 시작하는 것을 틀리는 등의 자잘한 오류가 있지만 이미 19세기의 정의는 바로 하고 있으니까 이건 금방 극복될 문제로 보이긴 해요.

이렇게 보면 챗GPT가 상당히 유능하게 판단하고 있기는 해요. 하지만 여기서 변칙적인 질문을 하면 헛소리를 하죠.
분명 여러 문헌에도 나오다 보니 면밀히 찾으면 알 수 있는 것을 이렇게 틀려 버리죠.

질문
영어를 모국어로 쓰지 않은 미국 대통령

ChatGPT의 답변
미국 대통령 중에서 영어를 모국어로 쓰지 않은 대통령은 없었습니다. 모든 미국 대통령은 대부분 영어를 모국어로 사용하며, 공식적인 문서 작성, 연설, 커뮤니케이션 등에서 영어를 주로 사용합니다. 미국은 영어를 공식 언어로 사용하고 있으며, 대통령이 대통령 직무를 수행할 때 영어를 사용하는 것이 일반적입니다.

이 답변이 맞아 보이긴 하지만 실제로 미국의 제8대 대통령인 마틴 반 뷰런(Martin Van Buren, 1782-1862)은 네덜란드계 이민자의 후손으로 네덜란드어를 모국어로 썼고 사실상 미국의 공용어인 영어는 제2언어로서 사용했어요. 그래서 챗GPT의 답변은 틀렸어요.

그리고 또 하나.

질문
프랑스를 대표하는 소 품종인 아르덴느

ChatGPT의 답변
아르덴느(Ardennes)는 프랑스에서 유래한 소의 품종 중 하나입니다. 이 품종은 주로 프랑스 아르덴느 지역에서 기르기 때문에 그 이름이 붙었습니다. 아르덴느 소는 대형이며, 강인한 체격과 강력한 근육을 가지고 있습니다.
아르덴느 소는 농업 및 가축업에 이용되며, 과거에는 농경 지역에서 농사 일과 수송 업무에 사용되었습니다. 이들은 특히 강력한 힘과 내구성으로 유명하며, 농경용 장비를 끌거나 무거운 짐을 운반하는 데에 적합합니다.
또한, 아르덴느 소의 적절한 체격과 육질은 육용 목적으로도 사용됩니다. 이들의 고기는 풍부하고 질이 좋으며, 맛과 품질이 인정받고 있습니다.
프랑스를 대표하는 소 품종 중 하나로 아르덴느 소는 프랑스 농경문화와 가축업의 중요한 부분을 형성하고 있습니다.

사실 이 설명은 아르덴느라는 품종의 가축에 대한 설명이 맞지만, 실제로는 아르덴느는 말의 품종이죠. 그래서 일견 맞게 보이지만 결과적으로 헛소리를 해 놓은 꼴이 되었어요.

아예 질문 자체를 전혀 이해하지 못하고 있는 소리 없는 소리를 마구잡이로 쏟아낸 경우도 있어요.

질문
선문대할망의 무덤은 평양에 있다

ChatGPT의 답변
선문대할망(鮮文大草墓)은 평양시에 위치한 조선 시대의 중요한 무덤 중 하나입니다. 이 무덤은 조선 왕조의 유적으로, 조선시대에 권력을 가진 왕과 귀족들의 묘역으로 사용되었습니다.
선문대할망은 선문대로도 알려진데, 선문은 조선 왕조의 왕들이 통치하던 장소로, 현재의 평양 북서쪽에 위치하고 있습니다. 선문대할망은 선문에서 근처에 위치한 조선 왕조의 무덤으로서, 다양한 왕과 귀족들의 무덤이 이곳에 있습니다.
선문대할망은 조선 왕조의 역사와 문화적인 중요성을 지닌 유적지로 알려져 있으며, 관광객들에게도 많은 관심을 받고 있습니다. 평양시에서 방문할 수 있는 대표적인 유적지 중 하나입니다.

선문대할망은 제주도 설화에 나오는 인물이라서 평양과는 전혀 상관없는데다 인용한 한자도 독음이 틀려 있어요. 한자표기가 된 부분의 독음은 선문대초묘인데 이것도 어디에서 나온 것인지...

문맥을 이해하지 못하는 답변도 하고 있어요.

질문
연장자인 존속을 양자로 들일 수 있는가

ChatGPT의 답변
"연장자인 존속을 양자로 들일 수 있는가?"에 대해서는 추가적인 설명이 필요합니다. 양자 이론이나 물리학의 관점에서 저희에게 어떤 내용을 질문하고자 하시는지 자세히 설명해주시면, 보다 정확한 답변을 제공해 드릴 수 있습니다. 양자 이론은 물리학의 분야 중 하나로, 물리적 시스템을 설명하고 예측하는 데 사용됩니다. 하지만 "연장자인 존속"이라는 용어나 개념은 제가 알고 있는 한, 흔히 사용되는 용어가 아닙니다.
따라서, 양자 이론이나 물리학 관련 주제에 대해 자세한 설명을 해주시거나 다른 문맥을 제시해주시면, 그에 맞게 적절한 답변을 제공해 드릴 수 있을 것입니다.

이 질문에 나오는 양자는 연장자(年長者) 및 존속(尊属)이라는 어휘에서 봤을 때는 양자(養子)이지 물리학의 양자(量子)가 아니라는 건 사람은 추론할 수 있죠. 그러나 챗GPT는 추론하지 못해서 물리학 어쩌고를 말했는데, 사실 민법 제877조의 내용이 "존속이나 연장자를 입양할 수 없다" 라서 아예 지식 자체가 갖추어지지 않았다는 게 이렇게 드러났어요.


분명 사람이 쓰는 듯한 상당히 자연스러운 문장을 구사할 정도로 기술력이 진보한 것도 사실이지만, 변화구를 던지면 정말 맥없이 당해서 Artificial Intelligence가 아니라 Artificial Insanity 내지는 Artificial Idiot이 될 수도 있어요.
마드리갈

Co-founder and administrator of Polyphonic World

4 댓글

Lester

2023-05-11 07:24:19

후반의 우스갯소리성 오답도 그렇지만, 사실 ChatGPT나 대화형 인공지능 자체가 "시비의 정확성"보다는 "가장 그럴듯한 문장을 만들어내는 것"에 중점을 두고 있어서 생기는 현상이라고도 합니다. 즉 문법적으로 완벽한 문장을 만들어내는 데에 집중하다 보니 단어의 모호성이나 지식의 정확성에 대해서는 살짝 밀리는 것이죠. 그래서 "질문자가 (좋게 봐서 테스트 목적으로) 작정하고 거짓을 말하는 게 아니라 참을 말했는데도 거짓을 말하는 인공지능이 쓸모가 있느냐"라는 비판도 있고, 이 인공지능이 당당하게 '거짓말'을 한다는 점에서 오히려 개인이 직접 자료를 찾는 노력을 둔화시킨다는 지적도 있습니다. 개인적으로는 후자가 더 문제라고 생각하고요.

다만 언어의 모호성 문제는 원래 영미권 기준으로 디자인된 물건인 만큼, 영어로 질문하면 그럭저럭 좋은 성능을 보여주긴 합니다. 그리고 '그 얘기가 아니라니까' 식으로 추가 정보를 제공하면 오류를 수정하는 절차도 있고요. 인간은 패러독스에 내성이 있어서(다르게 말하면, 정보의 '취사선택[=개성]'이 가능해서) 참과 거짓에 대해 문제가 없지만, 인공지능은 항상 참을 말하도록 설계되어 있으므로 거짓도 참처럼 얘기하는 성향이 있는 것 같습니다. 결국 아직도 갈 길이 한참 멀었다는 얘기죠.

막상 온갖 직업을 없애기 시작했다는 인공지능은 어차피 정해진 정보 안에서만 노니까 딱히 오류 가능성이 없는데, 인류에게 불로소득을 제공할 강인공지능은 아직도 멀었다는 점에서 미래가 좀 암울합니다. 벌어먹고 살기 위한 일조차 없어서 굶주리는 사람이 늘어날지도 모르니까요.

마드리갈

2023-05-11 13:39:48

확실히 그렇더라구요. 여기서 공개한 것 이외에도 검증해 본 게 있는데 실제로 명확하게 정보가 공개되어 있는 자격시험정보에서도 태연하게 거짓말을 한다든지 국적포기가 불가능한 아르헨티나의 국적포기 방법을 알려주는 등 그럴듯하게 거짓말로 둘러대는 데에 특화되어 있는 게 확인되었어요. 이것은 일본어에서도 마찬가지였는데 그나마 영어나 독일어에서는 덜하더라구요. 이를테면 신카이 마코토 감독의 애니메이션영화 너의 이름은(君の名は。)를 질문하면 자기 이름이 챗GPT라고 말하는 반면 독일인의 조국은 무엇인가(Was ist des Deutschen Vaterland)를 검색하면 실제 19세기 전반에 독일어가 지배적으로 사용되던 중부유럽 전역에 유행했던 노래의 작사가와 작곡가가 소개되고 가사까지 정확하게 출력되는 차이가 벌어졌어요.


강인공지능도 아직은 멀었고, 정해진 정보 안에서만 작동하는 인공지능도 아직 학습범위가 여전히 모자라는 게 이번의 검증에서 드러났어요. 사실 제가 질문을 기획할 때 작정하고 틀리라고 복병을 심어놨다 보니 그 분야를 아는 사람이 아니면 틀리기 쉽지만요.

마키

2023-05-12 11:57:13

웹 번역기 같은 경우도 이것도 유저들의 검색결과로부터 데이터를 축적해서 자신의 번역 성능에 반영하는 일종의 학습형 인공지능이다보니 초창기에는 입력언어 영어 - 출력언어 한국어 로 직접 번역하면 "안녕하신가, 힘 세고 강한 아침. 만일 나를 묻는다면 나는 번역기" 같은 단어 하나하나를 글자 그대로 직역한 우스꽝스럽기 그지없는 문장들이 출력되는 경우가 빈번했지만, 입력언어 영어 - 중간언어 일본어 - 출력언어 한국어 식으로 일종의 중역을 거치면 그래도 그럭저럭 쓸만한 문장이 제공되곤 하였죠.


시간도 오래 흐르고, 데이터 베이스도 풍부해진 지금은 사용 빈도가 높은 언어인 영어나 일본어는 직접 번역으로도 꽤 괜찮은(?) 결과물이 나오는 시대가 되었죠. 요즘 화재인 챗GPT 등의 인공지능 채팅 프로그램도 결국에는 자기가 아는 한도 내에서 적당히 단어를 조립해 내놓는 것이다보니 시간이 흘러서 데이터 베이스가 충분히 갖추어지면 또 모를 일이죠.

마드리갈

2023-05-12 12:38:17

확실히 기술의 발전이 놀랍죠. 아직 미진한 부분도 맹점도 많아서 정보가 갖춰지지 않은 상황에서는 헛소리를 한다든지 작정하고 함정을 파면 꼼짝없이 걸리는 경우가 많지만 사안에 따라서는 확실히 논리정연하게 정답을 낸다는 점에서는 역시 감탄을 하지 않을 수가 없었어요. 학습을 얼마나 잘 시키는가가 관건이라는 게 확실히 실감났어요.


역시 세계는 귀납적으로 만들어지는 것이라는 걸 느끼고 있어요.

Board Menu

목록

Page 29 / 295
번호 제목 글쓴이 날짜 조회 수
공지

단시간의 게시물 연속등록은 권장되지 않습니다

SiteOwner 2024-09-06 165
공지

[사정변경] 보안서버 도입은 일단 보류합니다

SiteOwner 2024-03-28 170
공지

타 커뮤니티 언급에 대한 규제안내

SiteOwner 2024-03-05 185
공지

2023년 국내외 주요 사건을 돌아볼까요? 작성중

10
마드리갈 2023-12-30 356
공지

코로나19 관련사항 요약안내

612
마드리갈 2020-02-20 3858
공지

설문조사를 추가하는 방법 해설

2
  • file
마드리갈 2018-07-02 997
공지

각종 공지 및 가입안내사항 (2016년 10월 갱신)

2
SiteOwner 2013-08-14 5967
공지

문체, 어휘 등에 관한 권장사항

하네카와츠바사 2013-07-08 6592
공지

오류보고 접수창구

107
마드리갈 2013-02-25 12081
5334

새로이 발견된 지구 크기의 화산행성 LP 791-18d

2
  • file
마드리갈 2023-05-18 114
5333

20세기의 애국자가 21세기의 단검을 막아내고 있다

4
  • file
SiteOwner 2023-05-17 141
5332

덥다가 서늘한 5월 중순에 이것저것

2
SiteOwner 2023-05-16 111
5331

검열이 줄었다고 생각하니 이제는 인터페이스가...

2
마드리갈 2023-05-15 116
5330

1990년대 운동권 논리를 세계에 구현한 틱톡(TikTok)

6
  • file
SiteOwner 2023-05-14 220
5329

영단어 master를 유용하게 쓰는 방법

2
마드리갈 2023-05-13 119
5328

권법가(拳法家)와 박서(Boxer)

2
마드리갈 2023-05-12 122
5327

찰스 3세 대관식 관련 간단히 몇 가지.

4
시어하트어택 2023-05-11 150
5326

신칸센은 자동운전으로의 진화를 꿈꾼다

  • file
마드리갈 2023-05-11 118
5325

실제 사용으로 검증해 본 ChatGPT의 여러 맹점

4
마드리갈 2023-05-10 181
5324

자급자족 굿즈 만들기

4
  • file
마키 2023-05-09 179
5323

러시아의 대독승전기념일 행사에서 드러났던 것들

3
  • file
마드리갈 2023-05-09 129
5322

일시적으로 슬럼프인지...

2
마드리갈 2023-05-08 114
5321

자신의 연령에 고민하던 후배 이야기

2
SiteOwner 2023-05-07 126
5320

"호갱" 이라는 속어로 정치를 해야 할까

2
마드리갈 2023-05-06 117
5319

비오는 날에 휴일을 보내는 이야기

2
SiteOwner 2023-05-05 127
5318

최근 자주 듣는 애니 오프닝곡 3선

2
마드리갈 2023-05-04 126
5317

겁나게 뜨거운 감자인 워싱턴 선언

4
Lester 2023-05-03 154
5316

항생제 내성 해결의 실마리는 나무늘보에 있다

2
  • file
마드리갈 2023-05-03 117
5315

국내개최 국제 스포츠대회에 대한 국내방송의 침묵

3
마드리갈 2023-05-02 114

Polyphonic World Forum

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소