요즘 AI 도구가 많은 것을 할 수 있다는 것은 우리 모두 알고 있습니다. 하지만 인터넷 검색에는 얼마나 효과적일까요?
중요한 질문이며, 상당한 의미를 지닙니다. TechRadar 발행사인 Future의 조사에 따르면, 미국 응답자의 거의 3분의 1이 이제 Google과 같은 기존 검색 엔진 대신 AI를 사용한다고 답했습니다.
어떤 사람들은 ChatGPT와 같은 챗봇을 사용합니다. 또 어떤 사람들은 Perplexity처럼 연구 및 조사용으로 특별히 설계된 AI 도구를 사용합니다. 우리가 AI 도구를 적극적으로 선택하지 않더라도, AI는 검색 결과에 나타납니다. 마치 검색 결과 상단에 표시되는 Google 요약처럼 말이죠.
간단히 말해, AI 기반 검색은 어디에나 있습니다. 하지만 진짜 의문은 남습니다. 과연 효과가 있을까요? 연구자들이 의문을 품기 시작한 부분이 바로 이 부분입니다. 초기 리뷰는 그다지 인상적이지 않다고만 말씀드리겠습니다.
ChatGPT가 새로운 Google일까요? 섣불리 단정 지을 수는 없겠죠…
사람들은 연구를 위해 AI 도구를 사용할 수 있지만, 그렇다고 해서 사용해야 하는 것은 아닙니다.
최근 테스트에서 우리는 최고의 AI 챗봇 4개를 서로 비교하여 검색을 얼마나 잘 처리하는지 살펴보았습니다. 챗봇은 OpenAI의 ChatGPT, Google의 Gemini, Anthropic의 Claude, Perplexity AI입니다.
결과는… 엇갈렸습니다. 완전히 엉망은 아니었습니다. 모두 관련 정보를 어느 정도 찾아냈지만, 정확도는 그다지 좋지 않았습니다. 그리고 그 정보를 요약하는 방식은 어땠을까요? 종종 혼란스럽거나 도움이 되지 않았습니다.
이러한 결과는 Tow Center for Digital Journalism에서 보고한 바와 같이 수행한 보다 포괄적인 테스트를 뒷받침합니다. 컬럼비아 저널리즘 리뷰해당 팀은 ChatGPT, Perplexity, Copilot, Grok, Gemini를 포함한 8개의 주요 AI 모델을 테스트한 결과, "잘못된 정보를 확실하게 제시하고, 공유된 콘텐츠에 대한 오해의 소지가 있는 속성을 부여하고, 정보 검색 관행이 일관되지 않다"는 문제가 반복적으로 발견되었습니다. 맙소사.
전반적으로 AI 모델은 60% 이상의 질의에 대해 오답을 제공했습니다. Perplexity가 가장 정확했지만(연구 도구로서의 마케팅 전략과 일맥상통), 여전히 37%의 오답을 제공했습니다. Grok은 94%라는 충격적인 실패율로 가장 낮은 성적을 기록했습니다. 코멘트는 없습니다.
타오 센터는 결과를 완전히 맞는 것부터 완전히 틀린 것(또는 답이 전혀 없는 것)까지 평가했습니다. 가장 심각한 사례 중 일부는 AI가 단순히… 지어낸 명백한 환각이었습니다. 하지만 답이 완전히 틀리지 않았더라도, 도구가 뉴스와 검색 결과를 다시 채우는 방식에는 여전히 심각한 문제가 있었습니다.
출처가 없는 연구는 전혀 연구가 아닙니다.
근본적인 문제는 이런 식으로 정보를 재구성하는 데 있습니다. AI 기술이 허위 정보를 제공하지 않더라도, 여전히 도움이 되지 않고 종종 오해의 소지가 있는 방식으로 콘텐츠를 요약하고 재구성합니다. 토우 센터는 다음과 같이 설명합니다.
"기존 검색 엔진은 중개자 역할을 하며 사용자를 뉴스 사이트와 고품질 콘텐츠로 안내하는 반면, 생성 검색 도구는 정보를 직접 분석하고 재구성하여 원래 소스로의 트래픽 흐름을 차단합니다."
"이러한 봇의 채팅 출력은 정보의 질과 관련된 심각한 근본적인 문제를 종종 가리는 경향이 있습니다. 이러한 시스템이 뉴스 콘텐츠에 어떻게 접근하고, 제시하고, 인용하는지 시급히 평가해야 합니다."
가장 눈에 띄는 문제 중 하나는 AI 도구가 출처를 제대로 인용하지 않는다는 것입니다. 예를 들어, ChatGPT는 종종 잘못된 기사로 링크를 걸거나, 웹사이트 홈페이지로 이동하거나, 인용을 아예 건너뛰는 경우가 많습니다.
이는 두 가지 주요 이유 때문에 발생하는 문제입니다. 첫째, 콘텐츠가 실제로 사용되고 있음에도 불구하고 게시자는 트래픽을 잃게 됩니다.
둘째, 사실 확인이 어려워집니다. AI 결과를 검증하는 유일한 방법 중 하나는 원본 출처를 참조하는 것인데, 출처가 제공되지 않으면 더욱 어렵습니다.
그렇다면 AI가 명확한 출처 없이 정보를 제공한다면, 그것을 연구에 활용하는 것이 과연 가치가 있을까요? 특히 어차피 구글 검색을 통해 모든 정보를 검색하게 된다면 더욱 그렇겠죠. 아마 그렇지 않을 겁니다.
네, AI 도구는 끊임없이 발전하고 있습니다. 그리고 물론 Perplexity처럼 성능이 더 뛰어난 도구도 있습니다. 하지만 아무리 뛰어난 도구라도 여전히 인간의 감독이 필요합니다. 현재 연구 분야에서 로봇은 자율적으로 작동할 준비가 되어 있지 않습니다.
