KPMG sfabrykowało case studies AI w raporcie o AI dla klientów

Jeden z największych na świecie doradców biznesowych – KPMG – opublikował raport o wykorzystaniu sztucznej inteligencji, który… sam okazał się ofiarą AI. Dokument zatytułowany „Redefining excellence in the age of agentic AI” zawierał całkowicie zmyślone przykłady wdrożeń. Sprawa ujrzała światło dzienne dzięki narzędziu do wykrywania treści generowanych przez AI – GPTZero – a jej rzetelność potwierdził później Financial Times.

Jak narzędzie do wykrywania AI wyłapało błędy w raporcie renomowanej firmy

GPTZero, które na co dzień pomaga odróżniać teksty pisane przez ludzi od tych tworzonych przez modele językowe, przeanalizowało raport KPMG. Wynik był jednoznaczny: kilka opisanych case studies nie miało pokrycia w rzeczywistości. KPMG twierdziło między innymi, że bank UBS, brytyjska publiczna służba zdrowia NHS, Szwajcarskie Koleje Federalne oraz Transport for London z powodzeniem wdrożyły rozwiązania z kategorii „agentowej AI” (ang. agentic AI). Każda z tych organizacji – jak ustalił Financial Times – zdementowała te informacje. Żadna nie potwierdziła współpracy z KPMG w tym zakresie.

CEO GPTZero, Edward Tian, zwraca uwagę na szerszy problem. Jego zdaniem takie nieścisłości w raportach wielkich firm konsultingowych to nie tylko błąd konkretnego zespołu, ale źródło „wtórnych halucynacji” (ang. secondary hallucinations). Ponieważ dokumenty KPMG, Deloitte czy McKinsey są traktowane jako wiarygodne, ich błędne treści są później powielane – zarówno przez ludzi, jak i przez systemy AI, które na nich trenują.

„Vibe citing” – nowa plaga cytowania na czuja

Korzeni problemu GPTZero dopatruje się w niechlujnym korzystaniu z narzędzi typu AI search. W raporcie KPMG większość przypisów okazała się luźnymi parafrazami rzeczywistych źródeł – często bez prawidłowych autorów lub adresów URL. W kilku przypadkach nie udało się znaleźć żadnego oryginału pasującego do cytatu. Eksperci nazywają to zjawisko „vibe citing” – cytowaniem na podstawie ogólnego wrażenia, bez weryfikacji. Ten sam problem dotyczy też AI Overviews od Google, za których treści niemiecki sąd uznał niedawno Google odpowiedzialnym.

Konsekwencje dla wizerunku KPMG i całej branży doradztwa AI

Firma KPMG szybko wycofała raport z kilku stron internetowych. Incydent jest jednak podwójnie kłopotliwy. Z jednej strony konsultanci rozpowszechniali dezinformację na temat technologii, którą sami rekomendują klientom. Z drugiej – pokazali, że nie panują nad własnym procesem tworzenia treści przy użyciu AI. To rodzi pytanie o jakość innych ich analiz, które nie zostały jeszcze zweryfikowane. Na razie sprawa jest przestrogą dla wszystkich, którzy bezkrytycznie polegają na automatycznie generowanych źródłach.

Czy inne firmy doradcze również mogą mieć w swoich archiwach podobne „duchy”? Eksperci zachęcają do audytu publikacji z ostatnich miesięcy – szczególnie tych, które obficie korzystają z cytowań bez wyraźnych linków. Bo jeśli nawet KPMG nie ustrzegł się błędów, to jak bardzo możemy ufać raportom mniejszych graczy?