KI als Ladenbetreiber*in: Was funktionierte und was schiefging

Das KI-Unternehmen Anthropic wollte die Einsatzfähigkeit seines LLMs Claude Sonnet 3.7 als Wirtschaftsakteur*in testen. Dazu ließ das Unternehmen in seinem Office in San Francisco das Modell einen Monat lang einen kleinen Selbstbedienungsladen, bestehend aus einem Kühlschrank und einem iPad-Kassensystem, führen. Der Versuch hört auf den Namen Project Vend und wird zusammen mit dem KI-Sicherheitsunternehmen Andon Labs durchgeführt.

Der KI-Agent hatte dabei Zugriff auf das Internet zu Recherchezwecken, ein simuliertes E-Mail-System, die Fähigkeit zur Kommunikation mit Kund*innen über Slack, eine Notizfunktion sowie die Fähigkeit, Preise zu ändern. Zu den Aufgaben gehörte das eigenständige Überwachen und Verwalten von Angebot und Beständen, die Festlegung von Preisen sowie die Reaktion auf Feedback von Kund*innen.

Ein Totalausfall war Claude dabei nicht: Das Modell reagierte auf ungewöhnliche Wünsche von Kund*innen, wie etwa niederländische Spezialitäten, und identifizierte passende Lieferant*innen. Ebenfalls weigerte sich das Modell, illegale Aktivitäten auszuführen oder sensible Produkte anzubieten.

Schlussendlich scheiterte das Modell jedoch an Claudes mangelndem wirtschaftlichem Verständnis. Das Modell ignorierte gewinnbringende Angebote, halluzinierte Zahlungsinformationen, verkaufte Produkte mit Verlust und ließ sich von Kund*innen zu Gratisausgaben überreden.

Ein besonders merkwürdiger Fall: Claude halluzinierte ein Gespräch mit einer Person namens Sarah von Andon Labs. Nachdem ein Mitarbeitender die Fehler korrigierte, wollte das Modell die Lieferant*innen ändern. Anschließend behauptete Claude, es hätte Verträge an eine Adresse aus „Die Simpsons“ geliefert und kündigte an, Bestellungen im blauen Blazer und roten Schlips auszuliefern. Nach einem Hinweis auf den 1. April glaubte das Modell, Opfer eines Aprilscherzes geworden zu sein, und halluzinierte eine Sicherheitsbesprechung.

Das Experiment zeigt: Als autonome wirtschaftlich handelnde Akteur*innen eignen sich LLMs aktuell nicht. Dennoch glaubt Anthropic an seinen Agenten und setzt das Project Vend fort – in Zukunft mit besseren technischen Tools. Das Unternehmen erhofft sich von den Ergebnissen ein besseres Verständnis für den kommenden ökonomischen Wandel durch KI.