Seit dem 2. August 2026 sind Deepfakes, die öffentlich gemacht werden, kennzeichnungspflichtig. Als Verband, der die Stimmen in der Audiobranche vertritt, halten wir es für angebracht, eine Interpretation der Vorgaben zu liefern.
Nach Art. 3 Nr. 60 KI Verordnung sind unter Deepfakes durch KI generierte oder manipulierte Bild-, Ton- oder Videoinhalte zu verstehen, die wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähneln, die einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen können.
Die Leitlinien der EU stellen außerdem klar, dass auch realistisches, KI-generiertes Audio erfasst ist, das menschlich wirkt, selbst wenn es keiner konkret identifizierbaren Person zugeordnet werden kann, sofern es im konkreten Format den Eindruck von Authentizität erzeugt. (siehe „Leitlinien zur Umsetzung der Transparenzpflichten für bestimmte KI-Systeme gemäß Artikel 50 der Verordnung (EU) 2024/1689 (das „KI-Gesetz“)“, 6.1.1.)
Die Kennzeichnungspflicht hat verschiedene Gründe, die allerdings vordergründig die Konsument:innen schützen sollen und lauten:
- Bekämpfung von Desinformation und Täuschung
- Schutz der Grundrechte und des demokratischen Prozesses
- Förderung von Transparenz im digitalen Raum
- Stärkung des öffentlichen Vertrauens
- Ermöglichung regulatorischer Aufsicht
Daraus folgt für uns, dass synthetisches Audio, das einer menschlichen Stimme ähnelt und bei den Zuhörenden den Anschein erweckt, menschlich zu sein, als KI-generiert gekennzeichnet werden muss. Sollte es sich um ein reines Audio-Format handeln, so muss die Kennzeichnung unmittelbar vor dem synthetischen Audio erfolgen, so dass Zuhörer:innen informiert sind, dass sie mit generierten Inhalten konfrontiert werden.
Eine mangelnde Kennzeichnung wird als Gesetzesverstoß gewertet und bedarf – anders als eine Verletzung des Urheberrechts – keiner direkt geschädigten Person, um diesen Verstoß zu sanktionieren. Die Bundesnetzagentur ist unter anderem dafür zuständig, diese Verstöße zu prüfen, und Zuhörer:innen können sie dort melden. Ein Verstoß kann mit Bußgeldern von bis zu 15 Mio. € oder 3 % des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden.
Die Verantwortung für einen solchen Verstoß tragen dabei die „Betreiber“. Das sind diejenigen, die mittels eines in eigener Verantwortung verwendeten KI-Systems Audioinhalte erstellen. Das wäre bspw. ein Tonstudio, das synthetisches Audio generiert und dies an Kund:innen weiterleitet. Die Kennzeichnung darf auch im Rahmen einer späteren Veröffentlichung nicht entfernt werden.
Die Radiozentrale hat unlängst eine „Umsetzungshilfe zur Transparenzpflicht nach Art. 50 Abs. 4 und 5 KI-VO“ veröffentlicht. Sie vertritt dort die Auffassung, dass ein Deepfake nur dann vorliegt, wenn bei „generischen KI-Stimmen“ zusätzlich der falsche Anschein von Authentizität verwirklicht wird. Dies sei bei einer generischen Stimme regelmäßig nicht der Fall, wenn
- sich niemand als reale Person ausgäbe,
- keine persönliche Authentizität beansprucht würde,
- nicht an die Identität einer existierenden Person angeknüpft würde und
- diese nicht geeignet sei, beim Publikum den Eindruck zu erwecken, eine bestimmte reale Person spräche.
Auf unsere Nachfrage hin, ob sie also Deepfakes nur auf synthetische Versionen real existierender Stimmen bezögen, erhielten wir von der Radiozentrale die Klarstellung, dass nicht „allein die Zuordenbarkeit einer KI-Stimme zu einer konkret identifizierbaren Person über die Einordnung als „Deepfake“ entscheidet“ und dass „Insbesondere die Frage, ob ein falscher Anschein von Authentizität oder Wahrhaftigkeit entstehen kann, (…) anhand des konkreten Inhalts, des Verwendungskontexts und der vernünftigerweise vorhersehbaren Erwartungen des jeweiligen Publikums zu beurteilen.“ sei.
Wir möchten hier zu bedenken geben, dass es kaum möglich ist, zu beurteilen, ob ein synthetisches Audio die Stimme einer tatsächlichen Person abbildet und somit ihr Persönlichkeitsrecht verletzt, wie der aktuelle Fall unseres Mitglieds Jens Wendland anschaulich zeigt. Weiterhin geben wir zu Bedenken, dass die Leitlinie der Radiozentrale nicht verbindlich ist und dass sie nicht aus Sicht einer Gruppe herausgegeben wurde, die im Zweifel für die Inhalte verantwortlich gemacht werden kann.
Unsere Interpretation der Leitlinie und der KI-VO hinsichtlich Kennzeichnungspflicht ist ganz klar: dort, wo synthetische Inhalte auftauchen, die den Rezipient:innen authentisch erscheinen können, müssen diese für das Publikum gekennzeichnet werden, damit dieses eine informierte Entscheidung treffen kann. Unserer Auffassung nach trifft dies auf jede Form von synthetischem Audio zu. Wir gehen ohnehin davon aus, dass Firmen ihre Kund:innen auf keinen Fall täuschen möchten, und deshalb sollten sie ihnen gegenüber auch hier transparent sein und ihre generierten Inhalte (hinter denen sie ja offensichtlich stehen) klar markieren. Wie dies tatsächlich rechtlich zu beurteilen ist, werden die kommenden Jahre, eventuelle Beschwerden und der Umgang damit zeigen.
