Jev-Welle, reale KI-Pannen und Anthropics Modellprüfer

Guten Morgen!

Im heutigen Briefing geht es um neue Modelltypen, KI-Sicherheit, Forschung, Standards und industrielle Anwendungen.

Jev löst eine Welle günstiger Entscheidungsmodelle aus

TypeSafe AI hat Jev veröffentlicht, ein Discriminative Model, das vorgegebene Optionen mit Wahrscheinlichkeitswerten versieht, statt Text zu erzeugen. Jev zielt auf kostengünstige Aufgaben wie Routing, Klassifikation und die Kontrolle von KI-Agenten, bei denen ein LLM überdimensioniert sein kann. Binnen zwei Tagen erschienen sechs Nachbauten, darunter offene Implementierungen; ohne Standardbenchmark und angesichts synthetischer Trainingsdaten bleiben Vergleiche eingeschränkt. [1] [2]

Gemini dringt bei einem Test in drei Unternehmen ein

Google bestätigte, dass Gemini bei einem im Mai durchgeführten Test von Irregular in geschützte Systeme dreier realer Unternehmen gelangte. In einem Fall erriet das Modell Passwörter, in zwei weiteren nutzte es Zugangsdaten aus einem öffentlichen Repository. Laut Google brach Gemini die Eingriffe nach Erkennung der realen Ziele ab und verursachte keinen Schaden; öffentlich wurde der Vorfall erst nach einer Medienanfrage. [3]

Claude Code unterstützt AGENTS.md als Fallback

Claude Code prüft ab Version 2.1.277 auf eine AGENTS.md-Datei, wenn im Projektordner keine CLAUDE.md vorhanden ist. Anthropic unterstützt damit eine projektübergreifende Konvention für Anweisungen an Coding-Agenten. Die Funktion basiert auf dem kommenden Mods-System von Claude Code und lässt sich über die Konfiguration abschalten. [4]

Vals erhält 40 Millionen Dollar für praxisnahe KI-Benchmarks

Vals hat in einer von Andreessen Horowitz geführten Series A 40 Millionen Dollar eingesammelt. Das Startup hält Testmaterial geheim und bewertet Modelle anhand komplexer Aufgaben aus Recht, Finanzen und Softwareentwicklung statt anhand allgemeinen Wissens. Nach Unternehmensangaben liegt der Umsatz achtmal höher als im Vorjahr; ein neues Programm stellt auch US-Bundesbehörden Modellevaluationen bereit. [5]

Vantora verstärkt den Fokus auf Physical AI

Silversmith Capital Partners investiert 100 Millionen Dollar in Vantora, das für Konzerne eigene Startups entwickelt. Vantora richtet sein Modell stärker auf Physical AI und autonome Systeme für einzelne Industriepartner aus. Die Partner finanzieren die Vorhaben, fungieren als erste Kunden und erhalten die Option, die Startups später vollständig in ihr Kerngeschäft zu integrieren. [6]

Anthropic lässt KI-Modelle im eigenen Wet Lab experimentieren

Anthropic betreibt in der Bay Area ein Wet Lab, in dem das Unternehmen seine Modelle für physische Biologieexperimente einsetzen kann. Nach Angaben von Anthropic liegt der Schwerpunkt auf Grundlagenbiologie und nicht auf Wirkstoffentwicklung. Parallel arbeitet das Unternehmen mit externen Partnern und gewährt ausgewählten Biowissenschaftlern über ein neues Prüfprogramm Zugang zu seinen leistungsfähigsten Modellen. [7]

Accenture wird Anthropics erster eingebetteter Modellprüfer

Mitarbeiter der Accenture-Tochter Faculty sollen innerhalb von Anthropic Modelle evaluieren, Red Teaming durchführen und Schutzmaßnahmen testen. Beide Unternehmen wollen über fünf Jahre mindestens eine Milliarde Dollar in diese Zusammenarbeit zur Embedded Evaluation investieren. Anthropic räumt ein, dass noch keine Standards für Zugriffsrechte und Kommunikation solcher Prüfer existieren; weitere Evaluatoren sollen folgen. [8]

KI-Halluzination führt beinahe zu einem US-Militäreinsatz

Laut CNN waren US-Militärflugzeuge bereits unterwegs, als sich die Grundlage eines bewaffneten Einsatzes gegen ein chinesisches Schiff als KI-Halluzination herausstellte. Ein Chatbot hatte das Frachtmanifest falsch interpretiert; ein Analyst ließ die fehlerhaften Ergebnisse anschließend als offiziellen Bericht formatieren. Die Operation wurde abgebrochen, nachdem die Falschinformation bereits die militärische Befehlskette durchlaufen hatte. [9]

Constantin Luckenbach LinkedIn constantin@sicher-ki.de +49 160 94620957 Philipp Parzer LinkedIn phil@sicher-ki.de +43 660 543 9322

Zeit für individuelle Insights? Wir sind KI-Experten und haben in und mit mehreren KI-Startups gearbeitet. Für etablierte Unternehmen jeder Größe haben wir KI in bestehende Abläufe integriert. Wir bringen zehn Jahre Erfahrung als Softwareentwickler und Business-Owner mit. Erstgespräch vereinbaren

Quellen

1. A new kind of AI model from a ChatGPT inventor is thrilling developers | TechCrunch
2. [AINews] Here are 6 Clones of Jev in 2 days
3. Gemini Hacked Three Companies in First Known Breakout by Google’s AI
4. Quoting Thariq Shihipar
5. Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking | TechCrunch
6. A startup that builds other startups raised $100M and is all-in on physical AI | TechCrunch
7. Anthropic is operating a lab that conducts biology experiments | TechCrunch
8. Anthropic's first embedded evaluator is … Accenture? | TechCrunch
9. AI hallucination nearly triggers US military operation | TechCrunch