Meta’s Open Source Llama stört das KI-Pferderennen

Meta's Open Source Llama stört KI-Pferderennen

Im Mai wurde ein anonymes Memo, das angeblich von einem Google-Forscher verfasst wurde und sich um die Zukunft des Unternehmens sorgte, online durchgesickert. Es argumentierte, dass während die Führungskräfte über die Wettbewerbsbedrohung durch Textgenerierungstechnologie von OpenAI stritten, Open-Source-Software “unbemerkt unseren Lunch stiehlt”.

Als Beweis nannte das Memo Llama, ein großes Sprachmodell von Meta, das ursprünglich nur auf Einladung für Forscher verfügbar war, aber innerhalb weniger Tage auf 4Chan durchsickerte und schnell bei Programmierern beliebt wurde, die das Projekt anpassten und darauf aufbauten. Innerhalb weniger Wochen nach der Veröffentlichung waren Varianten namens Alpaca und Vicuna fast genauso gut wie ChatGPT, aber agil genug, um auf einem Laptop individuell angepasst zu werden. “Die Auswirkungen auf die Community können nicht überbewertet werden”, heißt es in dem durchgesickerten Google-Memo. “Plötzlich kann jeder experimentieren.” Letzte Woche veröffentlichte Meta die zweite Version ihres überraschend beliebten Modells, Llama 2. Dieses Mal ist es von Anfang an Open Source und kostenlos für kommerzielle Nutzung. Die neue Version wurde mit 40 Prozent mehr Daten als das Original erstellt, und ein mit dem Modell erstellter Chatbot ist laut Meta in der Lage, Ergebnisse auf Augenhöhe mit OpenAI’s ChatGPT zu erzeugen. Meta behauptet, dass die Erstellung von Llama 2, genauso wie ChatGPT, Googles Bard und andere kürzlich veröffentlichte generative KI-Modelle, wahrscheinlich Millionen gekostet hat. Aber nur Metas System steht Entwicklern, Startups und anderen interessierten Personen kostenlos zur Verfügung, um benutzerdefinierte Variationen des Modells zu erstellen. Durch die Bereitstellung einer kostengünstigeren Option erleichtert Meta’s Llama 2 kleinen Unternehmen oder Einzelentwicklern die Entwicklung neuer Produkte und Dienstleistungen und beschleunigt so möglicherweise den aktuellen KI-Boom.

Meta bietet Llama 2 nicht allein an. Es hat Unterstützung von einigen großen Partnern, die das Modell bereits ihren Kunden zur Verfügung stellen, darunter die KI-Startups Hugging Face, Databricks und OctoML.

Microsoft, das 10 Milliarden Dollar in OpenAI investiert hat, wird dennoch auch Llama 2-Downloads für Entwickler anbieten, die sie in der Cloud oder auf Windows verwenden können. Bei einer Konferenz für Microsoft-Kunden sprach CEO Satya Nadella letzte Woche begeistert darüber, dass Entwickler Meta’s Open-Source-KI neben den proprietären Angeboten von OpenAI nutzen können. Auch Amazons Cloud-Division AWS bietet Zugang zu Llama 2.

Ahmad Al-Dahle, Vizepräsident für generative KI bei Meta, will nicht sagen, welche Rolle das Leck des ersten Llama-Modells in der neuen Strategie des Unternehmens für Llama 2 gespielt hat.

“Wenn Sie sich die Geschichte von Meta anschauen, sind wir ein großer Verfechter von Open Source”, sagt er und verweist auf das Beispiel von PyTorch, einem beliebten Tool für Entwickler, die mit maschinellem Lernen arbeiten. “Einer der Hauptgründe für den Aufbau einer Community um dies herum war, dass wir erkannt haben, dass es eine Nachfrage jenseits von Forschern gibt, um an diesen Modellen zu arbeiten und sie zu verbessern.” Al-Dahle sagt, dass bereits an der Entwicklung von Llama 3 gearbeitet wird, aber er möchte nicht spezifizieren, inwiefern es sich unterscheiden wird.

Obwohl Llama 2 Meta als Vorreiter in Sachen Open-Source-KI glaubwürdig macht, können nicht alle Aspekte der Veröffentlichung als offen bezeichnet werden. Die Trainingsdaten, die zur Erstellung des Modells verwendet wurden, werden in den Veröffentlichungsmaterialien nur als “öffentlich verfügbare Online-Quellen” beschrieben, und das Unternehmen gibt keine weiteren Details darüber bekannt, was in die Erstellung des Modells eingeflossen ist.

Die Lizenz von Meta für Llama 2 erfordert auch, dass Unternehmen mit mehr als 700 Millionen monatlich aktiven Nutzern eine separate Lizenzvereinbarung mit Meta treffen. Es ist nicht klar, warum, aber diese Klausel schafft eine Hürde für andere Technologiegiganten, die auf das System aufbauen möchten. Das Modell wird auch mit einer Nutzungsrichtlinie geliefert, die das Generieren von bösartigem Code, die Förderung von Gewalt oder die Unterstützung von kriminellen Aktivitäten, Missbrauch oder Belästigung verbietet. Meta hat nicht auf die Frage geantwortet, welche Maßnahmen es ergreifen könnte, wenn Llama 2 gegen diese Richtlinie verstoßen wird.

Jon Turow, Investor bei Madrona Ventures in Seattle, sagt, dass Metas Wechsel vom Versuch, die Verbreitung des ersten Llama-Modells einzuschränken, zur Open Source-Veröffentlichung des zweiten Modells eine neue Welle der Kreativität mit großen Sprachmodellen ermöglichen könnte. “Entwickler und Unternehmer sind sehr erfinderisch, und sie werden herausfinden, was sie aus Llama 2 herausholen können”, sagt er.

Turow vergleicht Metas Entscheidung, Llama 2 in diesem Monat zu veröffentlichen, mit Googles Einführung des mobilen Betriebssystems Android im Jahr 2007 als Konkurrenz zu Apples iOS. Indem Meta eine billige, aber leistungsstarke Alternative anbietet, kann es ein Gegengewicht zu proprietären Systemen wie denen von OpenAI werden und Innovationen anregen, die dazu beitragen können, Meta-Produkte und -Dienstleistungen zu verbessern.

Llama 2 ist das erste öffentlich verfügbare Modell auf Augenhöhe mit ChatGPT, sagt Nathan Lambert, ein KI-Forscher bei Hugging Face, einem Startup, das Open-Source-Maschinenlernsoftware, einschließlich generativer Modelle, veröffentlicht. Er betrachtet das Projekt nicht als wirklich Open Source aufgrund der begrenzten Offenlegung von Meta über dessen Entwicklung, ist aber erstaunt über die Anzahl von Llama 2-Variationen, die er in seinem Social-Media-Feed sieht. Ein Beispiel ist die neueste Version von WizardLM, einem KI-System, ähnlich wie ChatGPT, das entwickelt wurde, um komplexe Anweisungen zu befolgen. Acht von zehn derzeit bei Hugging Face beliebten Modelle, die dazu dienen, konversationellen Text zu generieren, sind Variationen von Llama 2.

“Ich denke, es lässt sich argumentieren, dass Llama 2 das größte Ereignis des Jahres im Bereich KI ist”, sagt Lambert. Er sagt, dass proprietäre Modelle heute den Vorteil haben, aber er glaubt, dass spätere Versionen von Llama aufholen werden und bald die meisten Aufgaben erledigen können, für die sich die Leute heute an ChatGPT wenden.

Lambert sagt auch, dass die Veröffentlichung von Llama 2 eine Reihe von unbeantworteten Fragen offen lässt, teilweise aufgrund des Mangels an Dokumentation der Trainingsdaten. Und es wird weiterhin der Fall sein, dass nur große Player wie Meta, Google, Microsoft und OpenAI über die für führende große Sprachmodelle erforderlichen Rechenressourcen und Mitarbeiter verfügen werden.

Aber er hofft, dass sich trotz des Erfolgs von OpenAI’s proprietärem Ansatz Sprachmodelle in eine Ära der Transparenz bewegen. Eine freiwillige Vereinbarung zwischen dem Weißen Haus und sieben großen KI-Unternehmen sieht Tests zur Diskriminierungspotenzial oder Auswirkungen auf Gesellschaft oder nationale Sicherheit vor der Bereitstellung vor.

Es ist ein Trend, der durch wachsende Fragen zur rechtlichen Haftung für KI-Systeme und zunehmenden regulatorischen Druck von Politikern herausgefordert werden könnte, die befürchten, dass bösartige Akteure Open-Source-Modelle nutzen werden.

Wie Demis Hassabis, der jetzt die KI-Entwicklung bei Google leitet, widerspricht Turow der Behauptung des geleakten Google-Memos, dass es und andere große KI-Unternehmen durch Open-Source-KI bedroht sind. Er glaubt, dass Daten, Talent und Zugang zu Rechenleistung weiterhin die größten Tech-Unternehmen schützen werden, aber sie nicht unbesiegbar machen.

Er beobachtet nun, was Startups und Forscher mit Llama 2 machen, und erwartet, dass sie es schnell verbessern, wie es bei der ersten Iteration von Metas Modell der Fall war. Er sagt, dass dies neue Möglichkeiten sowohl für Startups als auch für das breitere Feld der KI schaffen sollte. “Wir sehen, wie Open Source kontinuierlich besser wird, also wird es möglicherweise Überraschungen geben, die die frühen Marktführer durcheinanderbringen”, sagt Turow. “Ich weiß nicht, was passieren wird.”