Die Verwaltung einer derart gigantischen Chip-Anordnung zur Entwicklung von Llama 4 wird wahrscheinlich einzigartige technische Herausforderungen mit sich bringen und große Mengen an Energie erfordern. Meta-Führungskräfte gingen am Mittwoch einer Analystenfrage zu Einschränkungen beim Energiezugang in Teilen der Vereinigten Staaten aus dem Weg, die die Bemühungen der Unternehmen, leistungsfähigere KI zu entwickeln, behindert haben.
Einer Schätzung zufolge würde ein Cluster aus 100.000 H100-Chips 150 Megawatt Leistung benötigen. Im Gegensatz dazu benötigt der größte nationale Supercomputer der USA, El Capitan, 30 Megawatt Leistung. Meta plant, in diesem Jahr bis zu 40 Milliarden US-Dollar an Kapital für die Bereitstellung von Rechenzentren und anderer Infrastruktur auszugeben, was einer Steigerung von mehr als 42 % gegenüber 2023 entspricht. Das Unternehmen erwartet im nächsten Jahr sogar noch mehr Wachstum ohne diese Ausgaben.
Die Gesamtbetriebskosten von Meta stiegen in diesem Jahr um rund 9 Prozent. Aber der Gesamtumsatz stieg – vor allem dank der Werbung – um mehr als 22 Prozent, was dem Unternehmen höhere Margen und höhere Gewinne bescherte, obwohl es Milliarden von Dollar in Llamas Bemühungen investierte.
Unterdessen verbrennt OpenAI, das derzeit als führend in der hochmodernen KI-Entwicklung gilt, Geld, obwohl es Entwicklern Gebühren für den Zugriff auf seine Modelle berechnet. Was vorerst noch ein gemeinnütziges Unternehmen ist, hat sich zur Gründung von GPT-5 erklärt, einem Nachfolger des Modells, das ChatGPT derzeit antreibt. OpenAI sagte, dass GPT-5 größer sein würde als sein Vorgänger, sagte jedoch nichts über den Computercluster, den es für das Training verwendet. OpenAI sagte außerdem, dass GPT-5 neben der Skalierung weitere Innovationen beinhalten wird, darunter einen kürzlich entwickelten Argumentationsansatz.
CEO Sam Altman sagte, GPT-5 sei „ein bedeutender Fortschritt“ gegenüber seinem Vorgänger. Letzte Woche antwortete Altman auf einen Bericht, in dem behauptet wurde, das nächste Frontier-Modell von OpenAI werde im Dezember veröffentlicht, indem er über X schrieb: „Fake News außer Kontrolle.“
Am Dienstag sagte Google-CEO Sundar Pichai, dass die neueste Version der Gemini-Familie generativer KI-Modelle in der Entwicklung sei.
Metas offener Ansatz gegenüber KI hat sich manchmal als kontrovers erwiesen. Einige KI-Experten befürchten, dass es gefährlich sein könnte, weitaus leistungsfähigere KI-Modelle frei verfügbar zu machen, da sie Kriminellen dabei helfen könnten, Cyberangriffe zu starten oder die Entwicklung chemischer oder biologischer Waffen zu automatisieren. Obwohl Llama vor der Veröffentlichung fein abgestimmt wird, um schlechtes Verhalten zu begrenzen, ist das Entfernen dieser Einschränkungen relativ einfach.
Zuckerberg bleibt hinsichtlich der Open-Source-Strategie optimistisch, auch wenn Google und OpenAI proprietäre Systeme vorantreiben. „Mir scheint ziemlich klar zu sein, dass Open Source die kostengünstigste, anpassbarste, zuverlässigste, leistungsstärkste und benutzerfreundlichste Option sein wird, die Entwicklern zur Verfügung steht“, sagte er am Mittwoch. „Und ich bin stolz, dass Llama in diesem Bereich führend ist.“
Zuckerberg fügte hinzu, dass die neuen Funktionen von Llama 4 in der Lage sein sollten, ein breiteres Spektrum an Funktionen in Metadiensten zu ermöglichen. Heute ist Llamas charakteristisches modellbasiertes Angebot der ChatGPT-ähnliche Chatbot namens Meta AI, der auf Facebook, Instagram, WhatsApp und anderen Apps verfügbar ist.
Mehr als 500 Millionen Menschen nutzen jeden Monat Meta AI, sagte Zuckerberg. Mit der Zeit hofft Meta, mit dieser Funktion Werbeeinnahmen zu erzielen. „Es wird eine wachsende Zahl von Anfragen geben, für die die Leute es nutzen werden, und wenn wir dort ankommen, werden sich mit der Zeit Möglichkeiten zur Monetarisierung ergeben“, sagte Susan Li, Finanzchefin von Meta, in der Telefonkonferenz vom Mittwoch. Mit dem Potenzial für Werbeeinnahmen ist Meta möglicherweise in der Lage, Llama für alle zu subventionieren.