What does Aleph Alpha actually do?

with Jonas Andrulis, Founder of Aleph Alpha

8 August 2025 · 68 min

Summary

Jonas Andrulis explains what Aleph Alpha actually builds: sovereign, explainable AI for governments and large companies rather than a German ChatGPT. Plus Apple's secret lab, 700,000 euros in orders lost to Covid, and why the AI Act cost Europe its energy.

Jonas Andrulis talking (remote recording)
Jonas Andrulis talking (remote recording)

Plenty of people know the name Aleph Alpha, but few know what the company actually does. Jonas Andrulis, joining from Heidelberg, puts it like this: Aleph Alpha builds the sovereign foundation for the AI transformation of companies, governments and security agencies. Similar to the hyperscalers, but not as a black box with lock-in, and transparent enough that customers can trace how a result came about. Customers include Germany's Federal Employment Agency and industrial partners that also sit on the cap table, such as Schwarz Gruppe, SAP, Bosch, Deutsche Bank and Burda.

Technically, Aleph Alpha is a software full stack: human-machine collaboration, evaluation, LLMs and ready-made applications that also run air-gapped on small hardware. For Jonas, sovereignty also means freedom of choice in chips: Aleph Alpha presented its T3 architecture with AMD in Davos, and together with BWI the team runs what he says is the only European installation of the Cerebras CS3 chip.

„Unser Game ist Innovation. Unser Game ist Wertschöpfung und Souveränität bei unseren Kunden herstellen und darauf arbeiten wir hin.“

“Our game is innovation. Our game is creating value and sovereignty for our customers, and that's what we're working towards.”

Jonas Andrulis
Feliks Eyser in conversation with Jonas Andrulis (remote recording)
Feliks Eyser in conversation with Jonas Andrulis (remote recording)

Then the conversation goes back through Jonas' story. With Pallas Ludens, from 2013 on, he had gamers in more than 200 free-to-play games label training data for self-driving cars. He then spent about three years in Apple's Special Projects Group, which was so secretive that he couldn't tell most colleagues what he was working on. He explains why he thinks Siri is lagging behind, why corporate politics became too much for him, and which moment with an early language model convinced him to start Aleph Alpha.

Finally they talk about the tough Covid period, when 700,000 euros in promised orders disappeared, about the hype after ChatGPT, in which Aleph Alpha deliberately stayed out of the race for the biggest LLM, about regulation and energy costs in Europe, and about a business idea Jonas would love young founders to build: AI mentoring for children and teenagers who don't have a supportive family behind them.

Numbers from the episode

2013
Pallas Ludens started
mehr als 200
free-to-play games with Pallas Ludens labeling tasks
3 Jahre
at Apple in the Special Projects Group
2019
Aleph Alpha founded
3 more numbers
700.000 €
promised orders lost when Covid hit
ca. 5
team members during the Covid crisis
siebenstelliger Betrag
potential monthly power bill for its own data center at the start of the war in Ukraine

What the conversation was mostly about

Share of talk time, calculated from chapter lengths (excluding the intro).
Background: Pallas Ludens & Apple
28 % · 19 min
AI technology
22 % · 15 min
Founding & crises
19 % · 13 min
Aleph Alpha & positioning
14 % · 9 min
AI in Germany & Europe
11 % · 7 min
Business ideas
8 % · 5 min
Conversation flow

Chapters

  1. 00:00Trailer & introIntro
  2. 00:10What does Aleph Alpha actually do? Customers from the Federal Employment Agency to BoschAleph Alpha & positioning
  3. 03:37Software full stack and free choice of chips: T3 with AMD, Cerebras with BWIAI technology
  4. 05:45Pallas Ludens: labeling training data with gamers in more than 200 gamesBackground: Pallas Ludens & Apple
  5. 12:37Apple's Special Projects Group: secret AI researchBackground: Pallas Ludens & Apple
  6. 16:46Why Siri is lagging behind on LLMsBackground: Pallas Ludens & Apple
  7. 21:15Why Jonas left Apple: corporate politics instead of innovationBackground: Pallas Ludens & Apple
  8. 24:372018: language models, world models and the name Aleph AlphaAI technology
  9. 31:32Founding in Heidelberg: the mission, co-founder Samuel and no B2CFounding & crises
  10. 36:48First orders, then Covid: 700,000 euros goneFounding & crises
  11. 41:44Give up or push through: why you should fail fastFounding & crises
  12. 44:08After the hype: why Aleph Alpha stayed out of the race for the biggest LLMAleph Alpha & positioning
  13. 49:52Sovereign knowledge work, explainable AI and multimodal modelsAI technology
  14. 55:28Germany as an AI location: bold customers, the AI Act and energy costsAI in Germany & Europe
  15. 1:02:35Business idea: AI mentoring for children and teenagersBusiness ideas

Key learnings

  1. 1

    Be sovereign where your knowledge makes the difference

    When a DAX board member asked where to start, Jonas turned the question around: where will your company's knowledge work make the biggest contribution to its positioning in three years? Probably not the customer support chat. That is exactly where you shouldn't depend on a black box in someone else's proprietary cloud.

    49:52 · Sovereign knowledge work, explainable AI and multimodal models
  2. 2

    Responsibility requires explainable AI

    AI doesn't understand like a human does, it learns patterns. If you want to take responsibility for an AI result, you need to be able to trace which learned pattern produced it and whether it is correct. At the Federal Employment Agency people's lives are at stake, so it's not enough to say the chatbot simply said no.

    49:52 · Sovereign knowledge work, explainable AI and multimodal models
  3. 3

    Let AI decide where human work adds the most

    At Pallas Ludens Jonas didn't have every camera frame labeled. A pedestrian waiting in front of a stationary car produces the same image 30 times a second. A drive through rain across an intersection with roadworks, on the other hand, is valuable. AI decided which tasks went to humans, and gamers in markets with hardly any ad demand completed them for virtual currency.

    05:45 · Pallas Ludens: labeling training data with gamers in more than 200 games
  4. 4

    Startups handle technology leaps better than corporations

    Jonas gives two reasons why Siri is lagging behind. First, Siri was built on different AI methods than LLMs, and fundamental re-engineering is hard in large organisations because careers and networks are tied to what already exists. That's why corporations buy startups. Second, Apple wants to rule out harmful answers 100%, which makes it extremely hard to use modern LLMs.

    16:46 · Why Siri is lagging behind on LLMs
  5. 5

    If you're ahead of the market, manage expectations

    After the hype everyone expected the game to be about the best LLM and the biggest pile of GPUs. Aleph Alpha didn't build a ChatGPT competitor; among other things it released a multimodal LLM as open source. Jonas still believes the positioning was right, but he also says they took a beating because they didn't manage expectations.

    44:08 · After the hype: why Aleph Alpha stayed out of the race for the biggest LLM
  6. 6

    Fail fast instead of riding a dead horse

    During Covid Jonas considered shutting the company down. He admits he isn't good at giving up. His advice is still clear: statistically, most ideas are dead horses. You don't want to sit on one for five years hoping it twitches again; you want to fail fast, learn from it and do the next thing better.

    41:44 · Give up or push through: why you should fail fast
  7. 7

    Innovation needs bold customers with bigger tickets

    In Germany customers often say: let's see, here's 10,000 euros. In the US a customer is more likely to say: here's 400,000, let's just try it. Jonas sees this as a key reason why young companies in Europe struggle to grow. They need customers willing to take a bold bet, and eventually real revenue.

    55:28 · Germany as an AI location: bold customers, the AI Act and energy costs
  8. 8

    Innovate first, regulate later

    According to Jonas, the AI Act didn't turn out that badly in the end. The real problem: for years the best minds in business and government talked mostly about regulation instead of innovation. It would have been better to invest the same resources in innovation first and later regulate what actually proves dangerous.

    55:28 · Germany as an AI location: bold customers, the AI Act and energy costs

Quotes

Jonas Andrulis focused in conversation (remote recording)
„Also, Souveränität bedeutet bei uns auch Wahlfreiheit für Silicon.“

“For us, sovereignty also means freedom of choice in silicon.”

Jonas Andrulis
„Unser Game ist Innovation. Unser Game ist Wertschöpfung und Souveränität bei unseren Kunden herstellen und darauf arbeiten wir hin.“

“Our game is innovation. Our game is creating value and sovereignty for our customers, and that's what we're working towards.”

Jonas Andrulis
„Du willst scheitern, du willst daraus lernen und dann machst du die nächste Sache und die machst du zehnmal besser.“

“You want to fail, you want to learn from it, and then you do the next thing and you do it ten times better.”

Jonas Andrulis
„Was mich wirklich ärgert, ist, dass wir durch diesen ganzen AI-Act haben wir über Jahre hinweg die gesamte kreative Energie unseres AI-Leaderships von Innovation auf Compliance gelenkt.“

“What really annoys me is that with this whole AI Act we spent years steering the entire creative energy of our AI leadership away from innovation and towards compliance.”

Jonas Andrulis
„Wir haben genug Arbeitsgruppen gemacht. Wir haben genug auf Panels gesessen. Jetzt müssen wir umsetzen.“

“We've had enough working groups. We've sat on enough panels. Now we have to execute.”

Jonas Andrulis

About the guest

Jonas Andrulis

Jonas Andrulis

Founder of Aleph Alpha · Aleph Alpha

Jonas Andrulis studied industrial engineering at KIT, wrote his thesis at SAP Research and led a strategic impact modeling team at Deloitte. In 2013 he started Pallas Ludens, a company that had gamers in more than 200 free-to-play games label computer vision training data, with AI deciding which images were worth labeling. He then spent about three years in a senior AI research role in Apple's Special Projects Group. In 2019 he founded Aleph Alpha in Heidelberg together with Samuel, whom he knew from school and from Deloitte. In this episode he speaks as founder and CEO of Aleph Alpha.

FAQ

What does Aleph Alpha do?

According to Jonas Andrulis, Aleph Alpha builds AI as a sovereign foundation for the transformation of companies, governments and security agencies. Its software full stack covers human-machine collaboration, evaluation, LLMs and ready-made applications and can also run air-gapped on the customer's own hardware. Unlike the hyperscalers' black-box offerings, it is meant to make clear how a result came about.

Who are Aleph Alpha's customers?

Large companies and governments, meaning public administration and security agencies, including defence and intelligence services. The close collaboration with Germany's Federal Employment Agency is public. There are also industrial partners from the cap table such as Schwarz Gruppe, SAP, Bosch, Deutsche Bank and Burda, plus other industrial customers of a similar size.

Is Aleph Alpha the German ChatGPT?

No. Jonas calls this one of the big misunderstandings. Consumer applications were never the focus; from the start Aleph Alpha wanted to help where sensitive data and high responsibility are involved. The company deliberately stayed out of the race for the biggest LLM and the most GPUs.

What did Jonas Andrulis do at Apple?

After Pallas Ludens, Jonas spent about three years at Apple in a senior AI research role in the Special Projects Group. He compares it to Q Branch in James Bond: the projects were so secret that he couldn't tell most colleagues what he was working on. He left because corporate politics became too much for him.

Where does the name Aleph Alpha come from?

From set theory. Aleph-null is the smallest infinite set, that of the countable numbers. Aleph Alpha stands for a larger infinity. For Jonas it's an image for generalising AI that can solve an infinite number of problems, including ones nobody anticipated during training.

Which business idea would Jonas like young founders to build?

AI mentoring for children and teenagers. Whether someone has a supportive family makes a huge difference. AI could support kids from difficult backgrounds or who aren't native speakers where teachers and youth services don't have the time. Anyone who wants to build it should reach out to Jonas, who might even invest.

Mentioned in this episode

Companies, people and products from the conversation
  • Bundesagentur für ArbeitCompanyWell-known Aleph Alpha customer, a pioneer of advanced technology in the public sector according to Jonas.
  • AppleCompanyJonas spent about three years in AI research in its Special Projects Group.
  • SiriProductApple's voice assistant; Jonas explains why it lags behind on LLMs.
  • Pallas LudensCompanyJonas' earlier company, which organised computer vision labeling through free-to-play games.
  • Scale AICompanyData labeling company founded in 2016; in Jonas' view an intellectual successor to Pallas Ludens.
  • AMDCompanyAleph Alpha presented its T3 architecture with AMD in Davos.
  • Cerebras CS3ProductWafer-scale chip of which, according to Jonas, Aleph Alpha runs the only European installation together with BWI.
  • DeloitteCompanyWhere Jonas led a modeling team and got to know his co-founder Samuel as a colleague.
  • Jürgen SchmidhuberPersonHis team showed a world model in 2018 that learned a Doom world through interaction.
  • AlphaGoProductMove 37 strongly inspired Jonas, he says.
  • ChatGPTProductAleph Alpha was often misunderstood as a German ChatGPT.
  • MistralCompanyAccording to Jonas, helped Aleph Alpha make sure the AI Act didn't turn out that badly.
  • BitkomCompanyJonas sat on its presidium, where for years the AI Act dominated almost every discussion.
  • GrokProductElon Musk's AI; an example of ideologically shaped AI answers.

Transcript (German)

The episode is in German. Automatically generated and only lightly corrected, it may contain errors.
00:00 Trailer & intro

00:00 Jonas Andrulis: Die Superhuman AI, die KI, die den Menschen ebenbürtig oder überlegen ist, in allen wesentlichen Aufgaben. Diese KI wird sich dann selbst immer weiter verbessern.

00:10 What does Aleph Alpha actually do? Customers from the Federal Employment Agency to Bosch

00:10 Feliks Eyser: Jonas, schön, dass du da bist. Mir eine besondere Ehre, mal wieder ein Gründer aus Baden-Württemberg. Hierzu haben du aus Heidelberg zugeschaltet. Im Vorfeld habe ich mit vielen Leuten gesprochen, gesagt, hey, wir recorden mit Jonas von Aleph Alpha. Und die Frage, die gekommen ist, war immer die gleiche, was macht Aleph Alpha denn jetzt eigentlich gerade? Alle kennen Aleph Alpha, aber bei vielen ist die Unsicherheit drüber, ja, was tut ihr denn jetzt eigentlich?

00:30 Jonas Andrulis: Wir bauen KI-Innovationen, die das Ziel hat, ein Fundament sein zu können für die Transformation, die gerade passiert, von Unternehmen, aber auch von Regierungen, von Sicherheitsorganen. Also im Prinzip die souveräne Basis für eine neue Ära Wertschöpfung. Das kannst du dir so ein bisschen vorstellen als das, was auch viele Hyperscaler machen. Nur die Hyperscaler machen das als Blackbox mit einem Login-Effekt. Und wir machen das als transparentester Gen-AI-Player extra, um die Souveränität unserer Kunden zu verstärken und zu erhalten.

01:04 Feliks Eyser: Okay, okay. Wenn du sagst Souveränität, eure Kunden auf Souveränität, müssen wir nochmal speziell eingehen, was das bedeutet. Kannst du es ein bisschen reifer machen? Wer sind die Kunden? Was sind Use Cases? Wer kauft bei euch und was machen die damit gerade?

01:16 Jonas Andrulis: Ja, super Frage. Also Kunden sind große Unternehmen und Regierungen, also Verwaltungen und Sicherheitsbehörden, also zum Beispiel Verteidigung oder auch Nachrichtendienste. Und natürlich auch Verwaltung, was ja bekannt ist, dass wir mit der Bundesagentur für Arbeit eng zusammenarbeiten. Die sind sicherlich Vorreiter bei der Innovation oder bei der Hochtechnologie im Behördenumfeld. Dazu gehören aber natürlich auch unsere Industriepartner, allen voran unsere Investoren. Einer der Gründer, warum wir uns eine Schwarz Gruppe, eine SAP, eine Bosch, eine Deutsche Bank, eine Burda mit in den CapTable geholt haben, ist genau, weil wir mit denen gemeinsam diese Transformation gestalten wollen. Wir haben inzwischen auch viele Industrieplayer jenseits unseres CapTables als Kunden gewinnen können.

02:04 Feliks Eyser: Ja, das sind ähnliche Größenordnungen.

02:06 Jonas Andrulis: Ja, so könnt ihr euch in ähnlicher Größenordnung, ähnlicher Präsenz vorstellen wie die, die bei uns im CapTable stehen.

02:12 Feliks Eyser: Und wenn ich da mal einhaken darf, weil Bundesagentur für Arbeit ist, glaube ich, was, was jeder versteht und jeder nachvollziehen kann. Gibt es schon irgendwie so einen konkreten Use Case, wo du sagst, da können wir schon in dem Prozess helfen, wenn wir darüber sprechen lassen?

02:24 Jonas Andrulis: Ja, also wir, Technologie läuft schon, aber wir können jetzt noch nicht genau darüber sprechen, wie jetzt und was wir genau machen. Was ganz spannend ist an der Bundesagentur für Arbeit ist, dass die intern ein super starkes Team haben. Also sowohl was IT angeht, als auch was KI angeht, sind die mit den, was die internen Kompetenzen angeht, super vorne mit dabei. Und gleichzeitig wissen sie auch, dass das, was sie machen, natürlich mit extrem hoher Verantwortung gemacht werden muss. Ja, das war einer der Gründe, warum sie sich auch für uns entschieden haben, weil sie gesagt haben, für diese Entscheidungen, für diese Prozesse, die dort ablaufen, da geht es um menschliche Schicksale. Da können wir nicht einfach sagen, ja, der Chatbot hat halt Nein gesagt, ja, wird schon stimmen. Das heißt, wir brauchen da eine besondere Form der Mensch-Maschine-Zusammenarbeit. Wir müssen dieses Behördenwissen, ihr könnt euch vielleicht vorstellen, wie die Dokumente und wie die Fragen dort aussehen. Das kann ein normaler Mensch, der jetzt nicht in diesem Space drin ist, kaum beantworten. Aber das muss trotzdem funktionieren. Das muss nachvollziehbar sein. Das muss dem hohen Anspruch, den wir daran haben, zu Recht gerecht werden können.

03:37 Software full stack and free choice of chips: T3 with AMD, Cerebras with BWI

03:37 Feliks Eyser: Und ich meine, das kennen wir alle, ChatGPT und Gemini Cloud und so weiter und Tools, die so in täglichen Gebrauch gegangen sind. Im AI-Stack gibt es ja verschiedene Levels. Es gibt die Chips, es gibt die Infrastruktur, es gibt die Large-Language-Modelle, gibt es die Anwendungen obendrauf. Was bespielt ihr davon und was macht ihr bewusst nicht?

03:57 Jonas Andrulis: Wir sind Full-Stack. Also wir bauen kein eigenes Silicon. Also wir sind quasi Software-Full-Stack. Aber wir sind ein Full-Stack. Das heißt, wenn du in den Supermarkt gehst und kaufst dir einen Rechner mit einer Grafikkarte, dann kannst du unseren Stack installieren und hast alles, was du brauchst, inklusive Mensch-Maschine-Zusammenarbeit, Evaluierung, LLMs und auch schon fertige Applications, also sowas wie Chat with my Data, was gerade überall gemacht wird, aber auch eben Applikationen, die industriespezifische Probleme lösen. Und das klingt jetzt vielleicht irgendwie lustig, von wegen, ja, ich kaufe mir irgendwie einen Gaming-Computer auf dem Supermarkt. Aber tatsächlich haben wir Kunden, die mit relativ kleinem Hardware-Footprint in einer Air-Gapped, in einer hochsensiblen Umgebung einfach unseren Stack installieren und sagen, wir wollen dort keine andere Software mehr haben. Wir wollen dort keine andere Dependency mehr haben, weil da geht es ja echt um die Wurst. Und jede zusätzliche Komponente, die eben auch ein Risiko darstellen kann und die Komplexität erhöht, wollen wir nicht haben.

04:58 Feliks Eyser: Ja, und das ist ja auch am Ende auch ein NVIDIA-Chip, ne? Also, sagen Sie mich auch mal.

05:03 Jonas Andrulis: Muss nicht. Also ja, natürlich, aber muss nicht. Wir haben diese Architektur-Innovation T3, haben wir in Davos am World Economic Forum gemeinsam mit AMD vorgestellt und gezeigt, dass wir auf dem AMD-Chip extrem effizient sind mit unserem Code. Wir haben gemeinsam mit der Bundeswehr, mit der BWI, haben wir die erste und ich glaube immer noch einzige europäische Installation von dem Cerebras CS3-Chip. Das ist dieser Wafer-Scale-Chip, der also irgendwie so groß ist oder größer ist als ein DIN A4-Blatt. Da haben wir in unserem Rechenzentrum die einzige europäische Installation. Also, Souveränität bedeutet bei uns auch Wahlfreiheit für Silicon.

05:45 Pallas Ludens: labeling training data with gamers in more than 200 games

05:45 Feliks Eyser: Du bist im KI-Bereich ja nicht neu. Kann man sagen, du bist ja ein AI-OG sozusagen. Du hast ja vor Aleph Alpha schon mal eine andere Firma gegründet. Kannst du uns da ein bisschen durchführen, was das für eine Firma war? Pallas Ludens, spreche ich das richtig aus?

05:58 Jonas Andrulis: Genau, das spielst du richtig aus, ist Latein. Man sieht ein gewisses Muster vielleicht bei der Wahl meiner Firmennamen. Und es ist sogar technisch gesehen, ist das sogar jetzt die dritte Firma. Wobei die erste Wahl während des Studiums, das war was ganz Kleines. Aber wenn du so willst, auch schon KI. Nur eben damals, also angefangen habe ich meine Karriere mit KI, die noch nicht Deep Learning war. Ich habe meine Thesis damals bei SAP Research gemacht mit Bayes-Netzen. Also auch eine Art von Netzwerk, aber eben nicht Deep Learning. Und die zweite Firma, Pallas Ludens, was die gemacht hat, ist vor allem im Bereich Computer Vision, im Überwachten lernen, im Supervised Learning, die Intelligenz von Menschen und KI-Systemen kombinieren. Also ich gebe euch ein Beispiel. Dort wollten alle, also zu der Zeit war gerade dieser Hype mit selbstfahrenden Autos. Jeder wollte selbstfahrende Autos bauen. Die waren auch fast alle, die das gemacht haben, unsere Kunden. Und du musst also, um solche Systeme zu bauen, musst du zum Beispiel Fußgänger erkennen auf Kamerabildern. Das heißt, du hast Kamerabilder und willst jetzt einen Fußgänger-Erkenner bauen, der speziell mit deiner Kamera gut klarkommt. Das könnte eine Infrarot-Kamera sein, das kann ein Fischauge sein, kann alles Mögliche sein. Und das heißt, du brauchst Trainingsdaten. Und diese Trainingsdaten müssen von Menschen gelabelt werden. Und da gab es so Labeling-Anbieter, gibt es ja immer noch, die das einfach mehr oder weniger dumm gemacht haben. Also hier so ein Riesenschubkarre voller Festplatten, 100 Millionen Bilder, einfach alle labeln, die Boxen um Fußgänger malen. Und dann kriegst du einen Fußgänger-Erkenner, der trainiert wird.

07:34 Feliks Eyser: Ist das der Grund, warum ich mich irgendwo einlogge auf eine Webseite und dann erstmal alle Motorräder anklicken muss oder alle Brücken oder alle Stoppschilder?

07:42 Jonas Andrulis: Auch mit, genau. Richtig. Auch mit. Und das war, damals ging das gerade erst los. Wir sind losgelaufen mit Pallas Ludens 2013. Da war gerade so Computer Vision am Kommen. Das war noch super früh. Und wir haben gesagt, eigentlich macht es keinen Sinn, wenn du einfach ganz dumm, immer, also ein Bild, ein Frame nach dem anderen labelst. Weil es gibt Frames, es gibt Beobachtungen, die dir kaum deinen Fußgänger-Erkenner besser machen. Also stellt euch vor, ein Auto steht und das ist ein Fußgänger, der steht vor mir. Der wartet dort. Das heißt, ich habe dasselbe Bild 30 Mal pro Sekunde. Ich muss jetzt nicht manuell das gleiche Bild immer wieder in das gleiche Fußgänger markieren. Dann gibt es aber andere Situationen. Da fahre ich gerade durch den Regen. Ich biege irgendwie über eine Kreuzung ab. Da ist auch eine Baustelle und so. Das sind super wertvolle Bilder. Und was wir gesagt haben ist, wir wollen diese menschliche Interaktion, also diese Zusammenarbeit zwischen Mensch und Maschine, die wollen wir intelligent durch die KI steuern lassen. Und wir waren dann in Videospielen integriert, also in so Free-to-Play-Games, in mehr als 200, wo dann die Gamer von diesen Spielen konnten dann für virtuelle Currency, konnten die dann unsere Human-in-the-Loop-Tasks machen. Wir hatten alles drin, Gamification und so ein eigenes Qualifikationssystem, dass du dann aufsteigen konntest im Level. Dann konntest du komplexere Aufgaben machen und so hast du mehr Belohnung bekommen. Also war ziemlich cool und ich bin echt erstaunt, dass es immer noch keine Firma gibt, die das im Gaming so macht, wie wir das damals gemacht haben.

09:21 Feliks Eyser: Krass. Und die Datenquelle waren hauptsächlich die Gamer. Also ihr habt keine Leute klassisch bezahlt, die jetzt irgendwo in, weiß ich nicht, auf den Philippinen sitzen und den ganzen Tag Fußgänger markieren?

09:29 Jonas Andrulis: Genau.

09:29 Feliks Eyser: Heute würden wir das ja mit Clickworkern machen wahrscheinlich. Und ihr habt dann Gamified?

09:33 Jonas Andrulis: Wir haben beides. Wir haben alles gemacht. Also wir haben zum Teil Kunden gehabt, die haben gesagt, wir bringen unsere eigenen Leute. Wir haben mit einem großen Automobilhersteller gearbeitet. Der hatte einfach Werkstudenten für genommen. Wir haben gewisse Aufgaben gehabt, wo wir gesagt haben, die können wir nicht an die Gamer geben, weil die Leute müssen ein NDA unterschreiben zum Beispiel und so. Also wir hatten zum Beispiel einen Job, die mussten wir an so eine Clickworker Gruppe geben. Und da waren aber die Sicherheitsanforderungen so hoch, dass die Clickworker ihre Handys abgeben mussten. Also es musste organisiert werden, weil da durfte keiner ein Foto vom Screen machen und so. Also solche Sachen gab es. Aber natürlich das, was eigentlich die geile Technologie war, das war das über das Gaming, weil du, ich weiß nicht, ob ihr die Economies von Free-to-Play-Games kennt. Es gibt ja diese CPI, Cost Per Impression, wo du dann Werbung schalten kannst. Und dann gibt es Fill Rates. Also das wird so ein bisschen gebrokert. Wer zahlt gerade am meisten für die Impression für diesen User? Und du hast in großen, riesigen Märkten, also in Südamerika, in Asien, in Afrika, hast du viele Gamer, aber du hast quasi keine Werbeangebote. Das heißt, du hast quasi keine Fill Rates. Und wir konnten also für ganz, ganz, ganz wenig Geld, konnten wir dort relativ engagierte und motivierte Gamer bekommen für unsere Tasks. Und es war Win-Win-Win, ja. Die Publisher konnten jetzt mit ihren Spielen in Regionen Geld verdienen, mit denen sie vorher gar nichts verdient haben. Die Gamer konnten, das war alles optional, konnten für irgendwie Virtual Currency Aufgaben machen, die, wir haben uns Mühe gegeben, Spaß machen. Und wir haben motivierte Leute für wirklich überhaupt kein Geld bekommen.

11:28 Feliks Eyser: Abgefahren. Ist das vergleichbar mit, also der Output von dem, was du damals gemacht hast, mit dem, was heute Scale AI macht? Das war eine große Transaktion, die es gerade gab. Was Meta quasi eine, unter anderem Data Labeling Firma gekauft hat?

11:39 Jonas Andrulis: Also Scale AI ist gegründet worden, als Pallas Ludens quasi nicht mehr existiert. Also quasi als wir...

11:47 Feliks Eyser: Später, oder? Das war erst irgendwie...

11:48 Jonas Andrulis: Ja, die sind 2016. 2016 sind die gegründet worden und wir haben bis 2016 gemacht. Also im Prinzip war Scale AI ein gedanklicher Nachfolger, wenn du so willst, von diesen Ideen. Meines Wissens aber nutzt Scale AI Gaming immer noch nicht so richtig.

12:07 Feliks Eyser: Habe ich auch noch nicht gehört.

12:08 Jonas Andrulis: Ja. Also was ich gehörte, war klassischer quasi Outsourcing, sitzen halt Leute in Ländern mit Niedriglöhnen. Ich hatte auch, ich hatte auch von einem der ganz Großen in der Space ein Angebot, dort als Executive reinzugehen, nach meiner Apple-Zeit. Aber da wäre sicherlich ökonomisch, hätte das Spaß gemacht. Aber ich muss sagen, diese... Ich übertreibe jetzt ein bisschen, aber so Bounding Boxes around pedestrians finde ich einfach nicht mehr spannend.

12:37 Apple's Special Projects Group: secret AI research

12:37 Feliks Eyser: Ja, ja, verständlich, verständlich. Und dann, wenn man jetzt bei LinkedIn schaut, in deinem Lebenslauf, die Firma, also scheint ja gut gelaufen zu sein. Erstmal, dann kommt aber relativ hart der Cut, da steht jetzt drin, du warst bei Apple. Heute Morgen hat Mario in der Founder Mode WhatsApp Community gefragt, ob jemand sich mit Crowdfunding auskennt. Und sofort, zwölf Minuten später, die Antwort erhalten von Luca, der eine Crowdfunding-Kampagne gemacht hat und 160.000 Euro geraced hat. Und das angeboten hat, Erfahrungen zu teilen. Wie cool ist das? Wenn ihr auch unternehmerische Fragen stellen wollt und die Themen aus dem Podcast diskutieren wollt, dann tretet der Founder Mode WhatsApp Community bei unter www.foundermode.show.whatsapp und tauscht euch aus mit 300 anderen Founder Mode-Fans, Unternehmern und Entrepreneurship-Interessierten. Bis dann. Wenn man so ein bisschen rumfragt, gibt es Leute, die behaupten, Apple hätte diese Firma gekauft? Weiß man nicht viel drüber, aber du bist auf jeden Fall dann in die USA gegangen.

13:28 Jonas Andrulis: Ich war dann und alle meine Kollegen auch, wir waren dann bei Apple und ich in der Leitungsposition in der KI-Forschung.

13:37 Feliks Eyser: Du und deine Kollegen, ihr seid alle geschlossen, gewechselt. Das klingt ja sehr verdächtig.

13:41 Jonas Andrulis: Tja, also ich war dann quasi in dem Bereich, der bei Apple so schön Special Projects Group heißt. Das ist so ein bisschen, ja genau, das ist das, was bei James Bond Q-Division heißt. Also das sind halt die, genau, so, die geheimen Projekte bei Apple. Also das war, weiß nicht, man kriegt da manchmal so ein bisschen mit. Ist echt cool, wirklich die Speerspitze der KI-Forschung, aber und so geheim, dass ich selbst den meisten Kollegen innerhalb Apples eben nicht sagen durfte, woran ich genau arbeite. Also schon eine wilde Zeit und ich bin natürlich Apple sehr dankbar, weil ohne diese Zeit bei Apple, ohne diese ganze Geschichte und diese Transition hätte ich auch Aleph Alpha nicht gründen können.

14:31 Feliks Eyser: Okay. Und wie kann man sich deinen Alltag vorstellen? Da bist du reingelaufen, erstmal durch drei Security-Türen durch, in ein Labor, 80 Meter unterm Boden, abgesichert wie ein Atomschutzbunker oder wie kann man sich das vorstellen?

14:43 Jonas Andrulis: Ja, also ich kann mich noch an einen Moment erinnern. Das war, als ich meinen Apple-Badge hatte und ich den, damals war noch Headquarter Infinite Loop und ich halte den an den Laser und die grünen und die Türen gehen auf. Und ich denke, unglaublich, ja, ich bin jetzt Apple, ja, ich kann alle Türen hier aufmachen. Die Gebäude, in denen wir vom Special Projects gearbeitet haben, die waren allerdings geheime Gebäude sogar. Also es war nicht die offiziellen, bekannten Apple-Gebäude und jetzt könnte man irgendwie sagen, die übertreiben da Apple, aber nee, wir hatten regelmäßig Fälle, wo jetzt zum Beispiel Leute mit Kameradrohnen versucht haben, in die Fenster reinzufotografieren, ja, da wurde irgendwie alles verspiegelt und so und Leute, die versucht haben, einzubrechen oder halt irgendwie durch Tailgating oder so reinzukommen. Also Apple ist schon völlig zu Recht sehr vorsichtig. Es gibt sehr viele Leute, die bei Apple versuchen, an die Informationen, an die Geheimnisse zu kommen, inklusive Spionage, ja, auch da hatten wir einen Fall, das kann ich sagen, das war sogar in der Zeitung gelandet, von einem Mitarbeiter aus unserem Projekt, der Daten geklaut hat und der dann am Flughafen verhaftet wurde und man hat dann bei der Durchsuchung eine Korrespondenz gefunden, wo man eben liest, er bekommt von China damals, ja, von chinesischen Offiziellen sein eigenes Startup angeboten, wenn er die Daten mitbringt.

16:21 Feliks Eyser: Er kriegt ein Startup angeboten, also nicht mal die Rolex.

16:25 Jonas Andrulis: Vielleicht auch eine Rolex, ja, aber das ist halt so ein bisschen, ey, du willst doch dein eigenes Self-Driving-Car-Startup haben vielleicht, ja, dann mach mal eine Kopie und dann geht's los.

16:36 Feliks Eyser: Oh mein Gott, der wollte sich seine Pre-Seed-Runde bei Apple zusammenklauen.

16:41 Jonas Andrulis: Genau, stimmt. Das ist Pre-Seed-Runde per Copy, per File-Copy, genau.

16:45 Feliks Eyser: Oh mein Gott. Krass. Aber dann, wenn wir einmal quasi einen Insider hier haben, dann eine Frage interessiert mich brennend und du kannst auch spekulieren in der Antwort, gerne muss und ungefähr antworten. Und zwar, wir sind im Jahr 2025 mit AI und irgendwie macht Siri da noch nicht so richtig mit. Woran liegt's?

16:46 Why Siri is lagging behind on LLMs

17:06 Jonas Andrulis: Ja, das ist sehr traurig. Ich habe tatsächlich in meiner letzten, im letzten Jahr, dreiviertel Jahr, auch sehr intensiv mit Siri AI-RD gearbeitet. Das heißt, ich bin sogar mit Schuld. Es gibt zwei Erklärungen aus meiner Sicht, ja, und ich bin da wirklich nicht der allerwissendste oder am tiefsten drin. Das eine ist, das kennt man, das ist die Tatsache, dass grundlegende Technologiesprünge von großen etablierten Organisationen oft nicht gut aufgenommen werden können. Das ist jetzt nichts Neues, das ist auch nicht bei Apple so. So wie Siri ursprünglich entstanden ist und funktioniert hat, war das ein anderes KI-Design, andere KI-Methoden als das, was dann die LLMs irgendwann möglich gemacht haben. Und das heißt, man hätte irgendwann die Entscheidung treffen müssen, wir refactoren, wir re-engineeren das ganz fundamental, was wir da machen. Und das sind in so großen Organisationen ganz schwierige Entscheidungen, weil du ja immer Menschen hast, deren persönliche Karriere und deren persönlichen Netzwerke an dem liegen, was dort bisher über Jahre gebaut wurde. Und deswegen fällt eben großen, das ist bei allen großen Organisationen so, deswegen kaufen die Startups, weil es eben Startups leichter fällt, diese Breaking Changes zu machen. Und das andere ist, dass Apple wahrscheinlich eine der Firmen ist, deren die Sicherheit oder Verantwortung den Nutzern gegenüber am aller, aller wichtigsten ist. Und du kannst eben bei LLMs, das sehen wir ja jetzt, selbst jetzt an den besten LLMs der Welt, du kannst es eben nie ganz ausschließen, dass dann irgendein Jugendlicher sagt, Siri, soll ich Bleiche trinken? Und Siri sagt, okay, hau weg, ja, oder Prost. Und das will Apple halt zu 100% verhindern.

19:12 Jonas Andrulis: Und wenn du halt zu 100% verhindern willst, dass sowas passiert, dann ist es extrem schwer, die Fähigkeiten moderner LLMs zu nutzen.

19:21 Feliks Eyser: Hätten die aus seiner Sicht nicht schon längst jemanden kaufen müssen? Ich meine, das ist ja auch so ein Thema. Apple ist nicht so bekannt für Akquisitionen. Die sind ja nicht wie Google, Meta und so weiter, dass sie ständig Startups kaufen, sondern bauen ja viel Inhouse. Aber ich denke mir, wieso haben die nicht schon längst irgendwie probiert, Anthropic oder irgendein kleineres Lab zu kaufen und sich das Wissen Inhouse zu holen?

19:39 Jonas Andrulis: Ich glaube, da gibt es zwei spannende Fragen. Die eine ist, was bedeutet das eigentlich überhaupt strategisch für Apple? Und wenn wir uns erinnern an diese ganze Sache mit Karten, mit Maps, Google Maps, Apple Maps und so, was hat Apple da gemacht? Apple hat zuerst, aber sie einen nicht konkurrenzfähigen Service hatten, haben sie zuerst Google Maps integriert. Und haben dann den eigenen Service aufgebaut und dann später auch platziert. Mittlerweile ist Apple Maps vernünftig, kann man benutzen, benutze ich regelmäßig. Das war für Apple nicht gefährlich, weil Apple immer den Kunden hatte. Das heißt, Apple hat das Device, Apple hat den Kunden, Apple hat das ganze Ökosystem. Und in dem Ökosystem findet halt auch Navigation statt. Aber nur weil dort diese Navigation Google Maps war, ist der Kunde nicht zu Google gegangen. Also es wurde kein Google-Kunde. Und vielleicht ist es mit KI so ähnlich, dass Apple sagt, wir haben den Kunden, wir haben das Device, wir haben das Ökosystem. Ob diese Funktionalität jetzt von OpenAI-KI oder Google-KI oder was auch immer hergestellt wird, ist im ersten Schritt nicht, also das führt nicht zu einer existenziellen Gefahr, dass man den Kunden verliert. Und insofern ist das vielleicht für Apple nicht ganz so kritisch, aber selbst wenn sie KI von anderen Labs lizenzieren würden, dann ist die immer noch nicht ganz in Siri angekommen. Und das ist dann vielleicht tatsächlich dieses Sicherheitsaspekt.

21:15 Why Jonas left Apple: corporate politics instead of innovation

21:15 Feliks Eyser: Okay, okay, verstanden. Das erklärt sozusagen die Zögerlichkeit. Und du hast Apple dann den Rück gekehrt, du bist wieder zurück nach Deutschland. Wenn man sich das überlegt, du warst da drei Jahre bei Apple Senior AI Engineer in deinem Avengers Lab da unten drin. Das muss ja finanziell wahrscheinlich auch ganz gut gelaufen sein. Du wirst da nicht für den Mindestlohn gearbeitet haben. Hätte es auch eine Variante der Geschichte geben können, wo der Jonas sich erstmal an den Strand setzt, statt direkt die nächste große Firma zu gründen? Und warum ist es nicht so gekommen?

21:44 Jonas Andrulis: Es hätte sogar eine Variante gegeben, hätte geben können, wo ich bei Apple geblieben wäre. Also als ich dort gestartet bin, hatte ich nicht die Absicht, nach drei Jahren wieder zu gehen. Als ich dort gestartet bin, war mein Gedanke, geil, was könnte es Besseres geben? Ich bin umgeben von brillanten Menschen, ich habe quasi unbegrenzt Budget und ich kann an der besten KI-Technologie arbeiten, die es gibt auf der Welt. Was will ich jemals mein Leben anderes machen? Und noch dazu, was natürlich stimmt, was du sagst, für unverschämt viel Geld. Der Grund, warum ich dann irgendwann gesagt habe, ich will dann doch raus, ist, dass es mir alles zu politisch war. Ich war eben leider nicht, wie du gerade sagtest, AI-Engineer. Ich glaube, als AI-Engineer lässt es sich da echt aushalten, sondern ich war ja im oberen Management. Und auf dem Level hatte ich das Gefühl, dass ich wirklich voll in die Konzernpolitik reinkomme. Und dass es viel mehr um eben Politik und Tribalism und sowas geht, als um meine echten Innovationen, meine Ideen. Und auch das nehme ich Apple gar nicht übel. Ich glaube, das ist in jeder großen Organisation so. Das ist völlig normal. Und es braucht Menschen, die Corporate Politics machen. Es braucht gute Corporate Manager. Die sind nötig für so ein Unternehmen wie Apple. Aber das ist für mich, glaube ich, keine artgerechte Haltung. Und deswegen habe ich ja irgendwann gesagt, es macht mir keinen Spaß. Ich bin da auch nicht gut drin. Dazu kommt noch diese ganze West Coast Sache, dass du halt irgendwie da eher nicht direkt sprichst. Ich bin so ein deutscher Forscher, Unternehmer. Ich kann da super mit umgehen, wenn ihr sagt, hey Jonas, Klappe halten. Du hast den Inhalt nicht verstanden. Lest dir mal die zwei Paper durch und dann sprechen wir wieder oder so. Oder irgendwie sowas wie völlig bekloppte Idee. Wird nie funktionieren. Kann ich super mit umgehen. Was ich nicht so geil finde, ist, wenn du mir sagst, oh, that's so awesome. We should totally follow up on that. Und dann irgendwie verläuft es im Sande. Und das ist aber West Coast. Ich meine, das ist ganz normal. Weil du musst du halt irgendwie anders kalibriert haben, deine Antennen.

23:58 Jonas Andrulis: Am Schluss habe ich einfach gesagt, für mich ist das irgendwie nicht. Ich werde hier nicht glücklich. Ich gehe raus und ich konnte mir das erlauben, auch Nein zu sagen zu so einem Job. Und war damals total inspiriert von dieser Technologie. Ich habe sie damals generalisierende KI genannt. Heute würde man irgendwie Gen-AI oder Generative-AI sagen. Aber ich hatte das Glück, dass ich in... Apple irgendwie SPG, AI, R&D, da Dinge gesehen habe, wo ich gesagt habe, boah, das ist geil, dass das geht. Da steht uns, glaube ich, was bevor, was wir noch unterschätzen. An der Technologie will ich arbeiten.

24:37 2018: language models, world models and the name Aleph Alpha

24:37 Feliks Eyser: Und das war 2019, muss man sagen, so der große Moment, wo das Mainstream übergeschwappt ist, Chat-GPT, November 2022, das war drei Jahre später.

24:47 Jonas Andrulis: Ja, das war genau. Es war eigentlich 2018, wo ich die Entscheidung getroffen habe. Und 2018, da gab es zwei Landmark-Technologies. Das eine war tatsächlich Large-Language-Modelle. Es gab damals GPT-2. Und natürlich haben wir, hat Apple auch sich Language-Modelle angeschaut und so. Und dann gab es Welt-Modelle. Da gab es eine Publication, das war von Schmidhuber, Jürgen Schmidhuber und Team. Die haben ein Modell gehabt, was in einer Doom, also virtuellen Doom-Welt navigiert hat. Und nur durch die Interaktion, also ohne Labeling, einfach nur durch das Beobachten und das Navigieren in so einem Doom-Level, den Level, diese Welt verstanden hat. Und beides waren so Dinge, wo ich gesagt habe, boah, das ist mal richtig schweinegeil und das ist vor allem Technologie, die, also vielleicht einen Schritt zurück, beim Supervised Learning, was wir ja mit Pallas Ludens auch gemacht haben und so, das Beste, was passieren kann, wenn du wirklich sagst, ich habe die besten Daten, ich habe super viel Compute und so, ich habe das optimal gebaut, ist, dass 100% aller Fußgänger erkannt werden. Es geht nicht mehr. Das heißt, dieses Ding wird dich nie überraschen, das wird nie irgendwie in der Lage sein, irgendwie eine neue Inspiration zu erzeugen oder zu sagen, boah, da hatte ich noch nie dran gedacht oder so. Du kannst im besten Fall alle Fußgänger erkennen. Und das ist zwar extrem nützlich, aber halt auch ein bisschen langweilig. Und diese generalisierende KI, die kann eben viel mehr, die kann dich überraschen, die kann dich inspirieren, mit der kannst du neue Zusammenarbeitsmodelle bauen. Und im Prinzip so bin ich ja auf den Namen auch Aleph-Alpha gekommen. Das ist ja im Prinzip auch ein Wortspiel mit dieser generalisierenden KI.

26:37 Feliks Eyser: Also mein Latein ist ein bisschen zu lange her. Kannst du mich mal kurz abholen, was Aleph-Alpha eigentlich heißt?

26:43 Jonas Andrulis: Gerne. Ist auch nicht Latein. Also in der Mathematik gibt es Set-Theory, also Zahlentheorie. Und in der Set-Theory gibt es ein Konzept, das heißt Aleph-Null. Und Aleph, also Aleph, großen Buchstaben, das ist der erste Buchstabe aus dem hebräischen oder arabischen Alphabet. Und also ein großes Aleph mit so einem kleinen Index 0, das ist die kleinste Menge der unendlichen abzählbaren Zahlen. Also 1, 2, 3, 4, 5, 6, 7 bis unendlich. Und diese Menge heißt Aleph-Null. Und Aleph-Alpha ist dann die alphatste Menge, weil es gibt ja unterschiedlich große Unendlichkeiten. Das heißt, es ist quasi eine größere Unendlichkeit als die kleinste Unendlichkeit der abzählbaren Zahlen. Und für mich war das, also außer, dass ich auch außerdem fand, das klingt cool, für mich war das so, dass ich gesagt habe, diese unendliche Möglichkeit der Anwendungsgebiete für ein KI-System. Ich baue ein KI-System und das kann dann unendlich viele Probleme lösen, die ich dann zum Teil beim Training, beim Design noch gar nicht antizipieren konnte. Das war für mich ein schönes Bild für die Ära der generalisierenden KI.

27:58 Feliks Eyser: Okay, okay. Google ist benannt nach einer riesigen Zahl mit ganz vielen Nullen. Das ist das Wissen der Welt. Und du sagst, du bist benannt nach der Vielzahl der Möglichkeiten, die es in dieser Unendlichkeit gibt.

28:09 Jonas Andrulis: Der Unendlichkeit der Möglichkeiten, genau.

28:10 Feliks Eyser: Unendlichkeit der Möglichkeiten, schön. Was war für dich der krasse Moment? Du hast gerade diese Doom-Welt angesprochen, aber gab es noch andere Momente mit GPT-Modellen zum Beispiel, wo du gedacht hast, holy shit, das habe ich jetzt nicht erwartet. Das Ding hat mich jetzt wirklich überrascht. Was war der Prompt, was kam raus?

28:25 Jonas Andrulis: Ja, absolut. Also wir, damals auch noch, da noch zur Apple-Zeit, da habe ich, und also ich war, ich würde mich jetzt nicht als genialer KI-Forscher bezeichnen. Es gibt einige coole Paper von mir, aber ich bin jetzt lange nicht irgendwie ganz vorne auf der Liste der KI-Forscher. In Apple war ich umgeben von brillanten KI-Forschern, die wirklich viel bessere Researchers sind als ich. Wenn du ein Sprachmodell baust, dann war zu der damaligen Zeit, also Sprachmodelle sind ja auch nichts Neues übrigens. Du hast ja schon, in jedem Handy war schon seit Jahren ein Sprachmodell drin, wenn du irgendwie Hallo eintippst, steckt er dir irgendwie, oder wenn du Guten eingibst, steckt er dir morgen vor.

29:12 Feliks Eyser: Das ist ein Sprachmodell. Er predicted das nächste Wort.

29:16 Jonas Andrulis: Genau das.

29:16 Feliks Eyser: Im Grunde wie ein LLM das heute auch macht.

29:19 Jonas Andrulis: Genau so, genau das. Und man hatte jetzt damals dann halt gesehen, das ging mit BERT los und dann GPT-2 und so. Naja, man kann dieses Sprachmodell halt größer machen. Letztendlich machen sie inhaltlich nicht wirklich was anderes, aber du machst sie größer, du packst mehr Daten rein, du nimmst mehr Modellparameter. Und die schlauesten KI-Forscher der Welt, die waren eigentlich überzeugt, dass völlig egal, wie viel Daten, wie viel Rechenleistung du dort reinpackst in so ein Sprachmodell, es wird gewisse Dinge geben, die es nie tun kann. Also so eine Liste von A, B, C, D und so. Das wird alles niemals passieren.

29:55 Feliks Eyser: Hast du ein Beispiel?

29:56 Jonas Andrulis: Ja, das lösen, das richtige Beantworten einer logischen Frage, die so nicht in den Trainingsdaten drin ist. Ich gebe euch auch gleich ein Beispiel von der einen Frage, die mich damals komplett vom Schulgehörigen hat. So, und jetzt plötzlich gibt es Ergebnisse, gibt es Experimente, wo Modelle rauskommen, die das alles machen. Also alles, was du vorher für unmöglich gehalten hast und die ganzen smarten Researcher haben alle gesagt, wird nie passieren. Und plötzlich hast du Modelle, die machen das und die machen das nicht perfekt und so und nicht, ja, also, aber die machen das. Und das Beispiel, was mich damals vom Hocker gehauen hat, war, da hat man ein Sprachmodell gefragt, Leonardo da Vinci hat den Eiffelturm gebaut. Kann das sein? Und dann kam als Antwort, nee, das kann nicht sein, weil der Eiffelturm wurde in dem Jahr gebaut und Leonardo da Vinci starb in diesem Jahr. Und das geht nicht, ja. Und das war für mich so, ich glaube, diese Frage, ob Leonardo da Vinci ein Eiffelturm gebaut hat, hat sicherlich in der Vergangenheit noch keiner in den Trainingsdaten gestellt. Und man muss verstehen, was für Implikationen hat, wie chronologisches Aufeinanderfolgen und so. Und, ja, und, und das ein Sprachmodell, was nur das nächste Wort vorhersagt, darauf die richtige Antwort und sie auch begründen kann. Das war für mich ein wahnsinniger, ja, ein heuriger Moment sozusagen, ja. Heutzutage ist uns das allen klar, wir kennen alle irgendwie ChatGPT und Co, ja. Wir wissen, das kann noch viel mehr als das. Ja, das war aber 2018, war das überhaupt nicht abzusehen.

31:32 Founding in Heidelberg: the mission, co-founder Samuel and no B2C

31:32 Feliks Eyser: Und was war dann der Weg von diesem Moment zur Gründung dessen, was Aleph Alpha ist? Also bis zum ersten Mal, wo quasi auch eine Gesellschaft eingetragen wurde.

31:43 Jonas Andrulis: Ja, ich habe meinen Apple-Kollegen gesagt, ihr müsst die Welt ohne mich retten. Ich gehe wieder nach Deutschland und habe dann mit Leuten gesprochen, die ich kenne. Also so ein bisschen meinen Plan, ich will irgendwie Deep Tech, fundamentale AI, R&D aus Deutschland machen. Ich will Europa für diese neue Ära souverän aufstellen. Ja, das heißt, ich will irgendwie Rechenzentrum bauen. Ich will vor allem schauen, dass ich Investoren finde, die mit dieser Mission an Bord sind. Also bevorzugt europäische Investoren, aber vor allem Investoren, die diese Mission gut finden. Da war mir damals schon wichtig, ich will akademisch frei veröffentlichen. Also ich will Technologie teilen. Ich will kollaborativ arbeiten und ich will den Bereich des Möglichen erweitern. Und was mir auch von Anfang an klar war, ist, ich will, dass Souveränität und Innovation vor allem dort wirksam wird, wo es um die Wurst geht. Also ich hatte nie so einen B2C-Fokus, wo ich gesagt habe, irgendwie ich schreibe ein Gedicht zum Geburtstag der Oma oder ich mache irgendwie eine Absage-E-Mail-Draft oder so, sondern ich habe von Anfang an gesagt, wir wollen dort helfen können, wo die Verantwortung für uns auch als Generation am höchstgrößten ist. Das heißt, Sicherheitsbehörden, also einer der ersten Kunden, die wir nennen durften, war damals die CITES, die Technologie für die Strafverfolgung macht. Einer unserer ersten Kunden war im medizinischen Bereich, wo es also ganz sensible Daten, wo das Schicksal auch von Patienten dran hängt und so. Also wir haben gesagt, das sind die Themen, um die wir uns kümmern wollen. Diese B2C-Use-Cases waren nie im Fokus. Das war auch einer der Missverständnisse, die es dann gab, wo man gesagt hat, das ist das deutsche Chat-GPT. Und dann haben die Leute sich gefragt, ja, wo ist denn das Chat-GPT von Aleph Alpha? Ja, wo kann man das denn mal benutzen? Und es kommt ja nicht. Was ist denn da los?

33:47 Feliks Eyser: Du hast Cupertino gegen Heidelberg eingetauscht?

33:50 Jonas Andrulis: Ja, super Tausch. Also wer mal den Berufsverkehr in Cupertino mitgemacht hat, der weiß, Heidelberg ist die absolut bessere Wahl.

33:59 Feliks Eyser: Ein Schloss an die da auch nicht.

34:01 Jonas Andrulis: Genau, und da brennt ständig der Wald und so, ja, also wirklich.

34:06 Feliks Eyser: Wie bist du mit deinem Co-Founder dann zusammengekommen?

34:09 Jonas Andrulis: Ja, das ist eine lustige Geschichte, denn den kenne ich eigentlich schon seit der Schulzeit. Der war zur Schulzeit ein bisschen jünger als ich, der Samuel, und zur Schulzeit hat der mit meinem Bruder, der fünf Jahre jünger ist, Fahrgemeinschaft in die Schule gemacht. Das heißt, ja, ich war jetzt nicht befreundet, aber wir wussten, dass es einander gab, ja, also. Und sind dann aber nicht speziell im Kontakt geblieben oder so. Und ich war ja in meiner Vergangenheit auch bei Deloitte und habe dort ein Team geleitet, Strategic Impact Modeling. Also auch wieder so sehr super technisch, Modellierung und so. In dieser Zeit bei Deloitte war ich bei einem Kunden und habe dort ein Modell gebaut zur Steuerung der Kreditrisikoportfolios, was der Kunde hatte. Also ein Riesenportfolio. Und ich habe dort ein finanzmathematisches Modell gebaut, was so ein bisschen abgespacede Mathe verwendet hat. Also war nicht so einfach. Und ich hatte selber so genau diese Sorte Modell noch nie gebaut. War aber super geeignet. Und dann hatte ich aber, als ich das gebaut hatte in meinem Projektteam, also wir hatten in dem Projektteam jetzt niemanden, der so ein Quant ist, ungefähr so wie ich. Und ich hatte dann, als ich fertig gebaut war, hatte ich die Sorge, dass es doch gut wäre, wenn dort mal jemand einen unabhängigen Blick auf dieses Modell, also so ein quasi QA-Pass. Und dann habe ich bei Deloitte einfach in die Organisation reingefragt und habe gesagt, gibt es in Deloitte gerade irgendjemanden, der auf mein Projekt kommen kann und mir helfen kann, unabhängigen Blick auf diese Matte. Ja, Samuel war durch Zufall, weil Deloitte, war durch Zufall verfügbar, hat gesagt, jo, das mache ich, ich komme auf dein Projekt. Der hatte diese Art der Modellierung noch nie gesehen. Ich hatte das alles in R programmiert, hatte noch nie R gemacht und hat von Tag 1 da einen Wahnsinnsjob gemacht. Und da habe ich dann gesagt, boah, klasse, das ist richtig, richtige, super Leistung.

36:14 Jonas Andrulis: So, und dann habe ich die Firma gegründet und war bei Apple und so. Und ja, dann habe ich mit Leuten gesprochen und unter anderem auch mit Samuel, als ich dann aus Apple raus bin. Der hatte dann zu dem Zeitpunkt, glaube ich, gerade neun Jahre Deloitte gemacht, das ganze Analytics Institute dort aufgebaut und so. Ja, und der sagte dann, ja komm, also das ist, ich habe keinen Bock mehr, ich mache jetzt, ich mache mit, wir gründen eine Firma gemeinsam.

36:38 Feliks Eyser: Geil, und der war zufällig auch in der Nähe von Heidelberg oder wie seid ihr überhaupt auf Heidelberg gekommen?

36:42 Jonas Andrulis: Nee, der war nicht in der Nähe von Heidelberg, aber der hat dann im Prinzip gesagt, na gut, ich ziehe um, ich komme nach Heidelberg.

36:48 First orders, then Covid: 700,000 euros gone

36:48 Feliks Eyser: Ja, okay, und dann habt ihr die Firma gegründet, aber wie kann man sich das vorstellen? Von Gründung, ihr seid aus dem Notar rausgelaufen. Wie kriegt man jetzt einen Auftrag von der Softwarefirma der Strafverfolgungsbehörde oder von irgendwelchen Medical Einrichtungen? Also, wen ruft man da überhaupt an? Also, zuerst muss man ja mal was bauen, was man verkaufen kann.

37:09 Jonas Andrulis: Ja, also der erste Schritt war, dass wir zusammensaßen. Übrigens auch wieder ähnliche Geschichte. Samuel hatte zu dem Zeitpunkt noch nie Deep Learning gemacht. Ja, die Leute, also selber im Analytics Institute ist natürlich alles Mögliche mal passiert. Das heißt, er hat das irgendwie mitbekommen, aber er hat das noch nie wirklich solche großen Modelle selber gebaut und war auch nicht wirklich fließend in Python. Inzwischen gehört er zu den Besten der Welt, was diese Sachen angeht. Also, Samuel ist ein Mensch, der, den ich absolut bewundernswert finde, dass er mit einem Wahnsinnsfokus die komplexesten Themen der Welt sich in kürzester Zeit erschließen kann. Phänomenal. Ja, dann haben wir losgelegt. Wir saßen zusammen und haben Paper gelesen und Experimente gemacht und überlegt, wohin die Reise geht. Also, wohin KI, wie man das einsetzen könnte und so. Und haben natürlich dort auch so die ersten Demos gebaut, wo wir gesagt haben, was könnte jetzt im medizinischen Bereich, was könnte im Sicherheitsbereich, was könnte im industriellen Bereich dort eine Verwendung sein, die wirklich einen Unterschied macht. Und dann hatten wir das Glück, dass wir, ich aber auch Samuel, dass wir ein bisschen Netzwerk haben und so. Und dann haben wir einfach rumgefragt und haben gesagt, wir wollen diese Technologie einsetzen. Und wir haben hier so ein paar Beispiele gebaut. Wir haben ja irgendwie eigene IP. Klar, in den ersten, in den ersten Schritten nur davon. Wir glauben, das könnte für diese Art von Problemen, könnte das irgendwie sinnvoll nutzbar sein. Wer hat den Bock, mit uns was zu machen? Und da haben wir relativ schnell auch Commitments eingesammelt und Zusagen bekommen. Das Problem war, dann kam Covid und dann ist niemand mehr ans Telefon gegangen.

39:03 Feliks Eyser: Also, wir sind jetzt gerade hier in 2020.

39:05 Jonas Andrulis: Genau. Also, 2019 sind wir losgelaufen. Da waren die ersten Monate, wir haben dort auch ein bisschen mit ein paar Unternehmen zusammengearbeitet, aber nicht in der signifikanten Größenordnung. Wir haben vor allem Technologie aufgebaut, Wissen aufgebaut und so Tools hergestellt. Und dann kommt Covid und wir hatten eigentlich zugesagte Aufträge, so 700.000 Euro. Alles weggefallen. Also, in dem Moment war dann plötzlich, wir hatten auch Projekte, die schon gestartet waren und so, wo dann einfach niemand mehr da war auf der anderen Seite. Und da war auch der erste Moment, wo ich gedacht habe, was machst du jetzt damit? Du hast irgendwie laufende Kosten. Ich hatte den Start der Firma selber finanziert, kein Gehalt bezogen. Und gesagt, wie lange machst du das jetzt hier weiter? Ich habe dann mit Freunden gesprochen aus der Investoren und Venture- und Unternehmer-Szene. Die haben gesagt, die VCs ziehen ihre Termsheets zurück. Das war dann wirklich so eine Phase, wo man gesagt hat, es geht gar nichts mehr. Also, ja, auch selbst Commitments werden nicht mehr eingehalten. Es ist quasi alles zum Erliegen gekommen. Wir wissen nicht, ob Deutschland irgendwie noch steht morgen. Und da habe ich dann auch überlegt, okay, machst du den Laden jetzt zu, um halt weiteres Bluten zu verhindern? Wir hatten ein kleines Team, Handvoll Leute. Oder versuchst du da irgendwie durchzukommen? Also, wir waren, glaube ich, fünf Leute zu der Zeit oder so. Und dann hat sich nach ein paar Monaten, hat sich dann auch die Stimmung gedreht. Dann gab es dann irgendwie ein halbes Jahr später schon fast zu viel Markt im Geld. Aber das war am Anfang eine harte Zeit. Und was mich persönlich auch emotional wirklich mitgenommen hat, war die Tatsache, also, was ist das Coole an so einem jungen Start-up? Das Coole ist, man sitzt abends zusammen bei einer Familienpizza, man macht sich Gedanken, wie man die Welt verändert. Ja, man lernt coole Leute kennen und so. Und das ist unglaublich erfüllend.

41:12 Jonas Andrulis: Hatten wir alles nicht. Wir hatten Leute, die nach Heidelberg umgezogen waren, um mitzumachen. Und die dann im Lockdown saßen in ihrer kleinen Wohnung. Ja, und dann haben wir irgendwie versucht, irgendwelche Virtual Office Calls einzurichten. und so irgendwie abends irgendwie gemeinsam Online-Spiele zu spielen und so. Aber das war scheiße. Und das war gerade auch für die Kultur von so einer jungen, wachsenden Firma, war das echt schmerzhaft.

41:44 Give up or push through: why you should fail fast

41:44 Feliks Eyser: Welche Frage hast du dir gestellt, die dazu geführt hat, zu sagen, nee, wir ziehen trotzdem durch, wir machen weiter?

41:48 Jonas Andrulis: Eine meiner Schwächen ist, ich kann nicht gut aufgeben.

41:52 Feliks Eyser: Das ist geil, das ist wie ein Bewerbungsgespräch. Meine Schwäche ist, ich arbeite zu viel. Ich bin zu perfektionistisch.

42:00 Jonas Andrulis: Du musst manchmal aufgeben. Also du musst manchmal feststellen, dass Dinge nicht funktionieren. Das ist sowohl bei Menschen so, als auch bei Firmen oder so. Und wenn du, wenn du, also wir haben ja diesen Success-Buy, wir sehen halt immer die Firmen, die es dann nachher geschafft haben und sehen, dass Durchhaltevermögen, ja, ich meine, AdWare stand auch schon mehrmals irgendwie mit dem Rücken an der Wand und so. Also eigentlich jeder, es gibt so ein Y-Combinator-Sheet, da steht drauf irgendwie, every successful startup is fundamentally broken at some point in its life. Aber ja, also das war nicht absehbar. Es war nicht absehbar, wie es weitergeht. Es war nicht absehbar, ob das alles funktionieren wird. Es war natürlich noch schon gar nicht absehbar, dass KI irgendwann mal so ein Hype wird. Und es war auch nicht klar, wann irgendwie Covid, ob Covid überhaupt jemals aufhört und wann und so. Also es war schon tough. Und ich glaube wirklich, dass ich, ich habe irgendwie vielleicht so ein Commitment und Verantwortungsdenken, dass ich, wenn ich mich einer Sache oder wenn ich mal einem Menschen gesagt habe, ich will dich empowern, wir kriegen das hin, dass ich dann ganz schwer das irgendwie hinkriege zu sagen, okay, wir müssen es abbrechen, das klappt nicht.

43:20 Feliks Eyser: Ich finde es eine super spannende Frage. Die stellen sich ja viele Startup-Founder. Die kommen immer früher oder später an so einen Punkt, dass man sich denkt, ey, muss ich hier einfach nochmal durchbeißen oder ist es eigentlich ein totes Pferd, das ich reite? Und man weiß es ja nicht in der Situation.

43:35 Jonas Andrulis: Man weiß es nicht. Und die meisten, also statistisch sind die meisten tote Pferde.

43:42 Feliks Eyser: Noch ein paar aufmunternde Worte, aber so ist es.

43:45 Jonas Andrulis: Nein, das ist ja auch, es ist auch fein und ich glaube, es gehört auch dazu, mal zu scheitern. Das, das hilft dir. Aber du willst so schnell wie möglich scheitern. Du willst nicht fünf Jahre deines Lebens quasi noch das Tote, auf dem toten Pferd sitzen und hoffen, dass es nochmal irgendwann zuckt. Du willst scheitern, du willst daraus lernen und dann machst du die nächste Sache und die machst du zehnmal besser.

44:08 After the hype: why Aleph Alpha stayed out of the race for the biggest LLM

44:08 Feliks Eyser: Was war der Moment, wo du zum ersten Mal gemerkt hast, oh, das ist jetzt ein bisschen viel. Da entgleitet mir gerade ein Stück weit die Kontrolle und das hat auch negative Auswirkungen.

44:15 Jonas Andrulis: Ja, das ist ungefähr sechs Monate, wir wussten das sogar. Also ich habe das mehr oder weniger so intern gesagt und habe gesagt, wir werden jetzt gerade irgendwie gehypt, aber machen wir uns nichts vor. Da stellt sich jetzt gerade jeder ein Wecker und sagt, schauen wir doch in sechs Monaten mal drauf. Mal gucken, was bis dann passiert ist. Und sechs Monate später hatten wir es nicht geschafft, kommunikativ zu erklären, warum wir Dinge anders machen als alle anderen. Aus meiner Sicht würde ich auch immer noch heute sagen, die Positionierung war goldrichtig. Wegen dieser Positionierung haben wir die gesündeste Equity-Story im Gen AI. Wir sind in einer Positionierung, die jetzt von allen anderen nachgemacht wird. Also die kommen alle hinterher und wir waren da schon vor, weiß ich nicht, Jahren. Aber das hat natürlich den Nachteil. Also wenn man dem Markt einen Schritt voraus ist, hat es den Nachteil, dass die Leute erstmal nicht verstehen. Die Leute erwarten, zum damaligen Zeit hatte man so diese Erwartung in der Breite. Es geht um LLMs. Die einzige Frage, die wir beantworten müssen, ist, wer baut das beste LLM. Das ist die einzige Frage, um die es geht. Und das heißt, für LLMs brauche ich Grafikkarten. Das heißt, die Aufgabe eines Gen AI-Unternehmens ist es, den größten Berg an Grafikkarten zu bauen, den du bauen kannst. Und dann das beste LLM zu bauen. Wir sind sowieso relativ kurz vor AGI. Und wer da zuerst ist, bekommt die unendliche zukünftige Wertschöpfung von AGI. Und das heißt, dieses Wettrennen um das beste LLM. Und man hat erwartet, dass wir da mitmachen.

45:59 Feliks Eyser: Erklär mal kurz AGI aus deiner Sicht.

46:02 Jonas Andrulis: Ja, AGI ist die Artificial General Intelligence. Und das wird nie mehr so häufig benutzt. Damals wurde das häufiger benutzt, dieser Begriff. Und das ist so ein bisschen die Superhuman AI, die KI, die dem Menschen ebenbürtig oder überlegen ist, in allen oder fast allen wesentlichen Aufgaben. Und man hat so ein bisschen die Vorstellung damals gehabt, es ist nur noch wenige Monate oder vielleicht wenige Jahre, bis eine KI dem Menschen überlegen sein wird. Und diese KI wird sich dann selbst immer weiter verbessern. Und dann sind wir irgendwie ganz kurz vor der Singularität. Wenn die KI besser ist als der Mensch, kann die KI natürlich sich selbst verbessern. Und zwar besser als der Mensch es könnte. Und dadurch wird sie dann immer schneller und so. Und man hat da so Bilder gehabt, dass man gesagt hat, der erste, der AGI hat, der kann den gesamten Light Cone of Future Infinite Value, also alles, was in der Zukunft an Wertschöpfung, an Möglichkeiten, ja. Und da waren alle irgendwie heiß drauf und haben natürlich dann auch gesagt, wir raisen so viel Geld, wie wir irgendwie kriegen können, spielt auch keine Rolle. Wir müssen einfach schnell sein, ja. So viele Grafikkarten, die wir kriegen können. Und das war natürlich ein, den Namen vergessen, aber auch ein Investor, vielleicht wisst ihr es, der gesagt hat, dass LLMs sind the fastest depreciating asset in tech history. Und da haben wir halt nicht mitgemacht. Wir haben da nicht mitgemacht. Wir haben keine Chat-GPT-Konkurrenz gebaut. Wir haben nicht auf den LLM-Leaderboards da irgendwie uns um die vordersten Plätze gekämpft. Wir haben Innovationen gemacht. Wir haben damals als, ich glaube, erstes Lab überhaupt auf der Welt, mir ist jetzt niemand bekannt, der es schneller hatte, aber wer weiß, ein multimodales LLM gebaut. Wir haben das alles Open-Source gestellt, also ein LLM, was jede Kombination aus Text und Bildern verstehen kann. Und so haben gesagt, ja, unser Game ist nicht einfach ganz viele Grafikkarten kaufen.

48:10 Jonas Andrulis: Das ist keine Innovation. Unser Game ist Innovation. Unser Game ist Wertschöpfung und Souveränität bei unseren Kunden herstellen und darauf arbeiten wir hin. Und dafür haben wir Prügel kassiert, einfach weil wir diese Erwartung nicht gemanagt haben.

48:23 Feliks Eyser: Und gibt es denn aus deiner Sicht dieses Endgame AGI überhaupt noch? Woran glaubst du?

48:29 Jonas Andrulis: Ja, kann man schon so sagen, aber ich glaube nicht so kurzfristig, nicht so plakativ, nicht so irgendwie Sci-Fi mäßig. Aber natürlich wird Technologie immer besser und natürlich wird das, was wir jetzt benutzen an KI, werden wir in fünf Jahren nicht benutzen. Und das, was wir in fünf Jahren benutzen, werden wir in zehn Jahren nicht benutzen. Und seit Beginn der Technologie, also im volkswirtschaftlichen Sinn Technologie, groß T, seit Beginn der Technologie hat die Geschwindigkeit zugenommen. Und das wird auch weiter so sein. Es wird weiter schneller werden und es wird weiter besser werden. Und es gibt aus meiner Sicht auch keinen Grund, warum das Können eines Menschen eine Grenze sein soll, die man technisch nicht überschreiten kann.

49:21 Feliks Eyser: Ja, so ein bisschen dieser Deep-Mind-Moment, als die ganzen Schach-AIs und so weiter dann natürlich einfach viel besser geworden sind, aber auch kreativer teilweise.

49:33 Jonas Andrulis: Genau, Zug 37, AlphaGo, das war auch großartig, man muss sich auch gerade dran denken. Das hat mich auch brutal, 2017 hat mich brutal inspiriert, war auch eine dieser Beobachtungen, wo ich gesagt habe, hoppala, jetzt da passiert was, das wird die Zukunft verändern.

49:52 Sovereign knowledge work, explainable AI and multimodal models

49:52 Feliks Eyser: Und die Kunden, für die das besonders relevant ist, sind, wenn ich auf eure Website gehe, Government steht da, dann Industrie und Financial Services. Also alle, die einen hochspezifischen Vokabelschatz, würde ich es jetzt mal nennen, und hochspezifische Daten haben und die auch proprietär verarbeiten wollen.

50:13 Jonas Andrulis: Genau, perfekt zusammengefasst, alle Kunden, die bei denen Wissensarbeit und informationsbasierte Wertschöpfungsprozesse im Kern ihrer eigenen Positionierung sind. Ich hatte ein Gespräch mit einem DAX-Vorstand, der hat sich angeguckt, was wir machen und hat gesagt, oh klasse, jetzt lass uns loslegen. Was machen wir denn jetzt am besten zusammen? Und dann habe ich gesagt, das kann ich dir nicht sagen, das musst du mir sagen. Sag mir doch mal, wo für dein Unternehmen in drei Jahren der Teil ist, wo dein Wissen, dein Können, deine Wissensarbeit den wichtigsten Beitrag zu deinem Unternehmen leistet, zu deiner Positionierung leistet. Was ist denn das? Das ist wahrscheinlich nicht der Customer Support Chat. Und da gibt es für jedes Unternehmen eine andere Antwort, aber genau dort musst du souverän sein. Weil wenn du für diese Sachen ein Login hast und angewiesen bist auf eine Blackbox-Technologie, die in irgendeiner Cloud, proprietären Cloud nur, drin ist, dann hast du eine echt scheiß Situation.

51:26 Feliks Eyser: Und damit verstehe ich auch so ein bisschen diese Einsehbarkeit, von der du geredet hast, weil wenn, das ist ja eine doppelte Blackbox. A, sie gehört mir nicht und B, ich verstehe auch gar nicht, wie das Ergebnis zustande kommt.

51:36 Jonas Andrulis: Genau, richtig. Und das haben wir quasi geändert. Also wir können das zeigen und da kannst du dann eben auch sehen, also KI versteht ja nicht in demselben Maße, wie der Mensch versteht, sondern lernt Muster. Das ist sogar in meiner Wahrnehmung ganz ähnlich zu diesen Mustern, die Computer Vision Algorithmen gelernt haben. Ihr kennt ja diese Deep Dream Visualisierungen und so, wo man diese Muster von convolutional neural networks so irgendwie sehen kann, was so ganz verrückte, spacige Muster sind. Das sind die Muster, die Computer Vision möglich gemacht haben. Und jetzt haben wir Muster, die Sprachmodelle möglich machen. Und diese sind extrem mächtig, aber das eben kein Verstehen dahinter. Das heißt, ich muss doch als Mensch, wenn ich Verantwortung übernehmen will für ein KI-Ergebnis, muss ich doch nachvollziehen können, welches Muster, welches geernte Muster hat denn jetzt dieses Ergebnis erzeugt? Und ist das überhaupt inhaltlich richtig?

52:32 Feliks Eyser: Kannst du mir mal einen Crashkurs geben zum Thema multimodale Modelle? Was mich überrascht hat, ist die LLMs, die Textmodelle sind immer besser geworden, so das irgendwie nachvollziehbar. Mich hat total überrascht, jetzt können die plötzlich Bilder generieren, Videos generieren, Musik generieren, richtig gut und werden alle paar Monate besser. Wieso ist es naheliegend, dass die plötzlich krasse Videos generieren können, wie dieses Google-Modell mit Veo 3, wo jetzt die ganzen Outputs viral gehen? Warum funktioniert das?

52:56 Jonas Andrulis: Also, ob es naheliegend ist, weiß ich nicht, aber vielleicht gibt es eine Perspektive darauf, die ich teilen kann. Wir haben angefangen mit Multilingual Models, das war damals auch noch nicht so, irgendwie die ersten GPT-Varianten waren noch vor allem in Englisch gut. Und wir haben bei dem Training von mehrsprachigen Modellen gemerkt, wenn man das richtig macht, dann erzeugt man ein Embedding, also eine Repräsentation im Inneren des Modells, die so eine Art Bedeutungsrepräsentation ist. Und die kann sprachunabhängig sein. Es gibt ein Paper von uns, das heißt Multifusion, wer es nachgucken will, da zeigen wir, dass unser Modell eine extrem konsistente Repräsentation hat von den gleichen Inhalten, egal ob du sie in verschiedenen Sprachen beschreibst oder ob du sie als Bild eingibst. Also das Modell, die numerische Repräsentation im Inneren des Modells ist ganz nah beieinander. Das heißt, das Modell versteht erstmal die Bedeutung, ich übertreibe ein bisschen, aber, und kann dann aus dieser Bedeutung wieder Ausgaben erzeugen. Und diese Ausgaben können dann auch wieder in verschiedenen Sprachen oder Modalitäten sein. Also in dem Moment, wo du es geschafft hast, ein Modell so zu bauen, in Klammern, das gelingt nicht immer, aber in dem Moment, wo du es geschafft hast, ein Modell zu bauen, was aus verschiedenen Inputs eine konsistente Weltwissen-Bedeutungsrepräsentation gebaut hat, dann kannst du die natürlich in alle möglichen Arten wieder in Outputs verwandeln, also ob du dann klassifizieren willst, ob du dann Actions machen willst, es gibt ja auch Modelle, die dann handeln in der Welt mit Robotik oder so, ja. Das spielt dann eigentlich gar keine große Rolle mehr, sofern du den Zustand und das Problem erstmal gut abgebildet hast.

54:59 Feliks Eyser: Das heißt, es gibt nochmal sozusagen für mein mentales Modell einen Layer drüber, wo das Modell erstmal was versteht und sich dann überlegt, wie gebe ich es denn eigentlich aus?

55:08 Jonas Andrulis: Genau. Der erste Schritt ist eine Art Verstehen, also immer vorsichtig sein, nicht so verstehen, wie Menschen verstehen, aber eine Art Übersetzen in eine Bedeutungsrepräsentation. Und aus dieser Bedeutungsrepräsentation kann dann wieder Text erzeugt werden, Bild erzeugt werden, es können Klassifizierungsentscheidungen getroffen werden, alles Mögliche kannst du damit machen.

55:28 Germany as an AI location: bold customers, the AI Act and energy costs

55:28 Feliks Eyser: Wie ist denn so der State of German AI, wer sind so die Peers, mit denen du dich austauschst in Deutschland, gibt es die überhaupt oder mit wem sprichst du so, wenn du mit deinen AI Buddies redest, wer ist das?

55:39 Jonas Andrulis: Also viele, viele meiner AI Buddies sind aus dem akademischen Bereich und da sind wir natürlich super gut, also mit vielen Professoren in Deutschland, in ETH, in Zürich und so, da habe ich einen guten Austausch. Da kann uns auch wirklich, da brauchen wir uns wirklich nicht verstecken. Also auch KIT, wo ich war, habe ich dann bei Apple gesehen, wo dann die Leute von allen Unis der Welt, auch von den Top US-Unis Teil meines Teams waren. Da sind die guten deutschen Absolventen ganz vorne mit dabei.

56:14 Feliks Eyser: Und wie kriegen wir das jetzt hin, die in die Praxis zu bringen, diesen Effekt zu vermeiden? So die Deutschen haben auch das MP3-Format erfunden, aber monetarisiert wurde es ganz woanders. Und quasi Forschung, wie du es gemacht hast, in die Praxis zu bringen, Firmen zu gründen, Geld zu raisen, Leute anzustellen.

56:29 Jonas Andrulis: Ja, umsetzen. Also wir müssen einfach umsetzen jetzt. Und das heißt, jeder sollte einen Auftrag an Aleph Alpha geben zur Umsetzung von souveräner KI. Und das, was es fehlt, ist, dass wir einen Markt haben, der mutig und auch mal mit ein bisschen Firepower Innovation umsetzt. Ja, das kann halt auch, also wenn man sich jetzt mal Aleph Alpha, wir sind jetzt gut finanziert, aber stell dir vor, du hast ein anderes, innovatives Startup. Aber du fängst gerade an. Du brauchst zum einen Kunden, die mutig sind, die immer mitmachen und dann brauchst du halt irgendwann Revenues, du brauchst eine Topline. Und wenn das halt immer nur, ja, wir gucken mal, hier sind 10.000 Euro, Projekte sind, wir arbeiten ja auch international mit Kunden. In den USA, da trifft man viel schneller mutige Entscheidungen für viel größere Tickets. Da ist es überhaupt kein Problem mal zu sagen, hier sind 400.000, wir machen jetzt einfach mal, mal gucken. Und da ist Deutschland halt so zögerlich und daran fehlt es, weil so, nur so kannst du ja größer werden. Nur so können diese Unternehmen dann auch groß werden und dann auch eine echte Alternative bauen. Wir sind ja zum aktuellen Zeitpunkt, sind wir sehr fokussiert und da, wo wir uns fokussiert haben, sind wir auch sehr gut. Ja, aber wir müssen noch weiter wachsen, damit wir diese Mission, Technologie, Souveränität auch wirklich über die Ziellinie bringen.

58:00 Feliks Eyser: Und im Standort Deutschland respektive Europa, wie sehr ist denn da die Regulierung, die wir ja gerne mehr machen als jetzt die USA oder auch als China, ein Feature und wo ist es ein Bug?

58:13 Jonas Andrulis: Also helfen tut es uns gar nicht. Das wird ja manchmal so, es gibt diesen Gedanken, dass das ein Vorteil sein soll. Sehe ich nicht. Habe ich noch nie gesehen. Keine Ahnung. Also wer das sieht, soll es mir mal erklären. Ist mir nicht klar. Aber es ist jetzt auch kein Dealbreaker. Das, was mich wirklich sorgt, ist nicht die Tatsache, dass wir jetzt ein AI-Act haben. Der ist so, wie er geworden ist, ja dank auch Mistral und unserem Einsatz gar nicht so schlecht geworden. Was mich wirklich ärgert, ist, dass wir durch diesen ganzen AI-Act haben wir über Jahre hinweg die gesamte kreative Energie unseres AI-Leaderships von Innovation auf Compliance gelenkt.

59:05 Feliks Eyser: Ihr jetzt als Aleph-Alpha oder ihr als Industrie?

59:05 Jonas Andrulis: Alle, das gesamte Ökosystem. Ich war ja im Bitkom-Präsidium und im Vorstand vom AI-AK und so, ja. Und da wurde nur, oder nicht nur, fast nur über AI-Act gesprochen. Alle irgendwelche Sonderevents, wie steht der AI-Act und so. Also man hat die Leute, die die Zukunft, unser Leadership, unsere, die vielen brillanten Köpfe in den Unternehmen, in der Regierung und so, die hat man komplett beschäftigt gehalten, indem sie sich über Regulierung unterhalten haben. Und in der Zeit, diese Energie fehlt uns für Innovation. Deswegen liegen wir ein paar Schritte zurück. Hätten wir das nicht gemacht und hätten gesagt, wir investieren dieselben Ressourcen, aber erst mal in Innovation. Wir regulieren dann später. Wir machen erst mal Innovation und dann später gucken wir, was wirklich gefährlich ist und das regulieren wir. Das wäre viel besser gewesen.

1:00:05 Feliks Eyser: Es gibt eine Sache, die mir immer wieder begegnet, wenn ich über AI und Deutschland nachdenke oder lese. Und die ist, dass das, womit wir uns abseits jeder Regulierung am meisten ins Bein schießen würden, das Thema Energiekosten sind. Ist das was, also ist das so? Wie siehst du das?

1:00:25 Jonas Andrulis: Ja, Energie gehört zur Souveränität dazu, ganz klar. Wir hatten einen Moment, das war auch eine lustige Geschichte, als diese, als der Ukraine-Krieg losging, als die Energiepreise verrückt gespielt haben. Da gab es ja an den Forward-Märkten, also wo man Energie für die Zukunft kaufen kann, sind die Preise komplett in die Höhe gegangen. Und ich hatte eine quasi Taskforce, die den Knopf, die den Hand über dem roten Ausknopf für unser Rechenzentrum hatte, weil unser Rechenzentrum steht in Deutschland. Und wir haben gesagt, wenn die Forward-Preise, also wenn die Preise in der Zukunft so kommen, wie die Börsen gerade sie handeln, dann zahlen wir einen siebenstelligen Betrag an Stromkosten pro Monat. Das können wir nicht machen. Das heißt, sobald die Preise ein gewisses Niveau überschreiten, schalten wir ab. Jetzt ist es dann Gott sei Dank nicht ganz so schlimm gekommen, aber natürlich ist Energie das Fundament von ganz vielen Sachen. Das ist bei KI noch gar nicht so ausschlaggebend wie bei anderen Industrien. Und natürlich müssen wir für eine funktionierende Souveränitätsstrategie, aber auch für eine funktionierende Wirtschaft das Thema Energie gelöst haben und auch so gelöst haben, dass es ökonomisch Sinn macht. Und das frustriert mich immer so ein bisschen. Ich habe ja am KIT Wirtschaftsingenieur studiert und habe zwei Ingenieur-Vollblöcke gemacht. Und der eine war Energie- und Umwelttechnik, also immer so ein bisschen zumindest mit Energie-Klausuren gelitten. Und die Tatsache, dass wir zum Beispiel in Deutschland unsere Elektromobilität oft mit Kohlestrom tanken, das ist einfach frustrierend. Und dass es dann auch noch gleichzeitig so teuer ist. Wir sind irgendwie mit dem teuersten Strom in Europa und so. Und ich bin mal gespannt, ob wir jetzt in Zukunft irgendwelche Blackouts kriegen und so.

1:02:27 Jonas Andrulis: Also ich bin da alles andere als der Experte, aber ich kann euch zustimmen, Energie spielt eine wichtige Rolle.

1:02:35 Business idea: AI mentoring for children and teenagers

1:02:35 Feliks Eyser: Was sollte ein junger Founder heute im AI-Bereich neu starten? Wenn du in deinen frühen 20ern wärst, nochmal neu beginnen würdest, was für eine Firma würdest du gründen, was für Bereiche würdest du dir anschauen? Was gibt es zu jungen Leuten, die vielleicht noch in der Uni sind und am Anfang ihre Karriere auf dem Weg?

1:02:50 Jonas Andrulis: Also eine Sache sollte jemand machen und ich bin nicht so super in dem Thema drin. Das heißt, da sind vielleicht schon Leute unterwegs. KI kann eine große Ungerechtigkeit mildern, die mir sehr am Herzen liegt. Und zwar das Mentoring von Kindern, von jugendlichen Kindern. Es macht einen riesen Unterschied, ob man eben ein Elternhaus hat, was einen fördert, was einem die Welt erklärt. Diesen Frame, die Art und Weise, wie man auf die Welt schaut, wird ganz maßgeblich von den Eltern geprägt. Meine Eltern haben das super gemacht, aber meine Eltern haben quasi, waren mittellos, als wir gestartet sind. Also die haben ja irgendwie nicht, wie macht man Unternehmertum und so, wie kommt man an Geld und so. Da waren sie wirklich in einer anderen Welt unterwegs und ich musste mir das irgendwie selber zusammenbauen. Aber ich hatte das Glück, dass meine Eltern mich so gefördert haben und mir eine emotionale Stabilität gegeben haben und so. Das trägt mich jetzt. Und ich glaube, mit KI können wir Menschen, die vielleicht aus dem schwierigen Elternhaus kommen oder die keine Muttersprachler sind oder so. Die können wir so unterstützen und Mentoring machen und so, wo halt Lehrer keine Zeit haben. Wo auch irgendwie das Jugendamt und so, das können wir personell nicht leisten. Wir können es aber mit KI hinkriegen. Und das ist, glaube ich, eine der großen Ungerechtigkeiten im Leben, die mich wirklich ärgert. Und jemand, der das bauen möchte, den werde ich anfeuern und auch vielleicht investieren und alles. Also bitte bei mir melden.

1:04:32 Feliks Eyser: Okay, hier ist der Aufruf an alle, die zuhören. Hier haben wir schon mal die erste gute Business-Idee. Aber ich finde, das spielt ja voll ein. Ich meine, wir sehen ja auch dieses ganze Thema Companionship, Loneliness, Epidemics. Das ist ja einer der großen Use Cases von AI, dass Leute sich quasi Freunde bauen oder Services nutzen, mit denen sie schreiben können, wie mit einem Kumpel. Jetzt gerade bei dem Grok Release war ja auch die Headline, jetzt in Japan ist das die Nummer 1 App, weil halt viele Leute einsam sind und da so sozialen Kontakt simulieren, aber das trotzdem dieses Bedürfnis erfüllt. Und was ich auch interessant fand, ist so diese Altersgrenze oder Sam Altman hat das mal gesagt zu ChatGPT, so sinngemäß Boomer nutzen das wie Google, die stellen halt eine Frage und kriegen eine Antwort. Jüngere Leute nutzen das wie einen Live-Coach und erzählen, was ist denn eigentlich gerade passiert, laden Dokumente hoch und lassen sich erstmal selber Fragen stellen zum Beispiel. Und ich glaube, wenn man junge Leute dazu bringt, kann es extrem wert stiften.

1:05:26 Jonas Andrulis: Aber auch gefährlich.

1:05:28 Feliks Eyser: Aber auch gefährlich, die Beispiele gab es auch.

1:05:30 Jonas Andrulis: Genau, stell dir mal vor, jetzt kommt eine KI aus den USA und die ist der Live-Companion von einer neuen Generation. Die wachsen in einer KI-Welt auf. Und was jetzt bereits schon in vollem Gange ist, dass die Antworten dieser KI-Systeme ideologisch von den Herstellern modifiziert werden. Also da kommt das raus, was rauskommen soll. Elon Musk's Grok sagt meines Wissens noch nicht, only the AfD can save Germany. Aber kurz davor, glaube ich. Und diese Beeinflussung ist ja auch nicht immer so super offensichtlich. Sie ist ja manchmal so zwischen den Zeilen. Also stell dir vor, du kannst einen Menschen jeden Tag zwei Stunden mit so einer KI interagieren lassen. Wie kannst du die Menschen ganz zwischen den Zeilen oder so in irgendeine Richtung schieben? Und da sehe ich eine ernste Gefahr auch für unsere liberale Demokratie. Weil wer am Schluss entscheidet, was die richtige Antwort auf eine kontroverse Frage ist, der hat eine enorme Macht.

1:06:32 Feliks Eyser: Und wir haben es bei den Algorithmen gesehen, der Social Networks.

1:06:35 Jonas Andrulis: Genau, das war die Vorstufe im Prinzip.

1:06:37 Feliks Eyser: Hast du noch eine Business-Idee? Hast du noch was anderes, was du gut findest?

1:06:40 Jonas Andrulis: Noch eine? Jetzt müssen wir erst mal die eine an die Börse bringen und dann gibt es die nächste.

1:06:44 Feliks Eyser: Wir bringen die eine an die Börse. Wir finden hier ein Team im Founder Mode Podcast. Wir investieren. Geben ein bisschen Rückenwind. Wir sind dabei. Ich finde es eine coole Idee. Jonas, vielen Dank, dass du dir die Zeit genommen hast. War ein super spannendes Gespräch. Hat viel Spaß gemacht. Und wir haben viel gelernt. Wo können Leute dich finden? Hast du noch einen Call to Action? Soll sich jemand bei dir bewerben? Soll jemand...

1:07:02 Jonas Andrulis: Bewerben immer gerne. Also das auf unserer Webseite, aleph-alpha.com. Ansonsten jeder, der im Unternehmen ist oder so und sagt, wir müssen unsere Transformation jetzt irgendwie aber souverän machen. Wir wollen an die Kernprozesse ran und so. Auch gerne bei uns melden oder bei unseren Partnern. Wir machen noch viel mit Consulting Companies, im Team und so. Also einfach loslegen. Einfach loslegen und was machen. Die Erkenntnisse sind, glaube ich, alle da. Wir haben genug Arbeitsgruppen gemacht. Wir haben genug auf Panels gesessen. Jetzt müssen wir umsetzen.

1:07:35 Feliks Eyser: Ja, das ist doch ein schönes Schlusswort. Schönes Schlusswort. Genauso wie du es gemacht hast. Vielen Dank, Jonas.

1:07:40 Jonas Andrulis: Danke euch. Hat mir sehr viel Spaß gemacht.

Similar episodes

Newsletter · Founder Mode Friday

Your weekly dose of founder insights.

The key learnings from every episode, in your inbox every Friday. Free, in German, and you can unsubscribe at any time.