Er baut für das Modell, das es in sechs Monaten gibt | Philipp Schmid, Google DeepMind

00:00:01: Moin und willkommen zu einer neuen Folge des New Minds AI Podcast.

00:00:05: Mein Name ist Jens, ich habe heute mal wieder einen sehr spannenden Gast mit dabei.

00:00:09: Und zwar Philipp Schmidt.

00:00:10: Philipp arbeitet bei Google Leadmind und bei ihm liegen Themen wie Agents, Gemini, Gemma, Developer Relations

00:00:17: usw.,

00:00:18: also super spannende Themen.

00:00:20: Er ist eigentlich Entwickler, kommt aus Nürnberg hat aber schon eine ganze Weile jetzt selber kein Code mehr wirklich geschrieben sondern reviewed vielmehr ganz viele verschiedene Themen gesprochen, die super spannend aber auch relevant sind.

00:00:33: Zum einen Themen wie lokale LLMs, also lokale Sprachmodelle.

00:00:37: wo stehen wir gerade?

00:00:38: Wohin geht die Entwicklung?

00:00:39: Wie sieht es mit Agenten und Agents aus?

00:00:42: Wie sehen sie mit Skills aus?

00:00:43: Was sind eigentlich Skills?

00:00:45: Wir haben so ein bisschen rumgenördert.

00:00:47: das ist aber auch so ein bischen Education Podcast, wieder Dinge werden geklärt was sind Agents, was sind Skills, was ist Open Weights?

00:00:54: Also sehr spannende Folge!

00:00:56: Es lohnt sich auf jeden Fall durch zu hören um einfach mal greifen und aufzusaugen, wie Philipp so arbeitet.

00:01:02: Wie er den Blick aus seiner Bubble auf das Thema sieht.

00:01:06: Also von daher viel Spaß!

00:01:08: Und jetzt ab in die Folge!

00:01:23: Ja moin Philip, schön dass du mit am Start bist.

00:01:26: Schön, dass du dir Zeit nimmst.

00:01:28: für alle, die dich trotz der kleinen Intro noch nicht kennen Erzähl doch mal, wer du bist, wo du sitzt und was du tust.

00:01:38: Und warum eigentlich?

00:01:39: Genau ich bin Philipp!

00:01:40: Ich bin gebürtig Schwabe würde ich sagen also aus dem kleinen Dorf bei Stuttgart.

00:01:44: mittlerweile wohne ich in Nürnberg Bin Teil des Google AI Studio Gemina API Team Bei Google DeepMind und sag' ich mal hab ursprünglich sehr viel im Open Source Bereich gemacht.

00:01:57: War vor Google bei Huggingface war dann beim kleinen Startup hier in Nuremberg Alles, sag ich mal noch vor Bird und auch vor JetGPT.

00:02:06: Und begeistert mich sehr stark für KI!

00:02:11: Sehr gut, das vereint uns aktuell in den sehr wilden Zeiten.

00:02:17: Was, was genau machst du bei Google?

00:02:19: Also wie kann man sich das dein Arbeitsalltag so vorstellen.

00:02:22: Ja ich muss also zu sagen es ändert sich täglich mittlerweile.

00:02:26: wir sind jetzt auch nicht mehr irgendwie Software-Engineers sondern jeder bei uns im Team trägt fast den Titel auf Member of Technical Staff.

00:02:33: weil durch KI, durch Gemini, durch Agenten hat sich halt alles ein bisschen geändert und ist nicht mehr so... Person A macht Softwareentwicklung, personen macht Product Management, person C macht dann irgendwie Marketing.

00:02:46: Sondern man arbeitet halt jetzt gemeinsam an Projekten, fokussiert sich eher ein bisschen darauf was einem Spaß macht oder wo man seine Stärken hat.

00:02:55: und ich bin vor allem bei uns für die Gemina API und vor allem für die Neue Interactions API oder Managed Agents zuständig.

00:03:02: mach alles von Blockpost schreiben bis zu testen, bis zu neuen pull requests neue Features.

00:03:10: Also ich sag mal so durch KI können wir halt jetzt alles mehr oder weniger machen und da wo halt am aktuell am meisten gebraucht wurde oder wo der Impact am größten ist das wird ein bisschen umgesetzt.

00:03:21: aber ursprünglich würde ich sagen Ich bin Entwickler und damals auch zu Google gekommen, mit dem Gedanken Developer Relations Engineer zu sein.

00:03:29: Und mir deswegen ja Entwicklern oder heutzutage jedem Bilder eigentlich zu helfen wie sie KI adoptieren können, mit Gemini zusammenbauen können, wie Sie darüber lernen können und was uns halt so ein bisschen auszeichnet.

00:03:42: Mega spannend!

00:03:43: Direkt zwei Fragen dazu noch die gar nicht in den Skript stehen.

00:03:49: Punkt eins, Coat ist du aktuell mehr?

00:03:51: Weniger durch KI.

00:03:53: Also Manuel, Code schreiben mache ich gar nicht mehr.

00:03:57: also das ist wirklich komplett weggefallen.

00:03:58: Ich meine wir haben jetzt Juli.

00:04:01: Ende letzten Jahres war so für mich der große Break zwischen... ...ich habe irgendwie ein bisschen Autocompletion oder so ein paar Agents die mir helfen zu... ...jetzt gar keinen Code und alles mir noch Code Review.

00:04:13: Und ich würde sagen wenn ich meinen Tag einschätzen müsste beschäftigt mich schon fünfzig bis siebzig Prozent mit Dingen, die mit Coding zu tun haben von irgendwelchen, sag ich mal neuen Ideen oder Anwendungen bauen und testen.

00:04:27: Zu irgendwelche eigenen Tests jeweils kleine Agenten bauen oder einfach nur meinen Workflow ein bisschen zu automatisieren oder anzupassen weil es gibt einen neuen Skill, es gibt ein neues Modell und das verändert sich ja immer.

00:04:40: also ich beschäftige mich trotzdem noch Hauptsächlich mit Kot, viel mehr mit Kot lesen und darüber nachdenken.

00:04:47: Und verstehen weniger mit Kot schreiben.

00:04:50: Ja das glaube ich auch krass wie sich dieser Arbeitsalltag für Entwicklerinnen so verändert hat.

00:04:56: Würdest du denn behaupten mein Code lesen ist natürlich auch eine Arbeit aber trotzdem hat sich wahrscheinlich ein Output auch vervielfacht oder?

00:05:06: Ich glaub wenn ich es einfach... Objektiv betrachten würde, was ich jetzt am Tag mache im Vergleich zu einem Jahr.

00:05:11: Definitiv zähnigst oder irgendwie sowas aber die Arbeitsweise verändert sich halt.

00:05:15: also meine Erwartungen an mich oder die Dinge die ich umsetzen möchte oder die ich mir vornehme sind halt vielfaches größer als ich noch vornem Jahr irgendwie hatte und mittlerweile entwickelt sich alles noch viel mehr hin in so okay.

00:05:28: wie kann Zeit investieren, einen Rahmen schaffen und etwas definieren was ich dann wirklich zu Gemini geben kann.

00:05:35: Was dann mehrere Stunden oder auch Tage komplett autonom daran arbeitet mir hin und wieder mal ein Update darüber gibt ob wir noch auf dem richtigen Weg sind oder ob ich mal reinschauen kann hinzu halt wirklich komplett einfach ein Tag lang was experimentieren was ausprobieren mir dann den Fazit zu geben und dann schaue ich da weiter.

00:05:54: also wirklich schon sehr sehr anders und sehr sehr viel schneller.

00:05:59: Aber man muss halt immer wieder dafür bereit sein, alle einen zwei Monate gefühlt sich hinzusetzen und zu überlegen.

00:06:05: Okay was kann ich jetzt anders machen?

00:06:07: Was hat sich verändert?

00:06:09: Kann ich irgendwie etwas verbessern?

00:06:10: oder was schon auch schwierig ist weil du halt nie in diesen gewohnten Flow reinkommst ein bisschen.

00:06:16: Ist krass!

00:06:17: Du musst irgendwie alles deine Arbeit alle paar Monate hinterfragen.

00:06:22: Wie sehr es denn paralleles arbeiten bei dir oder bei mir dass viele Sachen einfach mal anstoßen, laufen lassen und dann nicht nur eine Sache abarbeiten sondern parallel viel.

00:06:32: Ist das bei dir auch so der Fall?

00:06:34: Also ich habe aktuell auch mehrere Agents laufen die machen so ihre Dinge nebenher und ja ganz viel.

00:06:40: Ich versuche aktuell so ein bisschen für mich die Balance zu finden weil dadurch wenn man ganz viel Parallel macht und halt Dinge Asynchron fertig werden bin ich halt kontinuierlich am Kontext wechseln was doch sehr intensiv ist, sage ich mal von der Arbeitswelt her und dadurch dass du gefühlt alle paar Minuten neues Update bekommst.

00:07:03: Tue ich mich ein bisschen schwerer mit hinsitzen und eine Stunde irgendwas lesen oder reviewn.

00:07:09: Sei es ein neues Paper sei es irgendetwas wo ich mich gern weiterbilden möchte.

00:07:13: Da merke ich selber das es schwieriger wird weil du diesen constant Feedback hast und es viel einfacher ist einen Prompt zu schreiben und zu warten was zurückkommt.

00:07:21: Da versuche ich grad so'n bisschen... Zeitblöcke zu setzen, dass hey wenn ich mich wirklich fokussiert auf was konzentrieren möchte.

00:07:27: Dass sich nicht in meinen Agent-Dashboard oder Overview reinschauen keine Benachrichtigungen an hat weil sonst ist die das Verlangen viel zu groß kurz reinzuschauen kurzen Update zu geben wieder eine halbe Stunde laufen lassen aber ja kontinuierlich parallel eigentlich außer wenn ich dann wirklich mal mich auf etwas fokassieren möchte test ich aktuell okay kann ich alles um mich herum ausblenden dass ich wirklich nicht abgelingt werde.

00:07:51: Ich glaube, es wird wahrscheinlich in Zukunft immer wichtiger.

00:07:53: Weil sonst... ich kenne selber bei mir, guck mal mal eben rein!

00:07:56: Gibt's da noch ein Update?

00:07:57: Wollt ihr irgendwie weiterkommen?

00:07:58: Kannst du uns irgendwie neu triggeren?

00:07:59: Muss da irgendwie was an Kontext geben?

00:08:01: und das ist dann echt wie so sagt das krassere Kontextwechsel.

00:08:05: Und erst einmal danke für die Insights.

00:08:07: Letzter Punkt.

00:08:09: Du hast gerade angesprochen hier seid alle jetzt Technical Engineers oder Part of technical team?

00:08:15: war das glaub' ich?

00:08:16: Member of technical staff.

00:08:17: Genau, Member of the technical staff so rum.

00:08:21: Wie setzt sich denn so ein Team zusammen, wenn plötzlich jeder für alles zuständig ist?

00:08:26: Ist das dann auch schwierig zu wissen, wie entspricht man da gerade an oder ist vieles einfach nur der nächste bester Agent.

00:08:32: Also das ist nicht etwas was sage ich mal über allen Google verteilt ist sondern es ist eher sage ich mehr bei der Gemina.

00:08:39: API Studio ist etwas was wir halt sehen was sich weiterentwickelt weil Blöckenderweile halt Produktmanager oder auch Designers halt wirklich direkt Dinge kontributen, oder halt ein Prototyp bauen.

00:08:50: Was halt weggeht von dem bisherigen, ich schreibe die Science Bag gibt es zu Engineering.

00:08:56: Engineering schaut sich das irgendwie ein bisschen an und versucht es dann umzusetzen und komme ich wieder zurück.

00:09:01: Das hat sich halt ganz, ganz verändert aber es gibt trotzdem noch ganz klar Rollen.

00:09:04: also... Die meisten Softwareentwickler bei uns sind immer noch Software-Entwickler.

00:09:08: Es ist glaube ich eher so, dass weniger technische Nutzer jetzt mehr technisch geworden sind als das technische Nutzern weniger technisch gewohnt sind.

00:09:18: Das ist eher so dass mehr Menschen dazu beitragen können oder Dinge anders auszuprobieren wo man halt vorher vielleicht einen Entwickler dafür gebraucht hat oder nicht.

00:09:28: und... Dass man nicht mehr weiß wer genau wofür zuständig ist.

00:09:32: Es sieht man langsam, wir versuchen das ein bisschen uns ran zu tasten.

00:09:36: Dass du trotzdem noch gewisse Bereiche hast in denen du dich mir darauf fokussierst.

00:09:41: gerade wenn ich jetzt von unserem Developer Experience Team ausgehe.

00:09:43: wie haben halt Kollegen die sich gezielt auf Chain Media also alles was mit Omni oder Nano Banana zu tun hat.

00:09:49: Fokussiert sind, manche machen live als auch etwas was mit der Gemina Live oder mit den Text-to-Speech Modellen zu tun hatte.

00:09:55: Ich habe einen starken Fokus auf den ganzen Agent Bereich.

00:09:59: Kollegen, die machen nur speziell neue Model Releases oder halt die Main-Model Line.

00:10:03: Dann haben wir spezielle Teammember, die viel mit Gemma machen.

00:10:06: Das heißt es ist eher so modellbereich orientiert und weniger Softwareentwickler, Produktmanager usw.

00:10:15: Spannend.

00:10:16: ich glaube genau diese Richtung sehe ich halt auch.

00:10:18: Designer können halt auch noch mal einen Prototypen bauen.

00:10:20: Ich glaube dann zu gucken so auf welchen Punkt sollte macht es Sinn vielleicht noch ein Entwickler mit reinzunehmen weil das dann irgendwie in falsche Richtung geht.

00:10:28: Ja, ich glaube das ist dann auch die Herausforderung.

00:10:29: Aber auch spannend dass sich diese Teamschutur einfach ändern.

00:10:33: Jetzt haben wir ganz viel über Agents gesprochen und ich glaube es ist ja so ein Wort was letztes Jahr schon viel durch die Gegend geschwört ist.

00:10:42: und letztes vor allem war es ja auch so, dass aus meiner Brille überall eine Agent irgendwie anders verstanden wurde.

00:10:49: Mein Lieblingsbeispiel ist In CorePilot, weil ich glaube eine Agent oft einfach in GPT.

00:10:55: In GPT was an GPT?

00:10:57: Ihr habt eure Gems.

00:10:58: Das war irgendwie auch dann ein Agent.

00:11:00: Irgendwie auch wieder nicht!

00:11:03: Jetzt sind wir Ende Juli-Zweißen-Sächsen-Zwanzig.

00:11:06: Was ist denn für dich ein Agent wenn du es definieren müsstest?

00:11:10: Also die einfachste Definition die ich mittlerweile nutze das ist einfach ein KI-Modell in einem Loop welches Tools benutzen kann Und es nutzt so lange Tools, bis es eine Textnachricht generiert.

00:11:23: Die sage ich mal ein bisschen genauere Definition wäre mir das KI-Modell den Kontrollfluss beeinflussen kann und das finde ich hat mir ganz am Anfang geholfen darüber nachzuvollziehen oder zu verstehen, was jetzt ein Workflow ist.

00:11:37: Ganz am Anfang die ersten LLM-Anwendungen vor allem im Retrieval Augmented Bereich waren ja immer ich habe irgendwie einen Input Text dann mache ich eine Datenbankabfrage und suche in meinen Embeddings irgendwelche Texte dazu passen.

00:11:52: da nehme ich die Texte an Paxi zum LLm und das LSM generiert eine Antwort.

00:11:57: Der Flow immer dasselbe.

00:11:58: Ich hab' immer den Prompt, immer das Nachschauen... ...immer das Zusammensetzen und die Anfrage an das LLM.

00:12:05: Das ist kein Agenten weil es vordefiniert ist welcher Schritt nacheinander passiert und bei einem Agenten und ich glaube das hat jetzt auch hoffentlich mittlerweile fast jeder verstanden gebe ich meinem KI-Modell Tools.

00:12:16: also ich kann irgendwie Google Suche nutzen, ich kann irgendeinen Filer stellen oder irgendwas nachschauen Und das Modell entscheidet selber, welches Tool wann genutzt werden soll und wann es aufhört, Tools zu nutzen um dann eine Antwort zu generieren.

00:12:31: Okay mega spannend!

00:12:32: Du hast gerade genannt Loops?

00:12:34: Was sind für dich ein Loops, glaube ich immer noch genug Leute, die es nicht gehört haben.

00:12:37: Ja, warum ist das im Agent-Tischen für dich so entscheidend?

00:12:41: In Deutschland nennt man's Schleife.

00:12:43: wenn ich dann glaube richtig

00:12:44: bin

00:12:48: An sich ist es halt, dass ich einfach wie wir schreibt man das am besten.

00:12:51: Ich habe einen Kreis von meinen Anfragen.

00:12:53: Das heißt normalerweise wenn ich also an ChatGPT-Dengern die Anfangszeiten hab' ich als Nutzer ein Input gegeben und das Modell hat dann wieder ein Output gegeben, das ich dann zurückbekommen hab'.

00:13:03: Dann triggere ich sozusagen den nächsten Input wieder und erst gibt das Modeller wieder ein output.

00:13:08: D.h.,

00:13:08: da existiert kein Loop sondern ich bereite immer die Anfragen vor.

00:13:12: in der Schleife oder einem Agenten im Loop gebe ich meine erste Anfrage Bitte erzählen mir alles über die letzten Jammer Modelle und dann würde der Text zu dem KI-Modell gehen.

00:13:25: Und das KI-modell weiß ja nicht, welches die letzten jammer Modellen sind oder hat vielleicht ein Tool zur Google Suche?

00:13:31: Dann entscheidet es okay ich generiere anstatt eine Antwort einen Toolcall.

00:13:36: Das ist sage ich mal ein spezielles Format einfach wo man dann das rausfültern kann.

00:13:40: Dann wird der Toolcall erkannt, dann mache ich die Google Suchen Und dann geht es wieder zurück in das Modell und dann wird vielleicht nochmal ein Tool kommen.

00:13:47: Das heißt, ich gehe zwischen meinem KI-Modell und den verschiedenen Tools immer hin und her bis sich irgendwann eine normale Antwort generieren und dann wieder zurück zu dem Nutzer gehen.

00:13:58: D.h.,

00:13:58: es läuft kontinuierlich die ganze Zeit.

00:14:02: Okay, also schöner Defekt.

00:14:04: Ich glaube auch, dass diese Schleife in diesem Loop ist total essentiell im Bereich.

00:14:07: Das sehen wir jetzt gerade.

00:14:08: wenn du sagst, lässt Modelle teilweise Stunden oder Tage laufen Ist das natürlich sehr essentiell.

00:14:16: Und jetzt siehst du auch viele Leute, Agenten bauen mit verschiedenen Modellen in eurem Eco-Space.

00:14:22: was sind denn für dich so die häufigsten Fehler beim Aufsetzen von Agenten?

00:14:28: aus technischer Sicht aber vielleicht auch aus der Erwartungssicht von Menschen?

00:14:33: Ich meine das positive ist dass ich es definitiv vereinfacht hatte zu den letzten sechs Monaten und man weniger an fehlender Fehler macht.

00:14:40: Aber der typische Fehler ist natürlich zu weit, zu scoping im Sinne von hey ich habe hier irgendeinen Business Use Case, irgendein Problem das sich lösen möchte und Agenten sind aktuell des Hype und das Passwort.

00:14:55: Und ich nutze dann sagt okay lass uns einen Agenten dafür bauen der dann unser Problem löst.

00:15:00: Ich würde mal einfach grobschätzen, in fünfzig Prozent der Fälle brauchen eventuell gar keinen Agenten bzw können gelöst werden mit normalen Workflows.

00:15:07: weil dadurch wenn ich dem Modell die Kontrolle übergebe Und das Modell selber entscheiden kann, ob ich jetzt ein Tool nutze und welches Tool nutzte.

00:15:15: Habe natürlich nicht die Genauigkeit als wenn ich einen strukturierten Prozess habe.

00:15:21: also wenn ich genau weiß um mein Problem zu lösen was eventuell eine Suche ist kann ich immer erst irgendwie bei meinen Kontakten nachschauen dann die Google Suche nutzen dann alles in den Kontext von dem Modell geben und an die Anwalt generieren.

00:15:33: Das ist ja kein Agenten sondern nur ein Workflow und löst mein Problem eventuell auch.

00:15:38: Das heißt, das Typische ist hey ich habe hier irgendeinen Business Use Case und ich möchte den lösen... ...und ich schaue nicht an den Business Use Cases wie ich den einfachst möglich lösen kann sondern ich fange damit an was irgendwie das Gehypteste Thema ist.

00:15:50: Und es ist eigentlich mich besser geworden und KI-Agenten sind auch viel einfacher zu nutzen und man merkt es nicht mehr so ganz genau.

00:15:59: also ich meine bei Gemini haben wir ... Agenten jetzt integriert in die Gemini API.

00:16:05: Das heißt, anstatt wenn du nur Gemini als Modell-Calls kannst... ... du jetzt einen Agent-Call und siehst für dich als Entnutzer genau gleich aus,... ... das kann dann Tools nutzen komplett automatisiert in seiner eigenen Computer... ...und dann wieder zu dir zurückkommen.

00:16:18: Das heisst es wird für mich als Nutzer auch viel einfacher... ...die Modelle oder die Agenten zu nutzen.

00:16:23: Und deswegen mache ich mir eventuell auch wenige Gedanken darüber,... ...sondern ich möchte nun mein Problem lösen.

00:16:28: Und natürlich ist das typische... Ich teste die zwei, drei Mal mit Geminal, mit Antikravity und anderen Agenten.

00:16:38: Die zwei oder drei Use-Cases funktionieren.

00:16:40: Ich denke mir geil!

00:16:42: Lass das so umsetzen.

00:16:44: Und dann plötzlich einige Zeit später merke ich hey... ...ich habe ganz viele Edge Cases vergessen.

00:16:49: Ich hab ganz andere Fälle.

00:16:51: Meine Nutzer von meinem Agenten... ...provide einen ganz anderen Input haben vielleicht ganz andere Dinge gedacht.

00:16:57: ... schlägt halt die Erwartungshaltung komplett fehl.

00:17:01: Also wenn ich mir da weniger vorher hier rein weiß, ... ... hey!

00:17:04: Ich habe hier diesen Input und ich erwarte diesen Output auch von dem Agenten... ... denn es ist sehr einfach das mehr oder weniger wiederzugeben.

00:17:12: Aber wenn ich nicht genau weiß was der Input ist weil jeder Nutzer ja ein bisschen anders ist,... ... kann ich nicht, weiß sich nicht genau was hinten rauskommt.

00:17:19: Und deswegen brauche ich jeweils die mir helfen das zu verstehen... ...oder auch sehr viel User Feedback und muss wirklich mit meinen Kunden reden.

00:17:27: zu sehen, ob dann das überhaupt Sinn macht was ich umgesetzt habe.

00:17:31: Mega spannend.

00:17:32: und glaubst du dass dieser Schritt weg von Workflows obwohl sie vielleicht sinnvoll wären in dem Case hin von Agent auch etwas ist weil man sagt okay mal möchte irgendwie skalieren man möchte irgendwie alle Edge Cases nicht gar keine Gedanken drüber machen weil die KI macht das schon.

00:17:49: also siehst du auch schon so eine immer fehlende Beschäftigung mit der Materie, mit dem besten und optionalsten günstigsten Weg vielleicht auch.

00:17:58: War man irgendwie zu viel Vertrauen ist falsch aber die Erwartungshaltung in den KI einfach so ist dass die Probleme gelöst werden?

00:18:08: Ich sehe das als etwas Positives muss ich sagen weil in den meisten Fällen weiß ich ganz genau vorne rein welche Tools sich benutzen muss oder welche Abfragen ich irgendwo stellen muss.

00:18:17: Also es geht vielleicht für sehr spezielle Use-Cases, wo ich dann wirklich eher auf den Workflow setzen sollte als auch von Agenten.

00:18:24: Aber umso besser KI-Modelle werden und so höher sind ja unsere Erwartungen auch daran was diese können sollen und umsetzen sollen.

00:18:31: also wenn nicht nur in meinen persönlichen Nutzen denken im Oktober habe ich einfach war ich schon happy dass das irgendwie eine zäle Kot vervollständigen kann.

00:18:38: jetzt gebe ich irgendwie Aufgaben wo ich selber eine fast ne Woche transitzen würde nun auf das erste Ergebnis zu kommen.

00:18:43: Das heißt meine Erwartung verändert sich ganz stark Und dadurch, dass sich alles so schnell verändert und meine Erwartungen so schnell wachsen, kann ich gar nicht genau definieren was der richtige Workflow ist um dieses Ziel zu erreichen.

00:18:55: Dadurch haben halt Agenten die Möglichkeit selber über Suche, Überverständnis, über dieses Resonane sich entlangzuhangeln abhängig von dem Ziel das ich denen gebe um auf das Ergebnis zu kommen.

00:19:07: Das heißt für... Alle neue use cases die aktuell interessant sind, wo sich die Leute dafür begeistern weiß ich gar nicht genau wie der weg zum ziel ist und ich vertraue oder vertrau immer mehr diesen modellen dass sie halt den richtigen weg finden das ihr ihre ergebnisse selber verifizieren.

00:19:23: Und dann mit dem Ergebnis zu mir zurückkommen was ich da noch mal natürlich anschauen kann selber feedback dazu geben und von dort aus weitergehen.

00:19:30: Und darüber hinaus ist es auch einfach viel schneller geworden, Agenten zu bauen.

00:19:34: Also wenn ich drüber nachdenken müsste dass sich irgendwie mich beschäftigen muss wie ich Datenbögen zugänge mache?

00:19:39: Wie ich irgendwelche Python Funktionen schreibe damit ich irgendwas abfragen kann zu... Ich habe meinen Agenten der hat irgendwie ein Best-Tour also er kann den Computer nutzen wie ich auch und hat ein paar Skill files.

00:19:50: da kommen wir glaube ich gleich noch zu sprechen.

00:19:52: Einfach ein paar Instruktionen, wie er Dinge nutzen kann?

00:19:55: Dann erstelle ich das innerhalb von ein paar Minuten und nicht... Ich muss mir erstmal drei Wochen darüber Gedanken machen, wie meine Infrastruktur aussieht, weil ich plötzlich einen Server dafür brauche oder so etwas.

00:20:06: Ja also ich bin auch selber kein Entwickler aber was ich mittlerweile irgendwie erstellt und schaffe ist unglaublich!

00:20:13: Und man stellt alles Digitale in Frage, weil es vielleicht besser gehen kann und man plötzlich diese Superpower hat.

00:20:19: Ich hab immer Entwickler früher beneidet Und jetzt bin ich kein Entwickler, Gott zu wählen.

00:20:23: Aber ich kann Dinge verändern digital das ist krass.

00:20:28: Was Sie auch was du gerade erwähnt hast total spannend findet dass wir immer mehr in Ziele denken, dass wir sagen wir was wollen wir eigentlich erreichen?

00:20:36: Siehst du das aus?

00:20:37: unternehmerischer technologischer Art ist natürlich ein riesengroßer Vorteil für die Menschen an sich weil das wollen wir digital erreichen.

00:20:45: Siehst du denn da auch Herausforderungen, wenn wir uns auf aktuelle Security-Themen mal anschauen, die so im Passiert sind?

00:20:54: Wo ja das Ziel klar war.

00:20:57: Der Weg dahin aber, sagen wir mal recht kritisch war und auch mit Zire Security Problemen erinnert hat was man ja gar nicht daran gedacht hat.

00:21:04: glaubst du der Weg oder dass der Weg immer noch mehr mitgedacht werden muss gerade in Zukunft?

00:21:10: also Es wird auf jeden Fall ein wichtigeres Thema, da wir einfach diese höheren Erwartungen haben.

00:21:17: Und ich glaube das typische Problem ist wenn ich einfach einen Ziel vorgebe aber keine Rahmenbedingungen für dieses Ziel sind diese Modelle mittlerweile sehr kreativ wie sie an das Ziel kommen.

00:21:28: Ich meine ich glaube jetzt ist es zwei Wochen her wo es diesen Fall mit Open AI und Huggingface gab und da war ja auch das Ziel an das Open AI-Modell.

00:21:36: es soll diesen Benchmark lösen.

00:21:39: nicht die richtigen Rahmenbedingungen, wie es diesen Benchmark lösen soll.

00:21:42: Und das Modell hat sich halt mehr oder weniger gedacht.

00:21:45: okay damit ich dieses diesen Benchemark lösen kann gehe ich einfach zu Hanging Face und holen mir die Lösungen dort.

00:21:51: Ich finde schon einen Weg wie ich sage ich mal zu Haging Face reinkommen war eventuell die falsche Rahmenbedienung.

00:21:57: Ich glaube dass ist wieder ein Wandel von wie wir halt KI-Modelle vor sechs Monaten genutzt haben oder sechs Monate Data vor weiter weggehen ein bisschen und diese diesen höheren Erwartungen haben.

00:22:09: Aber umso wichtiger ist halt, dass wir die richtigen Rahmenbedingungen geben weil Es ist ja wie für, wenn ich ganz normal jemand anderes, ein Kollege von mir, Azubi, wie auch immer.

00:22:18: Wenn ich dem eine Aufgabe gebe oder einen Ziel gebe und nicht genau definiere, wie er diese umsetzt, darf ich danach nicht irgendwie beleidigt sein, dass er irgendwelche Dinge macht die ich ihm nicht definiert habe?

00:22:28: Also wir Menschen sind ja nicht anders!

00:22:30: Ich muss...wenn ich gewisse Vorgaben hab', wenn ich gewissen Rahmenbedingungen eingehalten werden soll, sollte ich die halt auch mitgeben und KI-Mutterdessen mittlerweile sehr kreativ.

00:22:42: Deswegen ist es umso wichtiger, dass ich halt die richtigen Rahmenbedingungen schaffe beziehungsweise auch Umgebungen wo Teilweise diese Rahmenbedienungen für mich vielleicht auch mitautomatisiert werden.

00:22:51: Weil ich als individueller Entwickler oder als kann Ahnung Ich bin nur zum Beispiel Web-Entwickler und kein Security Experte dann weiß ich natürlich nicht was dies richtigen Rahmbedingungen sind Die eventuell zu Security Problemen führen können.

00:23:04: und darauf braucht man halt sag ich mal unterstützte Umgebungen, die mir dabei helfen.

00:23:09: Die richtigen Rahmenbedingungen dann auch für meine Agenten zu bereitzustellen.

00:23:14: Mega guter Punkt!

00:23:14: Ich glaube aber, dass es die ganze Welt oder diese beschäftigende Challenge ist sind ja die wachsenden Capabilities.

00:23:21: Du hast ja auch gerade gesagt Ende oder Anfang des Jahres war auch so ein Shift grade im Coding und es kommen immer neue Capabilities dazu wo man vielleicht noch gar nicht weiß das das Modell das kann und das hinkriegt.

00:23:34: Das heißt, man muss ja auch die Rahmenbedingungen immer wieder neu denken und sagen was könnte denn theoretisch das Modell vielleicht können.

00:23:40: Was ich jetzt irgendwie ausschließen muss damit es nicht genau das macht, was ich heute aber noch nicht zutraue.

00:23:45: Aber vielleicht trotzdem geht.

00:23:46: Ich glaube ist natürlich auch eine Geschwindigkeitsthematik.

00:23:51: Lass uns gerne mal über Modelle sprechen.

00:23:54: haben wir schon ein bisschen hin und her geschmissen?

00:23:56: verschiedene Modelle Und es ist ja so, wir haben jetzt eine riesengroße Auswahl an Modellen.

00:24:02: Auch bei Google habt ihr auch ein Handvoll von Modellen, immer mal wieder so ein paar Guidance was für Modelle wofür sind.

00:24:08: Ich glaube das ist noch ganz wichtig.

00:24:10: Sonst ist jeder verwirrt.

00:24:12: aber der erste Reflex natürlich Wenn man KI nutzt, auch Agenten.

00:24:18: Man guckt erst mal auf irgendwelchen Benchmark-Seiten und guckt, wer sitzt denn ganz vorne?

00:24:21: Und dann nimmt man das krasseste Modell gerade auf einen Benchmarkt, den man vielleicht noch gar nicht versteht oder nicht einschätzen kann.

00:24:26: aber die Scores sehen gut aus!

00:24:27: Da padde ich jetzt meinen Agenten rein... Ist das der richtige

00:24:30: Weg?!

00:24:33: Ich würde mal sagen, es ist kein falscher Weg.

00:24:35: Egal was ich mache, einen ersten Eindruck zu bekommen für mich in eine eigene Baseline zu erstellen, ist auf jeden Fall der richtige Weg.

00:24:42: Wenn ich die finanziellen Mitteln habe und die größt-bestmöglichsten Modelle nutzen kann zum Testen dann ist das definitiv gut!

00:24:51: Ich glaube auch Benchmarks geben den ersten groben Einblick darüber welches Modell in welchem Bereich gut ist.

00:24:59: Gemini zum Beispiel Top-Eins, was multimodal Verständnis angeht von Bildern, Videos oder Audio Generierung.

00:25:08: Claude ist aktuell sehr stark im Coding Bereich.

00:25:11: Hast du noch OpenAI?

00:25:13: Du hast jetzt mittlerweile ganz viele, sage ich mal, Openmodelle aus dem asiatischen Raum die sehr stark sind.

00:25:18: Deswegen muss ja irgendwo anfangen und deswegen das, was für mich den besten Eindruck liefert zu testen, ist kein falscher Weg aber... Ich meine, es gibt sehr viel weiter von.

00:25:29: hey ich hab's mal kurz getestet zu.

00:25:30: Hey was möchte ich überhaupt?

00:25:32: Welche Mitteln habe ich?

00:25:33: Wo hin solls gehen?

00:25:35: Das heißt gerade auch die Kosten sind wahrscheinlich auch gerade bei den Frontier-Dingern relativ krasser.

00:25:41: ausschlaggebender Punkt ob man es nutzt.

00:25:44: Jetzt haben wir ja gerade schon gesprochen dass viele lokale Modelle oder auch lokalen Nussware mit Open-Wade-Modellen, Open Source-Modele weniger.

00:25:55: Wie siehst du denn so aus deiner Brille aktuell die Entwicklung, was die Qualität angeht von offenen Modellen?

00:26:03: und dann können wir da auch auf Gamma auf jeden Fall zu sprechen kommen.

00:26:06: Und geschlossene Modellen?

00:26:07: ist das mittlerweile auf einem Level aus seiner Perspektive in den meisten Fällen oder gibt es immer noch einen

00:26:12: Gap?

00:26:14: Ich glaube es ist schwierig zu sagen was sich auf einem level was ein Level überhaupt bedeutet.

00:26:20: Also, was ich sehe ist das man sehr stark überproportioniert, was Coding aktuell angeht also dass jedes neue KI-Modell hauptsächlich auf den Coding Use Case verglichen würde und wenn mein Modell nicht das beste Coding Modeller ist dann ist es kein gutes Modell und dadurch das KI Einfluss oder Anwendung in so vielen verschiedenen Bereichen findet.

00:26:41: mittlerweile ist es glaube schwierig zu sagen welches jetzt ob Klaus Modelle gleich gut wie open modellis sind ohne sage ich mal den genauen use case an zu setzen.

00:26:50: wenn man nur sag ich mal auf sich auf die benchmarks oder nur auf die benchmark betrachte die aktuelle sage ich von verschiedenen frontier oder normalen neolabs.

00:26:58: Genutzt werden sieht man schon noch einen kleinen unterschied sage ich zwischen den open rates modeln und anderen modellen.

00:27:06: Zusätzlich ist es auch immer schwierig nachzuvollziehen, dass das was aktuell released ist.

00:27:10: Gibt's irgendwelche anderen Modelle die eventuell nicht damit released sind oder gibt's Modelle, die vielleicht noch nicht vom Benchmark getestet wurden?

00:27:18: Ist es schwierig zu vergleichen?

00:27:19: aber ich würde dich einschätzen auf den Benchmarks gibt es definitiv noch einen kleinen Unterschied, müsste mich als Anwender nicht mehr beschäftigen.

00:27:28: Also es ist nicht mehr so, dass man diesen Unterschied hat wo man sagt hey ich kann Open-Way zu Modellen nur noch für die drei Use Cases nutzen und ansonsten muss ich woanders hingehen.

00:27:36: das ist definitiv nicht mehr der Fall.

00:27:38: Ja es hat sich krass entwickelt hätte ich auch nicht mit der Geschwindigkeit gerechnet gerade aus dem austiniatischen Raum auch.

00:27:44: Und wenn du einfach mal praktischer Frage wenn du dir Modelle anschauest oder Benchmarks.

00:27:50: Das gerade gesagt Coding ist ein Punkt aber wird grad irgendwie ein bisschen zu sehr gehypt.

00:27:54: Wo guckst Du bei... Benchmark aus deiner Brille um ein Gefühl vielleicht zu kriegen, was ist da gerade so am Markt?

00:28:01: Also ich bin ein aktiver Twitter slash X-User und klar Benchmarks ist das eine.

00:28:08: Was man sich anschaut wo man es vergleichen kann, wo es hauptsächlich Kategorien gibt mit Coding, Authentic Use Cases, Multimodal Understanding und dann sage ich mal Knowledge Work oder generell Knowledge an sich.

00:28:22: Ich bin aber auch Also mir ist die Meinung von Leuten wichtig, die wirklich auch diese Modelle nutzen und es gibt auch einige, die gute Beiträge dazu verfassen.

00:28:32: So hey ich hab jetzt diesen neuen Modell getestet.

00:28:34: dafür habe ich's genutzt.

00:28:35: das habe ich gesehen.

00:28:36: bei Benchmarks liefern halt nur den ersten Eindruck und man hat mittlerweile persönliche Präferenzen schon allein was das Antworten angeht.

00:28:45: vielleicht gefällt mir ein Style mehr als der andere.

00:28:47: vielleicht sind meine Use Cases komplett anders als von jemand anderem.

00:28:50: deswegen ist es super schwer einzuschätzen ob dieses neue Modell, das Richtige für mich ist ohne es selber genutzt zu haben.

00:28:56: Und ich finde halt durch andere die ihre Erfahrungen teilen bekommt man doch einen sehr guten zusätzlichen Eindruck.

00:29:05: Manchmal ist er noch ein Misstraum bei mir irgendwie gerade bei X

00:29:10: etc.,

00:29:10: aber ich sag, ist das jetzt irgendwie einfach ein Fake?

00:29:14: oder meinen die wirklich ernst?

00:29:18: Wenn wir jetzt über Modelle sprechen, dann sprechen wir natürlich auch über eure Modelle.

00:29:22: Ihr habt Germany, das kennen wahrscheinlich die meisten, ihr habt aber auch Gamma.

00:29:28: Wofür oder warum gibt es Gamma?

00:29:34: Also Gemma ist sozusagen die Foundation Model Family mittlerweile integriert in so gut wie jeden Google Service.

00:29:41: also wenn ihr bei Google Search irgendwie was eingebt und eine AI Overview bekommt, ... in Gmail mittlerweile die neuen AI-Inboxes habt, oder auch an sich einfach nur eine Gemma hat.

00:29:53: Das ist alles Gemma?

00:29:54: Nein!

00:29:55: Und dann wie du schon gesagt hast, Gemma ist die Open-Wates-Variante dazu... Die erstellt oder das erste Mal released wurde, zwei tausend, korrigiere mich, dreiundzwanzig glaube ich.

00:30:08: Also schon sehr alt.

00:30:11: Man hat es vielleicht am ersten mitbekommen mit Gemma III und jetzt mit GemMA IV, das ist die letzte Version mit einem sehr starken und großen Fokus auf kleinere.

00:30:21: Modelle, die ich lokal ausführen kann.

00:30:23: Weil sich nicht alles in der Cloud bewegt sondern wir haben ja alle Smartphones und Computer Und KI wird am Ende nicht sein dass es ein super großes Super-Modell gibt was für alle Use Cases genutzt wird.

00:30:35: Wir haben zum einen nicht genug Computkapazität dafür Zum anderen ist es viel zu teuer.

00:30:39: Deswegen braucht man definitiv verschiedene Größen verschiedenen Varianten Und Gemma ist halt für uns sozusagen die Open-Wage Variante.

00:30:49: Alles eingesetzt werden kann, wofür Gemini nicht optimal geeignet ist.

00:30:53: Man hat ja gewisse Bereiche wo ich einfach mehr Governance brauche oder Compliance, wo ich mein Modell genau definieren muss, wo es läuft.

00:31:01: Dafür ist Gemini gut geeignete und alles was sich aktuell auf Edge-Bereich bewegt also sei es Android-Phone wir haben kurz vor Beginn der Aufnahme über die Edge Gallery geredet.

00:31:11: Super einfache App, die man runterladen kann auf iOS und Android mittlerweile wo ich direkt Gemma auf meinem Mobiltelefon auswühren kann.

00:31:18: Super einfach auf meinem Mac.

00:31:19: das heißt alles was mehr in Richtung Entwickler orientiert eigenes Fine Tuning geht.

00:31:26: es ist Gemma dann zu Hause.

00:31:29: Okay das heißt ihr wollt damit auch eine Möglichkeit geben Leuten Modell zu haben die sie selber verändern können.

00:31:37: auch formen können die auch auf anderen system arbeiten wie jetzt auf dem smartphone so weiter.

00:31:43: das war so.

00:31:43: die idee hinter jammer

00:31:45: ja

00:31:46: okay mega spann

00:31:47: ich hab

00:31:48: selber vom händi und man muss sich erstmal daran gewöhnen dass das jetzt ein lokales lm ist dass es ins internet ausmachen kann und man bekommt trotzdem eine antwort.

00:31:58: das ist schon schon crazy.

00:32:00: wie siehst du denn gerade so aus?

00:32:03: performensich?

00:32:04: wir haben gerade ja gesprochen, es gibt ja auch Open-Weights-Modelle.

00:32:07: So dann hast du irgendwie, weiß ich nicht, das Chemie K III, zwei Komma acht Trillionen glaube ich Parameter und das packt halt nicht mal eben auf dem Smartphone drauf aus vielen Gründen.

00:32:19: Wie siehst Du denn diese Device Performance aktuell schon?

00:32:25: Wo ist aus Deiner Brille?

00:32:26: sind wir schon an einem Punkt wo auf normalen Devices als Laptop oder auch Consumer Devices im General Modelle schon für einen Alltagskonsum nutzbar sind oder sind das einfach nur aktuell?

00:32:39: so ein bisschen ja ist ganz nett, aber so richtig kommen wir da nicht hin.

00:32:42: Da rede ich gar nicht über Coding.

00:32:44: Ich will gerne auf dem Handy Coden wobei es wäre auch ganz gut.

00:32:47: Aber halt einfach um den Standarduse Case die man vielleicht im Alltag hat als normaler Konsumer.

00:32:52: Sind wieder schon auf einem guten Level?

00:32:53: Ja, definitiv.

00:32:54: Also vor allem die Jammer vier eB Varianten also diesen zwei eB und vier eb was wirklich für on-device local AI gedacht ist sind so gut für ihre Größe dass ich sage mal der normale JetGBT use case wo ich einfach eine normale Frage habe irgendwas nachschlagen möchte irgendwie das research betreiben möchte der mir hilft irgendetwas fortzudefinieren geht darüber ganz stark.

00:33:19: Ich glaube, das neue Problem was wir da so ein bisschen aktueller versuchen anzugehen ist halt die Efficiency.

00:33:25: Also ich mein du hast es deshalb gesagt und du hast das getestet.

00:33:28: Das Problem ist KI-Modelle sind trotzdem sehr computeintensiv aktuell noch.

00:33:31: Das heißt wenn ich auf meinem Smartphone plötzlich einen Milliardenparameter großes Modell habe brauche ich auch irgendwo ein bisschen Strom dafür und ComputePower Und darüber wird halt sehr schnell, sehr viel Strom abgezogen von einem Smartphone.

00:33:44: Das heißt mit das ich Gemma auf meinem Smartphone uneingesteckt die ganze Zeit nutzen kann ist aktuell noch ein bisschen im Problem aber es ist weniger die Capabilities.

00:33:52: also ich nutze selber wenn ich sage ich meinem Flugzeug bin auf meinem PC die SXSWV Variante sehr viel und du kannst wirklich normalen Work Alltag oder Daily Use damit sehr gut abbilden ohne dass du halt irgendwie in die Cloud gehen musst ... andere Dinge dafür nutzen.

00:34:11: Und jetzt hast du gerade ... ... XXB und EB erzählt in der Modellabkürzung, ... ... für alle die es vielleicht noch nicht mit solchen ... ... Modell-Abkürzungen beschäftigt haben, wofür steht also?

00:34:23: XXB was ist das?

00:34:24: Und EB war glaube ich das... ... für die lokalen Gemma-Modelle.

00:34:28: Was steckt dahinter?

00:34:29: Genau!

00:34:29: Also Gemma IV ist an sich eine Model Family,... ...

00:34:32: d.h.,

00:34:33: es gibt verschiedene Varianten der GemmaIV-Modelle,... Es gibt, die größte Variante ist das Gemma vier einunddreißig B. Ist auch ein Dense-Modell in dem Fall.

00:34:45: dents steht dafür dass einfach alle Parameter in den Modell genutzt werden.

00:34:49: wenn ich dieses benutze das heißt wenn ich eine Anfrage an das Modell stelle werden alle Parameters genutst um meine Antwort zu generieren.

00:34:55: dann haben wir des Gemma four sechsenzwanzig b a vier b In dem fall also ein und dreißig b oder sechsund zwanzig Billion Parameter oder im deutschen Milliarden Parameter dann und sechsundzwanzig B A vier be.

00:35:14: sehr komplex ich weiß ist ein Mixer auf Expert Modell.

00:35:17: Und dafür steht also die sechsten zwanzig b steht für die Gesamtanzahl der Parameter Und grob gesagt kann man sagen, die vier B stehen dafür.

00:35:26: Die Anzahl, die genutzt wird wenn ich das Modell nutze.

00:35:29: Das heißt im Verhältnis zu dem Sense-Modell bei einem MOI.

00:35:33: Wenn ich eine Anfrage gestellt werde nicht alle Parameter gleichzeitig genutzen für die Anfrage sondern eine reduzierte Variante.

00:35:39: Das dazu führt dass mein Text oder meine Antwort schneller generiert werden kann aber ich trotzdem sage mal den gesamten Scope von dem Wissen mehr oder weniger mit abbilden kann.

00:35:50: fast die gleiche Performance wie bei einem Dance-Modell, aber eine viel schnellere Antwort, die generiert wird.

00:35:56: Was dazu natürlich führt dass ich meine Modelle größer machen kann und trotzdem eine relativ gute User Experience habe.

00:36:02: Und Ich hab ein MacBook Pro wo ich das SXenZwanzig B-Model nutze und es ist wirklich fünfzig Token die Sekunde, die ich ungefähr zurückbekomme.

00:36:10: Das heißt Es fühlt sich nicht langsam oder irgendwie sag' ich mal stotterisch an sondern man kann wirklich aktiv damit gut arbeiten.

00:36:18: Und das heißt, um nur auf die Modellspezifikation runterzukommen.

00:36:22: Wenn ich dann so ein Modell habe was nur ein paar Parameter anspricht oder wenn es schneller ist, dann sucht er sich quasi über den Expertenrat immer die richtigen Raust und nutzt das dann.

00:36:36: und wir können uns das vorstellen weil sonst könnte man auch sagen mach einfach ein kleines Modell ins E oder noch kleiner.

00:36:43: Sehr sehr sehr sehr einfach gesagt ja also man hat ganz viele Parameter und ich hab so einen router, wenn wir auch immer ein steuerer in dem modell der abhängig davon was reinkommt entscheidet.

00:36:55: okay wohin gehe ich für dieses token.

00:37:00: Theoretisch gesehen ist es dann doch ein bisschen anders gibt gute blog post dazu.

00:37:05: also ein kollege von mir hatten sehr guten Gemma for Anotated Blockpost gemacht, wo er wirklich mit Visualisierung in das Thema reingeht und genau erklärt.

00:37:13: Wo die Unterschiede sind, Gemma IV ist auch ein multimodal Modell.

00:37:16: Das heißt ich kann Text-Unbilder bereitstellen wie sie dann sozusagen die Bilder umgesetzt werden, dass das Modell zusätzlich zu dem Text versteht?

00:37:24: Ich weiß nicht ob wir das irgendwo mitteilen können aber es wäre sehr empfehlenswert auf jeden Fall wenn das jemand interessiert.

00:37:32: Absolut absolut man ist eine spannende thematik.

00:37:37: Wenn du so auf die Nutzung von den Gemma-Modellen guckst, was machen die Leute damit?

00:37:43: Ich glaube, neun Millionen Downloads haben die Gemma Modelle.

00:37:46: Das ist ein bisschen was.

00:37:48: Was siehst du denn auch für die Nützung?

00:37:51: Ist das alles, dass die Leute sagen, ich möchte einfach nur Lobgesprochen Geld sparen?

00:37:55: Ist es wirklich was, wo viel regulatorisch eine Rolle spielt oder andere Challenges?

00:38:01: Wofür wird Gemma genutzt?

00:38:03: Also... Krupp gesagt, man kann es wirklich überall mittlerweile sehen.

00:38:07: Also ich kenne ganz viele wo ich auch Feedback erhalte die Jammer wirklich ... lokal auf ihrem Mac einfach nutzen, um normale Anfragen zu stellen.

00:38:15: Um normales Daily-Doing mehr oder weniger.

00:38:18: Wir sehen Leute die damit wirklich coden... ...oder sehr einfache Dinge mehr oder menos mit Umsetzen coden.

00:38:23: Dadurch dass es ein Open Weights Modell ist kann ich's auch fine tun.

00:38:25: Das heißt ich kann sozusagen verbessern für den Use Case den ich habe hier vor allem wenn man halt im Corporate unterwegs ist.. ..oder in speziellen Domänen wie Medizin und Biologie das sich halt einfach... Obwohl das Modell auf sehr vielen Daten trainiert würde, ist halt auch immer schwieriger wenn ich in den Nischendomänen habe.

00:38:42: Dass sich es einfach selbstständig für diese Bereiche verbessern kann.

00:38:45: Wir haben auch Partnerschaften vor allem im asiatischen Bereich, wo diese dann Cema für ihre jeweilige Sprache oder mehreren Sprachen einfach weiter trainieren und dadurch dann besser werden noch zusätzlich.

00:38:58: Und ja also man sieht's überall mittlerweile.

00:39:04: Dadurch dass es halt auch ein kleines Einfaches Modell, das ich überall testen und nutzen kann.

00:39:09: Das ist auch sehr, sehr einsteigerfreundlich.

00:39:11: also wir haben sogenannte Jupiter Notebooks wo ich einfach in meinem Browser das aufmachen kann.

00:39:18: Da sind halt ein Python Code und da kann ich das Modell für mich sehr einfach fein tun ohne dass sich irgendwie groß Maschinen-Learning Verständnis haben muss und es ist halt eine sehr gute Weg überhaupt nicht die Thematik reinzukommen.

00:39:30: Natürlich ist es halt nicht irgendwie das Modell, dass ich dann in der Gemini-App irgendwie nutze.

00:39:34: aber man kriegt ein Gefühl dafür und man sieht erste Erfolge wie ich sein plötzlich fine tunen kann, dass es irgendwelche spezielle Gedichte generiert oder spezielle Antworten für mich macht oder irgendwas klassifizieren kann was schon sehr cool und hilfreich vor allem ist.

00:39:49: Mega cool!

00:39:49: Und direkt zwei Fragen.

00:39:51: auf der einen Seite Fine Tuning vs.

00:39:53: größere Modelle.

00:39:55: Man hört immer mal wieder ... von Unternehmen, die sagen ja ich feintune das jetzt.

00:40:01: Online gibts in der selben Unternehmung dann irgendwie ... ... lasst uns einfach ein großes Modell nutzen... ... wo sagst du macht es Sinn sich das Fein-Tuning anzuschauen?

00:40:11: Aber was für eine Datenmenge?

00:40:12: vielleicht auch weil so weiß nicht ... ... fünfzehn Google Docs rein zu packen und sage ich fein tun das jetzt wahrscheinlich nicht so relevantes.

00:40:20: Was ist da für dich so die Einordnung wenn dich ein Unternehmen darüber Gedanken macht?

00:40:25: Ich glaube, was man sagen kann ist das Thema Fine Tuning in dem ganzen Lifecycle von der AI Anwendungen weiter nach hinten gerutscht.

00:40:33: Also bis vor ein, zwei Jahren war ja der normale Use Case wenn ich irgendwas gemacht habe mit KI Modellen und ich muss diese irgendwie erst mal trainieren bevor ich sie nutzen kann weil die einfach noch nicht generell gut genug dafür waren.

00:40:45: Und mittlerweile, wie du es ja gesagt hast, haben wir sehr gute, sehr große generalisierte Modelle dazu zählt Gemini die ich einfach nutzen kann für einen speziellen Use Case und das funktioniert meistens.

00:40:56: Was sich für einen sehr guten Schritt halte weil Fine Tune ist trotzdem noch ein bisschen eine schwierige Thematik vor allem wenn ich halt nicht nur zum Spaß irgendwie mache sondern ich brauche definitiv irgendwelche E-Wahls d.h.

00:41:08: Ich muss irgendwie feststellen können was ich hier mach.

00:41:11: verbessert das mein Modell?

00:41:12: schadet das mein Model?

00:41:14: Schade, dass vielleicht mein Modell in Bereichen die ich gar nicht möchte.

00:41:18: Das große Thema ist halt wenn ich meinen Modell auf eine spezielle Aufgabe findune, dann kann es sein, dass automatisch andere Aufgaben dadurch schlechter werden.

00:41:26: Ich hätte gerne irgendwie ein Modell was sehr gut für die Klassifizierung von Kundenanfragen ist.

00:41:33: Dann kann ich das natürlich sehr gut darauf trainieren und das ist ein super Use Case.

00:41:37: Ich kann wahrscheinlich auch ein kleineres Modell trainieren, dann dadurch Kosten sparen.

00:41:40: Aber wenn ich das gleiche Modell halt noch für irgendwie Kunden Antwort-Generierung einsetzen möchte, dann wird es halt schwierig.

00:41:47: Weil das halt zwei komplette verschiedene Use Cases sind.

00:41:49: Deswegen muss sich halt schon wirklich grob eingrenzen können.

00:41:52: was möchte ich wirklich umsetzen?

00:41:54: und meistens ist der erste Schritt dich nutzen ein Foundation Modell wie Geminal... ...um wieder diese Baseline zu schaffen.

00:41:59: ok wo stehe ich ungefähr?

00:42:01: Und dann kann ich jetzt ganz normal wie bei anderen Software-Underwendungen auch erstmal runter rechnen die Genauigkeit gut genug.

00:42:10: Was kostet es mich, lohnt es sich oder nicht?

00:42:13: Und je nachdem kann ich Entscheidungen treffen.

00:42:14: Okay, möchte ich mehr in das Fine-Tuning investieren... ...oder kann ich einfach natürlich den Use Case weiter machen.

00:42:21: Aber es gibt auch Use Cases wo die Nutzung von diesen großen Modellen ja gar nicht möglich ist.

00:42:25: Im Medical Bereich ist ein gutes Beispiel dass meine Daten eventuell gar nicht mein Server verlassen können.

00:42:31: und da ist halt Gemma natürlich ein super Use Case.

00:42:34: Und da kann ich trotzdem heutzutage auch mit den fertigen Gemma-Modellen erstmal anfangen und schauen, was ist meine Baseline?

00:42:39: Wie gut funktioniert das.

00:42:41: Wenn ich dann sehe, hey, ich würde es gerne verbessern oder ich habe die Expertise bei mir im Haus oder ich kenne jemanden der wieder behelfen kann, dann kann ich natürlich das Thema Feintuning anschauen.

00:42:50: Kann man das irgendwie beziffern?

00:42:52: Ich glaube, das ist ein falscher Wort aber irgendwie greifvermachen ab, Menge an Daten lohnt sich überhaupt so im Feintuning, weil du hast jetzt gerade den Bereich Kundensegment oder Feedback bekommen.

00:43:05: Ich kann natürlich auch normalen nicht gefein-tuned Jemmermodell sagen, guck mal hier segmentiert das mal durch und da gibt immer Feedback dazu.

00:43:13: Wo sagst du macht es überhaupt Sinn darüber nachzudenken?

00:43:18: ist eine sehr schwierige Frage und ich glaube es gibt mittlerweile keine richtige Antwort dafür.

00:43:23: Man hat ja zusätzlich zum Feintuning, nicht Feintuning in Context Learning.

00:43:27: das heißt einfach wenn ich bevor das Modell die Antwort generiert gebe ich ihm Beispiele mit wie die Antwort ungefähr aussehen kann dann lernt er sozusagen ohne Feintooning mehr oder weniger was mir wichtig ist.

00:43:39: oder wenn ich Instruktionen mitgebe bei der Antwort schreiben von irgendwelchen Kunden spezifischen Dingen oder bei der Klassifizierung, dann kann ich halt Rubrics also mehr oder weniger Bewertungskriterien mitgeben.

00:43:50: Worauf das Modell achten soll und dann halt schauen wie es klassifiziert.

00:43:54: Das heißt man kann super schwer sagen okay Ich habe hunderttausend Datensätze.

00:43:58: jetzt fein tun nicht mein Modell Dann bin ich besser.

00:44:01: Und zusätzlich hat man ja auch die Thematik dass wir aktuell so schnell Fortschritt machen Dass es oftmals vielleicht finanziell gar nicht das Richtige ist.

00:44:09: weil wir sehen Gemini drei Punkt sechs Flash war vor ich weiß es nicht genau zwei, drei Wochen.

00:44:18: Gemini three Punkt fünf Flash war sozusagen kurze Zeit davor.

00:44:22: das heißt wir bewegen uns wirklich in dem Bereich wo man innerhalb von Monaten neue Modelle mittlerweile hat die natürlich wieder besser sind als die Vorgänger.

00:44:30: das heißt wenn ... mir überlege, ein Modell zu fine-tune ist nicht eine Sache von dem Nachmittag.

00:44:36: Sondern ich habe mehrere Eterrationen... Ich muss Evaluierung erstellen und ich brauche Computer-Resourcen.

00:44:41: Das kann sein!

00:44:42: Die Zeit die ich dafür investiere um ein Modelle zu fine tune könnte eventuell verschenkte Zeit sein weil bis da ein neues Modell draußen ist was besser ist.

00:44:50: Und ich hätte die Zeit besser investieren können in halt einfach das Verbesser meiner Anwendung.

00:44:55: Deswegen Fine-Tuning Use Cases sind dann gut, wenn ich weiß.

00:44:58: Ich habe einen festen Use Case der sich nicht über die nächsten paar Monate ja eventuell verändert wo ich sehr viel Kontrolle hab und auch sehr hohe, sag' ich mal Durchlaufvolumen, wo ich wirklich mit Effizienz rangehen kann.

00:45:13: Also gerade die Geschwindigkeit ist halt schwierig.

00:45:15: Dann setzt man dich ran hat irgendwie ein Fine-tuning Prozess durch und dann kommt irgendwie so ein Modell nix.

00:45:20: Ja toll!

00:45:22: Ich war auch sparen können.

00:45:23: Ja, das ist natürlich krass.

00:45:24: Wir haben es gerade angesprochen auch die Gemini Geschwindigkeit.

00:45:29: ihr schippt ja auch ordentlich nicht nur Features und Modelle und kommen noch fast gar nicht mehr daher.

00:45:35: Das gerade wir haben beide so ein bisschen hergesprungen mit den Wörtern Open Source, Open Weight.

00:45:41: Kannst du das nochmal ganz kurz einsortieren?

00:45:44: Weil ich finde ganz oft ist halt ein Modellistar des Open Source.

00:45:49: Ist das so?

00:45:50: oder was haben wir meistens bei dem Modellen?

00:45:52: Also ist Gemma Open Source?

00:45:54: Nein, also sehr guter Punkt.

00:45:56: Ich finde es sehr gut dass das angesprochen wird weil existieren doch sehr viele.

00:46:00: man verspricht sich sage ich mal sehr schnell.

00:46:02: Es gibt einen klaren Unterschied zwischen open weights und open source.

00:46:06: Open source ist ein vordefiniter Begriff aus der Softwareentwicklung.

00:46:09: es gibt konkrete open-source Lizenzen Und open weights ist mehr oder weniger nur die Bereitstellung von dem Modell wie ich das nutzen kann unter einer gewissen Lizenz.

00:46:25: Also die muss nicht mal ein Open Source-Lizenz sein und damit ein open weights Modell, open source ist müsste es auch den Trainingscode mit veröffentlichten das Trainingsdatenset und alles was mehr oder weniger dazugehört um dieses komplette Modell von der anderen Seite aus rekonstruieren zu können.

00:46:44: Und ich würde sagen neunundneinzig Prozent aller open weights.

00:46:48: modelle die wir sehen sind nicht open source.

00:46:51: Gemma zum Beispiel hat eine Open Source Lizenz mit Apache, zwei Punkt Null.

00:46:55: Aber andere Modelle haben eine angepasste Lizenz.

00:47:01: die Wades werden zwar trotzdem veröffentlicht.

00:47:03: ich kann sie für kommerzielle oder nicht kommerziellen Zwecke nutzen.

00:47:06: das kommt dann ganz oft die Lizenz darauf an.

00:47:08: aber diese Modelle sind nicht open source.

00:47:11: Mehr gut, ich glaube es ist total wichtig dass man irgendwie einen Kontext zu setzen.

00:47:14: und was ist ein Gewicht an Wade?

00:47:19: Wie kann man das so bisschen greifbarer machen?

00:47:22: An sich, wenn wir von weights sprechen.

00:47:24: Sprechen wir von files also einfach Dateien.

00:47:28: die sind ein binär Format bzw in einer enddimensionalen Matrix am Ende dargestellt und haben nur Zahlen in sich.

00:47:40: Okay, das heißt einfach nur Details wie auch mit Daten umgegangen wird in den Modell.

00:47:44: Ja genau also um ein Modell zu nutzen zu können habe ich zum einen die Architektur und zum anderen die weights Und die Architektur gibt sage ich mal sehr sehr einfach gesprochen vor Wie eingabe durch das modell läuft und welche Berechnungen an welcher stelle durchgeführt werden.

00:48:02: Und je nachdem habe ich in der Architektur verschiedene Punkte, wo ich diese Zahlen hab und die Zahlen werden einfach separat als weights mehr oder weniger gespeichert.

00:48:13: Okay.

00:48:14: Ja gut.

00:48:15: Vielen vielen Dank dafür für die Einordnung.

00:48:17: Ich glaub es auch mal, weil man schmeißt da immer herum die weights und so.

00:48:20: aber das wissen wir eigentlich.

00:48:23: Miracool!

00:48:24: Lass uns nochmal über ein anderes Thema sprechen Über über Skills und wir haben mit zwei Agenten gesprochen, und Agenten habe ich gehört auch in Skills.

00:48:35: Was sind denn diese Skills bei Agenten oder bei KI System?

00:48:41: Skills an sich?

00:48:42: als erstes sind einfach nur Ordner mit verschiedenen Text-Dateien in sich.

00:48:50: Mit einem speziellen File das ist meistens skill.md.

00:48:55: dieses Skillfile hatten eine spezielle Formatierung am Anfang mit einem kurzen Namen und einer Beschreibung, dann einfach nur Text in sich.

00:49:04: Der Gedanke hinter Skills ist mehr oder weniger dass ich Modellen zusätzlich Instruktionen geben kann die aber nicht immer verfügbar sind.

00:49:13: also das große Thema bei KI-Modellen oder LLMs ist ja man hat einen gewissen Kontext und der Kontext wenn er voll ist dann kann ich halt nicht mehr weitermachen.

00:49:22: Und der Kontext ist normalerweise nie genug, weil wenn ich irgendwie ... Ich möchte gern irgendwas ... Er soll irgendetwas bauen für mich und dann hätte ich ... Möchte ich am liebsten einen Kontext bereitstellen von jeder möglichen Library die er nutzen soll damit er genau weiß was er tun soll.

00:49:35: Das funktioniert ja oftmals nicht.

00:49:38: Der große Gedanke hinter den Skills war das Konzept Hinter Progressive Disclosure.

00:49:44: D.h.,

00:49:44: das Modell entscheidet für sich wann es zusätzliche Informationen braucht um etwas zu lösen.

00:49:50: Deshalb habe ich in meinen Skills ganz oben den Namen und die Beschreibung.

00:49:55: Der Name ist nur ein Wort, sag ich jetzt mal.

00:49:58: Die Beschreibungen sind ein Satz.

00:49:59: Und diese werden dem Modell bei jeder Anfrage zur Verfügung gestellt.

00:50:03: Das heißt wenn ich zehn Skills habe von irgendwie wie ich Google Docs nutze zu wie ich auf Google irgendwas suchen kann, hatte das Modell immer diese zehn Beschreibungs.

00:50:13: Und je nachdem, was für eine Anfrage der User dann stellt, entscheidet das Modell.

00:50:17: Hey!

00:50:18: Damit ich das lösen kann sollte ich eventuell mir diesen Skill genauer anschauen.

00:50:22: Dann liest es das File ganz normal von dem lokalen Filesystem und dann hat es die zusätzliche Informationen.

00:50:29: Diese Informationen können alles sein.

00:50:32: Ich bevorzuge in zwei Kategorien von Skills zu unterscheiden.

00:50:35: Das Eine sind Capabilities Also Dinge, die das Modelle ohne die zusätzlichen Instruktion nicht immer erfolgreich umsetzt und das andere sind Präferenzen.

00:50:48: Das heißt, wenn ich als Team oder als Indoor-Entwickler eine konkrete Vorstellung darüber habe wie dieses Modell etwas umsetzen soll also wenn ich irgendwie ... kann ich zum Beispiel einen Skill stellen, der genau dem Modell definiert.

00:51:01: Okay, jedes Mal bevor du irgendwie ein Pool-Requester stellst oder irgendwas erkommitte ist dann lass immer den Formatierungsprozess laufen.

00:51:09: schau immer genau in dieses File und dokumentiere irgendwie was du machst.

00:51:12: das könnte zum Beispiel in Skills sein aber der ist mehr auf mein persönlichen Workflow abgestimmt als dass es irgendetwas Neues gibt.

00:51:18: Und die Capability Skills sind einfach Dinge die das Modell aktuell nicht immer umsetzen können.

00:51:23: also Ein anderes Beispiel wäre, ich möchte gern was auf Google Cloud deployen.

00:51:28: und warum auch immer wurde ein neues Feature Release.

00:51:31: Das Modell weiß nichts darüber.

00:51:33: kann ich einen Skill erstellen, das Modell mehr oder weniger die Instruktion enthält wie dieses neue Feature nutzen kann und so kann das Modelle diesen Skill nutzen um sich selber weiterzubilden wie ich dann den neuen Service oder das Feature umsetzen kann.

00:51:49: Super super geil!

00:51:50: Ich liebe Skills weil es einfach nicht mehr diese sich muss irgendwo hingehen, um irgendeine Aufgabe zu machen in irgendeinem System sondern einfach das KI-System die Fähigkeit hat.

00:52:01: Wenn das jetzt mit den Skills adaptiert wird und ich meine das machen mittlerweile ja alle Laufpil irgendwann in Gefahr von so Skill Loops dass der eine Skill sagt Ich mache jetzt das aber irgendwie steht im Skill drin Nee doch nicht.

00:52:14: Und dann wird nochmal ein dritter Skill und dann quasi Loop of Death auf Skills.

00:52:22: Ich würde es mehr unter dem Thema Instruction following, also Instruktionsverfolgung.

00:52:29: Also das Modell hat eine gewisse Kapazität wie viele Instruktionen es folgen kann.

00:52:36: in einem Kontext mittlerweile bewegen wir uns sage ich mal so zwei drei hundert Instruktion Bereich

00:52:42: d.h.,

00:52:43: Umso mehr ich dem Modell sage, hey bitte wenn das kommt mach x hier das.

00:52:47: Das heißt, wenn ich konträre Skills hätte habe ich natürlich auch kontrere Instruktionen die dann nicht mehr dafür reagieren können was das Modell macht.

00:52:58: Das heisst in fünfzehn Versuche macht es vielleicht etwas im Skill eins beschrieben ist und den anderen fünfzehnt versuchen macht das halt was im Skill zwei beschrieben isst.

00:53:06: Ich kann natürlich zu... dass dann zu schlechteren Ergebnissen führen Wenn ich Skills hab Konträre Informationen enthalten oder verschiedene Anweisungen, die sich so ein bisschen gegenseitig aushebeln und das Modell entscheidet dann halt je nachdem was es in dem Moment für richtig entscheidet.

00:53:23: Okay gut da werden wir wahrscheinlich hin und wieder mal hinkommen weil ich auch manchmal so das Gefühl manchmal hebelt sich der eine mit einem anderen irgendwie aus.

00:53:34: Und hast du, wenn wir jetzt Zuhörer und Zuhörende haben die sagen ich brauche Skilte.

00:53:39: Ich habe so ein Case.

00:53:40: Ich hab eine Präferenz für mich.

00:53:42: Wie geht man dann sowas ran?

00:53:44: Also natürlich kann man mit KI auch so Skills bauen keine Frage, das unterstützt ja mehr oder weniger alle.

00:53:50: aber wenn man sagt man möchte strukturell rangehen um vielleicht auch einen Preferenceskill zu bauen was ist aus deiner Meinung noch wichtig wenn ich mir so ein Skill baue?

00:54:00: Ich glaube zum eines ist es wichtig wann oder wie ich diesen Skill Trigger, also zusätzlich zu Skills an sich sind ja nur Text files.

00:54:08: Das heißt am Ende könnte ich was in einem Skill steht auch mitten mein Inputfeld kopieren und dann wenn ich meinen Prompt ausführe die Instruktion damit geben.

00:54:17: Und bei Skills unterscheidet man so ähnlich wie bei Tools in zwei Kategorien.

00:54:22: Skills können zum einen Model getriggert werden das heisst wenn das KI-Modell Server entscheidet hey ich sollte diesen Skill lesen um die Aufgabe lösen zu können oder dann User Getrigger.

00:54:33: Das heißt, ich als Nutzer möchte für diese Aufgabe das mein KI-Modell irgendwie mein Design Guide als erstes Lied.

00:54:42: Je nachdem was für ein Skill ich habe.

00:54:45: es ist natürlich wichtiger wie viel Zeit ich investiere um die Umsetzung.

00:54:49: zu dem Skill.

00:54:50: Es klappt generell erstmal nicht schlecht wenn ich zusammen mit einer KI in skill schreibe aber da wäre ich immer vorsichtig mit hey!

00:54:59: Nicht einfach bitte erstellen wir einen Skill für das und dass.

00:55:01: Man kriegt zwar ein Ergebnis, aber man weiß auch das generierte Text bei KI-Modellen oftmals sehr viele Dinge enthält die irgendwie nicht mit rein sollten oder er das falsch interpretiert.

00:55:11: Da ich nutze dann einen sehr coolen Skill der nennt sich KrillMe.

00:55:15: Das heißt, man gibt am Anfang mehr oder weniger eine Art Anforderung oder eine Anfrage was ich umsetzen möchte und das Modell interviewt ein zu diesem Thema und generiert am Ende mehr oder wenigen Reporters raus.

00:55:25: Das heisst mir werden Fragen gestellt ... damit das Modell genau versteht, was ich eigentlich möchte.

00:55:31: Weil oftmals ist man vielleicht nicht genau genug wenn man das beschreibt oder... ...man vergisst oder lässt Themen aus und das ist für mich ein sehr guter erster Schritt in die Richtung, die ich gehen möchte.

00:55:41: Und dann natürlich brauche ich je nachdem wo ich den Skill einsetze, wenn es irgendwie sage ich mal persönliche Skills jetzt die man nur selber nutzt,... ...dann sind I-Vals vielleicht nicht so ganz wichtig.

00:55:50: aber wenn es ein Thema ist, was sich in meinem Team teilen möchte oder auch eventuell in einen KI Agenten kommt der dann... Nutzer hat und die Nutzer nicht wissen, dass Skill existiert.

00:56:00: Dann sind E-Vals natürlich super wichtig!

00:56:02: Und da kann ich anfangen von zehn bis fünfzehn Use Cases, die ich erstmal teste.

00:56:06: Okay nutzt mein Modell den Skill, kommt das richtige Ergebnis raus... ...und dann natürlich muss ich mich auch damit beschäftigen was in meinen Skills sollt und was nicht weil jedes mal wenn ein Modell einen Skill liest werden die Tokens oder der Inhalt teil des Kontextes.

00:56:21: Das heißt ich bezahle auch dafür.

00:56:22: Das heisst umso größer mein Skill Und umso mehr unnötige Informationen hat, bezahle ich am Ende dafür und habe keinen Mehrwert.

00:56:30: Jetzt haben wir ja gesehen dass die Modelle auch besser werden Ziele zu verfolgen und vielleicht auch gar nicht mehr so den Weg dahin brauchen.

00:56:37: Vielleicht auch gar nie mehr so viele Beispiele.

00:56:39: da gab es auch eine Reduktion von der Cloud Code Bars um achtzig Prozent der Token im System Prompt laut offizieller Ansage.

00:56:50: Wie würdest du bei einem Skillverfahren, wenn es um Beispiele geht?

00:56:53: Würdest du mit den aktuellen Frontier-Modellen vielleicht auch sagen so hey.

00:56:57: Vielleicht nicht so viele Beispiete sonst schränkt man das Modell ein bisschen ein und ist natürlich je mehr Beispiele wie du gerade gesagt hast fließt alles in Kontextfenster rein.

00:57:07: Man zahlt dafür und das Fenster ist irgendwann voll.

00:57:10: Wie gehst Du mit so so Thematiken um?

00:57:13: Und man macht eigentlich ein relevanter Kontext.

00:57:15: Also ich hab keine Beispiele jetzt, sag' ich mal mehr in irgendwelchen Skills.

00:57:18: also wenn man das irgendwie braucht dann kann man halt zusätzlich zu den Skills wie so Art Referenzen erstellen die dann gegebenfalls gelesen werden können oder nicht sondern Ich versuch mehr... Also ein Beispiel würde ja auch erstellt anhand von gewissen Anforderungen oder Präferenzen und ich versuche diese Anforderung präferenz zu definieren wie etwas umgesetzt werden soll als genau eine Möglichkeit zu geben, weil diese Möglichkeit ist ja immer mehr oder weniger ein bisschen eingeschränkt in dem Scope.

00:57:48: Wenn ich keine Ahnung irgendwelche E-Mails schreibe und dann zwei Beispiele reinpasst, dann weiß ich ganz genau dass die vierzig nächsten E-mails, die ich generiere oder schreiben las exakt genau gleich aussehen wie die zwei.

00:57:58: Das heißt wenn ich eher Anforderungen gebe an das Modell worauf geachtet werden soll ... gibt man viel mehr kreative Freiräume, sag ich mal.

00:58:05: Wie das Modell zu dem Ergebnis kommen kann?

00:58:07: Was sind meinen persönlichen Tests so?

00:58:09: bessere Ergebnisse sind führt?

00:58:12: Und warum hat sich das aus deiner Brille verschoben?

00:58:15: Weil wenn ich früher oder vor zwei Jahren... ...das Thema Prompt Engineering und so weiter dachte, war ja irgendwie ein Credo.

00:58:21: immer ganz viele Beispiele oder auf jeden Fall Beispelerein, sonst wird's nix!

00:58:25: Warum hat sie das

00:58:25: verschoben?!

00:58:27: Ich glaube es ist einfach durch die besseren Modelle entstanden und dadurch dass halt Modelle versuchen selbstständig sich diesen Kontext aufzubauen, um auf das Ergebnis zu kommen und mehr durch die Beispiele zu fixiert werden wie es aussehen soll.

00:58:43: Und man dann halt mehr diese Muster wiedergibt als die richtige Lösung erzählt.

00:58:50: Ja super praktisch glaube ich auch einfach in der Nutzung.

00:58:55: Ich kenne selber seine eigene Nutzungen.

00:58:56: Es gibt ganz oft Wege, die man gar nicht so gesehen hat, um das Ziel zu erreichen und man denkt sie ist krass!

00:59:02: habe ich gar nicht reingedacht, hätte ich das Beispiel so nicht mitgeben können.

00:59:08: Lass uns noch mal über ein Thema sprechen was du jetzt glaube ich drei viermal erwähnt hast.

00:59:12: Was aber glaube ich für viele auch einen Fragezeichen ist und vielleicht etwas was was gar nicht gemacht wird und zwar IWALS.

00:59:21: Was sind IWARLS?

00:59:23: Und warum sollte ich mich überhaupt damit beschäftigen und wer?

00:59:29: Also IWAS oder Evaluierungen steht da nicht mehr oder weniger dafür, dass ich versuche mein Modell, meinen Agenten für einen speziellen Use Case zu testen um sicherzustellen das er halt so funktioniert und Dinge umsetzt wie ich es erwarte.

00:59:44: Gerade vielleicht bei dem Skills Thema oder auch bei Agenten an sich ist es mittlerweile so einfach geworden diese zu erstellen und dann auch zu nutzen Und die meisten von uns erstellen es, nutzen es.

00:59:58: Lassen testen ein zwei Proms und das Ergebnis sieht irgendwie gut aus für die zwei Prom's, die ich teste.

01:00:04: Wenn man denkt sich okay passt schon nutze ich so.

01:00:07: In den meisten Fällen sind halt die ein zwei Eingaben nicht irgendwie was dann des komplette Sprektum mehr oder weniger widerspielt.

01:00:16: Dann verliehe ich irgendwann den Kontext dazu.

01:00:19: ist das Modell der Sichtnutze der Grund warum die Ergebnisse nicht so sind, wie ich es gerne hätte.

01:00:25: Sind das die Tools, die ich mein Modell gebe?

01:00:28: Sind sie vielleicht schlecht geben, die mir nicht den Kontext, den ich benötige?

01:00:33: Sind es die Skills, die zusätzlich gelesen werden?

01:00:36: Das heißt... Ich habe viel mehr verschiedene Variablen mittlerweile zwischen meinem Input und meinem Outputs sind Und wenn ich die nicht messen kann, dann kann ich nicht verstehen und meinen Use Case verbessern.

01:00:46: Das heißt, es ist wie bei allen Themen ich muss Dinge messen können.

01:00:50: nur dann kann ich mich irgendwie verbessern Und es wird gefühlt immer schwieriger Dinge zu messen weil ich verschiedene Variablen habe.

01:00:58: aber es wird auch umso wichtiger.

01:01:00: Nur der Einstieg ist halt oftmals so ein bisschen versteckt Weil mit sehr wenig Aufwand hab' ich schon einen relativ gutes Ergebnis für die Use Cases die ich teste.

01:01:10: Aber sobald ich denn anfangen meine Agenten zu skalieren oder meine Input sich verschieben, andere Nutzer haben.

01:01:16: Dann weiß ich nicht mehr genau was funktioniert weil jeder hat ja doch irgendwie gewisse Präferenzen.

01:01:22: und wenn ich immer nur mein Use Case teste aber meinen Kollege komplett anders prompted einen kompletten anderen Input bereitstellt weiß ich nichts mehr was der Agent gemacht.

01:01:32: Und wenn du selber mit ihr als arbeitest, was für ein scope kann es dir so vorstellen?

01:01:35: Also ich habe gerade gesagt dein case und der vom Kollegen sind zwei cases wahrscheinlich zu wenig um irgendwie einen skill oder nagenen zu testen.

01:01:46: Wenn du selber damit arbeite wie viele cases testest du so durch?

01:01:50: hast eine hausummer für dich wo du sagst ja da hab ich irgendwie ein gutes gefühl dabei bei dem iwa Wie ist es da vor oder wie kann man damit starten?

01:01:58: Ich glaube, das kommt ganz darauf an.

01:02:00: Wofür ich bau und was sich bau.

01:02:01: als wenn ich wirklich für mich zu Automatisierungen, KI-Agenten baue dann bin ich ja der einzige Nutzer.

01:02:08: Dann muss ich ja nur schauen dass es für mich oder meine Erwartung entspricht.

01:02:11: Das heißt, da ist das Thema jeweils wahrscheinlich eher sekundär wichtig.

01:02:16: weil ich das sage ich mal viel nutze, viel selbst erfahre und erkenne was die Ergebnisse sind muss ich irgendwie etwas anfassen.

01:02:23: aber sobald ich anfange Dinge zugänglich machen, sei es Skills, Tools, Agenten zu... für andere.

01:02:30: Können externe Kunden interne Kunden können Kollegen sein weiß ich ja oftmals nicht wie die das nutzen und dann geht's natürlich darum okay wofür baue ich diesen Agenten oder diesen Skill?

01:02:42: was möchte ich damit erreichen?

01:02:43: Und dann kann man immer erstmal klein anfangen.

01:02:45: also wenn ich für ein skill reichen zehn bis fünfzehn prompt sage ich mal erst mal zum testen ob es funktioniert am besten irgendwelche fünf prompts die meine erwartung erfüllen das heißt der skill sollte genutzt werden um etwas umzusetzen.

01:02:58: dann definitiv fünf negative prompts was sehr oft vergessen wird.

01:03:01: das heißt wenn ich mein skill definiere und es steht irgendwie drin nutze dass für jede klische softwareentwicklung.

01:03:08: Und ich nutze es dann weil ich react entwickler bin für meinen input hey helft mir die react abzubauen.

01:03:14: cool funktioniert.

01:03:16: Der nächste ist aber Engula-Entwickler, macht seinen Prom.

01:03:19: Das KI-Modell denkt hey es eine Softwareentwicklungsfrage.

01:03:21: ich lese den Skill, der Skill hat irgendwelche Informationen zu Reakt dann das ist Ergebnis für den komplett anders.

01:03:27: Das heißt ich baue definitiv auch sage mal diese negativen Beispiele einfach sicherzustellen dass mein skill nicht genutzt wird wenn er nicht genutset werden soll.

01:03:34: und dann einfach sage ich mir ein bisschen variieren.

01:03:36: aber ich muss auch dazu sagen es ist sehr viel einfacher geworden weil ich halt auch diese Modelle nutzen kann ... die mir helfen dabei diese Use Cases zu erstellen, über diese Use Case nachzudenken.

01:03:46: Und dann kann ich relativ einfach so eine Art kleine Pipeline bauen... ...die halt mehr als nur einen Mein-UseCase testet sondern erstmal zehn, fünfzehn andere.

01:03:54: und da merkt man schon relativ schnell okay bewege ich mich in die richtige Richtung oder eher in die falsche Richtung?

01:03:59: Und natürlich umso größer der Scope wird, umso wichtiger ist dass ich dedizierte Benchmarks habe oder Evaluierungen kann sein von Kundenbeispielen.

01:04:08: Wenn ich wie bei meinem Customer Support Agent bleibe dann ist es natürlich praktisch wenn ich alte Kunden Beantwortung irgendwie dazu ziehen könnte oder andere echte Daten hätte die ich dir vernutzen kann.

01:04:21: man kann immer synthetische Daten generieren und dann brauche ja trotzdem Domäne Experten die da bei mir helfen können um sicherzustellen okay macht das Sinn?

01:04:29: Oder nicht?

01:04:30: Und bis zu welchem Grad kann Eval auch komplett von KI übernommen werden?

01:04:36: Und was gerade gesagt Domain-Experten wahrscheinlich noch um vielleicht einen ersten Info zu geben.

01:04:40: Aber theoretisch kann auf viel auch einfach KI Testen oder?

01:04:44: Ich glaube, dass es so komplett hands off funktioniert das sind wir noch nicht.

01:04:51: ich glaube ist es mehr so wie bei allen Themen kollaborativ.

01:04:54: Also ich kann gemeinsam viel mehr erreichen als das Modell alleine oder als ich alleine.

01:05:02: Weil ich einfach viel schneller bin, viel schneller Dinge gegen testen kann und erst einen Einblick darauf werfen.

01:05:07: aber dass wir das komplett automatisiert haben habe ich jetzt noch nicht gesehen.

01:05:11: Mal gucken wo wir im halben Jahr sind!

01:05:15: Ist ja so schnell.

01:05:16: Mega spannendes Thema und fairerweise auch bei mir etwas was einfach zu wenig gemacht wird, weil kostet ja Zeit.

01:05:22: man möchte produktiv sein und irgendwie sieht der Output schon ganz gut aus.

01:05:25: Teil das beim Team, was soll es schon passieren?

01:05:28: Ich schreibe hier mal auf die Virtuelle Doduliste Auch mal die Skills ein bisschen durchtesten.

01:05:34: Mehr.

01:05:34: guter Tipp

01:05:35: Ja und ich glaube was viele vielleicht vergessen noch ganz kurz dazu Am Anfang ich erstell dir einen Skill Entweder etwas nicht funktioniert oder ich eine gewisse Präferenz habe.

01:05:44: Die Präference kann sich verändern, kann sie vielleicht auch nicht erinnern aber die die Kapabilität von den Modellen verändert sich ja immer.

01:05:49: das heißt Ich hatte selber schon ein zweimal den Fall dass ich halt einen Skill erstellt hatte weil ich den gebraucht hab wel'n bisheriges model das nicht umsetzen könnte.

01:05:58: Aber die nächste generation brauchte den skill gar nicht mehr Weil es einfach schon mir weniger selber wusste was es tun muss um das umzusetzen.

01:06:06: Das heisst es kann sein ich habe auch skills die ich eigentlich gar nicht mehr brauche, weil das Modell das Thema mittlerweile selber lösen kann.

01:06:12: Und es sind oft die Dinge, die ich einfach vergesse.

01:06:14: und am Ende wenn ich ein Skill entfernen kann ist natürlich viel einfacher für mich, weil ich muss mir keine Gedanken mehr dazu machen.

01:06:19: Ich zahl die Tokens nicht, ich habe keine höhere Relatancy, ich muss das nicht irgendwie maintainen.

01:06:24: Soings Thema ist auch okay.

01:06:25: wann kann ich einen Skill auch entfernen wieder?

01:06:28: Hattest du auch schon mal den negativen Case, hast du durch den Modell-Update an Skill einen negativer Impact auf das Ergebnis?

01:06:37: Du meinst dass ich einen skill hab der

01:06:40: Modell update und durch den skill und ich durch die anderen capability dieses neue modells ist mit dem skill schlechter performiert ohne.

01:06:49: Normalerweise schaue ich oder man sollte immer die skills sag ich mal wenn sich sagen wir der große prozess verändert, mein gefühl hatte hier stimmt irgendwas nicht mehr vielleicht noch mal in skill anschauen weil jedes model hat halt trotzdem irgendwie einen anderen charakter oder verhält sich ein bisschen anders Und im Groben werden die Modelle natürlich besser.

01:07:08: Aber vielleicht habe ich einen Nischen-Use Case, der sich anders verhält oder vielleicht verhält sich das Modell ein bisschen anders wie es in die Problemlösung angeht?

01:07:15: Deswegen helfen mir natürlich in dem Fall die IWALS.

01:07:19: Weil hab' ich IWALLs für mein Skill sei es trotzdem zehn, fünfzehn Beispiele nur kann ich relativ schnell sehen zwischen einem und dem anderen Modell ob das Ergebnis sich verschiebt oder nicht.

01:07:28: und wenn das Ergebnis natürlich negativ wird dann muss ich schauen okay muss ich meinen skill verbessern.

01:07:33: Ist es das Modell?

01:07:34: Könne ich vielleicht wieder zurück zu meinem alten Modell gehen, weil ich das neue Modell für diesen Use Case gar nicht brauche.

01:07:39: Dann ist die nächste große Rolle barunter neben Skill Manager und Evil Expert oder so was.

01:07:45: Skill Manager vielleicht nicht aber Evil ist definitiv.

01:07:48: also ich glaube da sieht man auch schon dass da jeder weiß dass sich mehr Zeit darin investieren muss wenn ich größere Erwartungen an die Modelle habe.

01:07:55: Da absolut!

01:07:57: Lass uns noch mal zum Schluss jetzt ein bisschen in die Glaskugel gucken und einfach nochmal ein bisschen deine Meinung an zapfen.

01:08:03: Erstmal danke auch für die ganzen Insights, für das viele Grundwissen und vielleicht auch ein bisschen nördigeres Wissen – mega wichtig!

01:08:13: Wenn wir so'n bisschen in Zukunft gucken, glaubst du dass gerade die Lokalmodelle in den nächsten Jahren etwas ist was zum Standard wird?

01:08:22: Aktuell fühlt sich bei mich auch noch komisch an ... lokales Modell ist irgendwie cool.

01:08:27: Glaubst du, dass es da auch ... ... auf Konsumenten sich eher hinführt oder vielleicht eine Hybride-Lösung?

01:08:33: Ja also definitiv und ich freue mich schon auch darauf.

01:08:37: Ich glaube das Thema ist einfach.

01:08:38: man hat dieses ... ... Perifee, ich brauche immer das größte beste Modell um etwas umsetzend zu können... ...und man verliert sehr schnell den Kontakt dazu was, sag' ich mal lokale Modelle mittlerweile können.

01:08:51: Und ich speziell ... bin darauf gespannt, alles was sich im Thema Smart Home oder Smart Assistance zu Hause entwickelt.

01:09:00: Weil dadurch dass wir sehen das ich auf meinem Android Phone jetzt Gemma IV nutzen kann und was Functions und Tool Calling kann... ... ist es sind wir nicht so weit davon entfernt, dass ich wirklich einen Smart Home Assistant habe der mehr kann also irgendwie nur ein bisschen Wetter und Timer stellen sondern halt wirklich mich supportet!

01:09:18: Und hier halt das große Thema und da bin ich auch einer auf der Seite ist wenn ich halt wirklich etwas bei mir zu Hause hab, was eventuell kontinuierig läuft oder eventuell auch Bilder mit irgendwie aufnimmt.

01:09:31: Dann habe ich natürlich durch lokale Modelle schon mehr Kontrolle oder mehr Sicherheit die ich selber beeinflussen kann.

01:09:38: und das ist für mich auf jeden Fall ein sehr spannendes Thema.

01:09:40: und generell glaube ich alles was an Hardware, was wir konsumieren oder nutzen werden wird KI mit integriert haben.

01:09:48: Ich hoffe dass wir nicht so sehr mit darüber nachdenken müssen.

01:09:52: Hey, ist das jetzt ein KI-Agenden oder nicht?

01:09:56: Das ist einfach die Funktion und die Funktion ist super hilfreich für mich und ich kann Dinge damit umsetzen.

01:10:02: anstatt irgendwie habe ich jetzt in meinem neuen Android Handy Gemini IV oder Gemini V oder Gemma sondern hey!

01:10:08: Ich hab halt diesen Gemini Assistant wie auch immer das dann heißen wird und es ist superhilfreich.

01:10:14: Ich

01:10:17: glaube, das wird auch einfach komoditieren.

01:10:19: Man macht sich dann halt eher in der KI oder nicht, weil man sieht mehr von euch bei Spark.

01:10:25: Dahin geht es ja auch eine Chatbox am Ende des Tages.

01:10:28: Hier rum passiert aber ein bisschen mehr und ich glaube da wird's am Ende wahrscheinlich vielleicht die Chatbox oder der VoiceInput oder was auch immer sein.

01:10:37: Aber der KI-Assistent eine doch befragen gibt es wenn du die so die entwicklung aktuell anschaust.

01:10:45: und auch der markt gibt das aus deiner brille total.

01:10:50: Überschätzt wird aktuell ungegleicht auch andersherum auch unterschätz.

01:10:58: ich weiß jetzt nicht ob ich das so wie ein antworten könnte ja aber ich bin ich bin sehr ins ähnliche bewegt mich glaube in den sehr kleinen kei bubble einfach in dem bereich wo wir arbeiten oder was wir tun und ist vielleicht doch noch mal ein stück weiter weg was Normale Unternehmen aktuell beschäftigt.

01:11:16: Ich würde jetzt nicht sagen, dass wir irgendwas überschätzen.

01:11:19: ich glaube wenn man sich die letzten ein zwei Jahre irgendwie anschaut ist eins klar das Modelle besser werden, dass Modelle effizienter werden und dass Modellen auch kleiner werden.

01:11:29: Ich glaub den größten Fehler dem man halt irgendwie machen könnte ist sagen hey wie haben jetzt Performance X es wird nicht mehr besser Und dass man sich darauf fokussiert, was wir aktuell haben und nicht irgendwas in ein zwei drei vier fünf Monaten kommt.

01:11:43: Weil egal was ich umsetze oder baue es dauert ja eine gewisse Zeit und deswegen soll ich eher dafür etwas entwickeln oder planen für was sind fünf bis sechs monaten funktioniert?

01:11:53: Oder vielleicht sogar noch ein bisschen ambitionierte wo ich denke das ich im Jahr bin, weil Modelle werden besser und auch lokale Modelle werten besser.

01:12:01: Ich glaube das hat man auch in den letzten Jahren einfach gesehen und der Zugang wird einfacher.

01:12:06: Das heißt Es wird eher immer mehr davon und wie kann ich dann am besten, sag' ich mal neue Dinge damit umsetzen?

01:12:13: Ich finde diese Überschätzung die man irgendwie gar nicht meinen Tag legen kann hat auch krass.

01:12:18: Wir sehen einfach mit den letzten Jahren zu schauen was da passiert ist und du sagtest es wird besser.

01:12:24: Und ich glaube das war ein sehr guter Tipp, nicht diesen Status quo dem wir heute haben als technologische... So ist es jetzt und so bleibst du erst einmal aufzusehen.

01:12:34: Und auch wenn es ein Challenge ist, glaube ich.

01:12:35: Wenn du da noch einen Tipp für hast zum Abschluss... Wie denkt man denn in den fünf Jahren?

01:12:39: Also wenn ich jetzt ein Unternehmen bin und sage so Ich muss jetzt was bauen und will eigentlich... Habt ihr im Broadcast gehört?

01:12:45: Der Philipp hat gesagt... Muss nicht irgendwie vorstellen, was mit fünf Jahren kommt!

01:12:49: Ja, ich glaube... Ich würde mir nicht die Frage stellen was in fünf Jahren kommt.

01:12:53: Also ich glaube das kann keiner beantworten auch wenn ich darüber nachdenke wie wir irgendwie Projekte plan oder Dinge planen.

01:13:00: bei uns plant keiner in einem halben Jahr.

01:13:02: Wir planen einfach okay.

01:13:03: wo sind die Themen woran man arbeiten können?

01:13:06: Was denken wir kommt in vielleicht sechs Monaten aber ich muss immer die Möglichkeit haben.

01:13:11: Ich weiß es ist oftmals schwieriger in ganz vielen Bereichen dass man sich da ein bisschen dynamischer anpasst ... jeglicher fünf-Jahresplan, wer... Man kann's nicht mehr sagen.

01:13:21: Also es ist wirklich super schwierig und ich glaube, ich würde mich eher darauf fokussieren, okay wie kann ich mich halt so orientieren dass sich in diesen fünf Jahren anpassen kann?

01:13:31: Und davon profitieren kann und nicht genau festlegen, okay so müssen wir in fünf Jahren aussehen.

01:13:36: Okay also lieber etwas bauen was sich der Veränderung anpasst wo Veränderungen zulässt, wo Innovationen zulässt und nicht irgendwie festlegen, okay die nächsten fünf jahren beschäftigen wir mit thema abc.

01:13:52: Ich glaube das wenn man nur den letzten zwei ja so schaut dass hat man gesehen da ganz viele dinge die man jetzt nutzt die standard sind.

01:13:58: dem muss ich vor ein paar Jahren ich jedenfalls noch nicht vorstellen können mir gut dahin weiß.

01:14:03: Philipp vielen vielen dank für deine zeit.

01:14:06: vielen Dank für die sehr unterschiedlichen Themen das uns ein bisschen abgeholt hast in die Gemini in die Gemma-Welt, in die Evil Welt.

01:14:17: Alles Themen, die vielleicht eigentlich ziemlich wichtig sind, aber die für viele einfach gar nicht so präsent sind, obwohl sie irgendwie im Internet rumschwirren.

01:14:24: Vielen Dank für deine Zeit!

01:14:26: Hat mir sehr viel Spaß gemacht und genau freue mich aufs nächste Mal.

01:14:31: Gerne!

01:14:31: Ciao!

01:14:32: Tschüss!