# Automating the SDLC: The Rise of the Software Factory

**Podcast:** HMZE
**Published:** 2026-09-17

## Transcript

So it's all about this balancing act.
So how much money are we willing to spend on trying this new functionality out?
Because you cannot predict everything in advance.
You need to get it in the hands of people with the right amount of quality to get the right data back as soon as possible.
That's the big challenge.
Welcome to another episode of our new season of Beyond Vibe Coding partnering with Impala Search.
the go-to tech and executive search agency in Germany.
In this podcast, we explore the transformational change in software engineering and knowledge work in general.
I am Sebastian Heidemeier zu Erpen, CTO at Ecosia.
And I'm Andrei, CTPO at Trusted Jobs.
Great to have you back.
In the past episodes, I actually have learned that technical experience, including strong CI, CD, as in...
important asset on the way mastering authentic engineering.
Yes.
And in today's episode, we speak to Olaf Maldenwald of CircleCI.
And CircleCI obviously knows a thing or two about the ICD pipelines.
And Olaf shares a fascinating vision on how signals from production feedback directly into product development, maybe the dark factory.
Und die CICD-Pipeline, das natürlich, spielt eine wichtige Rolle.
Es war eine interessante Diskussion und wir hoffen, dass ihr die Diskussion so viel möchtet.
Willkommen zu dem Show, Olaf.
Es ist toll, dich zu haben.
Und als usual, wir möchten, dich zu uns zu unseren Listenern zu geben.
Ja, danke Sebastian.
Happy zu sein, und natürlich auch Andrei.
Mein Name ist Olaf Mohlfeld.
As you can hear from my accent probably, I'm from the Netherlands.
I live in Utrecht, which is a nice little city in the middle of it.
And I work as a technology advisor in the CTO offices of CircleCI.
So I work very closely with our CTO, Rob Suber.
And I tend to kind of work between product strategy, product marketing, thought leadership, try to get the story and the brand out there, and also kind of feedback.
this information into what we're doing at CircleCI.
My background is software development.
So when I started in the end of the 90s, the World Wide Web started happening.
So I was kind of like surfing the first wave, doing all the stuff that e-commerce, content management systems, very cool.
And then at some point, as you mentioned, Sebastian, I started moving to the dark side, doing less coding.
mehr konsultancy, architectural Dinge.
Und an einem Moment war ich sehr viel involviert als Konsultant in den Content Management und E-Commerce Plattformen.
Und dann Docker Containers kamen und wir begannen, dass wir diese Reaktion von der Business-Sidee waren, wo es die Möglichkeit gibt, A-B-Testing, Canary-Releasing, ohne monolithische Releases zu machen.
Ich habe eine Firma mit einem guten Freund von mir, FEMP.io.
Es war erst eine e-commerce Plattform.
Und dann haben wir in die Progressive Delivery.
Wir haben das für etwa 7 oder 8 Jahre gemacht.
Und dann wurde ich von CircleCI.
Das hat sich, glaube ich, über 5 Jahre alt gemacht.
Und hier sind wir.
Thanks a lot.
Also, you've seen a lot and you've seen several changes in the industry, right?
That's also a pattern.
We're seeing people who've seen a couple of changes.
It's easier for them to basically also approach the new change that we're seeing right now.
And yeah, so it's really great to have you.
And I'm curious to learn how you at CircleCI see this change and what you think about it.
But before we get there, as usual, we like to go into the status quo of our interview guests.
And you are obviously less on the coding side, right?
But I'm sure you are using agentic tools, workflows for the non-coding side, right?
So how are you utilizing agents?
And if you have an example, then please let us know.
Ja, so vielleicht kann ich es zwischen den verschiedenen verschiedenen Wissen, die wir in der Woche arbeiten.
So, mit CircleCI, wir benutzen vieles Entropik-Tooling, wie Claude.
So, ich denke, eine der coolen Dinge, die wir sehen, besides, obviously, die Ingenieure, die es zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen, zu machen.
als ein super-powerer intern oder ein buncher internes, um ihre Arbeit schneller und an einem höheren-quality level zu machen.
Wir haben auch viele Skills in-House.
Und ich denke, das ist eine der coolen Dinge, dass ich sehe, wo non-Engineers, vielleicht eine coolere Ausgabe ist, dass wir eine Design-Departement haben, die all die Branding haben, und sie haben eine Skill in Cloud.
Es ist, glaube ich, ein Testamento zu dem Fakt.
Agents are not only for coding or for code-related things, but they are super powerful ways of helping you to do the, I would say, non-differentiating heavy lifting, but having the right branding when you do a public presentation is obviously important, right?
So it really helps me to focus on the content of a slide deck and not so much on if the color is, you know, the hex code of the title is.
So I think that's super nice.
From a personal perspective, I use it a lot for brainstorming.
So we are a distributed company.
Of course, we have offices in Silicon Valley and globally all over the world.
So there's colleagues you can work with.
But in my life, I work a lot from home.
And I'm a person that likes to or needs to talk.
und rehash mein Gedanken in eine Focal-Way, weil es hilft, mich zu refine mein Gedanken.
Und, typically, ich würde, wie, abhüben, ein Kollege und put auf ein Whiteboard und dann starten, und dann rehashen es.
Aber jetzt, ich mache vieles von diesem Gedanken und Brainstormen mit AI-Agenten.
Like, das ist mein Idee, kann ich mich sehr kritisch?
Oder, du bist jetzt ein Hacker News Kommentar.
So you're super critical and negative and shoot holes in my idea.
So I think that's really nice.
It requires a little bit of a tuning to make sure that the AI is not the, this is a great idea.
I'm not sure if you have the South Park episode.
This is a great idea.
Let's do it.
I want it to be very critical because that's helpful to me.
And then the third thing, I don't code for.
für Geld, sagen wir es, nicht mehr.
Ich code für Spaß.
Ich mache viele Personal Citizen Coding Projects.
Ich habe eine LG Television.
Wie cool wäre es, dass ich ein Slide Deck in da, das all die Art der Reichsmecher in Amsterdam habe?
Es ist nicht da.
Da ist die API.
Ich habe keine Ahnung, wie ich das für eine LG Television habe.
Ich habe es dann, boom.
Ein paar Stunden später, ich habe meine eigene Personal App running on the television that shows all the artwork from the Likes Museum.
And that's only for me.
It's not public.
So yeah, these are kind of like different ways I use it.
Absolutely.
So I do also the third thing.
And sometimes for such a project, vibe coding is perfectly fine, right?
So you don't need to have the best setup around this.
Just you vibe it.
And if it works great, if it doesn't, yeah, so what you tried it.
Es ist ein bisschen wie ein Throw-Away-Sopfer-Almost.
Genau.
Vielleicht eine Frage.
Ist die Output dann, ich weiß, eine PowerPoint-Deck oder etwas, dass du das?
Oder ist das, ich weiß, dass du immer die Inputs-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck-Deck Ja, das ist ein interessant.
So, effectively, ein paar Tage ago, ich war in London und ich habe einen Talken bei AgentCon und ich habe meine roughen Outlines und meine Slides und ich habe mit Claude, weil ich weiß, die Skill ist da, die Design Skill ist.
So, okay, ich habe das Skill, um die Slides zu verändern, um die Properer Branding zu verändern.
Es ist, dass es eigentlich ein Slide Deck Editor und Presenter Mode ist.
in Cloud, in Cloud, in Cloud.
So all of a sudden I was in this editing thing and I could click on percent.
So it's in the environment and obviously the AI companies want you to kind of like be in their bubble and offer as much features as possible to make it sticky and for revenue.
But it was nice, I could do all the editing there.
Und dann diese Frage kommt, wie ich es von hier in Google Slides kam.
Aber zu einem Punkt, ich habe es von Keynote zu Google Slides geändert.
Ich weiß nicht, warum es so ist.
Ich habe das Thema in Google Slides geändert.
Was soll ich machen?
Und dann, ich kann es aus dem PowerPointen, PPTX.
Aber was es macht es, es hat all die Bilder, also es war Static.
Ich habe nicht Static.
Ich wollte es fünf Minuten bevor der Presentation sein.
Ich bin auf dem Edge.
Und dann sagt es, okay, ich kann auch ein Editable PowerPointen für dich.
So das ist basically wie es geht, von Claude zu Google Slides.
Eine der Dinge, die ich hier noch muss, ist, dass wir dieses Thema für Google Slides, ein Branding Theme, das wir in den letzten Jahren benutzen.
Und es gab nicht die Themen, also ist es jetzt black und white.
Es ist entweder die Sache, die die Skillverteile benutzt, oder du gehst in Google Slides und dann benutzt es die Themen.
Ich bin nicht sicher, wie du mit den Themen verbunden hast.
So, da gibt es room für improvement, aber es ist gut, es funktioniert.
Ja, das ist eine der Dinge, die wir immer in unseren Talken herausfinden, ist, dass wir denken, Just because we can't imagine or we don't know, Claude maybe can't do this or any other kind of LLM.
But just asking, it will figure out a way.
It will figure out a way.
Yeah, yeah, yeah.
So, yeah, there's all kinds of angles.
And yeah, I still think you cannot outsource intelligence or thinking.
It is still for me, it's like a super...
Powerful, potent way of automating things with the right guidelines.
Maybe one follow-up question on your tech stack or tool stack.
Are you also spending time on that to better understand how to position Circus CI and the products you're offering?
Is there also such an intent?
Yeah, I tend to play around with everything to get my kind of Sticky fingers on all the new technology.
I think that's part of my job to kind of feel around and talk to people and play with it to just get a feeling for it.
And this needs to, yeah, in my head it starts to kind of bubble and then at some point I see this thing or directions or patterns popping up and also, yeah, you see my gray hair, not the people listening to audio or not, but...
At some point you start seeing these patterns over and over again.
And what I really think is now interesting and is super relevant to what we do with CircleCI also, you see this kind of expansion of the different VCS systems, right?
I mean, CircleCI from the origin is VCS independent.
So we're one or the only ones that basically doesn't include a VCS.
So you bring your own VCS.
und wir können mit dem integrieren.
Aber jetzt ist es so, wie es jetzt, so jetzt und dann.
So, jetzt sehen wir, wie Cursor Origin, die sich als Alternative aufbauen.
Wir haben jetzt eine Feature für Integration mit Origin, aber auch mit Bitbucket, GitHub, GitLab, etc.
Und jetzt, als wir Europäische, sehen wir diese Adoption von Gitea oder Gitee.
Gitte, I think.
I always say Gittea, but I don't know why.
Or Forgeo, you know, you see those kind of software-oriented alternatives for PCS.
So we also start adding those to the mix.
And I think that's a very interesting development happening where people start to spread their risks.
They don't want all their eggs in one basket.
So that's super relevant to what we do because it's already in there.
But now it becomes more a broader offering of VCS systems that companies want to integrate with or even combine all these things.
Like maybe some projects are super sensitive.
They are there.
Other ones are less relevant.
They are in a different VCS or maybe a shadow VCS, right?
So it becomes like a multi-layer thing.
And also what is super fascinating to me, a good friend of mine is sales.
So he's not technical at all.
And all of a sudden he's like, Hey Olaf, I made this app for LinkedIn, so I can schedule my LinkedIn post.
Super cool.
And I said, yeah, that's nice.
And I said, yeah, and now I want to have it kind of like running all the time.
So I went to my IT department and they told me like, yeah, it needs to be in Bitbucket and is it containerized?
And he said, and I'm like, what do you mean you don't know?
You wrote this app.
He said like, I don't know.
I said, I asked him like, is it in GitHub or is it?
Oder Git?
Wo do you store the code?
Er hat gesagt, I don't know.
Und dann, ich habe ihn gefragt und er hat ihn gefragt, was er gemacht hat.
Und es kam, er war mit Claude oder Copilot.
Und er hat ihn gesagt, um ein Local Git Repo zu create.
So es war in Git, sondern auf das Maschine.
Aber er hat nicht mehr clue, was Git ist.
Er hat nicht mehr gewusst.
So er sieht diese neue Art von Git.
Wo die Leute einfach nur die Agenten machen und dann nicht haben eine Clüe, dann wird es eine Friction-Punkt.
Weil es der klassische IT-Departement oder Operational-Departement ist.
Ja, es muss sich containerisiert und wir brauchen es in diesem VCS.
Und dann diese Leute, die Fybe-Coder, sie sind dann...
Und dann sieht man diese Gap.
Und für CircleCI, das ist natürlich interessant.
Because how can we help people to kind of evolve from having code on your local machine like the old days, right?
I'm this solo developer and I develop on my own.
Nobody else knows how I'm building or testing or compiling.
And all of a sudden somebody else needs to take over or we kind of grow the team.
How to get this from a single machine into like a team thing where you can look at the dashboard, right?
Ja, und das ist jetzt schon jetzt almost an der Meet, weil wir sehr, sehr nahe zu den Main-Section, die heute ist, Shift-Write, Guardrails, Canary Deployments für Synthetic Code.
So, was wir established, und ich würde jetzt den Segway into die Meet, weil wir bereits advanced, so in der Zeit, What we've established in previous episodes is that technical excellence is the most important driver for agentic engineering or successful implementation and excellence there.
And obviously CI-CD is at the core of this, right?
And CircleCI is at the core of this.
So you probably have a lot of insights here, right?
So yeah, please let us know how you see this and how you at CircleCI approach this topic.
Ja, ich muss jetzt ein bisschen weitergehen, von technischem zu mehr business, weil sie zusammenarbeiten.
Und ich sehe, dass schreiben, in irgendein Form, oder in Software, ist ein means zu einem Ende.
Es ist nicht ein Ziel, von sich selbst.
Warum schreiben wir Software?
Weil wir wollen, weil wir das so machen wollen.
Wir wollen, dass es sich leichter für Menschen ist.
Wenn man sich die Backwarden arbeitet, wie man sich die Excellence anstellen?
Warum müssen Menschen in die Ecke in die Ecke schreiben?
Das ist, dass die beste Qualität der Automation oder Funktionärität in den Handen der End-User sind.
Wenn ein Software Developer ist happy?
Okay, you can love the code or the regular expressions.
That's when you approach more from it's an art form or, you know, it's really...
Craftmanship.
Craftmanship, yeah, that's the term.
Very good, thank you.
But I think you should be really happy when an end user tells you like, you made my life insanely better now.
This software is really helping me to do my job better.
Or my life is improving because of what you developed.
So the value is defined by the end user.
They define if it's valuable to them or not by paying money or using it more and more.
And then if you work your way back, I think you should always measure in how you write software and how you test it and how you develop it and deploy and release.
Wo ist die Verlust in was wir tun?
Und es ist sehr gut wie die Lean-Principles von den letzten Jahren.
Manche wollen minimieren Waste und manche maximieren Waste.
Und ich denke, das ist die nächste Waffe von was zu tun und was möglich ist.
Weil, in der Code ist, jetzt ist es eine commodity.
Man kann es nicht machen.
But how can you get from this step to getting the maximum value in the hands of end users without spending too much for it?
So it's all about right sizing, I feel.
Finding the right models, the right size models, the right type of models, maybe like local models, maybe cloud-based models, frontier models or very small models for the task at hand.
compressing all the stuff that you send to the models, right?
Maybe they only need a small piece of JSON structure instead of like a total dump of your database.
So kind of measuring and balancing this.
FinOps is also a very, I think, interesting part.
FinOps was also like always a separate thing where people would kind of look at cloud cost spent.
But now, Adding FinOps to your pipelines, your CI, CD pipelines, and kind of testing if this AI-related feature or this AI evaluation step, isn't that too expensive for what we try to achieve value-wise, right?
Automating this process in the pipeline, that makes a ton of sense.
It's super interesting.
And these tools are there.
You can basically embed them.
Und natürlich auch die Kanary-Releasing oder die End-of-the-Pipeline, wo man sagt, okay, jetzt haben wir diese Artifact, diese Deployable Feature.
Wie können wir measure, wenn das Ding ist tatsächlich ein Kali für End-User?
Du kannst nicht alle in einem goeren, weil das kostet compute, Zeit und Zeit und Zeit.
Give es, ich weiß nicht, zu einem 3% von End-User, wo es.
und starte zu mesurieren, wie sie es benutzen.
Und dann, aufgrund der Information, die du collect hast, kannst du das zurückführen.
Und sagen, okay, das scheint nicht zu funktionieren, weil die Betrug-Metrics, die Betrug-Metrics, die wir wollen, sind nicht verändert.
Und natürlich, du musst eine Multilayer-Approach haben, also es nicht nur Betrug-Metrics.
because only business metrics doesn't tell you the entire picture.
FinOps metrics are also relevant, I think, in these days.
So what's the cost versus revenue kind of balance?
We want to keep that in the green zone.
And then you, of course, have the technical things, like the classical SRE kind of metrics, HTTP, memory, CPU, error rates, etc.
If you layer these things together, Die CICD-Pipeline oder die Plattform kann diese Dinge aus in einem automatischemartigen.
Und dann kann man die Kanar-Releasing- und das backen.
Ich denke, es ist super interessant, wie wir das machen können, wie wir das machen können, wie das, das, das, das, das, wie das, eine sehr stupende oder basic-Sekunde-Sekunde.
in eine smart pipeline, die immer wieder mit den Metrics beherrscht und dann wieder zurückkehren.
Ich denke, wie ich das verstehe, ist es also ein Widening des Loupes.
Weil jetzt die Loupes, die Loup endet auf der Maschine.
Nicht all den Zeitpunkt.
Sebastian will in ein Moment nicht sagen, ich weiß.
But in regard to the example you gave beforehand, right?
So people are very much aware of coding, so they try to solve that, but they're not aware of what's beyond that.
How do I get this now into production?
And what you're actually describing is seeing this as an entire loop, right?
Because if you implement it, you build it, you test it, you deploy it, and then feed the results back, that is actually...
A large, large loop.
I mean, with the agents, you saw this Ralphie loop thing, right?
Yeah.
It's essentially what this is, but then not on the local development scale, like make this work, and if it doesn't work, try it again and iterate.
It is like the entire software development lifecycle loop, including deployments and what we call release, which is the thing that comes after deployments, which is opening up the door.
to visitors or users to start using it and measuring things.
Of course, the challenge is to align these things, right?
So historically, you had these silos.
Developers would focus on technical metrics.
FinOps would focus on financial objectives.
And then operations or business would focus on analytics, right?
Are we sticky?
How is the shopping cart value increasing, right?
But now, if you want to automate this and then...
constantly feed it back into the loop, you need to agree on aligning these metrics and then getting the right formula on top of them and then feeding it back into your agents or maybe humans.
It's data, right?
And if we say we shift right, I think shifting right to production is not a replacement for proper testing.
Let me put it that way.
No, it's an extension.
Ja, extension ist ein schönes Wort hier.
Ja, und wieder, über die Verwaltung optimisation.
Wenn du nicht die richtige Testung hast, dann wird man definitiv nicht in der Produktion verliert, das wird kostenlos.
Vielleicht nicht aus der Technik perspective, aber wenn du deine Kunden erlebenst du eine schlechte Funktionärität oder eine suboptimale UX.
Das kostet auch Geld, weil die Brand-Wall wird, so es geht.
Es geht um diese Balance Act.
Wie viel Geld wir wollen, um diese neue Funktionen zu versuchen?
Weil man kann nicht alles auswählen können.
Man muss es in die Hand von Leuten mit der richtigen Qualität, um die richtigen Daten zu bekommen, schnell wie möglich.
Das ist die große Herausforderung.
Mit den Agents und AI können wir die Silo-Friktion reduzieren, weil Menschen zu alignen, es ist immer sehr schwierig.
Aber wenn man Automate in Formulas und die Agents machen, dann wird es einfacher werden, dass es wirklich funktioniert.
Das wäre eigentlich auch mein follow-up question.
Dann, wo würde man einen Menschen in der Lübe sehen?
Weil, idyllisch, nicht mehr.
Ja, wie ich gesagt habe, man kann nicht outsourcen Intelligenz und man kann nicht outsourcen Creative Thinking.
At least, das ist mein Meinung.
So, ich sehe diese Change, diese Shift, wo die Software Development Lifecycle Pipelines become mehr wie ein Factory.
wie eine Software Development Factory.
Ich liebe das.
Und wir, die Menschen, wir werden eher die Designers oder die Direktoren, die basically sagen, die Systeme, was wir wollen, und die Factory, wie wir wollen.
So, ich würde sehr interessieren, weil wir in FAMP haben, Es gibt keine Kubernetes-Küber.
Wir haben viele Dinge mit HF-Proxy und Nginx, wie die Proxy-Routers.
Ich denke, wenn Sie einen Agenten sagen, okay, ich will dieses Blue-Green-Kanary-Release-Thing, create eine Pipeline für mich und setzitze ein Terraform Infrastruktur-Thingen, um es zu machen, ich würde nicht beherrscht.
Sie sind eigentlich able zu erreichen, diese Zeit.
Ich würde sagen, okay, Sie können Argo rollouts oder CircleCI deployen.
Und das ist die Pipeline Definition.
Hier, gut, es wird funktioniert.
Und in den letzten Jahren, es wäre mehr so, okay, wir brauchen die Leute von diesem Department, wir brauchen die Leute von diesem Department, SREs, Ops, und dann alle in die gleichen Raum und align und agree.
Aber ja, es ist viel weniger Friction, ich denke, jetzt.
Es ist es, dass es so, André, ich glaube, du war wirklich interessiert in das oder fand es amazing.
The PostHog, right?
Du erinnerst, die Agent that reacts to Product Signals, right?
So das Sounds Like This.
Ein bisschen advanced, added FinOps data as well, right?
Das ist wirklich interessant.
Und dann, wenn wir das Loop close, so wie würde...
Will the signal that comes back be fed back into the software factory?
Will there issues be created in the issue tracker?
Yeah, I guess issue tracking or issues is almost becoming an audit log, right?
It's like, okay, what actually did these agents do and why did they do this?
So I can take a look.
Wie ist die Frage auf den Weg?
und du es auf dem Budget oder Token Spend oder du es reportest, und du es auf jeden Fall vertreten, ich weiß, warum du das Feedback wäre.
Weil was die Unterschiede in dem Anwesen sagen, okay, wir haben diese 5% Rollout aus diesem neuen Featuren, aber es war nicht gut, weil wir ein paar Einzige in 500 Errors haben.
Und dann können wir ein Ticket sagen, wir brauchen eine Rollback.
Was ist das?
Du kannst es automatisch, richtig?
Du kannst es, okay, zurückzuholen das Ding und dann versuchen wieder.
Und natürlich, das versuchen wieder wieder, das ist, dass ein Mensch wird superverlässig.
Weil es nicht funktioniert?
Und dann musst du den Input von der End-User auswählen.
Ich würde agree, aber das ist dann der finalen Vision, richtig?
Weil ich meine, ich sage es, The software factory is not here yet, right?
So this full automation flow is not here yet.
And for every step in the software factory, you need to establish trust and confidence in the system, right?
So that you can step out as a human.
And the same thing would then be the next step.
Once the released software is in the wild, you feed back information.
I think the first thing would then be to have the agent analyze the information and summarize it and derive.
action items from it, right?
And then you as a human are still in control and saying, okay, yes, this is the right action item, but fully agree, like, should we be at a situation or I think we will be where we say, I don't know, 10 times out of 10 or 100 times out of 100, yes, this is the right action or maybe even just 98.
Ja, das ist die richtige Aktion.
Dann können wir sicherlich sagen, okay, wir sind glücklich, wenn die Räder sind gut.
Ja, als man einen Audit-Log hat und sieht was passiert.
Es ist wie ein Senior mit einem Meteor oder Junior oder mit einem Internen.
Erstens, du coach, du guide.
Und wie du sagst, du musst, und du hast eine Beziehung.
Und das ist ein zwei-Way-Street.
Also, people need to give the right input for a person to do the right thing.
Otherwise, it's also not working.
And the moment this trust starts happening more and more, then I think you can lean back a little bit more and see this thing happening.
So, I was thinking about it because if you do electronic designs, you have all this simulation, right?
Nobody is doing an electronic piece of equipment without drawing the thing and then simulating how it works.
I think a first very cool step would be to run a simulation of this fully automated SDLC and not doing it for real, but seeing how it actually would create releases and then measure input from users and feed that back.
See how it kind of works or if it really goes off the rails.
depending on parameters that you give it.
I think the simulation thing will become maybe even an industry or a quadrant because if you automate things with agents, you want to make sure it works as you design the process, right?
Before you productionize it.
But that's a sidestep.
Yeah, but it makes sense.
Ich habe auch schon gearbeitet, wo auch Produktion traffic, either shadow-like, shadow traffic oder logs of Produktion traffic ist für Simulation.
So das macht viel Sinn.
Und ja, das ist, dass man hier sehr gut macht.
Compare metrics from the reality with the simulated run, right?
And then see how it behaves.
And yeah, absolutely.
It's just a matter of the size of the system and the cost associated with having this shadow run.
But I think if you can...
Scope it to the right level of experiment because you're not always changing the whole system, right?
So usually you're working on one thing or a few things at a time and then you can, if you manage to have interfaces that only like launch instances that need certain data and as an input and then you view the output, right?
And you can probably simulate a lot there.
But going back to your initial thesis, I'm assuming that CircleCI is also not there yet, right?
Sneaky question.
No, no.
I mean, I think we made great strides in automating a lot of what we do.
But yeah, I mean, a CIJD platform is infrastructure.
It's plumbing.
It's crucial.
You don't want your electricity in your house or your Wi-Fi to become flaky.
I mean, that's what you see with GitHub these days, right?
It's becoming flaky.
Und du willst keine Flakie Infrastruktur oder Flakie Plumbing in deinem Haus.
Wir bleiben sehr viel auf die Reliabilität, Stabilität und Performance.
Es gibt immer immer Menschen in der Lübe, damit wir die Reise nicht verletzen oder verletzen.
So, yeah, it's a balancing act, right?
To leverage the power of AI without kind of crashing, failing fast kind of, you know?
Yeah, but you're sitting in an interesting position, right?
So the vision you just laid out, I think it could be a good vision for CircleCI, right?
Yeah, and we try to drink our own champagne.
And we use CircleCI to build CircleCI.
So, I mean, yeah, so we are kind of forcing ourselves to do these, to take these steps.
But obviously, if you have a Greenfield application that doesn't run at enterprises with high compliancy around it, it's easier to experiment.
So, yeah, so for us, it's also very powerful and very valuable to talk with our users.
wie sie unsere Plattform benutzen und wie sie es leverteilen wollen, was sie mit dem Wissen machen, und wie sie neue Features finden wollen.
Es ist, wiederum ein zwei-Way-Street.
Absolutely.
Ja, danke.
Ich denke, das ist ein tolles Ende der Hauptsagung unserer Podcast.
Und als usual, wir haben einige kleine Segments nach dem Ende.
In der Reality Check, wir usually fragen uns, ob sie haben, was die F*** Momente oder was die latest Hype Topics von der Perspektive sind.
So, haben Sie einen Beispiel?
Ja, definitiv.
Ein Beispiel, dass ich mich wirklich an diesem Punkt hatte, dass ich an einem Moment habe, ich glaube, 100 oder ein paar repos.
Ich dachte, okay, wie soll ich das?
Okay, ich werde den Chatbot fragen, ob ich ein Python- oder Batch-script schreibe.
Ich habe das Gefühl, dass ich das für dich hierher kann.
Hier ist die kleine Basis.
Du willst ein Dryrun?
Ja, das ist gut.
Du willst ein Audit Log?
Ja, das ist gut.
Du willst es mit den Ideen des Repos?
Ja.
So all diese Dinge, es hat sich sehr solid.
Ich war okay, gut.
Und dann hat er das Script.
Und ich habe es gesehen, ob es gut ist.
Ich will es verstehen, was es tut gut.
Ja, es ist gut.
Okay, ich muss erst einmal den Dry Run.
Und dann, im Moment, es nicht crash, aber es war ein 3-1-Error.
Und ich habe es gesagt, ich weiß es gut.
So ich habe es versucht, es zu debuggen.
Es ist kein Syntax-Thing, richtig?
Und dann...
Ich habe mich in den Diveau und es kam, dass es eine Github-Cli war.
Und dann hat es eine Flagge oder eine Command Archive.
Es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam, es kam Es gibt nicht, aber es wäre schön, aber es wäre schön.
Ich dachte, ja, es wäre schön, aber es ist nicht da.
Und dann habe ich versucht, dass es ein bisschen mehr drin ist.
Es kam dann ein Person, an einem Punkt, die eine Anfassung hat.
Er sagte, es wäre wirklich handig, um diese Archive-Thinge zu haben.
Und ich glaube, es ist trainiert auf die Daten der Anfassung.
Und ich habe es versucht, als eine hypothetische Art von Arbeit zu arbeiten.
Es ist eine andere Art, wie wir uns an den CLI sehen.
Aber es war ein WTF Moment.
Es war mir ein paar Stunden.
Das ist ein Fassinant.
Also, der Fakt, dass jemand jemand hat, der es für ihn, und dann das war wahrscheinlich Teil der Training data.
Das ist wirklich interessant.
Usually, ich attribute das zu...
Hallucinations, basically, right?
To the LLM just thinking it should be there because it sounds logical.
Interesting.
Yeah.
Do you also have a wow moment or something where you say, okay, this is like really crazy good?
If not, then that's also fine because we all got so used to working with agents, right?
So it's hard to be amazed.
Ja, so als Hobby, I also create electronic music.
So I have a little studio with all kinds of devices.
And I just bought this Akai sampler.
And I was missing my old Roland synthesizer sounds.
And there was this guy that made an emulation of this thing.
And I thought, okay, I want to basically get all these samples out of this thing.
I don't know how many thousands into my...
Ich habe einen neuen Sampler.
Ich habe die AI-Agent gelegt, eine kleine Plug-In oder Anwendung.
Es war in C oder C++, glaube ich.
Es hat diese VST-Plug-In-Library-Pingy.
Dann würde es Auto-Samplingen durch alle die Sounds machen.
Dann würde es ein Patch für die Sampler.
Und es hat funktioniert!
Ich habe es nicht geschrieben, sondern es hat eine Lauf-Level-Library.
Es ist toll.
Ja, es ist so.
Within fünf Minuten, du jetzt erklärt beide Seiten.
Und ist es faszinierend?
Es ist eine Situation, wo es wirklich failed und wo du gedacht hast, das ist straightforward.
Und dann wo es so capable ist.
Ja.
Ja.
Well versed on utilizing Git commands or whatever, right?
And interacting with repos that you think, okay, yeah, this is obviously like I could look the syntax myself, but no, it's easier if I have the agent do it.
Versus on the other hand, you would never probably think about creating a VSTI because it's just something that you have no clue of, right?
And that's why it's so easy basically for the agent to impress you, right?
Even though I have to admit, yes, this is totally impressive.
Ja, ja.
Und die Sache ist, natürlich, wenn es nicht funktioniert, ich hatte keine Ahnung, wie es funktioniert.
Aber es funktioniert.
Ja, cool.
Danke.
Great examples.
Und vielleicht die finalen Sektion ist, wir sind immer für eine Prediktion.
Do Sie haben eine Prediktion für uns, das Sie wollen mit unseren Listenern?
Ja, ich kann.
Ich denke, was wird passieren, wenn ich weiß, dass wir ein Veränderungssysteme von der Trennung, wie viel CPU, Memory, etc.
auf die Frontiermodelle, um mehr zu höheren Efficiency zu verändern.
Du hast das schon mit Deepsea, für einen Fall.
They try to be much smarter and more efficient in how they approach it.
And I think, again, this lean thinking, when it's good enough, it's good enough, right?
If I run a local model on my machine and I need an output that I need to kind of read, I don't need 200 characters per second.
That's way too fast.
I cannot read 200 characters per second.
It's okay if it does 10 characters per second because I can...
Ich denke, wir werden mehr in diese Weise von arbeiten, wo wir eine Modell finden, die die Aufgabe anhand befinden.
Und es ist mehr effizienter oder smarterer in was es muss.
Aber auf der anderen Seite, wir sehen jetzt Models in Silicon, die sind sehr schnell.
Aber vielleicht ist das nicht ein Dimension von dem Ding.
Es ist eher wie, was das Ding braucht?
Und es ist wie ein Fenced-off-Box.
Wir wissen, was es muss.
Right now, das Art-State-of-the-Art ist gut.
Wir werden es in Silicone burnen.
Ich frage mich, wenn FPGAs ein interessanter ist.
Die FPGAs sind DSP-chips, aber man kann sie re-Programm.
Es wird ein interessant Internet-Medienste.
Ich denke, es werden viele Lägersen von Hardware zu Open Source und nichts in zwischen, wo wir zwischen.
Ja, ich tende zu agree.
Ich bin noch nicht für die RAM-Pokalypse.
Ich weiß nicht, ob du das gehört, aber es gibt eine neue Chinese-Mannusfaktor von wirklich höchste-throughput RAM.
Ich glaube, dass sie das erste Produkt erstmals wieder aufbauen ist.
Aber die Hoffnung ist, dass endlich mehr supply wird, und dann kann ich endlich kaufen, mein RTX 390.
Ja, wenn du ein bisschen ein bisschen wirst, Samsung ist, glaube ich, verdient, so sie haben keinen Incentive.
of changing their production or scaling it up, it's good as it is.
So they probably need external pressure, market pressure to start changing it again.
Because I think it's not a production or technical thing right now.
It's an economics thing.
So, yeah.
Though you have to also include that these suppliers Manufakturers, haben in den letzten Jahren, weil es in Deutschland sagt Schweinezyklus.
Ja, ja.
Das ist ein big cycle.
Das ist die Chip Cycle.
Und sie haben sich schon verletzt, ich glaube, dass sie sich sehr hochkühlen werden.
Und dann, wie es sich um die Ziele war.
Ja, wir sehen, wie es geht.
Ich denke, demand wird nicht coolen, sehr schnell.
Aber ja, wir sehen.
Vielleicht sind wir auch approaches zu haben, diese Models zu run.
mehr auf CPUs oder mit kleineren VRAM, wie FreeToken und was nicht.
Aber ja, wir sehen.
Interessant.
Und danke für...
Ja, great, great conversation.
Thanks für kommen auf der Show, Olaf.
Es war toll.
Ja, thanks für having me.
I really enjoyed it.
The Beyond Vibe Coding Podcast ist ein Projekt von Sebastian Heidemalzer Erpen und André Neubauer, Partnering mit Impala Search.
The content ist created by uns und unsere Guests.
Join the discussion on LinkedIn.
Oder visit our website, where we publish all episodes.
For questions and inquiries, feel free to reach out via LinkedIn.
Thank you for your time and see you in the next episode.