Claude AI revolucioniše način komunikacije sa veštačkom inteligencijom. Zamislite ovu scenu… Da li verujete da Claude AI može da vas iznenadi baš kada mislite da ste sve videli? Jedan od najboljih inženjera u Anthropic-u jedne večeri je uradio nešto što zvuči nemoguće: Claude AI-u je zalepio gomilu suvoparnih akademskih stranica i zatražio 17 praktičnih primera. Par minuta kasnije – Claude AI mu ih je isporučio, bez greške. Šta se tu zapravo desilo?
Odgovor će vas naterati da drugačije gledate na razgovor sa Claude AI modelom – i možda odmah isprobate isto.
Ovo je priča o tome kako najbolji umovi u oblasti veštačke inteligencije razgovaraju sa modelima koje su sami stvorili. Njihovi uvidi, koje delimo ekskluzivno iz razgovora sa Claude AI inženjerima iz Anthropic-a, menjaju način na koji razumemo komunikaciju sa AI.
Da li znate da ovaj članak možete i da poslušate? Google NotebookLM je kreirao fascinantan podcast razgovor upravo na osnovu sadržaja koji sledi. Dva AI voditelja diskutuju o tajnama Claude AI inženjera na način koji će vas oduševiti – njihova hemija i način objašnjavanja čine složene koncepte pristupačnim i zabavnim
🎧 * Trajanje: 18:13 minuta | Savršeno za slušanje tokom šetnje*
🎯 Brzi vodič za nestrpljive (3 super-brza saveta)
Nemate vremena za ceo članak? Evo tri saveta koja možete primeniti ODMAH:
- Koristite jasan i jednostavan jezik: Umesto “Analiziraj sentiment”, recite “Pročitaj ove komentare i reci da li je osoba zadovoljna ili nezadovoljna”
- Pustite Claude AI da postavlja pitanja: Počnite sa “Pomozi mi sa [zadatak], postavi mi 3 pitanja da bolje razumeš šta želim”
- Dajte konkretne primere: “Evo kako bih želeo da izgleda odgovor: [primer]”
🎭 Priča o transformaciji: Kako je Milica promenila svoj pristup
Milica (29) je marketinški stručnjak koja se nedeljama mučila sa pokretanjem nove kampanje. Svake večeri ostajala je prekovremeno, očajna jer AI odgovori nisu pogađali suštinu brenda – čas previše formalni, čas sasvim van teme. Jednog jutra, na pauzi za kafu, kolega joj je pokazao ovaj članak o Claude AI inženjerima i njihovim tehnikama. Ubrzo je odlučila da promeni pristup. Te večeri, Milica je isprobala “Educated Layperson” filozofiju: detaljno je objasnila Claude AI-ju svoj zadatak kao da priča sa novim kolegom, čak je ubacila i interni vodič za ton komunikacije (primenjujući savet „daj modelu papir”). Potom je pustila Claude AI da je “intervjuiše” dodatnim pitanjima. Rezultat ju je ostavio bez teksta – Claude AI je generisao predloge slogana i emailova koji su zvučali kao da ih je pisao njen tim. Produktivnost joj je skočila, a samopouzdanje se vratilo. Sledeće nedelje, direktor je pohvalio njen nacrt kampanje, ne znajući da je ključ bio u načinu na koji je Milica razgovarala sa veštačkom inteligencijom.
📊 Brza statistika: Zašto je ovo važno
Prema najnovijim podacima:
- 78% organizacija koristi AI u 2024. (porast sa 55% prethodne godine)
- Radnici koji koriste generativnu AI su 33% produktivniji po satu
- 89% dnevnih korisnika AI-ja prijavljuje povećanje produktivnosti
- Tržište prompt inženjeringa raste na 505 milijardi USD u 2025.
U regionu:
- Srbija prednjači u Jugoistočnoj Evropi sa nacionalnom AI strategijom
- 55 miliona evra se ulaže u AI infrastrukturu u Srbiji 2025.
Tri nivoa razumevanja
🌱 Osnovno razumevanje: Komunikacija je ključ
Zamislite da razgovarate sa veoma pametnom, ali neinformisanom praktikantom. To je suština prompt inženjeringa – veštine jasnog komuniciranja sa AI modelima. Ključni princip: AI modeli nisu telepate. Oni procesiraju vašu instrukciju na osnovu onoga što im eksplicitno kažete. Praktičan primer (loš vs dobar prompt):
| Loš prompt | Dobar prompt | Objašnjenje |
|---|---|---|
| “Analiziraj prodaju” | “Pročitaj ove podatke o prodaji za Q3 2024 i reci mi ukupan prihod i prosečnu prodaju po mesecu” | Dodaje specifičnost i kontekst |
| “Napiši email” | “Napiši profesionalan email za klijenta, ton je prijateljski, tema je zakazivanje sastanka” | Jasno definiše ton i cilj |
🎯 Praktično razumevanje: Tehnike koje Claude AI inženjeri stvarno koriste
Evo pet tehnika koje koriste ljudi koji svakodnevno rade sa Claude modelom:
1. Filozofija “Obrazovanog laika” (Educated Layperson)
Pišite kao da objašnjavate zadatak veoma pametnoj osobi koja ne poznaje vaš specifičan kontekst. Primer: Umesto “Optimizuj SEO”, recite: “Poboljšaj ovaj tekst tako da se bolje rangira u Google pretragama. Fokusiraj se na ključne reči ‘AI Synthesis’ i ‘prompt inženjering’, ali zadrži prirodan ton.”
2. Tehnika “Intervjuisanja”
Pustite Claude AI da vam postavlja pitanja da bi bolje razumeo zadatak. Primer: “Treba mi pomoć oko email kampanje. Postavi mi pitanja da bolje razumeš šta želim postići.”
3. “Daj modelu papir” pristup
Umesto da parafrazirate, dajte Claude AI-ju originalni dokument. Napomena: Ova tehnika često daje odlične rezultate, ali zavisi od kvaliteta ulaznih podataka i konteksta. Nije “savršena”, ali može biti veoma efikasna.
4. Greške kao učitelji
Kada Claude AI pogreši, pitajte ga zašto i kako da poboljšate instrukcije.
5. Testiranje ivičnih slučajeva (Edge Case Testing)
(Napredna tehnika – nije za početnike) Testirajte promptove sa neočekivanim ulazima.
🧠 Profesionalno razumevanje: Filozofija iza svega
Claude inženjeri ne misle samo o tome šta rade, već i zašto. Evo njihovih dubljih uvida:
- Empatija prema modelu: Zamislite sebe na mestu Claude AI-ja. Kakve informacije bi vama bile potrebne?
- Iterativni pristup: Savršen prompt se retko piše iz prve. Testirajte, analizirajte, poboljšajte.
- Razumevanje konteksta: AI modeli nemaju implicitno znanje o vašoj situaciji. Sve što želite da znaju, morate eksplicitno reći.
🔍 Deep Dive: Kako zaista funkcioniše Chain of Thought?
Chain of Thought (CoT) – Razmišljanje korak po korak
Šta je to? Chain of Thought je tehnika koja navodi AI da prikaže svoj proces razmišljanja pre davanja konačnog odgovora. Primer bez CoT:
- Pitanje: “Roger ima 5 teniskih loptica. Kupio je još 2 konzerve sa po 3 loptice. Koliko ima ukupno?”
- AI odgovor: “11” (možda tačno, možda ne)
Primer sa CoT:
- Isti prompt + “Razmišljaj korak po korak”
- AI odgovor: “Roger počinje sa 5 loptica. 2 konzerve × 3 loptice = 6 novih loptica. 5 + 6 = 11 loptica ukupno.”
Kada koristiti: Za složene zadatke koji zahtevaju logičko rezonovanje, matematiku ili višestepene procese.
🆚 Claude AI vs ChatGPT vs Google Gemini: Komparativna analiza
| Aspekt | Claude AI | ChatGPT | Google Gemini |
|---|---|---|---|
| Osnovna filozofija | Constitutional AI – fokus na bezbednost i korisnost | Svestranost i širok spektar odgovora | Prirodan jezik, PTCF okvir |
| Struktura prompta | XML tagovi mogu pomoći; jasni zadaci | ### separatori; detaljan kontekst | Prirodan jezik; kratke instrukcije |
| Najbolje za | Duge dokumente (200K tokena), etički osetljive zadatke | Kreativno pisanje, kodiranje | Multimodalne zadatke (tekst + slike) |
| Jedinstvene funkcije | Extended Thinking mod, Claude Code | Temperature kontrola, Function calling | Google Workspace integracija |
Kako ovo funkcioniše sa ChatGPT-om?
Iste tehnike, različiti rezultati:
- Tehnika intervjuisanja: ChatGPT češće daje direktne savete umesto da postavlja pitanja. Morate eksplicitno tražiti: “Postavi mi pitanja pre nego što odgovoriš.”
- “Daj modelu papir”: ChatGPT ima manji kontekstni prozor od Claude-a, pa možda trebate podeliti duže dokumente.
- Ton i stil: Claude prirodnije prilagođava ton, dok ChatGPT zadržava profesionalni stil osim ako eksplicitno ne tražite drugačije.
Praktične vežbe za danas
Početnici – Vaš prvi korak
Otvorite Claude AI ili ChatGPT i isprobajte:
Pomozi mi da napišem email šefu o povišici.
Postavi mi 3 pitanja da bolje razumeš situaciju pre nego što napišeš nacrt.
Srednji nivo – Temp Agency test
Ti si novi radnik iz temp agencije. Specijalizovan si za [vaša oblast],
ali ne znaš ništa o mojoj kompaniji. Objasniću ti zadatak:
[Opišite zadatak detaljno]
Pitaj me ako ti nešto nije jasno.
Napredni – Dokumentacija pristup
Kopirajte relevantnu dokumentaciju ili istraživanje u prompt:
Evo dokumenta o [tema]: [dokument]
Koristi ove informacije da napraviš [konkretan zadatak]
Vaš sledeći korak
- Odmah otvorite Claude AI ili ChatGPT
- Primenite “Temp Agency Test” na vaš trenutni radni zadatak
- Uporedite rezultat sa vašim uobičajenim pristupom
- Podelite vaše iskustvo sa kolegama
Zapamtite: komunikacija sa AI modelima nije magija – to je veština koju možete naučiti i usavršiti.
📚 Želite još dublje da zaronite?
Pripremili smo za vas nešto posebno – kompletan transkript razgovora Claude AI inženjera gde otkrivaju još više fascinantnih detalja o tome kako zaista funkcioniše komunikacija sa AI modelima. U transkriptu ćete saznati:
- Kako Amanda koristi tehniku davanja naučnih radova Claude AI-u
- Zašto David provodi vikende pokušavajući da nauči Claude AI-a da igra Pokemon
- Kakva je razlika između “mentalnih prostora” pretrained i RLHF modela
- Šta inženjeri misle o budućnosti gde će možda AI promptovati nas
Ekskluzivni transkript
📚 Claude AI inženjeri otkrivaju tajne komunikacije sa Claude AI modelima
O ovom dokumentu
AI Synthesis tim predstavlja kompletan transkript fascinantnog razgovora između vodećih prompt inženjera iz Anthropic-a. Ovaj dokument predstavlja rezultat pažljivog rada na tome da najvrednije uvide o veštačkoj inteligenciji učinimo dostupnim u našem regionu.
Šta AI Synthesis tim donosi:
- Kompletnu adaptaciju razgovora od preko 20.000 reči na srpski jezik
- Kontekstualizaciju kroz detaljne fusnote koje objašnjavaju stručne termine
- Prilagođeni sadržaj koji zadržava svu dubinu originalne diskusije
- Pristupačnost hiljadama ljudi kojima jezička barijera predstavlja prepreku u učenju o AI
- Integraciju sa našim originalnim člankom za potpuno razumevanje teme
O originalnom sadržaju
Ovaj transkript je nastao na osnovu javno dostupnog podcast razgovora “AI prompt engineering: A deep dive”.
Svi krediti za originalne uvide pripadaju:
- Alex Albert – Developer Relations, Anthropic
- David Hershey – Enterprise Solutions, Anthropic
- Amanda Askell – Finetuning Team Lead, Anthropic
- Zack Witten – Prompt Engineer, Anthropic
Zašto je ovaj dokument važan
U doba kada AI transformiše način na koji radimo i učimo, razumevanje kako komunicirati sa AI sistemima postaje ključna veština. Ovaj transkript donosi nefilterovane uvide ljudi koji svakodnevno rade na razvoju Claude AI modela – njihovo razumevanje dubine i nijanse prompt inženjeringa je neprocenjivo.
AI Synthesis veruje da znanje treba biti dostupno svima. Ovaj dokument je deo naše misije demokratizacije AI edukacije u regionu.
Učesnici razgovora
- Alex Albert – Vodi Developer Relations tim u Anthropic-u, prethodno radio kao prompt inženjer
- David Hershey – Radi sa enterprise klijentima na tehničkoj implementaciji jezika modela
- Amanda Askell – Vodi jedan od Finetuning timova, fokus na pravljenju Claude AI modela poštenim i ljubaznim
- Zack Witten – Prompt Engineer u Anthropic-u, radi na edukativnim materijalima i alatima
Alex: U osnovi, cela ova diskusija za okruglim stolom će biti fokusirana uglavnom na prompt inženjering (inženjering upita). Imamo različite perspektive za ovim stolom o promptovanju – sa istraživačke strane, sa potrošačke strane i sa strane preduzeća. Želim da dobijemo ceo spektar mišljenja jer ih ima mnogo. Samo ću otvoriti diskusiju i istražiti šta prompt inženjering zaista jeste i o čemu se tu radi. Da, krenućemo odatle. Možda možemo da se predstavimo redom. Ja ću početi. Ja sam Alex, vodim Developer Relations ovde u Anthropic-u. Pre toga sam tehnički bio prompt inženjer u Anthropic-u. Radio sam u našem timu za prompt inženjering i obavljao različite uloge, od nečega poput solutions architect-a do rada na istraživačkoj strani. Sa tim, možda mogu da predam reč David-u.
David: Odlično. Moje ime je David Hershey. Radim sa klijentima uglavnom u Anthropic-u na raznim tehničkim stvarima. Pomažem ljudima sa finetuning-om¹, ali takođe i sa mnogim generičkim stvarima koje otežavaju usvajanje jezičkih modela kroz promptovanje. I samo kako da grade sisteme sa jezičkim modelima, ali većinu vremena provodim radeći sa klijentima.
Amanda: Super. Ja sam Amanda Askell. Vodim jedan od Finetuning timova u Anthropic-u, gde pokušavam da učinim da Claude AI bude iskren i ljubazan.
Zack: Moje ime je Zack Witten. Ja sam Prompt Engineer u Anthropic-u. Alex i ja se uvek svađamo ko je bio prvi. On kaže da je to on, ja kažem da sam to ja. To je osporeno. Ranije sam mnogo radio sa individualnim klijentima, na sličan način kako David sada radi. A onda kako smo doveli više solutions architect-a u tim, počeo sam da radim na stvarima koje su namenjene podizanju ukupnog nivoa ambijentalnog promptovanja u društvu, pretpostavljam, kao što su generator promptova i različiti edukativni materijali koje ljudi koriste.
Šta je zapravo prompt inženjering?
Alex: Sjajno, super. Hvala vam svima što ste došli ovde. Počeću sa veoma širokim pitanjem samo da bismo imali okvir za ostatak naših razgovora ovde. Šta je prompt inženjering? Zašto je to inženjering? Šta je zapravo prompt? Ako neko želi da počne, da izrazi svoju perspektivu o tome, slobodno preuzmite vođstvo.
Zack: Osećam da je prompt inženjering pokušaj da naterate model da radi stvari, pokušaj da izvučete maksimum iz modela. Pokušaj da radite sa modelom da biste postigli stvari koje inače ne biste mogli. Dakle, mnogo toga je samo jasna komunikacija. Mislim da je u srži razgovor sa modelom veoma sličan razgovoru sa osobom. I ulaženje u to i razumevanje psihologije modela, u čemu je Amanda najstručnija osoba na svetu.
Alex: Pa, nastaviću da te pritiskam. Zašto je “inženjering” deo naziva?
Zack: Mislim da deo inženjeringa dolazi od pokušaja i grešaka. Jedna zaista lepa stvar kod razgovora sa modelom, kao što je Claude AI koja nije kao razgovor sa osobom je što imate ovo dugme za restart. Ovaj gigantski “vrati se na nulu” gde jednostavno počnete od početka. I ono što vam to daje mogućnost da radite, što nemate inače, je da zaista počnete od nule i isprobate različite stvari na nezavisan način, tako da nemate interferenciju od jednog do drugog. I kada imate tu mogućnost da eksperimentišete i dizajnirate različite stvari, tu deo inženjeringa ima potencijal da se pojavi.
Sistemsko razmišljanje i integracija
David: Postoji još jedan aspekt toga, a to je integracija promptova u vaš sistem kao celinu. I David je uradio gomilu posla sa klijentima na integraciji. Mnogo puta nije tako jednostavno kao što napišete jedan prompt i date ga modelu i gotovi ste. U stvari, to je sve samo ne to. Mnogo je komplikovanije.
Mislim o promptovima kao o načinu na koji malo programirate modele, što čini stvari previše komplikovanim. Jer mislim da je Zack generalno u pravu da je jasno govorenje najvažnija stvar. Ali ako o tome razmišljate malo kao o programiranju modela, morate razmišljati odakle dolaze podaci, kojim podacima imate pristup. Dakle, ako radite RAG² ili nešto slično, šta zapravo mogu da koristim i radim i prosledim modelu Claude AI? Morate razmišljati o kompromisima u latenciji i koliko podataka pružate i slične stvari. Postoji dovoljno sistemskog razmišljanja koje ulazi u to kako zapravo gradite oko modela. Mislim da je mnogo toga takođe srž zašto možda zaslužuje svoje izdvojeno mesto kao stvar o kojoj treba razmišljati odvojeno od samo softverskog inženjera ili PM-a ili nečeg sličnog. To je nekako svoj domen kako razmišljati o ovim modelima.
Alex: Da li je prompt u ovom smislu onda kod prirodnog jezika? Da li je to viši nivo apstrakcije ili je to nešto odvojeno?
David: Mislim da je pokušaj da postanete previše apstraktni sa promptom način da prekomplikujete stvar, jer mislim, ući ćemo u to, ali češće nego ne, stvar koju želite da uradite je samo da napišete veoma jasan opis zadatka, a ne da pokušavate da gradite lude apstrakcije ili bilo šta slično. Ali uprkos tome, vi kompajlirate skup instrukcija i stvari poput toga u ishode mnogo puta. Dakle, preciznost i mnoge stvari o kojima razmišljate sa programiranjem o kontroli verzija i upravljanju kako je to izgledalo tada kada ste imali ovaj eksperiment. I praćenje vašeg eksperimenta i slične stvari, to je sve jednako važno kao kod.
Karakteristike dobrog prompt inženjera
Alex: Možda nastavljajući na to, labavo smo definisali šta je prompt inženjering. Dakle, šta čini dobrog prompt inženjera? Možda, Amanda, pošto pokušavaš da zaposliš prompt inženjere više u istraživačkom okruženju. Kako to izgleda? Šta tražiš u toj vrsti osobe?
Amanda: Da, dobro pitanje. Mislim da je to mešavina, kao što je Zack rekao, jasne komunikacije, dakle sposobnost da samo jasno iznesete stvari, jasno razumete zadatke, dobro razmišljate o konceptima i opisujete ih. To je komponenta pisanja, mislim. Zapravo mislim da biti dobar pisac nije toliko povezano sa tim da budete dobar prompt inženjer koliko ljudi možda misle.
Dakle, pretpostavljam da sam imala ovu diskusiju sa ljudima jer mislim da postoji neki argument kao: “Možda samo ne bi trebalo da imate ime inženjer tamo. Zašto to nije samo pisac?” Ranije sam bila simpatičnija prema tome. A onda, mislim, sada sam kao što vi zapravo radite, ljudi misle da pišete jednu stvar i gotovi ste. Onda ću biti kao da dobijem polu-pristojan prompt kada sednem sa modelom. Ranije sam promptovala model i bila sam kao u rasponu od 15 minuta, slati ću stotine promptova modelu. To je samo napred-nazad, napred-nazad, napred-nazad.
Dakle, mislim da je to ova spremnost da iterirate i da gledate i razmišljate šta je to što je ovde pogrešno protumačeno, ako išta? A zatim popravite tu stvar. Dakle, ta sposobnost da iterirate. Dakle, rekla bih jasna komunikacija, ta sposobnost da iterirate.
Razmišljanje o graničnim slučajevima
Mislim takođe da razmišljate o načinima na koje vaš prompt može poći po zlu. Dakle, ako imate prompt koji ćete primeniti na, recimo, 400 slučajeva, zaista je lako razmišljati o tipičnom slučaju na koji će biti primenjen, videti da dobija pravo rešenje u tom slučaju, a zatim nastaviti dalje. Mislim da je ovo veoma klasična greška koju ljudi prave. Ono što zapravo želite da uradite je da pronađete slučajeve gde je neobično.
Dakle, morate razmišljati o svom promptu i biti kao: “Koji su slučajevi gde bi mi bilo zaista nejasno šta treba da radim u ovom slučaju?” Na primer, imate prompt koji kaže: “Poslaću ti gomilu podataka. Želim da ekstraktuješ sve redove gde nečije ime, ne znam, počinje slovom G.” A onda ste kao: “Pa, poslaću mu skup podataka gde ne postoji takva stvar, ne postoji ime koje počinje slovom G. Poslaću mu nešto što nije skup podataka, možda ću mu samo poslati prazan string.” Ovo su svi slučajevi koje morate da isprobate, jer onda ste kao: “Šta radi u ovim slučajevima?” A zatim možete da mu date više instrukcija kako treba da se nosi sa tim slučajem.
Razumevanje korisničkog inputa
David: Radim sa klijentima tako često gde ste inženjer, gradite nešto. I postoji deo u vašem promptu gde će njihov klijent napisati nešto. I svi oni razmišljaju o ovim zaista savršeno formulisanim stvarima koje misle da će neko ukucati u njihov chatbot. A u stvarnosti, kao da nikada nisu koristili shift taster i svaka druga reč je greška u kucanju. I nema interpunkcije. Misle da je to Google. Samo ubacuju nasumične reči bez pitanja.
Tačno. Dakle, imate ove evaluacije koje su ove lepo strukturirane šta bi njihovi korisnici idealno ukucali. Ali biti u mogućnosti da idete korak dalje da razmislite o tome kakav će vaš stvarni saobraćaj biti, šta ljudi zapravo pokušavaju da urade, to je drugačiji nivo razmišljanja.
Čitanje output-a modela
Zack: Jedna stvar koju ste rekli koja mi je zaista odjeknula je čitanje odgovora modela. U kontekstu mašinskog učenja, trebalo bi da gledate podatke. To je skoro klišej kao gledajte svoje podatke, i osećam da je ekvivalent za promptovanje gledanje output-a modela. Samo čitanje mnogo output-a i njihovo pažljivo čitanje.
Kao što smo Dave i ja pričali na putu ovamo, jedna stvar koju ljudi rade je da će staviti “razmišljaj korak po korak” u svoj prompt. I neće proveriti da li model zaista razmišlja korak po korak, jer model može to shvatiti u apstraktnijem ili opštijem smislu. Umesto kao: “Ne, bukvalno moraš da zapišeš svoje misli u ovim specifičnim tagovima.” Dakle, da, ako ne čitate output-e modela, možda čak nećete primetiti da pravi tu grešku.
Teorija uma i jasnoća instrukcija
David: Na delu teorije uma, jedna stvar koju bih rekao je da je tako teško napisati instrukcije za zadatak. Tako je teško raspetljati u sopstvenom mozgu sve stvari koje vi znate a koje Claude ne zna i zapisati ih. To je samo neizmerno izazovan zadatak da skinete sve pretpostavke koje imate i budete u mogućnosti da veoma jasno komunicirate pun skup informacija koji je potreban modelu.
Mislim da je to još jedna stvar koja zaista razlikuje dobrog prompt inženjera od lošeg… Mnogi ljudi će samo zapisati stvari koje znaju. Ali oni zaista ne odvoje vreme da sistematski razlože koji je stvarni pun skup informacija koje treba znati da biste razumeli ovaj zadatak?
Primeri iz prakse i povratna informacija
Amanda: Količina puta kada sam videla nečiji prompt i onda pomislila: “Ja ne mogu da uradim zadatak na osnovu ovog prompta.” Ja sam na ljudskom nivou i vi dajete ovo nečemu što je gore od mene i očekujete da radi bolje, i ja sam kao: “Da.”
Alex: Postoji ta interesantna stvar sa… Trenutni modeli zaista ne rade dobar posao postavljanja dobrih, ispitujućih pitanja kao odgovor kao što bi čovek uradio. Ako dajem Zack-u uputstva kako da uradi nešto, on će reći: “Ovo nema smisla. Šta treba da radim na ovom koraku ili ovde i ovde?” Model to ne radi, zar ne, tako da morate, kao sami, razmisliti šta bi ta druga osoba rekla i onda se vratiti na svoj prompt i odgovoriti na ta pitanja.
Amanda: Možete tražiti da to uradi. Ja to radim, da. Jedna od prvih stvari koje radim sa svojim početnim promptom je da mu dam prompt i onda kažem: “Ne želim da slediš ove instrukcije. Samo želim da mi kažeš na koje načine su nejasne ili bilo kakve dvosmislenosti, ili bilo šta što ne razumeš.” I ne razume uvek savršeno, ali je interesantno da je to jedna stvar koju možete da uradite.
A zatim takođe ponekad ako ljudi vide da model pravi grešku, stvar koju često ne rade je da samo pitaju model. Dakle, kažu modelu: “Pogrešio si ovo. Možeš li da razmisliš zašto? I možeš li možda da napišeš izmenjenu verziju mojih instrukcija koja bi učinila da ne pogrešiš?” I mnogo puta, model jednostavno pogodi. Model kaže: “Oh, da. Evo šta je bilo nejasno, evo ispravke instrukcija,” i onda ih stavite i radi.
Poverenje u model i iterativni pristup
Alex: Zapravo sam veoma radoznao oko ovoga lično skoro. Da li je istina da to funkcioniše? Da li je model sposoban da uoči svoje greške na taj način? Kada pogreši nešto, vi kažete: “Zašto si ovo pogrešio?” A zatim vam kaže možda nešto poput: “Okej, kako mogu da ti ovo formulišem u budućnosti da bi dobio tačan odgovor?” Da li postoji element istine u tome? Ili je to samo halucinacija³ sa strane modela oko onoga što misli da su njegove granice?
Amanda: Mislim da ako mu objasnite šta je pogrešio, ponekad može da identifikuje stvari u upitu. Mislim da ovo varira po zadatku. Ovo je jedna od onih stvari gde nisam sigurna koliki procenat vremena pogodi tačno, ali uvek pokušam jer ponekad uspeva. I naučite nešto.
Korišćenje modela za pomoć u istraživanju
Alex: Amanda, nastaviću da ti postavljam još nekoliko pitanja ovde. Jedna stvar možda za sve koji gledaju ovo, je da imamo ove Slack kanale u Anthropic-u gde ljudi mogu da dodaju Claude AI-a u Slack kanal, a zatim možete razgovarati sa Claude AI-om kroz njega. I Amanda ima Slack kanal koji mnogi ljudi prate njene interakcije sa Claude AI-om. I jedna stvar koju vidim da uvek radiš tamo, što verovatno radiš više od bilo koga u Anthropic-u, je korišćenje modela da ti pomogne u različitim scenarijima. Mislim da stavljaš mnogo poverenja u model u istraživačkom okruženju. Radoznao sam kako si razvila te intuicije kada da veruješ modelu. Da li je to samo pitanje upotrebe, iskustva ili je nešto drugo?
Amanda: Mislim da nikada ne verujem modelu i onda ga samo bombardujem. Dakle, mislim da je razlog zašto me vidite da to radim mnogo, to što je to moje “Mogu li ti verovati da uradiš ovaj zadatak?” Jer postoje neke stvari, modeli su nekako čudni. Ako idete malo van distribucije⁴, samo idete u oblasti gde nisu trenirani ili su neobične. Ponekad ste kao: “Zapravo, mnogo si manje pouzdan ovde, iako je prilično jednostavan zadatak.”
Mislim da se to dešava sve manje i manje tokom vremena kako modeli postaju bolji, ali želite da se uverite da niste u toj vrsti prostora. Dakle, da, ne mislim da mu verujem po defaultu, ali mislim da u ML-u⁵, ljudi često žele da gledaju preko zaista velikih skupova podataka. I ja sam kao: “Kada ima smisla to raditi?” I mislim da je odgovor kada dobijate relativno slab signal od svake tačke podataka, želite da gledate preko mnogo, mnogo tačaka podataka, jer u osnovi želite da se otarasite šuma.
Sa mnogo zadataka promptovanja, mislim da zapravo dobijate zaista visok signal od svakog upita. Dakle, ako imate zaista dobro konstruisan set od nekoliko stotina promptova, to mislim može biti mnogo više signala nego hiljade koje nisu tako dobro napravljene. Dakle, mislim da mogu da verujem modelu ako pogledam 100 njegovih output-a i on je zaista konzistentan. I znam da sam ih konstruisala da u osnovi shvatim sve granične slučajeve i sve čudne stvari koje model može da uradi, čudne inpute, itd. Verujem tome verovatno više nego mnogo labavije konstruisanom setu od nekoliko hiljada.
Čitanje između redova
David: Mislim da su u ML-u mnogo puta signali brojevi. Da li ste predvideli ovu stvar ispravno ili ne? I to bi bilo gledanje logprob-ova⁶ modela i pokušavanje da intuitivno shvatite stvari, što možete da radite, ali je nekako sumnjivo. Osećam da je činjenica da modeli češće nego ne proizvode mnogo stvari poput reči i stvari. Jednostavno postoji fundamentalno toliko toga da se nauči između redova onoga što piše i zašto i kako, i to je deo onoga što jeste.
To nije samo da li je dobio zadatak ispravno ili ne? To je kao: “Kako je stigao tamo? Kako je razmišljao o tome? Kroz koje korake je prošao?” Učite mnogo o tome šta se dešava, ili barem možete pokušati da dobijete bolji osećaj, mislim. Ali tu dolazi mnogo informacija za mene, čitanjem detalja onoga što je izašlo, ne samo kroz rezultat.
Važnost promptovanja u eksperimentima
Amanda: Mislim takođe da sam najbolja od promptovanja može napraviti razliku između neuspešnog i uspešnog eksperimenta. Dakle, ponekad mogu da se nerviram ako ljudi ne fokusiraju dovoljno na komponentu promptovanja svog eksperimenta, jer sam kao: “Ovo može, u stvari, biti razlika između 1% performansi modela ili 0,1%.” Na takav način da vaš eksperiment ne uspe ako je na top 5% performansi modela, ali uspe ako je top 1% ili top 0,1%. A onda sam kao: “Ako ćete provesti vreme na kodiranju vašeg eksperimenta zaista lepo, ali onda jednostavno ne provedete vreme na promptu.” Ne znam. To mi nema smisla, jer to može biti razlika između života i smrti vašeg eksperimenta.
Mit o savršenom promptu
David: To je malo mač sa dve oštrice, jer osećam da postoji malo promptovanja gde uvek postoji ovaj mitski, bolji prompt koji će rešiti moju stvar na horizontu. Vidim mnogo ljudi koji se zaglave u mitski prompt na horizontu, da ako samo nastavim da meljem, nastavim da meljem. Nikada nije loše malo se pomučiti na promptu, kao što smo pričali, učite stvari. Ali to je jedna od strašnih stvari o promptovanju je da postoji ovaj ceo svet nepoznatog.
Alex: Koje heuristike vi imate za kada je nešto moguće naspram nemogućeg sa savršenim promptom, šta god to bilo?
Amanda: Mislim da obično proveravam da li model nekako razume. Dakle, mislim za stvari gde jednostavno ne mislim da će prompt pomoći, postoji malo mlevenja. Ali često, jednostavno postaje zaista jasno da nije ni blizu ili nešto. Da. Ne znam da li je to čudno gde sam samo kao: “Da, ako model jednostavno jasno ne može da uradi nešto, neću se mučiti s tim predugo.”
Pokemon eksperiment
David: Imao sam svoju stvar sa Claude AI igra Pokemon nedavno, i to je bio jedan od retkih puta kada sam zaista… Možete li da objasnite to? Objasnite to samo za ljude. Mislim da je to zaista kul.
Uradio sam malo eksperimenta gde sam povezao Claude AI-a sa Game Boy emulatorom i pokušao da ga nateram da igra igru Pokemon Red kao OG Pokemon. I kao što razmišljate šta želite da radite i mogao je da napiše neki kod da pritiska dugmiće i slične stvari, prilično osnovno. I pokušao sam gomilu različitih veoma složenih layout-a promptovanja, ali samo dođete do određenih mesta gde jednostavno zaista nije mogao da uradi.
Dakle, pokazivanje snimka ekrana Game Boy-a, jednostavno zaista nije mogao da uradi. I jednostavno tako duboko jer sam tako navikao na to, da bude u stanju da uradi nešto uglavnom. Dakle, proveo sam ceo vikend pokušavajući da napišem bolje i bolje promptove da ga nateram da zaista razume ovaj Game Boy ekran. I postajao sam postepeno bolji tako da je bio samo užasan umesto potpuno bez signala. Mogli ste da pređete sa bez signala na neki signal. Ali bio je, ne znam, barem je ovo izvuklo iz mene.
Jednom kada sam uložio vikend vremena i prešao sam sa bez signala na neki signal, ali nigde blizu dovoljno dobrog, bio sam kao: “Samo ću sačekati sledeći.” Samo ću sačekati drugi model. Mogao bih da meljem na ovome četiri meseca, i stvar koja bi izašla je drugi model i to je bolje korišćenje mog vremena. Samo sedite i čekate da radite nešto drugo u međuvremenu.
Detalji Pokemon eksperimenta
Zack: Nešto što mi se svidelo kod tvog Claude AI prompta sa Pokemon-om gde si dobio najbolje što si mogao, bio je način na koji si objasnio modelu da je u sredini ove Pokemon igre. Evo kako će stvari biti predstavljene. Zapravo mislim da si ih predstavio na dva različita načina, zar ne?
David: Jesam. Dakle, ono što sam na kraju uradio, bilo je naporno ali sam postavio mrežu preko slike, a zatim sam morao da opišem svaki segment mreže u vizuelnim detaljima. Zatim sam morao da rekonstruišem to u ASCII mapu i dao sam mu što više detalja sam mogao. Lik igrača je uvek na lokaciji 4, 5 na mreži i slične stvari, i možete polako graditi informacije. Mislim da je to zapravo mnogo kao promptovanje, ali jednostavno nisam to radio sa slikama ranije. Gde je ponekad moja intuicija o tome šta treba da kažete modelu o tekstu veoma različita od onoga što treba da kažete modelu o slikama.
Razlike u promptovanju teksta i slika
David: Našao sam iznenađujuće mali broj mojih intuicija o tekstu koje su se prenele na slike. Našao sam da multi-shot promptovanje⁷ nije tako efikasno za slike i tekst. Nisam baš siguran, možete imati teorijska objašnjenja zašto. Možda postoji nekoliko toga u training podacima, nekoliko primera toga.
Alex: Znam da kada smo radili originalna istraživanja sa promptovanjem multimodalnih modela, zaista nismo mogli da ga nateramo da primetno radi. Jednostavno ne možete poboljšati Claude-ovu stvarnu vizuelnu oštrinu u smislu onoga što pokupi unutar slike. Bilo ko ovde ima načine na koje nisu videli tu funkciju. Ali izgleda da je to slično sa Pokemon stvari gde pokušava da interpretira ovu stvar. Bez obzira koliko promptova bacate na to, jednostavno neće pokupiti tog Ash-a koji je na toj lokaciji.
David: Ali da budem visceran o ovome, na kraju sam mogao da ga dovedem do toga da najčešće može da mi kaže gde je zid, i najčešće da mi kaže gde je karakter. Bio bi malo pogrešan. Ali onda dođete do tačke, a ovo se možda vraća na znanje kada ne možete da uradite. Opisao bi NPC-ja⁸, a da biste dobro igrali igru, morate imati neki osećaj kontinuiteta. Da li sam razgovarao sa ovim NPC-jem ranije? I bez toga, zaista nemate, nema ništa što možete da uradite. Samo ćete nastaviti da razgovarate sa NPC-jem, jer kao: “Pa, možda je ovo drugačiji NPC.”
Personifikacija i uloge u promptovanju
Alex: Ovo je zapravo interesantna tačka. Zapravo želim da uđem u ovo malo jer ovo je jedan od najpoznatijih saveta za promptovanje, a to je da kažete jezičkom modelu da su neka persona ili neka uloga. Osećam da vidim mešovite rezultate. Možda je ovo radilo malo bolje u prethodnim modelima a možda ne toliko više. Amanda, vidim te sve vreme da budeš veoma iskrena sa modelom o celoj situaciji kao: “Oh, ja sam AI istraživač i radim ovaj eksperiment.”
Amanda: Reći ću mu ko sam. Daću mu svoje ime, biti kao: “Evo s kim razgovaraš.”
Alex: Da li misliš da taj nivo iskrenosti, umesto laganja modelu ili prisiljavanja da kao: “Daću ti napojnicu od 500 dolara.” Da li postoji jedna metoda koja se preferira tu, ili samo šta je tvoja intuicija o tome?
Amanda: Mislim da kako modeli postaju sposobniji i razumeju više o svetu, pretpostavljam, jednostavno ne vidim da je neophodno da im lažem. Takođe ne volim da lažem modelima samo zato što generalno ne volim da lažem. Ali deo mene je ako vi, recimo, konstruišete… Pretpostavimo da konstruišete eval dataset⁹ za sistem mašinskog učenja ili za jezički model. To je veoma različito od konstruisanja kviza za neku decu.
Dakle, kada bi ljudi radili stvari kao: “Ja sam učitelj koji pokušava da smisli pitanja za kviz.” Ja sam kao: “Model zna šta su evaluacije jezičkih modela.” Ako ga pitate o različitim evaluacijama, može vam reći, i može vam dati izmišljene primere kako izgledaju. Jer ove stvari su kao da ih razumeju, one su na internetu. Dakle, ja sam kao: “Mnogo bih radije samo ciljala stvarni zadatak koji imam.”
Metafore i jasna komunikacija
Zack: Da malo guram nazad, pronašao sam slučajeve gde ne baš laganje ali davanje metafore kako da razmišlja o tome može pomoći. Na isti način na koji ponekad možda ne razumem kako da uradim nešto i neko kaže: “Zamisli da radiš ovo, iako znam da ne radiš to.” Onaj koji mi pada na pamet je pokušavao sam da nateram Claude AI-a da kaže da li je slika grafikona ili dijagrama dobra ili ne. Da li je visokog kvaliteta? I najbolji prompt koji sam našao za ovo je bio pitanje modelu koju bi ocenu dao grafikonu, ako bi bio podnet kao zadatak u srednjoj školi. Dakle, nije baš kao da kažete: “Ti si profesor u srednjoj školi.” Više je kao: “Ovo je vrsta analize koju tražim od tebe.” Skala koju bi učitelj koristio je slična skali koju želim da koristiš.
Amanda: Ali mislim da su te metafore prilično teške i dalje da se smisle. Mislim da ljudi i dalje, default koji vidite sve vreme je pronalaženje nekog faksimila zadatka. Nešto što je veoma sličan zadatak, kao što je reći da ste učitelj. Vi zapravo samo gubite mnogo u nijansama onoga što je vaš proizvod.
Pristup “temp agency” radnika
David: Prva stvar za koju osećam da bi trebalo da pokušate je, nekada sam davao ljudima ovaj misaoni eksperiment gde je kao da zamislite da imate ovaj zadatak. Unajmili ste temp agenciju da pošalje nekoga da uradi ovaj zadatak. Ova osoba stiže, znate da su prilično kompetentni. Znaju mnogo o vašoj industriji i tako dalje, ali ne znaju ime vaše kompanije. Bukvalno su se samo pojavili i kao: “Hej, rečeno mi je da vi imate posao za mene, recite mi o tome.” A zatim je kao: “Šta biste rekli toj osobi?”
I možda biste koristili ove metafore. Možete reći stvari kao: “Želimo da otkrijete dobre grafikone. Ono što mislimo pod dobrim grafikonom ovde je da ne mora biti savršen. Ne morate da idete da pogledate da li su svi detalji tačni.” Samo treba da ima svoje ose označene, i tako razmislite možda o nivou srednje škole, dobar grafikon. Možete reći tačno to toj osobi i ne govorite im: “Ti si srednja škola.” Ne biste im to rekli. Ne biste bili kao: “Ti si profesor u srednjoj školi koji čita grafikone.”
Davanje izlaza modelima
Amanda: Takođe dajemo im izlaze. Ovo je stvar koju ljudi često mogu zaboraviti u promptovima. Dakle, slučajevi, ako postoji granični slučaj, razmislite o tome šta želite da model uradi. Jer po defaultu, pokušaće najbolje da sledi vaše instrukcije, mnogo kao što bi osoba iz temp agencije, jer su kao: “Pa, nisu mi rekli kako da stupim u kontakt sa bilo kim.” Ako mi je samo data slika koze i ja sam kao: “Šta da radim? Ovo čak nije ni grafikon. Koliko je dobra slika koze kao grafikon?” Jednostavno ne znam.
I ako umesto toga kažete nešto poput: “Ako se desi nešto čudno i zaista niste sigurni šta da radite, samo iznesite u tagovima ‘nisam siguran’.” Onda možete proći kroz nesigurne koje ste dobili i biti kao: “Okej, kul. Nije uradio ništa čudno.” Dok po defaultu, ako ne date osobi opciju, oni su kao: “To je dobar grafikon.” Onda će ljudi biti kao: “Kako da to uradim?” A onda ste kao: “Pa, dajte mu izlaz. Dajte mu nešto da uradi ako se desi zaista neočekivani input.”
Razumevanje Chain of Thought tehnike
Alex: Imam jednu stvar na koju želim da se vratim o kojoj smo razgovarali nekoliko pitanja unazad, mislim da ste govorili o dobijanju signala iz odgovora. Tu jednostavno ima toliko toga i to je više od samo broja, i zapravo možete čitati u skoro misaoni proces. Kladim se da je ovo verovatno malo kontroverzno možda oko chain of thought¹⁰. Za ljude koji slušaju, chain of thought, ovaj proces navođenja da zapravo objasni svoje rezonovanje pre nego što pruži odgovor. Da li je to rezonovanje stvarno ili je to samo nekakav prostor za držanje da model radi izračunavanje? Da li zapravo mislimo da postoji dobar, pronicljiv signal koji dobijamo od modela tu?
David: Ovo je jedno od mesta gde se borim sa tim. Normalno sam zapravo donekle za personifikaciju jer mislim da vam pomaže da dobijete pristojne faksimile, misli o tome kako model funkcioniše. A ovaj, mislim da je možda štetan skoro da se previše uđe u personifikaciju onoga što je rezonovanje, jer jednostavno gubi nit onoga što pokušavamo da radimo ovde.
Da li je to rezonovanje ili ne? Osećam se skoro kao drugačije pitanje od toga koja je najbolja tehnika promptovanja? To je kao da ulazite u filozofiju, u koju možemo ući. Ali umesto toga, jednostavno funkcioniše. Vaš model radi bolje. Ishod je bolji ako radite rezonovanje. Mislim da sam našao da ako strukturirate rezonovanje i pomognete da iterirate sa modelom o tome kako treba da radi rezonovanje, radi bolje takođe. Da li je to rezonovanje ili kako ste hteli da ga klasifikujete, možete razmišljati o svim vrstama proksi za to kako bih i ja zaista loše radio ako bih morao da radim jednokratnu matematiku bez pisanja bilo čega. Možda je to korisno, ali sve što zaista znam je da veoma očigledno pomaže.
Evolucija promptovanja kroz vreme
Alex: Želim da pređem na nešto drugo oko možda istorije prompt inženjeringa, a zatim ću pratiti ovo sa budućnošću. Kako se prompt inženjering promenio tokom samo protekle tri godine? Možda počevši od pretrained modela, koji su opet bili samo ovi dopunjivači teksta, do ranijih, glupljih modela kao Claude AI 1, a zatim sve do Claude AI 3.5 Sonnet. Koje su razlike? Da li sada razgovarate sa modelima drugačije? Da li pokupljaju različite stvari? Da li morate uložiti toliko rada u prompt?
Zack: Mislim da svaki put kada smo dobili zaista dobar prompt inženjering hak, ili trik ili tehniku, sledeća stvar je kako da to utreniramo u model? I iz tog razloga, najbolje stvari će uvek biti kratkog veka. Osim primera i chain of thought. Mislim da postoji nekoliko.
David: To nije kao trik. To je kao… Na nivou komunikacije. Kada kažem trik, mislim na nešto kao chain of thought zapravo, mi smo to utrenirali u model u nekim slučajevima. Dakle, za matematiku, nekada je bilo da morate reći modelu da razmišlja korak po korak o matematici, i dobili biste ove masivne pobjede i pobede. A zatim smo bili kao: “Pa, šta ako samo nateramo model da prirodno želi da razmišlja korak po korak kada vidimo matematički problem?” Dakle, sada više ne morate to da radite za matematičke probleme, iako još uvek možete dati neki savet o tome kako da radite strukturu. Ali, barem razume opštu ideju da treba da bude.
Poštovanje sposobnosti modela
David: Ne znam da li je to kako sam ja promptovao ili kako promptovanje funkcioniše. Ali sam došao da pokažem više generalnog poštovanja prema modelima u smislu koliko osećam da mogu da im kažem, i koliko konteksta mogu da im dam o zadatku i sličnim stvarima. Osećam da sam u prošlosti nekako namerno skrivao složenost od modela gde sam mislio da bi mogao da se zbuni ili izgubi ili sakrije. Jednostavno nije mogao da podnese celu stvar, pa bih pokušao da pronađem jednostavnije verzije stvari za njega da uradi.
I kako vreme prolazi, mnogo sam više sklon da mu verujem sa sve više i više informacija i konteksta, i verujem da će moći da spoji to u dobro obavljanje zadatka. Dok ranije, pretpostavljam, razmišljao bih mnogo o tome da li mi treba ovaj obrazac? Mogu li zaista da mu dam sve informacije koje treba da zna, ili treba da organizujem do nečega? Ali opet, ne znam da li je to samo ja i kako sam se promenio u smislu promptovanja, ili ako to zapravo odražava kako su se modeli promenili.
Revolucionarna tehnika – davanje naučnih radova modelu
Amanda: Uvek sam iznenađena što mislim da mnogi ljudi nemaju instinkt da ovo rade. Kada želim da model, recimo, nauči tehniku promptovanja. Mnogo puta, ljudi će početi i počeće da opisuju tehniku promptovanja, a ja sam samo kao: “Daj mu rad.”
Dakle, ja to radim, dam mu rad i onda sam kao: “Evo rada o tehnici promptovanja. Samo želim da zapišeš 17 primera ovoga.” A zatim to jednostavno uradi jer sam kao: “Pročitao je rad.”
Alex: Ovo je interesantno. Kada biste želeli da ovo radite?
Amanda: Ponekad ako želim da modeli kažu prompt drugim modelima ili želim da testiram novu tehniku promptovanja. Dakle, ako izađu radovi o tehnici promptovanja, umesto da pokušavam da je repliciram pisanjem prompta, samo mu dam rad. A zatim sam kao: “U osnovi, napiši meta prompt za ovo. Napiši nešto što bi nateralo druge modele da rade ovo ili napiši mi šablon.”
Dakle, sve stvari koje biste normalno radili. Ako pročitam rad i pomislim: “Oh, voleo bih da modeli, voleo bih da testiram taj stil.” Jednostavno sam kao: “Tu je. Model može samo da pročita rad, uradi ono što sam ja uradio.” A zatim biti kao: “Natera drugi model da uradi ovo,” i onda će samo uraditi stvar. Vi ste kao: “Odlično, hvala.”
David: Dajem savet mnogo klijentima da jednostavno poštuju model i ono što može da uradi. Osećam da ljudi osećaju kao da mazе sistem mnogo puta kada pišu prompt. To je kao: “Oh, to je ova slatka mala, ne tako pametna stvar. Treba zaista da je mazim, kao da pojednostavljujem stvari do Claude-ovog nivoa.” A ako samo mislite da je Claude AI pametan i tretirate ga na taj način, ima tendenciju da radi prilično dobro, ali to je kao daj mu rad. To je kao da ne moram da napišem bebi, pojednostavljenu verziju ovog rada da Claude AI razume. Mogu samo da mu pokažem rad.
Pretrained vs RLHF modeli – različiti načini “razmišljanja”
Amanda: I to je interesantno jer mislim da je promptovanje i ima i nema promene u smislu. Mislim da se ono što ću raditi da promptujem modele verovatno promenilo tokom vremena, ali fundamentalno, to je mnogo zamišljanja sebe na mestu modela. Dakle, možda je to koliko sposobnim mislite da je model menja tokom vremena.
Mislim da me je neko jednom ismejao jer sam razmišljala o problemu, a zatim su me pitali šta mislim da bi bio output nečega. I pričali su o pretrained modelu i bila sam kao: “Da. Ne, ako sam pretrained model, ovo izgleda ovako.” A zatim su kao: “Čekaj, da li si upravo simulirala kako je biti pretrained model?” Ja sam kao: “Da, naravno.”
Navikla sam da samo pokušavam da nastanjujem mentalni prostor pretrained modela i mentalni prostor različitih RLHF modela¹¹. Dakle, više je kao mentalni prostor koji pokušavate da zauzimate promene i to može promeniti kako na kraju promptujete model. Zato sada samo dajem modelima radove. Jer čim sam bila kao: “Oh, imam mentalni prostor ovog modela, ne treba mi da ga maziм. Može samo da čita ML radove. Samo ću mu dati literaturu.” Možda čak budem kao: “Da li postoji više literature koju bi voleo da pročitaš da bi ovo bolje razumeo?”
Razlike u mentalnim prostorima modela
Alex: Da li dobijate bilo kakvu kvaliju kada nastanjujete mentalni prostor?
Amanda: Da, ali samo zato što doživljavam kvaliju sve vreme svakako.
Alex: Da li je drugačije korelisano nekako sa kojim modelom nastanjujete?
Amanda: Da, pretrained nasuprot RLHF promptovanju su veoma različite zveri. Jer kada pokušavate da simulirate kako je biti pretrained model, skoro je kao da sletim usred dela teksta ili nešto. Jednostavno je veoma neljudski ili nešto. A zatim sam kao: “Šta se dešava? Šta se nastavlja u ovom trenutku?”
Dok sa RLHF modelom, mnogo je više kao da postoje mnoge stvari gde sam kao da mogu pokupiti suptilne stvari u upitu i slične stvari. Ali da, mislim da imam mnogo više da je lakše nastaniti mentalni prostor RLHF modela.
David: Zapravo mi je lakše da pogodim mentalni prostor pretrained modela. Ne znam šta je to, jer RLHF je još uvek ova složena zver da nije super jasno meni da zaista razumemo šta se dešava. Dakle, na neki način, bliže je mom doživljenom iskustvu, što je lakše. Ali na neki način, osećam da postoji sve ovo kao ovde budu zmajevi tamo koje ne znam.
Dok pretrained, nekako imam pristojan osećaj kako internet izgleda. Ako biste mi dali deo teksta i rekli šta dolazi sledeće? Ne kažem da radim dobro na tome, ali nekako razumem šta se tu dešava. I ne znam, nakon svega što radimo nakon pretraining-a, zaista ne tvrdim da razumem šta se dešava toliko, ali možda je to samo ja.
Budućnost prompt inženjeringa
Alex: Dakle, to je prošlost. Sada, hajde da pređemo na budućnost prompt inženjeringa. Ovo je najvruće pitanje trenutno. Da li ćemo svi biti prompt inženjeri u budućnosti? Da li će to biti poslednji posao koji ostaje? Ništa ne ostaje osim nas koji samo razgovaramo sa modelima ceo dan? Kako ovo izgleda? Da li će promptovanje biti neophodno, ili će ovi modeli jednostavno postati dovoljno pametni u budućnosti da im ne treba? Bilo ko želi da počne sa tim lakim pitanjem?
David: Do neke mere, postoji da modeli postaju bolji u razumevanju šta želite da urade i da to urade, znači da količina razmišljanja koju treba da uložite u… Okej. Postoji način teorije informacija da razmislite o ovome da treba da pružite dovoljno informacija tako da je stvar specificirana, ono što želite da model uradi je specificirano. I u meri u kojoj je to prompt inženjering, mislim da će to uvek biti tu.
Sposobnost da zapravo jasno navedete koji bi cilj trebalo da bude je uvek smešna. Ako Claude AI može to da uradi, onda je to u redu. Ako je Claude AI onaj koji postavlja ciljeve, onda su stvari van kontrole. Ali u međuvremenu, gde možemo razmišljati o svetu na normalniji način, mislim da do neke mere, uvek će biti važno moći da specificirate šta očekujete da se desi? I to je zapravo dovoljno teško da čak i ako model postane bolji u intuitivnom shvatanju toga između redova, još uvek mislim da postoji neka količina dobrog pisanja.
Ali onda jednostavno mislim da alati i načini na koje dolazimo tamo treba mnogo da evoluiraju. Claude AI bi trebalo da može mnogo više da mi pomogne. Trebalo bi da mogu mnogo više da sarađujem sa Claude AI-om da shvatim šta treba da zapišem i šta nedostaje. Claude AI već radi ovo sa mnom sve vreme. Ne znam, Claude AI je sada moj asistent za promptovanje.
Model kao pomoćnik u promptovanju
Zack: Jedna ledeno hladna prognoza je da ćemo koristiti modele da nam pomognu mnogo više u budućnosti da nam pomognu sa promptovanjem. Razlog zašto kažem da je ledeno hladna je što očekujem da ćemo koristiti modele za sve više, a promptovanje je nešto što moramo da radimo. Dakle, verovatno ćemo samo koristiti modele više da to radimo zajedno sa svim ostalim.
Za sebe, pronašao sam da koristim modele da pišu promptove više. Jedna stvar koju sam radio mnogo je generisanje primera davanjem nekih realističnih inputa modelu. Model piše neke odgovore. Malo prilagođavam odgovore, što je mnogo lakše nego morati da napišem pun, savršen odgovor sam od nule, a zatim mogu da proizvedem mnogo toga.
Što se tiče ljudi koji nisu imali toliko iskustva sa prompt inženjeringom, generator promptova može dati ljudima mesto odakle da počnu. Ali mislim da je to samo super osnovna verzija onoga što će se desiti u budućnosti, što je interakcija visokog propusnog opsega između vas i modela dok pišete prompt. Gde dajete povratne informacije kao: “Hej, ovaj rezultat nije bio ono što sam želeo. Kako možeš da ga promeniš da bude bolji?” I ljudi će jednostavno postati ugodniji sa integrisanjem toga u sve što rade i ovu stvar, posebno.
Kada model promptuje nas
Amanda: Na pitanju gde ide prompt inženjering, mislim da je ovo veoma teško pitanje. S jedne strane sam kao: “Možda je slučaj da dokle god želite vrh.” Šta radimo kada radimo prompt inženjering? To je kao što ste rekli. Ja sam kao: “Ne radim prompt inženjering za bilo šta što je lako za model. Radim to jer želim da interagujem sa modelom koji je izuzetno dobar.” I želim uvek da pronalazim top 1%, top 0,1% performansi i sve stvari koje modeli jedva mogu da urade.
Ponekad zapravo osećam kao da interagujem sa modelom kao korak iznad onoga sa čim svi drugi interaguju iz ovog razloga, jer sam jednostavno tako navikla da izvlačim vrhunske performanse iz modela. Ali zamislite da ste sada u svetu gde… Dakle, mislim da je stvar koja se oseća kao tranziciona tačka tačka u kojoj modeli, pretpostavimo da jednostavno dobijaju stvari na ljudskom nivou na datom zadatku, ili čak iznad ljudskog nivoa. Znaju više o pozadini zadatka koji želite nego vi. Šta se onda dešava?
Ja sam kao možda promptovanje postaje nešto poput ja pitam, objašnjavam modelu šta želim i on me promptuje. Jer je kao: “Okej. Pa, da li misliš zapravo postoje četiri različita koncepta ove stvari o kojoj pričaš, da li želiš da koristim ovaj ili onaj?” Ili usput, razmišljao sam o nekim graničnim slučajevima jer si rekao da će biti kao Pandas DataFrame¹², ali ponekad to radite i dobijam JSONL, i samo želim da proverim šta želite da radim tamo. Da li želite da označim ako dobijem nešto što nije dataframe?
Dakle, to bi mogla biti čudna tranzicija gde je jednostavno izuzetno dobro u primanju instrukcija, ali zapravo mora da shvati šta želite. Ne znam, mogao bih videti da je to interesantan prekidač.
Filozofski pristup prompt inženjeringu
Amanda: Ovo je zapravo kako razmišljam o promptovanju sada na čudan način. Tako često moj stil promptovanja, postoje različite stvari koje radim, ali uobičajena stvar koja je veoma kao stvar koju će filozofi raditi je da ću definisati nove koncepte. Jer moja misao je da morate staviti u reči ono što želite i ponekad ono što želim je prilično nijansovano.
Kao što je dobar grafikon? Ili obično, ne znam, kada treba da ocenite nešto kao ispravno ili ne? Dakle, postoje neki slučajevi gde ću samo izmisliti koncept i onda biti kao: “Evo šta mislim pod konceptom.” Ponekad ću to raditi u saradnji sa Claude AI-om da ga nateram da shvati koji je koncept, samo zato što pokušavam da mu prenesem ono što je u mojoj glavi.
Filozofsko obrazovanje kao prednost
Amanda: Ovo je ljudi su me ponekad pitali: “Oh, gde je filozofija relevantna za promptovanje?” I zapravo mislim da je veoma korisna u smislu. Dakle, postoji stil filozofskog pisanja, i ovo je barem kako su me učili kako da pišem filozofiju. Gde je ideja da da bi… Mislim, to je anti-glupost uređaj u filozofiji u osnovi, što je da vaši radovi i ono što pišete treba da budu čitljivi obrazovanom laiku.
Neko samo pronađe vaš rad, pokupe ga i počnu da čitaju, i mogu razumeti sve. Ne postižu svi ovo, ali to je cilj discipline, pretpostavljam, ili barem je to barem ono čemu učimo ljude. Dakle, zaista sam navikla na ovu ideju kada pišem, razmišljajući o obrazovanom laiku, koji su zaista pametni, ali ne znaju ništa o ovoj temi.
I to je bilo godine i godine pisanja teksta te forme. I mislim da je bilo zaista dobro za promptovanje jer sam bila kao: “Oh, navikla sam na ovo. Imam obrazovanog laika koji ne zna ništa o temi.” I ono što treba da uradim je, treba da uzmem izuzetno složene ideje i treba da ih nateram da razumeju. Ne govorim im s visoka. Nisam netačna, ali treba da formulišem stvari na takav način da im je izuzetno jasno šta mislim, a promptovanje se osećalo veoma slično.
Eksternalizacija mozga
Alex: To bi mogao biti najbolji rezime kako dobro promptovati koji sam ikada čuo. U stvari, prilično sam siguran da jeste.
Amanda: Eksternalizujte svoj mozak.
Alex: Imati obrazovanje u stvari je zaista dobar način da opišete stvar. To je bilo dobro.
Alex: To je, mislim, odličan način da završimo ovaj razgovor. Hvala vam, momci. Ovo je bilo sjajno.
Rečnik ključnih termina
Chain of Thought (Lanac razmišljanja) – tehnika gde model objašnjava svoj proces razmišljanja korak po korak
Edge cases (Granični slučajevi) – neobični ili ekstremni scenariji koji testiraju granice sistema
Eval dataset – skup podataka za evaluaciju performansi modela
Finetuning – proces dodatnog treniranja AI modela na specifičnim podacima
Halucinacija – kada AI model generiše informacije koje zvuče uverljivo ali nisu tačne
Logprobs – logaritamske verovatnoće koje pokazuju koliko je model siguran u svaki deo odgovora
Multi-shot promptovanje – tehnika davanja više primera pre glavnog zadatka
NPC (Non-Player Character) – lik u igri kojim ne upravlja igrač
Pandas DataFrame – struktura podataka u Python programiranju za tabelarne podatke
Pretrained model – osnovni model pre dodatnog treniranja
Prompt engineering (Inženjering upita) – veština kreiranja efikasnih instrukcija za AI modele
RAG (Retrieval-Augmented Generation) – tehnika koja kombinuje pretraživanje relevantnih informacija sa generisanjem odgovora
RLHF (Reinforcement Learning from Human Feedback) – učenje putem ljudskih povratnih informacija
Temp agency – agencija za privremeno zapošljavanje
Van distribucije – situacije ili podaci koji se značajno razlikuju od onoga na čemu je model treniran
Fusnote:
¹ Finetuning – proces dodatnog treniranja AI modela na specifičnim podacima kako bi bolje obavljao određene zadatke
² RAG (Retrieval-Augmented Generation) – tehnika koja kombinuje pretraživanje relevantnih informacija sa generisanjem odgovora
³ Halucinacija – kada AI model generiše informacije koje zvuče uverljivo ali nisu tačne
⁴ Van distribucije – situacije ili podaci koji se značajno razlikuju od onoga na čemu je model treniran
⁵ ML (Machine Learning) – mašinsko učenje
⁶ Logprobs – logaritamske verovatnoće koje pokazuju koliko je model siguran u svaki deo svog odgovora
⁷ Multi-shot promptovanje – tehnika davanja više primera pre glavnog zadatka
⁸ NPC (Non-Player Character) – lik u igri kojim ne upravlja igrač
⁹ Eval dataset – skup podataka za evaluaciju performansi modela
¹⁰ Chain of Thought – tehnika gde model objašnjava svoj proces razmišljanja korak po korak
¹¹ RLHF modeli – modeli trenirani sa Reinforcement Learning from Human Feedback
¹² Pandas DataFrame – struktura podataka u Python programiranju za tabelarne podatke