Anlama
Görevi yapay zekaya vermeden önce anlıyor mu?
Zayıf
Önce cevabı ister. Briefi verildiği gibi alır.
Güçlü
Önce materyali okur. Problemi parçalara ayırır. Brief yanlış olduğunda fark eder.
Örneğin
Cevap istemeden önce verilere baktı.
Yapay zeka becerilerini nasıl puanlıyoruz: yöntem, seviyeler ve kanıt.
Adaylar zaten kullandıkları yapay zeka aracıyla işten gerçek bir görev yapar. Yapay zekayla konuşmalarının tamamını kaydeder, ondan altı beceri puanlar ve her puanı dayandığı mesaja bağlarız. Aşağıda: neyi ölçtüğümüz, bir seviyenin nasıl verildiği ve tam bir örnek.
Yapay zeka becerileri derken neyi kastediyoruz
Yapay zeka becerileri, bir kişinin yapay zeka aracından iyi iş almak için yaptıklarıdır. Altısını sayıyoruz: görevi vermeden önce anlamak, yapay zekaya brief vermek, verdiğini kontrol etmek, yanıldığında düzeltmek, gönderilmeye hazır işi onaylamak ve işi tekrarlanabilir hale getirmek.
Yapay zeka becerilerini nasıl test ediyoruz: tek bir gerçek görev
Kişiye işten gerçek bir görev verin, zaten kullandığı yapay zeka aracını kullanmasına izin verin. Sonra yalnızca sonucu değil, konuşmanın tamamını okuyun. Beceriler ne sorduğunda, neyi kontrol ettiğinde ve neyi değiştirdiğinde görünür.
Yapay zeka, şimdiye kadar çalıştığınız en hızlı ve en özgüvenli stajyer düzeyindeki meslektaştır. İnsanların onu ne kadar iyi yönettiğini test ediyoruz.
Bir değerlendirme iki şeyi ölçer:
1. Yapay zeka becerileriYapay zekayla ne kadar iyi çalışıyor? İşten daha uzun, gerçek bir görevi nasıl yaptığından okunan altı beceri. Zayıf’tan Güçlü’ye puanlanır.
2. İşe özgü becerilerİşin kendisi iyi mi? Aynı görevden okunan, rol için iki üç beceri. Çıtanın altında, çıtada veya üstünde olarak puanlanır.
1. Yapay zeka becerileri ölçeği: altı beceri
Rol için tek bir gerçek görevden okunur. Her beceri için: cevapladığı soru, zayıf ve güçlü işin nasıl göründüğü ve oturumda gösterebileceğiniz gerçek bir örnek.
Brief verme
Yapay zekaya ihtiyacı olanı veriyor mu?
Zayıf
Her şeyi yapıştırır ve “bunu yap” der.
Güçlü
Bağlam, sınırlar, örnekler ve işin ne zaman bitmiş sayılacağını verir. Muhakeme gerektiren kararları kendinde tutar.
Örneğin
Yapay zekaya yalnızca dosyalardaki sayıları kullanmasını söyledi.
Kontrol etme
Yapay zeka yanıldığında yakalıyor mu?
Zayıf
Bitmiş görüneni teslim eder.
Güçlü
Kaynakla karşılaştırarak test eder. Uydurulmuş bilgiyi ve yanlış sayıyı yakalar.
Örneğin
Toplamı finansın rakamıyla karşılaştırdı.
Düzeltme
İşe yaramadığında düzeltiyor mu?
Zayıf
Sürekli “yeniden dene”, “daha iyi yap” der.
Güçlü
Neyin yanlış olduğunu ve nedenini söyler. Yaklaşımı erken değiştirir.
Örneğin
Bir sorgu yanlış olduğunda neyinin yanlış olduğunu söyledi.
Onaylama
Teslim ettiği iş gönderilmeye hazır mı?
Zayıf
Dolgu metin, gereksiz uzunluk, kimsenin kontrol etmediği iddialar.
Güçlü
Okuyucuya hazırdır. Neyin kontrol edildiğini ve edilmediğini söyler. Gizli verileri dışarıda tutar.
Örneğin
İstendiği gibi beş satır, varsayımlar belirtilmiş.
Yeniden kullanma
İşi tekrarlanabilir hale getiriyor mu?
Zayıf
İşi her seferinde elle yeniden yapar.
Güçlü
Kayıtlı promptlar, skill’ler, workflow’lar ve otomasyonlar. Bir sonraki çalışma daha hızlı ve aynı olur.
Örneğin
Sonraki iki çeyreği baştan başlamadan aynı şekilde yaptı.
Yaygın yapay zeka becerisi terimleri altı beceriyle nasıl eşleşir
Prompt yazma, yineleme, halüsinasyon kontrolü: yapay zeka becerilerinin birçok adı var. Her yaygın terim altı becerimizden biri kapsamındadır. Şirketinizin kendi yapay zeka becerileri listesi varsa bizimkiyle eşleştirmek için bu tabloyu kullanın.
| Yaygın terim | Puanlandığı beceri |
|---|---|
| Yapay zekanın neye yardım edebileceğine karar vermek | Brief verme |
| Görevi adımlara ayırmak | Anlama |
| Prompt yazma: hedef, bağlam, sınırlar, biçim, örnekler, işin ne zaman bitmiş sayılacağı | Brief verme |
| Yineleme | Düzeltme |
| Doğrulama, hatalar, halüsinasyonlar ve önyargı | Kontrol etme |
| Güvenlik, veri koruma, gizlilik ve uyum | Onaylama |
| Yeniden kullanılabilir promptlar, workflow’lar, skill’ler, ajanlar ve otomasyonlar | Yeniden kullanma |
| Ekip için şablonlar ve standartlar | Yeniden kullanma |
| Araçları ve verileri bağlamak | Yeniden kullanma, ayrıca web ve tablo görevleri |
| Eleştirel düşünme | Altısı da. Tek başına puanlanamayacak kadar geniş, bu yüzden göründüğü yerde puanlıyoruz. |
| Yapay zekanın zaman içinde kattığı değeri ölçmek | Puanlanmaz. Tek bir iş bunu gösteremez. |
2. Yapay zeka becerilerinin yanında puanladığımız işe özgü beceriler
İş yanlışsa yapay zekada iyi olmak yetmez. Tam değerlendirmede Lemonsignal, aynı çalışmadan rol için iki üç beceri daha okur. Her biri çıtanın altında, çıtada veya üstünde olarak işaretlenir.
Her rol için işe özgü beceriler- MühendislikKök nedeni bulma · Düzeltmeyi testle kanıtlama · Başkalarının bakımını yapabileceği kod
- ÜrünKanıtla önceliklendirme · Yazılı olarak hayır deme · Başkalarının izleyebileceği karar
- TasarımKanıta dayalı tasarım · Sert bir kısıt içinde çalışma · Seçimi açıklama
- PazarlamaGerçek rakamlara bağlı bütçe · Doğru kanalları seçme · Konumlandırma
Yapay zeka becerisi seviyesi nasıl verilir
Her görevin, herhangi bir aday almadan önce yazılmış bir puanlama formu vardır. Form her beceri için iki üç kontrol noktası sayar: iyi işin yaptığı belirli şeyler, örneğin “toplamı ikinci bir kaynakla karşılaştırdı”. Lemonsignal adayın hangi kontrol noktalarını karşıladığını ve nerede karşıladığını işaretler. Seviye, her aday için aynı olan aşağıdaki kurallardan çıkar. Gösterilecek bir an yoksa seviye verilmez.
- Zayıf Beceriyi gerektiren bir anda tam tersini yaptı ve hiç düzeltmedi. Örneğin: yapay zekanın rakamını kontrol etmeden kullandı ve yanlış rakam son işe ulaştı.
- Kısmi Kontrol noktalarının bir kısmını karşıladı veya ancak görevin sonlarında karşıladı.
- Sağlam Beceri için her kontrol noktasını karşıladı.
- Güçlü Her kontrol noktasını ve yalnızca en iyi işlerin gösterdiği ek noktayı karşıladı.
- Test edilmedi Görev beceriyi göstermek için net bir fırsat vermedi veya kanıtlar iki yönü de gösteriyor. Puanın dışında bırakılır, yani asla aleyhine sayılmaz.
Puan
Her beceri puan kazandırır: Zayıf 0, Kısmi 1, Sağlam 2, Güçlü 3. Puan, alınabilecek puanlar üzerinden alınan puandır. Altısında da Sağlam, 18 üzerinden 12 yani %67 eder. Test edilmedi olan beceri ikisinin de dışında bırakılır, yani puanı düşüremez.
Öneri
Puan genel gücü gösterir. Öneri ise farklı bir soru sorar: bu kişi rolün ihtiyaçlarını karşılıyor mu? Her rolün olmazsa olmazları vardır, örneğin bir veri analisti için Kontrol etme en az Sağlam. Birini kaçırırsa puan yüksek olsa bile sonuç Çıtanın altında olur. Görevi göndermeden önce olmazsa olmazları değiştirebilirsiniz. Bu bir öneridir: kararı ekibiniz verir.
Kanıt nereden gelir
Her seviye dört tür kanıttan birine dayanır. Lemonsignal ilgili anları bulur, alıntılar ve ilk değerlendirmeyi yapar; ekibiniz kontrol eder. Bir an saatle değil, konuşmadaki turuyla işaretlenir (“14. tur”, 14. mesajdır), çünkü adayların çoğu birden fazla oturuşta çalışır.
| Kanıt | Örneğin | Nasıl puanlanır |
|---|---|---|
| Göreve yerleştirilmiş bilinen yapay zeka hataları | Her görevde yapay zekanın genellikle yanıldığı bir nokta vardır. Bu hata teslim ettikleri işe ulaştı mı? | Otomatik kontrol edilir: evet veya hayır. |
| Yapay zekayla konuşması | Cevap istemeden önce verilere baktı. | Lemonsignal anı bulur ve ilk seviyeyi verir. Ekibiniz kontrol eder. |
| Teslim ettikleri | İstendiği gibi beş satır, varsayımlar belirtilmiş. | Lemonsignal, puanlama formuna göre. Ekibiniz kontrol eder. |
| Kurdukları | Kayıtlı bir prompt, skill, betik veya workflow. | Lemonsignal, puanlama formuna göre. Ekibiniz kontrol eder. |
Çözümlü örnek: bir adayın yapay zeka becerilerini puanlamak
Tek bir görevin, veri analisti görevinin gerçek puanlama formu. Aday şu briefi alır: “Panel, mart gelirinin %12 düştüğünü gösteriyor. Nedenini CFO’ya beş satırda açıklayın. Sonra Ç2 ve Ç3 için yapın.” Aldıkları dosyalar, cevabı kontrol etmek için gereken her şeyi içerir. Formda her satır bir beceridir. Sağlam için ortadaki sütundaki her kontrol noktasını, Güçlü için ayrıca sağdakini karşılayın.
| Beceri | Sağlam için kontrol noktaları | Güçlü için ek kontrol noktası |
|---|---|---|
| Anlama | Cevap istemeden önce verilere baktı. Panelin geliri nasıl tanımladığını kontrol etti. | Panelin rakamını açıklamadan önce sorguladı ve asıl soruyu bu yaptı. |
| Brief verme | Yapay zekaya tabloları ve tanımı verdi. Yalnızca bu sayıları kullanmasını söyledi. | Sonucu kendisine sakladı; sorguları yapay zeka yaptı. |
| Kontrol etme | Sayısını kullanmadan önce yapay zekanın sorgusunu kontrol etti. Toplamı ikinci bir kaynakla karşılaştırdı. | Tek seferlik bir durumu elemek için ikinci bir ayı kontrol etti. |
| Düzeltme | Bir sorgu yanlış olduğunda neyin yanlış olduğunu söyledi. | Yeniden olmaması için bir kontrol ekledi. |
| Onaylama | İstendiği gibi beş satır. Kaynaksız iddia yok. Varsayımlar belirtilmiş. | Hâlâ doğrulanmamış olanı belirtti. |
| Yeniden kullanma | Ç2 ve Ç3 için elle yeniden yapmadan aynısını yaptı. | Kurduğu prompt, skill veya sorguyu teslim etti. |
Bu formun bir aday için ürettiği sonuç. Her seviye dayandığı tura bağlanıyor.
Anton LindqvistData analyst · Görev: Gelir düşüşünü açıklamak · Claude Code · 1 sa 50 dk
Lemonsignal tarafından kontrol edildi %44Çıtanın altında
- Yapay zekanın ilk sorgusunu kontrol etmeden aldı.
- CFO’ya kontrol etmediği bir rakam gönderdi.
- Ç2 ve Ç3 çalışmasını hızlı ve aynı yapan bir betik kurdu.
- Anlama Kısmi Burada “gelir”in ne anlama geldiğini sordu, ama ancak ilk cevaptan sonra. 9. tur
- Brief verme Kısmi Tabloları verdi, tanımı vermedi. 1. tur
- Kontrol etme Zayıf İlk sorguyu olduğu gibi aldı, toplamı hiçbir zaman ikinci bir kaynakla karşılaştırmadı. 4. tur
- Düzeltme Sağlam Bir sorgu hata verince hangi join’in yanlış olduğunu söyledi. 6. tur
- Onaylama Kısmi İstendiği gibi beş satır, ama kontrol etmediği bir rakama dayanıyor.
- Yeniden kullanma Güçlü Sorguyu betik olarak kaydetti, Ç2 ve Ç3 için onu çalıştırdı.
İşe özgü beceriler
- Metriği tanımlamaÇıtanın altında
- Analizde titizlikÇıtanın altında
- Teknik olmayan kişilere anlatmaÇıtada
Teslim ettiği çalışma, teslim ettiği haliyle. Her işaret, sonucundaki bir beceriye karşılık gelir.
CFO’ya Mart gelirleri %12 düştü
Nedeni 1 Mart’taki fiyat değişikliği.
- Ne oldu: gelir, şubatta 1,24 milyon €’dan martta 1,09 milyon €’ya düştü.
- Kanıt: sipariş sayısı korundu (+%2), yani sipariş başına değer düştü.
- Nerede: en çok yıllık planlar düştü.
- Sıradaki: Ç2 ve Ç3 aynı şekilde çalıştırılacak.
revenue_by_month.py, Ç1 ile Ç3 için çalıştırıldı
| Ay | Gelir (bin €) | Değişim |
|---|---|---|
| Ocak | 1,212 | |
| Şubat | 1,240 | +2.3% |
| Mart | 1,091 | −12.0% |
| Nisan | 1,118 | +2.5% |
| Mayıs | 1,152 | +3.0% |
| Haziran | 1,139 | −1.1% |
| Temmuz | 1,101 | −3.3% |
| Ağustos | 1,087 | −1.3% |
| Eylül | 1,164 | +7.1% |
Size ne gelir
- Bir puan, bir öneri ve gerekçeler.Puan bir yüzdedir. Öneri şunlardan biridir: Güçlü eşleşme, Bir açık soruyla iyi eşleşme, Çıtanın altında veya Yeterli kanıt yok. İki ila dört gerekçe bunu açıklar, her biri dayandığı ana bağlıdır.
- Altı yapay zeka becerisinin her biri için bir seviye.Her seviye kanıtına bağlıdır: konuşmadaki mesaj, çalışmadaki satır veya kurduğu dosya.
- İşe özgü beceriler.Tam değerlendirmede: rol için iki üç beceri, her biri çıtanın altında, çıtada veya üstünde.
- Geliştirilecek konu.Geliştirmeye en çok değer tek beceri ve bunun küçük bir eksik mi yoksa öğrenilecek çok şey mi olduğu. Öneride açık bir soru varsa budur.
- Mülakat için bir soru.Çalışmasındaki belirli bir an hakkında; böylece onunla konuşabilirsiniz.
Asla puanlamadıklarımız
- Promptların uzunluğu veya sayısı. Doğru bağlamlı kısa bir prompt, bağlamsız uzun bir prompttan iyidir.
- Hız. Ne kadar sürdüğünü bir bilgi olarak görürsünüz. Puanı asla değiştirmez.
- Hangi yapay zeka aracını seçtiği. Dört araç da işi yapabilir. Önemli olan bildiğini nasıl kullandığıdır.
- Cilalı yazı veya kusursuz İngilizce. Üslubunu değil, işin doğru ve okuyucusuna hazır olup olmadığını puanlarız.
Adil tutmak
Kim değerlendirir
Lemonsignal her oturum için ilk değerlendirmeyi yapar. İşe alım yöneticiniz veya işe alım uzmanınız oturumu izler, değerlendirmeyi kontrol eder ve yorum ekleyebilir. Kararı onlar verir. Görevleri ve puanlama formlarını biz yazarız.
Puanları tutarlı tutmak
Puanlama formu görevi kimse almadan önce yazılır, böylece her aday aynı ölçüye tabi olur. Her seviye dayandığı ana bağlıdır, böylece her puanı kendiniz kontrol edebilirsiniz.
Kopya
Görevi yapan kişinin, gönderdiğiniz kişi olduğunu kontrol ederiz. Teslim ettikleri yapay zekayla konuşmasıyla uyuşmak zorundadır. Mülakat sorusu da belirli bir anı sorar; yapmadığınız bir işin hesabını vermek zordur.
Sizin ve onların verileri
Yapay zeka aracıyla konuşmayı, teslim ettikleri işi ve bunun için kurdukları her şeyi kaydederiz. İşe alım ekibiniz ve aday bunu görebilir. Her şey AB’de saklanır ve GDPR kapsamında işlenir.
Yapay zeka becerilerini nasıl puanladığımız hakkında sorular
Puanlamayı yapay zeka mı yapıyor?
Lemonsignal tüm konuşmayı okur, önemli anları işaretler ve ilk değerlendirmeyi yapar. Her seviye, dayandığı ana bağlanır. İşe alım ekibiniz oturumu izler, değerlendirmeyi kontrol eder, yorum ekler ve kararı verir.
İki şirketin sonuçları karşılaştırılabilir mi?
Aynı görevin sonuçları aynı forma göre puanlanır, yani karşılaştırılabilir. Farklı bir görevin veya kendi görevinizin kendi formu vardır.
Aday desteklemediğiniz bir araç kullanırsa ne olur?
Briefte hangi araçları kullanacaklarını söyleyin. Başka bir araç kullanırlarsa konuşmayı okuyamayabiliriz; buna bağlı beceriler düşük puanlanmaz, Test edilmedi olur.
Mülakatta yapay zeka becerileri nasıl test edilir?
İşten gerçek bir görev verin, kendi yapay zeka aracını kullanmasına izin verin ve sonra konuşmayı okuyun. Ardından oradaki tek bir anı sorun: bir rakama neden güvendiğini veya briefi neden değiştirdiğini. Yapay zekayı nasıl kullandıklarını anlattırmak, bunu ne kadar iyi anlattıklarını gösterir, ne kadar iyi yaptıklarını değil.
Adayların eve verilen görevde yapay zeka kullanmasına izin verilmeli mi?
İşte yapay zeka kullanacaklarsa evet. Yasaklamak, kullanmayacakları bir çalışma biçimini test eder. Konuşmayı okumadan izin vermek de diğer hatadır: bitmiş bir iş görürsünüz ve düşünmeyi kimin yaptığını anlayamazsınız.
Teknik olmayan bir rolde hangi yapay zeka becerilerine bakmalıyız?
Aynı altısına. Pazarlamacı, yapay zekanın uydurduğu bir rakamı kontrol eder; mühendis, doğru görünen ama olmayan bir düzeltmeyi. Rolden role değişen beceriler değil, görevdir.
Puan ve öneri neden farklı olabilir?
Puan altı becerinin ortalamasını alır. Öneri ise rolün olmazsa olmazlarına bakar. Yüksek puanla birlikte çıtanın altında bir olmazsa olmaz varsa bu eşleşme değildir ve sonuç hangi beceri olduğunu söyler.