Kaedah penilaian kami
Agent GPA: kami tidak melancarkan ejen sehingga ia mengatasi skor proses yang digantikannya
Ia kedengaran jelas. Hampir tiada siapa melakukannya. Urutan biasa ialah bina ejen, tunjuk demo, lancarkan, dan enam minggu kemudian dapati pasukan diam-diam kembali kepada hamparan. Memberi skor dahulu yang menghalang perkara itu, dan itulah sebabnya kami kadangkala memberitahu klien supaya tidak membina langsung.
Kami memberi skor kepada manusia dahulu
Sebelum menulis sebarang ejen, kami mengukur proses manual pada empat perkara. Bukan untuk membina hujah bagi automasi — tetapi untuk mengetahui sama ada hujah itu wujud.
Masa setiap kes
Berapa lama seorang mengambil masa untuk satu kes tugasan itu, diukur merentas kes yang cukup banyak supaya jujur tentang kes perlahan dan bukan kes demo.
Kadar ralat
Berapa kerap proses manual tersilap hari ini. Angka ini hampir selalu lebih teruk daripada jangkaan sesiapa, dan ia perkara paling berguna yang terhasil daripada pemberian skor.
Kos pembetulan
Apa kos setiap ralat di hilir — kerja semula, masa semakan pihak kanan, panggilan pelanggan. Ralat yang mengambil empat minit untuk dikesan dan sejam untuk dibetulkan bukanlah ralat yang sama.
Kualiti eskalasi
Apa yang berlaku pada kes yang proses itu tidak mampu tangani. Penyerahan yang kemas kepada seorang manusia ialah hasil yang baik. Jawapan salah yang senyap tidak.
Kemudian setiap versi ejen diberi skor pada kes yang sama
Set kes yang sama, empat ukuran yang sama, versi demi versi. Itulah keseluruhan ideanya, dan disiplinnya terletak pada penggunaan kes yang sama dan bukan kes yang kebetulan dilakukan dengan baik oleh ejen.
Ejen dilancarkan apabila ia mengatasi garis dasar pada ukuran yang penting bagi aliran kerja itu — dan bukan sebelum itu. Kadangkala itu versi dua. Kadangkala versi sembilan. Sesekali tidak pernah, dan itu satu keputusan, bukan kegagalan.
Kadangkala jawapannya ialah jangan bina
Jika sesuatu proses sudah 99% tepat dan mengambil masa empat minit, ejen bukanlah kemenangannya. Kami lebih rela menyatakannya pada peringkat skop daripada sebelas minggu kemudian.
Garis dasar biasanya lebih teruk daripada sangkaan sesiapa
Padanan tiga hala invois secara manual tidak berjalan pada 100%. Sebaik anda benar-benar mengukurnya, paras yang perlu dilepasi ejen menjadi jujur.
Klien terkawal selia memerlukannya secara bertulis
Di bawah pemantauan Bank Negara atau MAS, “vendor kata ia berfungsi dengan baik” bukan satu jawapan. Penilaian berskor ialah artifak yang diminta oleh fungsi risiko anda.
Contoh sebenar ejen yang dibina dengan cara ini ada dalam pustaka kes penggunaan ejen, dan kerja pembinaan itu sendiri diterangkan di Pembangunan ejen AI.
Soalan tentang Agent GPA
Agent GPA ialah cara kami menentukan sama ada sesuatu ejen AI berbaloi dilancarkan. Sebelum sebarang ejen dibina, kami memberi skor kepada proses manual sedia ada pada empat ukuran: masa setiap kes, kadar ralat, kos pembetulan dan kualiti eskalasi. Itu menjadi garis dasar. Setiap versi ejen kemudian diberi skor terhadap kes yang sama, dan ia tidak dilancarkan sehingga ia mengatasi skor proses yang akan digantikannya. Namanya milik kami; amalannya ialah disiplin penilaian biasa yang digunakan lebih awal daripada kebanyakan vendor.
Kerana tanpa garis dasar, 'ejen itu 92% tepat' tidak bermakna apa-apa. Sembilan puluh dua peratus adalah cemerlang jika pasukan anda berada pada 80% dan tidak boleh diterima jika mereka pada 99%. Memberi skor kepada proses manual dahulu juga merupakan langkah yang paling kerap membunuh sesuatu projek — dan membunuhnya pada peringkat skop hanya berharga satu perbincangan skop, manakala membunuhnya selepas pelancaran berharga satu suku tahun.
Cukup kerap sehingga kami menganggapnya ciri kaedah ini dan bukan kegagalannya. Jika sesuatu proses sudah 99% tepat dan mengambil masa empat minit, ejen bukanlah kemenangannya — wang itu lebih baik dibelanjakan di tempat lain. Perkara sama terpakai apabila data yang menyuap proses itu salah: menyambungkan ejen kepada data sumber yang buruk hanya menghasilkan jawapan salah dengan lebih yakin dan lebih pantas.
Ya, dan itu biasanya sebab mereka bertanya. Jika anda di bawah pemantauan Bank Negara Malaysia atau MAS, 'vendor kata ia berfungsi dengan baik' bukan satu jawapan. Penilaian berskor dengan garis dasar yang didokumenkan, rekod setiap versi, dan seorang manusia bernama yang bertanggungjawab menandatangani ialah artifak yang akan diminta oleh fungsi risiko anda. Kami menghasilkannya sebagai amalan biasa dan bukan atas permintaan.
Claude Certified Architect yang mereka bentuk sistem itu. Bukan pengurus penyampaian yang hanya menyampaikan angka, dan bukan klien yang menemuinya selepas pelancaran. Anda meluluskan garis dasar sebelum kami membina dan skor sebelum apa-apa menyentuh pelanggan atau lejar.
Konsultasi percuma
Tell us the process you want scored
We will measure what it costs you today before proposing anything. If the numbers say an agent is not the answer, that is what we will tell you.