Ora ana kejahatan sing luwih ala tinimbang mateni wong sing ringkih lan ora duwe pertahanan.
Anton Pavlovich Chekhov. Kelurahan №6
Anton Pavlovich Chekhov. Kelurahan №6
AI ora mesthi apik utawa ala, nanging bisa digunakake kanggo tujuan sing apik utawa ala (sanajan penilaian kasebut tansah subyektif banget lan/utawa dipolitisasi).
Ana panemu manawa AI utamane matematika digabungake karo akeh ide babagan algoritma. Yen kita nganggep rumusan iki ora mung bener, nanging lengkap lan cukup, mula manungsa mesthi bakal mati. Lan pambrontakan mesin (AI) minangka salah sawijining skenario sing dianggep, kanthi cara, dening PBB ing dhaptar kemungkinan bencana global.
Nalika kita ndeleng kita robot-Kosmonot Fyodor, angel percaya karo prospek kasebut.

Foto: kaca Facebook Roscosmos
Senajan robot Fedor bisa njupuk karo tangan loro, njagong ing twine lan bisa karo pengeboran, nanging senadyan kabeh iki, "dheweke banget sepi ing donya iki." Nanging ing Fedor, kabeh AI ora konvergen kaya baji.
Kajaba iku, dheweke, amarga bisa nyerang Roskosmos, ora ana hubungane karo AI. Iki mung manipulator, sing dikontrol dening operator liwat joystick khusus.
Pambuka
"Mesin bisa ngluwihi sawetara watesan saka perancang, lan yen mengkono padha bisa dadi loro efisien lan mbebayani."
Salah sawijining pemikir utama sistem cybernetic awal, Norbert Wiener, mbikak masalah iki ing awal lan ngelingake kanthi ora mesthi babagan risiko sing bisa ditindakake nalika ngetrapake rasionalitas mesin ing kahanan manungsa sing ora ana watese rumit.
Nanging mobil otonom kanthi cepet pindhah saka fiksi ilmiah menyang kasunyatan sains. Ciri khas teknologi iki yaiku kanthi hipotesis bisa digunakake kanthi bebas saka kontrol manungsa.
Mulane, masyarakat kudu ngerti carane mesin otonom bakal nggawe "keputusan". Jeksa Agung bisa ngetokake iki utamané akut ing kahanan ngendi gawe piala ora bisa dihindari, ora preduli apa tumindak dijupuk.
Sapa sing bakal kita pencet?
Konsep saka
Apa tegese artificial intelligence?
Ing kene, "Wikipedia Rusia" ora bisa mbantu, kaya umume karya ilmiah para ilmuwan Rusia sing dikhususake kanggo AI.
"Ilmuwan modern mikir kanthi jero tinimbang mikir kanthi jelas. Kanggo mikir kanthi cetha, sampeyan kudu duwe akal sehat, nanging sampeyan bisa mikir kanthi jero sanajan sampeyan wis edan."
Nikola Tesla
Nikola Tesla
Lan iki ora malah babagan prestasi ilmiah lan teknologi, nanging babagan ketidakpastian konseptual, ora kanggo sebutno masalah filosofis, etika lan keamanan sing diiringi.
Mulane, ana rasa wedi yen keributan saiki babagan AI ing Tanah Air kita paling ora nganggep inti lan konsekuensi sing bisa ditindakake saka pangembangan lan implementasi AI, utamane ing bidang militer.
AI ing media Rusia
Offhand - kene sawetara judhul anyar saka media federal sing ngonfirmasi gagasan iki:
• Program negara strategis ing bidang intelijen buatan ngrangsang prestasi ilmu Rusia.
• Intelligence Ponggawa bakal mikir kanggo ilmuwan.
• St Petersburg kalebu intelijen buatan.
• Blockchain lan intelijen buatan bakal mbantu ing pemilihan Duma Negara (ketoke, kita ngomong babagan voting elektronik).
Lan modifikasi militèr.
• Kalashnikov nggawe mesin otomatis kanthi intelijen buatan.
• Tank T-14 "Armata" bakal nampa intelijen buatan.
Kabeh judhul iki, ora kanggo sebutno isi artikel, mundhakaken mamang malah ing Intelligence alam saka penulis.
AI ing lingkungan sipil, kaya sing kita deleng, utamane sawise 19 September, uga ora dingerteni dening masyarakat Rusia, lan wong mung ora mikir babagan aplikasi militer.
Mbokmenawa, AI ora mung ngasilake kesempatan, nanging uga bebaya.
Bahaya
Kaping pisanan yaiku nggunakake AI ing pangembangan senjata otonom. Para ahli percaya yen balapan senjata otonom berkembang, bakal angel banget kanggo nyuda.
Kapindho bebaya digandhengake karo nggunakake AI ing lapangan manipulasi pendapat umum. Jaringan sosial, amarga algoritma otomatis, efektif banget ing marketing target. Mulane, intelijen buatan bisa melu nyebarake propaganda sing paling ngyakinake kanggo kalangan tartamtu, sanajan informasi kasebut bener.
Katelu - Intrusi menyang privasi. Ing wayahe, sampeyan bisa nglacak lan nganalisa saben langkah wong ing urip pribadi lan umum. Mekanisme kontrol AI bisa nyebabake karusakan gedhe kanggo keamanan lan privasi.
Kaping pat ancaman digandhengake karo mismatch antarane gol saka wong lan mesin pinter. Yen kahanan prentah tartamtu ora disuarakake dening wong, AI bisa njupuk kanthi harfiah (elinga pernyataan metaforis Presiden kita babagan Paradise utawa "kenapa kita butuh jagad sing ora seneng karo Rusia" kanggo ngerti akibat sing bisa didelegasikan hak kanggo mateni AI).
Kaping gangsal - Diskriminasi, sukarela utawa ora sengaja. Wiwit mesin bisa ngumpulake, ngawasi lan njelasno kabeh data bab wong, iku kamungkinan sing mesin iki bakal nggunakake data kuwi marang wong.
Tema ora bisa entek. Mulane, kita bakal ngrembug mung aspek militer. Fiksi ilmiah asring nggambarake robot lan sistem AI liyane kanthi cara negatif, kayata Terminator nyerang wong lan njupuk alih.

Gambar saka film "Terminator 3: Rise of the Machines". Senadyan ing guise saka Schwarzenegger terminator pracaya iku nylametaké manungsa minangka kabèh, mulane atusan korban gawan rega ditrima.
Para ahli ujar manawa jagad iki ora bakal kebanjiran mesin mateni dewa ing wektu sing cendhak.
Sadurunge, luwih becik ngatasi masalah sing penting, kayata ndandani cacat ing intelijen buatan lan sinau mesin lan ngerteni cara paling apik kanggo ngatur interaksi manungsa-mesin.
Ayo padha setuju apa robot iku - iku sistem AI terlampir ing awak humanoid.
Yen ora, sampeyan bisa nganggep istilah kasebut minangka sinonim, kanthi kabeh akibat kanggo AI.
Hukum Robotika.
Isaac Asimov ngatasi masalah iki ing taun 1950-an ing seri cerpen I, Robot. Dheweke ngusulake telung hukum robotika.
Iki telung hukum:
1. Robot ora bisa cilaka wong utawa dening inaction sawijining ngidini wong kanggo cilaka.
2. Robot kudu nuruti prentah sing diwenehake manungsa, kajaba prentah kasebut bertentangan karo Hukum Pertama.
3. Robot kudu ngurus safety, amarga iki ora mbantah Hukum Kapisan lan Kapindho.
(Saka Manual of Robotics, 56th edition, 2058).
Utamane, miturut hukum ing ndhuwur, jelas yen robot ora wajib ngurus kabecikan umum lan ngurmati hak asasi manungsa lan kebebasan.
Mulane, ing karya sakteruse, Isaac Asimov uga nambahake Hukum Zeroth, kang dirumuske minangka nderek:
"Robot ora bisa ngrusak manungsa utawa, kanthi ora tumindak, ngidini gawe piala kanggo manungsa."
Kathah karya kreatif Asimov ingkang salajengipun dipunginakaken kangge nguji wates-wates angger-anggering Toret punika kangge nyumurupi ing pundi ingkang saged nglanggar utawi njalari prilaku paradoks utawi boten kaduga.
Asil kumulatif saka tulisane nuduhake yen ora ana siji-sijine undang-undang sing bisa nyukupi kabeh kahanan sing bisa ditindakake.
konsep Russian.
Penulis konsep kasebut, sing diadopsi ing bentuk Keputusan Pemerintah Federasi Rusia No. 2129-r tanggal 19 Agustus 2020, kanthi jelas gumantung ing "hukum robotika" ing ndhuwur nalika ngrumusake standar etika dhasar kanggo pangembangan intelijen buatan.
Mangkene carane karya penulis fiksi ilmiah Amerika dipikirake maneh ing teks dokumen kasebut:
prioritas kesejahteraan lan keamanan manungsa, perlindungan hak-hak lan kabebasan-kabebasan dhasar (tujuan kanggo njamin kesejahteraan lan keamanan manungsa kudu diutamakake tinimbang tujuan liyane babagan pangembangan lan aplikasi sistem intelijen buatan lan robotika) ...
Kita ora bakal nganggep bidang sipil lan sosial aplikasi AI, ana cukup ahli ing babagan iki sing melu, simpatik lan reflektif.
Kita mung nyathet yen konsep banget saka robot ruang Fedor, njupuk ing basa Makedonia, mbantah konsep ing ndhuwur.
Babagan etika lan robotika
Etika minangka cabang filsafat sing nyinaoni prilaku manungsa, pertimbangan moral, konsep apik lan ala, bener lan salah, keadilan lan ketidakadilan.
Konsep robotik nyebabake pertimbangan etika dhasar sing ana gandhengane karo masalah khusus lan dilema moral sing ditimbulake dening pangembangan aplikasi robot. Alamiah, ora saben wong.
Nanging wong-wong sing prihatin wis mbenerake klaim marang para pangembang, lan ing tingkat negara - marang pesaing geopolitik sing ora nglirwakake aspek kasebut.
robotika - uga disebut etika mesin - ngurusi kode etik sing kudu ditindakake dening insinyur desain robot ing intelijen buatan robot lan sistem AI.
Kanthi etika buatan iki, robotika kudu mesthekake yen sistem otonom bakal bisa nampilake prilaku sing bisa ditampa kanthi etis ing kahanan robot utawa sistem otonom liyane, kayata kendaraan otonom, umpamane, sesambungan karo manungsa.
Ayo fokus ing robot lan sistem militer.
Robot layanan, kalebu otomatis lan udara drone, dirancang kanggo urip tentrem lan sesambungan karo wong, nalika robot agawe digawe kanggo dikirim perang ing paprangan minangka robot militèr.
Lan ing kene hukum ora pantes!
Amarga AI militer, kanthi fungsine, kudu mateni utawa nyumbang kanggo iki. Lan dudu wong abstrak, nanging pejuang sing makili sisih mungsuh.
militèr AI.
Ing taun-taun pungkasan, otonomi ing sistem senjata militer wis berkembang kanthi cepet. Akeh negara, kalebu Amerika Serikat, Inggris, China lan Rusia, ngembangake, ngasilake utawa nggunakake sistem militer kanthi otonomi sing beda-beda, kalebu sing bisa nyebabake.
Panggunaan intelijen buatan kanggo tujuan militer saya tambah akeh ing endi wae. Kanthi nambah panggunaan AI, wis dadi bagean penting ing perang modern.
Kanthi kemajuan ing pembelajaran mesin lan daya komputasi, integrasi intelijen buatan menyang sistem militer bisa uga bakal nyepetake transisi menyang otonomi sing luwih jembar lan luwih kompleks ing mangsa ngarep.
Kepinginan iki kanggo ngembangake otonomi sing terus berkembang ing teknologi militer gaman ora ateges tren anyar.
Program riset lan pangembangan AI lan militer wis dikembangake sacara tradisional bebarengan, lan peneliti cybernetics lan AI ing taun 1950-an lan 1960-an wis nggawe pitakonan sing relevan babagan kepiye otonomi mesin sing tambah bisa mengaruhi kontrol manungsa ing teknologi militer. Lan A. I. Berg, sing kasebut ing sambungan iki ing artikel sadurunge, minangka conto iki.
Program riset lan pangembangan AI lan militer wis dikembangake sacara tradisional bebarengan, lan peneliti cybernetics lan AI ing taun 1950-an lan 1960-an wis nggawe pitakonan sing relevan babagan kepiye otonomi mesin sing tambah bisa mengaruhi kontrol manungsa ing teknologi militer. Lan A. I. Berg, sing kasebut ing sambungan iki ing artikel sadurunge, minangka conto iki.
Istilah kasebut.
Sadurunge ngrembug babagan strategi kanggo nyepetake penyebaran AI ing sektor militer, penting kanggo nemtokake apa intelijen buatan sing ana hubungane karo masalah militer.
Miturut ahli ing lapangan, istilah iki ora duwe teges siji.
Amarga wis kasep dadi legislator Rusia, aku ngusulake kanggo gabung karo ide ilmiah sing wis ana nalika ngrembug masalah liyane.
Penulis diwulang maneh ing KMB: sanajan ora bener, nanging sing utama monoton.
Yen ora, AI kita ora bakal ngerti AI asing. Iki, saliyane kabeh kesalahpahaman liyane, ora cukup kanggo kita.
Akeh sing nganggep intelijen buatan minangka sistem pengambilan keputusan lan eksekusi tugas otonom sing niru utawa niru intelijen manungsa, kayata ngenali swara lan obyek, ngrampungake masalah, ngerteni basa, lan nggunakake prosedur logis kanggo nggayuh tujuan sing wis ditemtokake.
Umume sistem AI modern ngetutake profil "alus", sing bisa nuntun mesin kanggo nggawe keputusan sing gampang lan nindakake tugas sing wis ditemtokake adhedhasar interpretasi informasi sing ditampa ing lingkungan.
Nerangake iki, ahli militer Amerika menehi conto:
Sistem senjata kayata kapal penjelajah kanthi teknologi AEGIS saiki bisa nyerang target sing ora dingerteni sing kanthi otomatis nyedhaki perimeter pertahanan kapal, nanging teknologi iki isih adhedhasar algoritma "prasaja" sing ora bisa nggawe keputusan etis babagan arep nyerang mungsuh utawa ora adhedhasar akeh. lan kahanan sing ora bisa ditebak.
Mulane, minangka teknologi assistive, sing paling gampang diakses ing jinis jangka pendek nggunakake AI ing prakara militer yaiku ngembangake kemampuan C4ISR (pangolahan lan interpretasi informasi, panggunaan algoritma kanggo pangenalan massa lan interpretasi gambar): nyuda kaku kognitif dileksanakake ing wong.
Cekakipun, cakrawala jangka pendek iki babagan nggunakake kekuwatan intelijen buatan kanggo ningkatake efisiensi lan kacepetan tugas kognitif sing rutin ditindakake dening manungsa, tanpa kudu ngganti manungsa dhewe minangka agen perang.

Iki minangka tren sing kita deleng ing ringkesan strategi DoD AI 2018.
Strategi AI AS.
Strategi Amerika kanthi tegas nyebutake kabutuhan kanggo nyepetake panggunaan AI kanggo tujuan militer ngluwihi tingkat sing wis ditindakake wiwit wiwitan dekade kaping pindho ing abad kaping XNUMX.
Dadi, tambah kesadaran lan aktivitas ing medan perang sing ndhukung operasi militèr ing wektu sing cendhak kanggo pangembangan mangsa ngarep, kanthi ora nyebutake prototipe kendaraan utawa senjata otonom tartamtu.
Ing pangertèn iki, dokumen Amérika ngandika:
"AI ditrapake kanggo tugas persepsi kayata analisis gambar mbisakake ekstraksi informasi sing migunani saka data mentah lan menehi pimpinan tim kanthi kesadaran situasional sing luwih apik."
"Intelijen buatan bisa nambah safety pesawat, kapal lan kendaraan ing layanan ing kahanan sing bisa diganti kanthi cepet kanthi menehi tandha marang operator babagan risiko sing bisa ditindakake."
Ing nada sing padha, ahli strategi Departemen Pertahanan AS ujar:
"Kita bakal nggunakake AI kanggo prédhiksi kegagalan peralatan, ngotomatisasi diagnostik, lan ngrancang pangopènan adhedhasar data kesehatan peralatan."
"AI bakal digunakake kanggo nyuda wektu sing ditindakake kanggo tugas sing bola-bali, manual lan asring ditindakake" ...
Koordinasi upaya, kronologis.
Ing 2018 taun Pusat AI Bersama Pentagon wis ditugasi ngembangake kabijakan kanggo ngetrapake prinsip AI anyar lan ngetrapake implementasine ing departemen kasebut. Rekomendasi strategis kasebut dilaporake menyang manajemen sajrone setaun.
Pertengahan September 2020 luwih saka 100 pejabat saka 13 negara ketemu online, konon kanggo ngrembug carane militèr bisa ngleksanakake AI etika. Rapat kasebut meh ora entuk liputan, kajaba sawetara media, nanging diarani durung ana sadurunge. Breaking Defense nggambarake acara kasebut minangka "pertemuan luar biasa sing nyoroti kepiye pentinge intelijen buatan kanggo AS lan sekutu."
Anggota NATO mung undhangan sing dirawuhi: Inggris Raya, Kanada, Denmark, Estonia, Prancis lan Norwegia; sekutu perjanjian non-NATO - Australia, Jepang lan Korea Selatan; lan sekutu de facto AS Israel, Finlandia lan Swedia.
Sanajan transkrip rapat kasebut ora dirilis, fokus kasebut yaiku "etika". Kepala strategi lan kebijakan ing JAIC (saiki manajer program senior ing Amazon) Mark Bill marang Breaking Defense:
"Saiki kita fokus banget kanggo nggabungake nilai-nilai inti [umum] kaya kabebasan digital lan hak asasi manungsa, ... hukum kamanungsan internasional."
ing Februari 2020 Departemen Pertahanan AS wis nerbitake dhaptar limang prinsip etika AI adhedhasar saran saka Dewan Inovasi Pertahanan lan ahli liyane ing njero lan njaba pamrentah. Miturut dhaptar kasebut, personel militer kudu tanggung jawab lan ngetrapake tingkat pertimbangan lan perawatan sing cocog nalika tetep tanggung jawab kanggo pangembangan, panyebaran lan panggunaan kapabilitas AI.
Ing wulan Mei 2021 Wakil Menteri Pertahanan mlebuа Memorandum sing nggambarake komitmen Departemen Pertahanan AS kanggo nggunakake intelijen buatan sing tanggung jawab. Memo iki njlentrehake prinsip-prinsip kanggo maju lan aplikasi praktis saka prinsip etika AI Departemen Pertahanan AS.
Kanthi tujuan kanggo mbangun ekosistem alat AI lan keahlian domain sing kuat, prinsip sing digarisake ing memorandum kasebut bakal ngidini departemen mbangun kemampuan lan kapercayan militer ing antarane karyawan, pejuang, lan masyarakat Amerika liwat panggunaan AI sing tanggung jawab.
Memorandum.
Memo kasebut nggambarake rencana Departemen Pertahanan AS kanggo pangembangan intelijen buatan sing tanggung jawab.
Prinsip kasebut kalebu:
Tanggung jawab: Karyawan Departemen Pertahanan AS bakal ngleksanani kanthi teliti lan ati-ati nalika tetep tanggung jawab kanggo pangembangan, panyebaran, lan panggunaan kapabilitas intelijen buatan.
Kaadilan: departemen bakal njupuk langkah sengaja kanggo nyilikake bias unintended ing kemampuan AI.
Traceability: Kapabilitas AI bakal dirancang lan disebarake supaya personel sing relevan duwe pemahaman sing tepat babagan teknologi, proses pangembangan, lan praktik operasional sing ditrapake kanggo kapabilitas AI, kalebu metodologi, sumber data, prosedur desain, lan dokumentasi sing transparan lan bisa diverifikasi.
linuwih: Kapabilitas AI bakal duwe panggunaan sing jelas lan jelas, lan safety, keamanan, lan efektifitas kapabilitas kasebut bakal diuji lan divalidasi sajrone panggunaan sing wis ditemtokake sajrone siklus urip.
Kontroll: departemen bakal berkembang lan berkembang Kapabilitas Intelligence Ponggawa kanggo nindakake fungsi dimaksudaké, nalika duwe kemampuan kanggo ndeteksi lan supaya jalaran unintended, lan mati utawa mati sistem disebarake mameraken prilaku unintended.
Otomasi utawa otonomi.
Nalika ngrembug babagan panggunaan AI ing militer lan implikasi kasebut, konsep otomatisasi lan otonomi kudu dijlentrehake.
Konsep loro iki beda saka siji liyane.
Ing sistem otomatisasi, wong ngirim tugas menyang mesin utawa robot. Ing sistem kasebut, tugas lan cara kanggo mesin kasebut wis ditetepake luwih dhisik. Data diterusake, lan nindakake tugas kasebut. Tingkat otonomi bisa beda-beda.
Yen tugas wis ditemtokake kanthi rinci, mula mesin kasebut nduweni otonomi sing kurang, lan yen tugas kasebut ditetepake, nanging cara lan rincian ora ditemtokake, mula mesin kasebut nduweni otonomi sing dhuwur. Nanging, penting kanggo mangerteni yen tugas kasebut dikenal lan dipilih dening wong kasebut.
Ing sistem otonom, mesin kasebut bisa lan bisa digunakake tanpa watesan lan aturan.
Bentenane utama antarane rong istilah kasebut yaiku nggawe keputusan manungsa digawe dening sistem otonom, mesin dadi makhluk sing mutusake lan tumindak kanthi mandiri. Saktemene makhluk, amarga kompetensi kognitif dadi ora bisa dibedakake karo manungsa.
Contone, gegaman kanthi otonom ditetepake minangka senjata sing milih target lan melu tanpa ijin manungsa. Ing senjata lan sistem otonom, kekuwatan manungsa kanggo nggawe keputusan lan kontrol diakhiri.
Sistem senjata otonom sing nyebabake.
Wiwit Negara Anggota Perserikatan Bangsa-Bangsa ora nggawe akeh kemajuan sajrone 5 taun kepungkur babagan diskusi senjata otonomi sing mateni (DAW), sifat perang saya ganti sadurunge mripat kita.
Owah-owahan iki kedadeyan tanpa tanggung jawab sing tepat utawa pengawasan umum amarga sawetara negara terus nandur modal akeh kanggo nambah otonomi sistem senjata, ditambah karo intelijen buatan sing canggih.
Ing ndhuwur conto artikel babagan Kalashnikov lan "Armata" - apa iku? Dheweke njaluk ijin saka wong kanggo mateni?
Kemungkinan masalah ing zona perang.
Otomatisasi uga ana ing rong kategori liyane.
Iku otonomi ing istirahat lan otonomi ing gerakan.. Ing istirahat, otomatisasi diwenehake menyang mesin ing piranti lunak, dene otonomi ing tumindak tegese otonomi ing interaksi fisik.
Yen kendaraan digunakake ing zona perang, utamane sistem senjata otonom sing bisa nyebabake, iki bisa nyebabake masalah gedhe.
Amarga senjata bisa nyebabake pati tanpa kontrol manungsa.
Amarga senjata bisa nyebabake pati tanpa kontrol manungsa.
Dheweke mburu target kanthi mandiri lan melu pertempuran tanpa prentah langsung saka manungsa.
Iki minangka keputusan sing kontroversial banget!
Tindakan sing salah bisa nyebabake pati warga sipil.
Masalah potensial liyane yaiku sanajan senjata otonom sing diklasifikasikake minangka otonom ing tumindak ora digunakake, proses nggawe keputusan utamane gumantung marang data sing diwenehake dening AI.
Mulane, lan ing tengah-tengah fase permusuhan sing luwih cepet, wong bisa nggawe keputusan sing salah lan mbingungake.
Aku nerangake conto tragis anyar.
Sekretaris Pertahanan AS Lloyd Austin njaluk ngapura amarga serangan drone AS sing salah ing Kabul sing mateni sepuluh warga Afghanistan, kalebu pitung bocah.
Kepala Komando Pusat AS, Jenderal Kenneth McKenzie, ujar manawa militer AS wis ngrampungake investigasi babagan serangan drone ing Kabul tanggal 29 Agustus lan ngakoni yen iku salah.
Pentagon yakin yen minangka asil saka operasi iki, ora ana wong siji-sijia sing digandhengake karo Negara Islam ing grup Khorasan (cabang saka organisasi teroris Negara Islam sing dilarang ing Rusia) sing dirusak.
Kenneth McKenzie ngakoni yen mobil sing ditabrak ora ana hubungane karo teroris, lan wong mati ora nyebabake ancaman kanggo militer AS. Kepala Komando Pusat nyimpulake yen serangan kasebut minangka kesalahan tragis, nanging siji ora kudu ngadili kemampuan Amerika Serikat kanggo nyerang pemberontak adhedhasar kesalahan kasebut.
Biaya urip.
Yen senjata otonom mateni warga sipil, sapa sing bakal tanggung jawab?
Apa bisa nyalahke programmer, prajurit utawa pemerintah sing tuku sistem intelijen buatan?
Saka sudut pandang martabat manungsa, iku ilegal lan ora wajar yen senjata otonom utawa mesin liyane didelegasikan kemampuan kanggo njupuk nyawa manungsa.
Basis argumen iki yaiku mateni wong minangka masalah serius lan moral, lan mung wong sing bisa nggawe keputusan sing penting.
Rajapati ing umum iku sipate salah moral, lan iku ora Matter kanggo korban sing mutusaké utawa sing nindakake tumindak. Nanging kanggo masyarakat, masalah iki ora penting. Dheweke miwiti pitakonan babagan nilai urip manungsa.
Biaya urip manungsa - iki dudu konsep abstrak, nanging kritéria tartamtu, tanpa sistem gegaman siji karo AI bisa dhasar bisa digunakake.
Contone, kanggo ngatasi misi pertempuran tartamtu, sistem ngevaluasi kerugian: apa kudu kurban siji prajurit Amérika utawa telung sekutu?
Apa Nilai saka populasi sipil ing umum piye wae kabiji lan dijupuk menyang akun?
Ing konteks statistik, ana konsep "biaya urip", sing digunakake kanggo makili biaya nyegah pati ing macem-macem kahanan. Contone, ing 2016, Departemen Perhubungan AS ngira "nilai urip statistik" ing US $ 9,6 yuta.
Badan Perlindungan Lingkungan AS uga nggunakake metrik "nilai urip statistik", sanajan ora bisa nerangake (utawa ndhelikake) kenapa ora padha karo ngurmati urip individu.
Pira regane saben siji?
Wong Amerika ora ngiklanake iki, nanging biaya rata-rata prajurit Amerika ing program uji coba kira-kira rega sing padha, umpamane, $ 10 yuta.
Temenan, iki ora bakal dibeberke. Nanging algoritma AI ora bakal kalebu nilai rata-rata saka macem-macem kategori personel militer, nanging biaya, njupuk rangking akun lan jender.
Iki nyebabake kompleks, saka sudut pandang moral, nanging gampang kanggo algoritma, tugas lan solusi AI.
Contone, apa worth risking sepuluh Marinir kanggo ngluwari utawa evakuasi mayit saka kanca?
Watesan AI.
Assuming sing ndhuwur iku bener, lan panyebaran senjata otonom pancen kudu ono, kita kudu ngatasi sawetara lengkap masalah padha saiki.
Kanggo tujuan kasebut, siji kudu ngelingi prinsip proporsionalitas ing hukum kamanungsan, sing tegese mangerteni carane senjata otonom bisa entuk asil proporsional ing medan perang.
Nanging, nalika iku bener sing senjata otonom nuduhke sawetara masalah serius, supaya ngerti orane katrangan tepat saka masalah iki, iku penting kanggo realistis bab apa senjata otonom bisa lan ora bisa nindakake.
hukum kamanungsan.
Aku mikir yen akeh wong militèr, biyen lan saiki, ora bakal ngerti makna tembung iki. Iki uga dadi masalah kanggo manajer tugas lan pangembang senjata.
Contone, hukum kamanungsan internasional mbutuhake bedane antarane pejuang lan warga sipil lan mbutuhake wong sing ora dingerteni dianggep minangka warga sipil.
Kanggo tundhuk karo hukum kasebut, sistem sing aktif AI sing ora ngerti statuse wong kudu takon karo operator manungsa sadurunge tumindak kanthi cara sing bisa nyebabake cilaka sing ora proporsional kanggo wong kasebut. Iki mung mbutuhake pangembang kanggo njelasno perdagangan manungsa-mesin ing tataran awal ngrancang sistem, njupuk menyang akun wektu tundha kaputusan, lan kalebu wektu cukup ing desain technical supaya operator bisa njelasno pancasan digawe dening mesin.
Pungkasane, sinergi syarat etika lan teknis nuntun rencana pangembang, nguatake prinsip manawa desain lan pangembangan kudu adhedhasar pemahaman babagan masalah etika sing bisa kedadeyan ing lapangan.
Etika.
Perlindhungan riset lan panggunaan intelijen buatan ing paramèter etika tartamtu minangka unsur sing disorot ing strategi Departemen Pertahanan AS.
Dokumen kasebut ora mung menehi ide babagan keprihatinan babagan nilai kamanungsan lan etika perang, nanging uga ngritik pedoman Rusia lan Cina ing wilayah iki kanggo ndhukung investasi teknologi sing "ngunggahake pitakonan babagan standar internasional lan hak asasi manungsa."
Requirements kanggo operator.
Operasi akuisisi target, pengawasan lan pengintaian (ISR) kanggo ndhukung kegiatan militer liyane kritis. Integrasi AI migunani banget lan luwih disenengi ing operasi ISR.
Utamane, kanthi bantuan UAV, target bisa diidentifikasi utawa ancaman potensial bisa dideteksi ing tahap awal.
Pangenalan target uga minangka bagean saka aspek iki. Teknologi intelijen buatan digunakake kanggo nambah akurasi pangenalan target. Teknik kasebut ngidini pasukan entuk analisa jero babagan prilaku mungsuh, ramalan cuaca, kerentanan mungsuh lan kerentanan tentara dhewe, uga strategi mitigasi.
Biaya kesalahan.
Sistem basis AI sing bisa nyebabake dhasar rentan kanggo bias, peretasan, lan gangguan komputer. Nganti 85% saka kabeh proyek AI samesthine duwe kasalahan amarga bias algoritma, bias programmer, utawa bias ing data sing digunakake kanggo nglatih.
Sapa sing nglatih AI?
Sapa khususe?
Carane kompeten wong-wong iki ora mung ing program?
Apa dheweke duwe pengalaman sosial?
Apa dheweke maca Dostoyevsky, Tolstoy, Chekhov, fiksi ilmiah, kalebu 40 karya dening Isaac Asimov, Harry Harrison lan liya-liyane sing, mikir babagan robot (AI), teka kanthi puluhan cara kanggo ngubengi hukum robotika?
Apa pangembang duwe kulawarga, anak, putu?
Apa kode AI mbukak bakal kasedhiya, ing ngendi bakal ana rega saben urip lan algoritma kanggo ngalahake (mateni) sing kurang larang kanthi jeneng nyimpen sing luwih larang?
Sapa sing bakal tanggung jawab?
Sapa khususe?
Carane kompeten wong-wong iki ora mung ing program?
Apa dheweke duwe pengalaman sosial?
Apa dheweke maca Dostoyevsky, Tolstoy, Chekhov, fiksi ilmiah, kalebu 40 karya dening Isaac Asimov, Harry Harrison lan liya-liyane sing, mikir babagan robot (AI), teka kanthi puluhan cara kanggo ngubengi hukum robotika?
Apa pangembang duwe kulawarga, anak, putu?
Apa kode AI mbukak bakal kasedhiya, ing ngendi bakal ana rega saben urip lan algoritma kanggo ngalahake (mateni) sing kurang larang kanthi jeneng nyimpen sing luwih larang?
Sapa sing bakal tanggung jawab?
Pitakonan kasebut retorika.
Mulane, AI militer bakal tansah dilebokake ing kothak ireng rahasia, lan ora ana sing bakal prédhiksi sapa sing bakal dadi korban sabanjure.
Kerangka AI Militer.
Amarga macem-macem aplikasi potensial lan tantangan sing ana gandhengane karo intelijen buatan, Departemen Pertahanan AS lan para kontraktor kudu ngatasi masalah hukum lan etika ing awal siklus urip pangembangan, saka konsep AI liwat implementasi lan penyebaran.
Pertimbangan etika kudu mbentuk syarat sistem ing mangsa ngarep, lan pangembang kudu ngerti masalah teknis lan etika.
Nggabungake review etika bisa ngganti proses modeling lan nggawe biaya anyar kanggo desainer, nanging pembuat keputusan lan pangembang kudu ngerti yen pendekatan "awal lan asring" nduweni keuntungan nyata, kalebu mbantu review kepatuhan ing mangsa ngarep.
DARPA ing bisnis.
Wiwit masalah keamanan AI iku konseptual, ing sangisore naungan Defense Advanced Research Projects Agency (DARPA), tim riset multidisiplin ilmuwan, filsuf, pengacara, ahli militer lan analis wis nimbang hukum lan etika kanggo nganalisa dependensi teknologi lan sistem. komponen wiwit wiwitan.
Proses analitis iki bisa diterapake ing sistem liyane lan nawakake siji cara kanggo ngembangake AI militer sing etis.
Pembentukan syarat sistem
Analisis holistik babagan implikasi hukum, moral, lan etika saka sistem otonom sing didhukung AI ing mangsa ngarep ing tahap awal asring mbutuhake pamisahan konseptual luwih dhisik.
Evaluasi kudu mbedakake antarane sing bisa lan sing bisa ditindakake, mriksa kinerja sistem sing cocog ing karya lan kemampuan nyata kanggo nindakake tugas.
Analisis kekuwatan lan kelemahane etika mbutuhake evaluator ngerti tujuane sistem, komponen teknis lan watesane, kerangka hukum lan etika sing relevan, lan efektifitas sistem kanggo nindakake tugas tinimbang operator manungsa.
Lan ing babagan iki, pengalaman urip lan kamanungsan bisa uga luwih penting tinimbang kawruh lan katrampilan teknis lan piranti lunak.
Nyatane, pambiji kepatuhan etika saka desain nganti panyebaran meh padha karo model spiral sing mbutuhake tes iteratif, prototyping, lan validasi marang kendala teknologi lan etika.
Pertimbangan hukum lan etika mbutuhake nggedhekake syarat-syarat saka sing murni teknis (kayata visi komputer, pangenalan gambar, logika keputusan lan otonomi kendaraan) kanggo nyakup hukum kamanungsan internasional, hukum perang, lan peraturan hukum tort sing ana gandhengane.
Persyaratan dokumentasi etika.
Persyaratan dokumentasi etika-utamane njaluk jejak kertas sing dikhususake mung kanggo pertimbangan hukum, moral, lan etika-nyedhiyakake cara sing gampang kanggo njupuk katrangan saka sistem.
Pangembang kudu nyathet sistem kasebut lan nyakup dependensi kritis, kemungkinan kegagalan, lan kesenjangan riset kanggo mesthekake pamirsa non-teknis ngerti risiko legal lan etika lan keuntungan saka sistem anyar sing diaktifake AI.
Minangka prinsip asli lan umum digunakake, desainer kudu nimbang konsep operasi - carane sistem sing bakal digunakake ing lapangan - sadurungé ing proses desain saka saiki cilik supaya kanthi akurat document sistem.
Pangembang wis diwajibake nyiapake dokumentasi mitigasi kanggo ngenali lan ngrampungake masalah teknis kanggo sistem anyar. Dokumentasi risiko etika iki njamin para pangembang kanthi transparan ngatasi masalah etika ing awal proses desain.
Sinau mesin.
Tinjauan awal lan asring etika uga bisa mbukak kesenjangan ing riset sing cocog lan nuduhake kemungkinan bias nalika desain isih dikembangake.
Kanthi ngenali kesenjangan ing riset sing bisa mbantu para pangembang nggawe pilihan desain sing etis, para pembuat keputusan bisa nyedhiyakake sumber daya kanggo riset sing nyukupi kabutuhan sing penting.
Katrangan babagan lingkungan operasi ing ngendi sistem sing aktif AI bakal digunakake asring gumantung ing kenangan anekdot para pangembang (uga crita lan anekdot saka wong-wong sing terlibat) babagan permusuhan. Iki bisa dadi titik wiwitan sing migunani kanggo nglatih sistem kasebut, nanging ora njamin latihan sing bener.
Katrangan babagan lingkungan operasi ing ngendi sistem sing aktif AI bakal digunakake asring gumantung ing kenangan anekdot para pangembang (uga crita lan anekdot saka wong-wong sing terlibat) babagan permusuhan. Iki bisa dadi titik wiwitan sing migunani kanggo nglatih sistem kasebut, nanging ora njamin latihan sing bener.
Akeh cara machine learning gumantung banget marang akses menyang dataset gedhe lan dikurasi kanthi teliti. Umume kasus, set data kasebut sing nganggep subtleties lan nuansa lingkungan lan kahanan operasi tartamtu mung ora ana.
Sanajan ana ing endi wae, asring mbutuhake upaya sing cukup kanggo diowahi dadi format sing cocog kanggo proses pembelajaran mesin.
Kajaba iku, komunitas AI wis sinau kanthi cara sing angel sanajan set data sing dirancang kanthi apik bisa ngemot bias sing ora dikarepake sing bisa nyelinep menyang pembelajaran mesin, nyebabake masalah etika sing serius.
Bias algoritma.
Bias algoritma nggambarake kesalahan sing sistematis lan bola-bali ing sistem komputer sing nyebabake asil sing ora adil, kayata milih klompok pangguna sing sewenang-wenang tinimbang liyane.
Bias bisa muncul saka macem-macem faktor kalebu, nanging ora diwatesi, desain algoritma, panggunaan sing ora disengaja utawa ora dikarepake, utawa keputusan babagan cara data dienkode, diklumpukake, dipilih, utawa digunakake kanggo algoritma latihan.
Mungkasi Robot Pembunuh
Ana kampanye Stop the Killer Robots, yaiku koalisi organisasi non-pemerintah sing ngupayakake proaktif nglarang senjata otonom sing mateni (LAWS).
Sekretaris Jenderal Perserikatan Bangsa-Bangsa (PBB), ing laporan 2020 babagan perlindungan warga sipil ing konflik bersenjata, njaluk negara supaya langsung tumindak kanggo ngatasi keprihatinan babagan sistem senjata otonom sing bisa nyebabake. Iki minangka laporan PBB pisanan babagan perlindungan warga sipil wiwit 2013 sing nyoroti keprihatinan umum babagan robot pembunuh.
Ing laporan 2020, Sekretaris Jenderal António Guterres percaya yen "kabeh pihak katon setuju yen, paling ora, kontrol manungsa utawa pertimbangan babagan panggunaan kekuwatan kudu dijaga." Dheweke uga nyathet yen "tambah akeh Negara Anggota sing njaluk larangan dening hukum". Wiwit November 2018, Sekretaris Jenderal PBB wis bola-bali nyatakake kepinginan kanggo mlebu perjanjian internasional anyar kanggo nglarang robot pembunuh.
Kampanye Stop Killer Robots nampani telpon PBB supaya negara-negara setuju babagan "watesan lan kewajiban sing kudu ditrapake kanggo otonomi senjata." Negara-negara kudu miwiti negosiasi perjanjian internasional anyar kanggo nglarang senjata otonom kanthi lengkap nalika njaga kontrol manungsa nyata babagan panggunaan kekuwatan.
Sepisanan, pertimbangan hukum, moral lan etika sing ditrapake katon abot, utamane yen mbutuhake personel utawa dokumentasi anyar.
Dheweke uga mbutuhake komunitas pangembang, acquirer lan operator kanggo ngevaluasi maneh penerapan prosedur operasi standar.
kesimpulan
Sejatine, kabeh masalah AI asale saka intelijen alam, yaiku, saka sifat manungsa dhewe.
Lan ing dhasar dhasar kasebut, AI ora bisa luwih apik.
Perang minangka penolakan bebener lan kamanungsan.
Iku ora mung bab matèni wong, amarga wong kudu mati siji cara utawa liyane, nanging bab panyebaran gething lan goroh sing sadar lan terus-terusan, sing mboko sithik ditanam ing wong.
Jawaharlal Nehru
Iku ora mung bab matèni wong, amarga wong kudu mati siji cara utawa liyane, nanging bab panyebaran gething lan goroh sing sadar lan terus-terusan, sing mboko sithik ditanam ing wong.
Jawaharlal Nehru
Nanging yen, amarga kemampuan kognitif sing saya tambah akeh lan kekuwatan sing diwenehake dening wong-wong mau, AI isih dadi luwih pinter lan luwih moral tinimbang para pangripta, mesthine bakal mikir babagan carane mbenerake wong sing paling apik utawa, bisa uga, ngrusak wong-wong mau, minangka link paling ngisor ing évolusi, rampung sawijining tugas?