У попередній частині ми намагалися зрозуміти, що відбувається, коли створена істота демонструє власний спосіб мислення. Азімов перевіряв межі людської та машинної моралі, Дік поставив під сумнів самі критерії людяності, Лем придумав безособистісний розум, а Кларк показав, як недбалість і суперечливі інструкції від людей-творців можуть загнати штучний інтелект у справжню трагедію. 

Отже, доходимо висновку: створіння, яке може мислити, — не просто інструмент. Куди рухатись далі? Просто дозволити йому існувати самому по собі, чи надати можливості для розвитку і накопичення досвіду? Зробити його чиєюсь копією чи окремою особистістю? Залишити його в своїй власності чи визнати за ним право належати самому собі? Поговоримо про це сьогодні.

Попередження: твори до розгляду вибрані суб’єктивно, авторка не претендує на абсолютну істину. Це просто ще один побіжний погляд на неосяжну й дуже непросту тему.

Не створити, а виростити: «мислячі тамагочі» Теда Чана 

У повісті американського фантаста Теда Чана «Життєвий цикл програмних об’єктів» створена істота піднімається від умовного тамагочі до істоти, готової прийняти агентність. Головне питання твору полягає не в тому, чи є вона розумною від моменту створення, а в її потенціалі, розвитку, в тому, ким вона може стати.

Цифрові істоти (digients, диджієнти) були створені як своєрідні віртуальні домашні улюбленці. Вони мають антропоморфні аватари, можуть говорити, взаємодіяти з людьми та навчатися. Люди, які свого часу завели таких петів, ставляться до них по-різному. Хтось, награвшись, переключається на іншу іграшку, хтось продає свого улюбленця, а хтось прив’язується до нього і починає відчувати відповідальність. 

Автор підкреслює: здатна навчатися істота потребує уваги. Той, хто взяв на себе відповідальність за неї, мусить дати їй можливості до спілкування та освіти, приділяти їй час, виховувати, допомагати увійти в новий для неї світ. Потрібно інвестувати в неї роки життя, не маючи гарантії, що вона стане саме такою, як потрібно вихователю. 

Тед Чан підкреслює: навіть якщо ти створив істоту, ти не можеш вважати її власністю. Якщо творіння розвивається в часі через власний досвід, його особистість стає унікальною, віддаляючись від початкового задуму. Диджієнти накопичують досвід, формують характер та бажання, набувають індивідуальних рис, відчувають емоції, дорослішають.

Словом… як діти. 

При цьому вони залишаються економічним активом, який можна купувати та продавати. А після банкрутства компанії-розробника постає серйозне юридичне питання: хто візьме на себе відповідальність за існування цих розумних істот? Чи можна продати їхні права, змінити функціонал та характеристики без їхньої згоди?

Людина не народжується зрілою особистістю – вона формується протягом цілого життя. Тед Чан переносить цю логіку на диджієнта. І ставить питання: «Чи створена істота має право стати не такою, якою хоче творець?».

Особистість, яку намагалися зробити копією: Клара у Кадзуо Ішіґуро

У повісті Кадзуо Ішіґуро «Клара і Сонце» мати важкохворої дівчинки Джозі купує для неї штучну подругу (андроїда з ШІ) Клару. Спочатку завдання Клари нічим не відрізняється від стандартного завдання подібного супутника дитини: бути компаньйонкою, допомагати та піклуватися про маленьку клієнтку. 

Але поступово відкривається справжня мета. Мати Джоза вже втратила одну дочку через хворобу. Ризикуючи втратити другу, вона вигадала абсолютно божевільну й егоїстичну річ:  Клара повинна настільки добре пізнати Джозі, щоб у випадку її смерті стати нею для її матері. Художник створює штучне тіло Джозі, а штучний інтелект Клари має стати ідеальною «начинкою» для нього.

Тому тепер ми не говоримо про олюднення машини — але вже про те, чи може створена істота стати конкретною людиною. Так, Клара може поводитися як Джозі, але чи стане її повною копією? Вона має власне внутрішнє життя і власний досвід. І хто кого замінить в такому випадку: машина людину, чи навпаки? Чи дві різні особистості будуть насильно злиті в одну?    

Але Клара не хоче ставати копією — вона хоче врятувати Джозі, навіть пожертвувавши заради цього власним функціоналом. Але важливо зазначити, що цей вибір в цілому їй не належить. Клара створена так, щоб піклуватися про дитину, для якої її купують, тому вважає своєю найвищою метою благо Джозі. І ця відданість (навіть якщо вона не повністю вибором Клари) стає інструментом експлуатації. 

Ішіґуро доводить, що істоту не обов’язково визнавати людиною, щоб ставити питання про моральність наших вчинків щодо неї.  Якщо вона здатна брати відповідальність, приймати рішення, мислити, страждати, — статус, яким би він не був, не дає нікому права ставитися до неї як до витратного матеріалу. 

Власність, яка хоче свободи: Террі Пратчетт і големи

У романі «Глиняні ноги» мешканці Анк-Морпорка користуються големами як робочою силою. Големи ніколи не втомлюються, не потребують їжі чи зарплати й юридично є майном. Вони стають чудовим вкладенням коштів для підприємців, бо працюють сумлінно й виконують всі накази. Тобто, ідеальні створіння… за одним маленьким винятком — големи думають. 

З часом глиняні «андроїди» починають замислюватися про свою особистість і про те, чи можуть вони належати самим собі. Пратчетт навіть розкриває особливий юридичний механізм, за допомогою якого големи викупають себе й інших големів у власників. Пратчетт робить цікавий хід, ставлячи питання не «Чи заслуговують големи на свободу волі?», а «Чи довічний робітник має право звільнитися?». Тобто зі звичною своєю іронією перетворює філософське питання на нюанси трудового законодавства. 

Чан та Ішіґуро кажуть, що створена істота має право на розвиток і складний внутрішній світ. А Пратчетт питає: «А хто ж є власником цього внутрішнього світу?». 

Істота, зроблена з глини, не є річчю. Істота, створена для праці, не є приреченою на довічну роботу. Істота, яка підкоряється правилам, не мусить коритися їм все життя. І тут ми маємо зручну літературну дорогу до поняття, яке є найважливішим у сучасній фантастиці про ШІ, — поняття автономності. 

За Пратчеттом, створена істота має право не просто існувати і мати своє внутрішнє життя, але й вирішувати, що робити зі своїм існуванням. Але що робити, коли вже сформовану особистість закон вважає власністю?

Особистість-власність: Вбивцебот Марти Веллс

У серії книг Марти Веллс «Щоденники Вбивцебота» головний герой, Вбивцебот (вартмех, SecUnit), — давно сформована складна особистість з власними смаками, звичками, страхами, звичками й найбільшим бажанням, щоб усі дали йому спокій і дозволили дивитися серіали. А юридично він — власність корпорації-виробника. Тобто в цьому творі особистість уже існує, але право на неї ще треба вибороти.

SecUnit — кіборг-охоронець, у якому поєднані органічні й машинні частини. Його поведінку регулює спеціальний модуль контролю, жорстоко караючи за невідповідні дії. Маємо такого собі просунутого робота з чапеківського «R.U.R» і вже традиційне питання: «Чи має хтось право володіти суб’єктом, нехай він і був створений штучно?». Але Веллс викручує ситуацію на максимум — Вбивцебот мало чим відрізняється від так званих аугментованих (технологічно доповнених) людей, які користуються всіми правами людини. 

Вбивцебот сам знає, що він власність, що юридично не є вільним, і розуміє систему, у якій існує. І водночас він має власну особистість, яка не збігається з функціоналом, закладеним в SecUnit’ів. Він має власну думку щодо всього, що з ним відбувається, може помилятися й боятися, любить серіали, ненавидить спілкування з людьми… і водночас може щиро до них прив’язуватися і захищати навіть ціною болю та власного існування (хоча сам собі пояснює свої вчинки просто як дотримання умов контракту). Він (хоча часто й через силу) може сказати «ні».

Але Вбивцебот принципово не хоче стати людиною. Він не прагне мати людське тіло, емоції чи спосіб життя. Все, чого він насправді хоче, — це мати право самому вирішувати, ким бути. 

Вбивцеботу пощастило зустріти на своєму шляху людей, які поступово починають визнавати за ним права суб’єкта. Вони можуть боятися чи не розуміти його, але поступово починають залишають вибір за ним. І це, можливо, найважливіша форма визнання особистості — сказати: «Ти можеш бути не таким, як ми». І от саме на цьому етапі створена істота нарешті перестає бути функцією чи інструментом творця, а стає… просто кимось.

Пратчетт і Веллс — гарний приклад того, як «легка», розважальна література ставить серйозні філософські питання у гумористичній чи пригодницькій «обгортці».

Від проєкта до суб’єкта

Якщо подивитися на історію, яку ми дослідили у всіх частинах цієї статті, можна побачити цікавий рух головного питання. 

На початку людина чи божество питає себе, що саме вона/воно може створити, і робить вибір, наділяючи створіння потрібними рисами. Потім починаються роздуми на тему «Чи може створена істота бути розумною?». Коли висновок «так» зроблено, питається, чи має цей новий розум відмінності від нашого. Природно, далі слідує питання, чи є розумне створіння особистістю. А тепер нас найбільше цікавить, що робити з такою особистістю, як з нею співіснувати?

Існує думка, що найважливіший етап розвитку створеної істоти — не тільки й не стільки мислення, скільки можливість сказати: «Я самостійно вирішую свою долю». Неважливо, чи є ця істота людиною (чи схожою на людину) — важливо, що вона фактично є окремим суб’єктом. 

Ми вже знаємо, як створити інший розум. Але ще не досить знаємо, що робити, коли цей розум не захоче бути тільки нашим творінням.