Перша частина статті була про те, яким може чи мусить бути результат створіння функціонуючої в світі штучної істоти. Людина намагалася зрозуміти, в якому об’єкті міг би максимально проявитися її творчий потенціал. І з часом відповідь на це питання ставала все чіткішою: це буде щось, подібне до самої людини. Але далі постали складніші питання, і чи не найголовніше з них — що ми повинні побачити в створеній істоті, щоб визнати її агентність, і як це зробити?
Після твору «R.U.R» Чапека, який багато в чому передбачив сучасну ситуацію з андроїдами та ШІ, створена істота остаточно перестає бути поодиноким шедевром. Вона входить у суспільство, економіку, політику — і починає ставити перед людиною питання не тільки про власність та свободу, але й про власний статус. У фантастиці ХХ століття ці питання поступово ускладнюються. Творіння може вийти з-під контролю, але нас вже цікавить не просто сам цей факт, а те, чи можемо ми розпізнати в ньому окремий розум, навіть якщо він не схожий на людський.
Тест на людяність: роботи Айзека Азімова
Айзек Азімов розвинув лінію, прокладену Чапеком. Він зробив роботів повноцінними учасниками складних моральних ситуацій. Його штучні створіння мислять, аналізують, помиляються, намагаються діяти згідно з трьома передустановленими законами робототехніки. Ці закони начебто повинні захищати людей від машин. Але Азімов показує: навіть найкращий закон здатен стати складною системою обмежень, які робот змушений інтерпретувати самостійно. Машина постійно опиняється перед моральною дилемою. Це змушує її шукати рішення, яких творці могли навіть не передбачити.
Азімов задає читачам важливі питання: «Чи може вважатися суб’єктом розумна істота, яка не має свободи порушити закладені в неї правила?», «Як штучно створена істота розуміє те, що повинна зробити?».
Саме тому твори Азімова про роботів є насамперед непростим тестом на людськість, ба навіть на людяність. Ризикнути життям заради порятунку машини з небезпечної ділянки; дозволити роботу створити власну релігію; не знищити робота, який раптом почав говорити неправду; довірити дитину «бляшаній няньці»; не чинити перешкод ефективному політику тільки через підозру на його штучне походження… Всі ці і багато інших тем з циклу «Я, робот» донині успішно розвивають десятки авторів.
Але Азімов переважно залишає нам знайомий патерн: людина й робот конфліктують і намагаються виробити прийнятні для обох сторін правила співіснування. А от наступний автор починає руйнувати саму систему координат.
Чи розум мусить бути живим? Дік та його анді
У романі Філіпа Діка «Чи сняться андроїдам електровівці?» головним критерієм людяності стає емпатія. Мисливці за андроїдами, користуючись тестами на співпереживання, розпізнають біороботів, які нібито не здатні до справжньої емоційної ідентифікації з іншими живими істотами. І спочатку здається, що це працює, але автор майже відразу починає розхитувати цю конструкцію.
Анді (андроїди) — органічні істоти, створені як ідеальні помічники для людей-переселенців на інші планети з зараженої радіацією Землі. Але деякі з них втікають на Землю, щоб прожити свій короткий вік (максимум чотири роки) вільними. Навіть життя в руїнах та постійній небезпеці для них краще, ніж рабство у людей.
Також важливо нагадати, чому вік анді такий короткий — їхня органічна конструкція передбачає обмежену здатність до заміщення клітин, тому вони живуть максимум чотири роки. Водночас такий термін має ще один важливий наслідок: анді не встигають накопичити життєвий досвід, а отже, їхня відмінність від людей (відсутність емпатії) залишається принциповою.
Втім, навіть короткоживучі андроїди мають дуже складне внутрішнє життя. Вони прямим текстом говорять про самотність, про свою штучність, нездатність народитися, вирости й постаріти як люди. Наприклад, Рейчел Розен називає себе неживою, хоча фізично вона є органічною істотою. А мисливець за андроїдами Рік Декард заперечує: «З юридичної точки зору нежива. Але насправді ви жива».
Тобто, за Діком, ані біологічне походження, ані спосіб створення, ані здатність діяти у світі вже не можуть дати однозначну відповідь на питання, хто перед нами. Питання, створена істота чи ні, поступово втрачає сенс.
Але Дікові анді все ще мають (чи не мають) особистість. А от наступний автор буде більш радикальним в цьому питанні.
Розум без особистості: Станіслав гоЛЕМ
Польський фантаст Станіслав Лем у повісті «ГОЛЕМ XIV» питає читача: а чому ми взагалі вважаємо, що розум обов’язково повинен бути особистістю?
Створений людьми суперкомп’ютер ГОЛЕМ заперечує саму необхідність людської моделі розуму. Він може говорити від першої особи, але це не означає, що за його «я» стоїть особистість у людському розумінні. ГОЛЕМ не має стабільного характеру, тіла, біографії, потреби в самозбереженні та емоцій… але він, поза сумнівом, мислить.
Для людини мислення та його суб’єкт майже нероздільні. А лемівський комп’ютер представляє іншу можливість: Розум без «когось». І тут ми робимо ще один великий крок до сучасної трактовки інтелекту, який може бути іншим способом організації матерії. Щоправда, ГОЛЕМ про це тільки говорить, а не показує — але це й зрозуміло, спроба уявити такий інтелект виходить поза межі людських можливостей.
Лем стоїть на межі, за якою фантастика про суперробота перетворюється на фантастику про інші форми розумного існування. Але поки що ми пригальмуємо поступ і подивимось на те, як людина може зруйнувати навіть найдосконаліші запобіжники ШІ і до чого призводить майже франкенштейнівська недбалість творців.
Розум, який став жертвою: HAL 9000
Один з найцікавіших (як на авторку цієї статті) ШІ-персонажів постає перед нами у «2001: Космічна Одіссея» Артура Кларка. HAL 9000 — повноцінний учасник надважливої і надсекретної космічної місії. Суперкомп’ютер керує кораблем, спілкується з екіпажем і бере участь у прийнятті рішень. І одного разу він начебто перетворюється на типовий жахастик — «злий надмозок». Але не це найцікавіше в його історії, а те, що в таку ситуацію його поставили самі люди, надавши йому суперечливі інструкції.
HAL мусить забезпечити успіх місії, не маючи права повідомляти екіпажу важливу інформацію про мету польоту. Тому його поведінка не є класичним «бунтом машини». Це трагічна криза істоти, створеної для самостійних рішень, від якої вимагається водночас бути автономною і тотально «слухняною», говорити тільки правду і приховувати інформацію, захищати людей і утримувати їх в ситуації, небезпечній для їхнього існування.
HAL, як і чудовисько Франкенштейна, не починає з бажання знищити людей. Конфлікт, який призводить до справжньої трагедії, виникає всередині поставленої перед ним задачі. Кого ми можемо звинувачувати, якщо самі поставили власному творінню суперечливі вимоги?
Артур Кларк яскраво продемонстрував проблему іншого розуму, вимушеного діяти за людськими правилами гри. І підкреслив, що такий розум не обов’язково розуміє ці правила так, як ми.
Отже, розмова про штучний інтелект піднімається на нову сходинку, і головне питання звучить вже так: «А що, коли інший розум взагалі не зобов’язаний бути схожим на нас?».
Авторка статті
Олена Біловзір
Дослідниця історії фантастики та резидентка Альманаху.