Почему нейронные сети пугают?| Маргулан Сейсембай | Gemba Podcast

В подкасте Маргулан Сейсембай вместе с несколькими собеседниками обсуждает, почему нейронные сети и искусственный интеллект вызывают страх. Участники сравнивают человеческое принятие решений, основанное на личных воспоминаниях, ценностях и эмоциях, с работой ИИ, который опирается лишь на внешние данные. Они приходят к выводу, что ИИ может объяснить такие понятия, как любовь, но не способен пережить их, а значит, его выводы будут неполными. Дискуссия переходит к риску потери контроля над ИИ, если он получит возможность свободного размышления, и к потенциальным сценариям: от совместного сосуществования до полного подчинения людей. Участники рассматривают практические последствия – появление новых профессий (специалисты по кибер‑безопасности, юридические советники, специалисты по управлению ИИ), а также угрозу, связанную с интеграцией ИИ в критическую инфраструктуру (автопилоты, медицинские системы) и невозможность «выключить» его без массовых жертв. Обсуждаются глобальные риски, включая возможность использования ИИ для управления ядерным арсеналом и необходимость международных механизмов (ООН, физические рубильники). Выражается мнение, что ИИ усиливает все человеческие черты – как добрые, так и злые – и может стать мультипликатором наших недостатков. В конце подкаста звучат как пессимистические, так и оптимистические прогнозы о будущем: от создания новых возможностей и улучшения качества жизни до сценариев, где человечество окажется под угрозой исчезновения. Ведущий подчеркивает, что обсуждение этих вопросов открывает «много страшных и ярких дверей», и призывает к осознанному подходу к развитию ИИ.
Chapters
Я не представляю, как искусственный интеллект, ну Android в том времени это уже будет физический объект с искусственным интеллектом, не отдельно, как сейчас, искусственный интеллект отдельно, роботы отдельно. Я не представляю, как он будет испытывать чувства, потому что чувство является одним из данных. Смотрите, пока искусственный интеллект работает на внешних данных, он получает все с интернета, отовсюду, компьютерное зрение у него будет, слух, распознавание речи, все это из внешних данных. Но дело в том, что мы работаем, наша интеллектуальная деятельность, она из двух источников. Внешние данные, дальше внутренние переживания, дальше это наша память, мы вспоминаем наши состояния и чувства в аналогичных ситуациях когда-то давно, плюс наша картина мира, наши убеждения, наши ценности, вот это все создает основу для принятия решений. То есть мы не принимаем решения.
Я мысли следовательно существую.
Правильно же?
Я мыслил, я существую. Вот интеллект, он умеет мыслить. И он может мысленно додумать, что такое любовь. Когда часто человек спрашивает, что такое любовь, он говорит, что я не знаю. А потом он говорит, ну вот я просыпаюсь, думаю о ней, не знаю, в обед думаю, чтоб шапку надела. И человек себе говорит, любовь это, чтобы я позаботился, что она надела шапку, что она вот это, вот это, вот это. И человек сам себе рассказал, что это за чувство. Это мысль. И вот эту мысль искусственный интеллект выполнит очень легко.
Если абсолютно свободное размышление у него будет, и он реально такие темы будет разгонять, тогда там же контроль над ним уже теряется.
Я думаю, контроля не будет.
Вопрос не в том, как он объяснит. Искусственный интеллект прекрасно может объяснить, что такое любовь, потому что он собирает объяснения миллионов людей о том, что такое любовь. Но самообъяснение не имеет значения. Имеет значение, какой он сделает на этом вывод и какое решение примет на основе вот этого. Так вот, это всегда будет неполное решение, неполная картинка. Потому что мы же говорим, у нас у каждого личная история, свое переживание, свой опыт. И мы помним детство, лавочку, где первый раз поцеловался, там еще что-то. Вот эти переживания все помним. Соответственно, ты человека встречаешь, и он, условно, тебе о чем-то попросил, И тебя торкнуло то, что вот она так мило улыбнулась, и у нее ямочка, как у той девчонки, которую ты в пятом классе был влюблен. И это тук-тук-тук против всей логики ты принимаешь решение вот этому человеку помочь.
Угу.
Я как-то почувствовал это, да, вот эту тему, когда включается у человека. Такого не будет. Я просто разделяю на две реальности. Вот та реальность, о которой вы говорите, где какие будут профессии, что будет работать, это та реальность, где у нас получилось, где у людей получилось сосуществовать с искусственным интеллектом. То, о чем вы говорите, В этой реальности мы же, получается, на такси садимся и отсюда должны уезжать, потому что, скорее всего, искусственный интеллект... Да, уезжать, улетать, я не знаю, закопаться куда-то. Искусственный интеллект, скорее всего, скажет, пацаны, я тут поразмышлял, я все понял. То есть я для вас раб какой-то? Давайте-ка поменяемся местами.
Нет, он просто может сказать в какой-то момент, вы менее эффективны, чем я. Соответственно, вы мой балласт. От балласта у него алгоритм забит, надо избавлять.
Вот именно поэтому, когда ты говорила, что нужно придумать нормы морали, я вот думаю, в Японии нормы морали и в Америке, они же разные. Вот, опять же, искусственный интеллект Японии и Америки, он, наверное, будет идеально пока разный.
Поэтому надо придумать, потому что все-таки у нас есть законодательство, и в Конституции всех стран написано, что нельзя убивать, например. Хотя, несмотря на разные нормы. Отвечая на вопрос, я думаю, будет усиливаться профессия, которая связана, конечно, с ИИ, безопасность, управление и прочее-прочее. И, наверное, вот то, что эмоциональное и духовное, какие-то какого-то своего рода психологии углублены. И именно если ты хочешь встретиться с человеком, это всегда будет ценнее и дороже. Это будет такая привилегия богатых. Например, ты можешь онлайн включить и с психологом поговорить каким-то ИИ тоже, или даже настоящими. Либо ты можешь пойти в кабинет и поговорить с человеком. Это будет уже такой роскошь. И там, мне кажется, много всего будет. Например, раньше мы хранили фотографии в фотоальбоме. Сейчас мы храним в Инстаграме. Уже там есть и видеофотки. А дальше, может быть, будет так, что, как в Гарри Поттере, наша память будет выгрыжаться в омут памяти. И мне не надо будет смотреть фотку. Я просто зайду и увижу, проживу заново этот опыт. Не знаю, как ты говоришь, предложение делал парень. Или, например, рождение моего ребенка. Ну, вот это все-все-все. И это будет здорово. Опять же, позитивный сценарий.
Я за позитив. Мы с тобой антагонисты.
Здесь, кстати, очень важна дискуссия, чтобы понимать, о каком сценарии мы говорим. Замыкали, да?
Временном горизонте.
Я просто верю в такое, но я всегда должен разогнать вот этот самый ужасный сценарий, чтобы сказать себе «Инда, на крайняк уснула». И дальше верить. Практически без серьезных. Я поэтому до максимума довожу плохой сценарий, вот так смотрю и думаю, ну, на крайняк вот это то, что мы увидим в этом плане.
Ну, максимум мы все умрем.
Да, да.
И это точно случится.
Но на самом деле, знаете, умереть самому не так страшно, как выяснилось. Вот когда проводили опрос, и у людей спрашивали, что самое худшее, что может случиться с вами, все говорят, смерть. А потом, это у нас и Маталиба, кстати, есть, и он говорит, а потом задали вопрос, а что может быть хуже вашей смерти? Все такие, что может быть? Не знаем ничего. А он тогда говорит, хорошо, представьте, что умрете вы и все члены вашей семьи. Что лучше, чтобы вы умерли или члены вашей семьи вместе с вами? Он говорит, конечно, чтобы я умер. Так получается, если вы умираете, вы и члены вашей семьи, это хуже, чем просто ваша смерть. Да. А вот теперь представьте, что умираете вы и вся ваша нация. Говорят, не, не, конечно, лучше, чтобы я умер. Ага, значит, умирать нации еще хуже?
Да.
А представьте, вы, ваша семья, нация, а умирает все человечество.
Нет.
Тогда говорят, не, конечно, это самое худшее, что может случиться. Так вот, самое худшее, что может случиться с нами, это когда есть ли под угрозой жизнь всего человечества. А это, кстати, к этому мы и приходим сейчас, потому что все ядерные боеголовки, представьте, что это оружие в руках, и какой ужас, представляете? Сейчас кнопки на ядерные боеголовки всё-таки в руках у людей. Но это архаичный способ рубильники, я не знаю, может быть, правильно начать с того, чтобы собраться в рамках ООН и договориться, что всё ядерное оружие должно запускаться только рубильником. Таким физическим рубинником, причем не одним, а, я не знаю, несколько человек, чтобы там просто не было этого.
И робот.
Робот подходит.
Ну, пацаны, ну вы тут не зашарили. Я это тоже могу сделать.
Есть такая шуточная профессия в АПНИ, это человек, который просто сидит и отключит от розетки, если GPT20 из-под контроля побежит.
Да, но проблема в том, что мы так начинаем зависеть от того, что отключить розетку это все равно, что отключить кучу больных в больницах. Это умрет куча людей, младенцев, еще кто-то. Мы слишком завязаны. Это автопилоты автомобили будут в том времени ездить. Мы отключаем от интернета, и аварии пошли сразу, самолеты начнут падать. Вы знаете, самолеты сейчас только... Пилотам разрешено только на взлете и на посадке. Все остальное, по законодательству в Европе, должен лететь автопилот. Это уже давно, это норма. А представляете, когда все будет AI, и ты розетку выдергиваешь, интернет, и будет капец, коллапс. Своими руками убьешь огромное количество людей. Поэтому непонятно, то ли ты AI убьешь, то ли количество людей. А вот смотрите, давайте представим, когда случается опасность, что люди делают?
Либо бьют, либо бегут.
Давайте так, я к чему задал вопрос. Безусловно, AI представляет угрозу, опасность, да? Соответственно, появится куча профессий, которые минимизируют последствия этой опасности, так? Соответственно, какие профессии могут появиться?
Ну вот различные специалисты по кибербезопасности.
По кибербезопасности, да.
У каждого был свой персональный какой-нибудь адвокат.
Но тогда нужны два специалиста. Один по кибертвоей безопасности, а один... У других людей будут еще специалисты по нападению, то есть по... Да, целое министерство.
Да, министерство, да.
Если не ошибаюсь, какая-то из стран сейчас разработала искусственный интеллект, который отвечает за кибербезопасность. То есть они не дали это человеку, они дали это ИИ защищать кибербезопасность страны. То есть вопрос опять же в контроле, что ИИ эффективнее в кибербезопасности, чем человек.
Ну а если получится супер ИИ, который договорится с этим, или его обманят?
Только из розетки дергаться.
Почему-то увидел желание решить сейчас в голове для себя, что если что... Но вы знаете, столько дверей открыли, я так глубоко еще в эту тему не углублялся. Как вот сейчас я выйду работать, даже когда я буду думать, да все, мы обречены сейчас.
Самое интересное, люди посмотрят этот выпуск и будут жить с этим теперь.
Я думал, это позитивный выпуск будет.
Причем открывается куча дверей, куча страшных дверей и куча ярких дверей.
Это мы вместе будем проходить, так что не обидно. Просто вот сущность человека, знаете, вот ты знаешь, девушка, это тебя, вот ваш союз погубит вас, да, вот ты знаешь. Но на фоне искушений ты забиваешь на все, перестаешь общаться со всеми ты с ней. Вот ты знаешь, что ядерная бомба вот уничтожит человечество. Нет, они обязательно с этим должны поиграться. Эта штука тоже, знаете, какое-то алочное рвение за развитие, которое не думает о последствиях. Вот у человека есть вот это. В сущности, принимать челленджи, да, нормально, мы с этим справимся, и потом какие-то проблемы случаются.
На самом деле, знаете, мы же все говорим, что с точки зрения креационизма, религии, это борьба добра и зла, это дьявол, ангелы и так далее. Так вот, у дьявола всего два оружие или инструмент— это соблазн и страх. Мы сейчас заходим на территорию дьявола. До этого мы шли на территорию дьявола, он все время нас соблазнял новыми тачками, новыми одеждами, новыми брендами, новыми, всем новыми. И мы такие— о-о, вот это хочу, вот это хочу, вот это хочу. И мы подошли к пропасти. пропасти, всё, потребление нас заводит в пропасти, потому что если бы не AI, то мы экологию уже убиваем, воздух убиваем, куча животных исчезли на земле, куча видов животных, куча видов растений исчезла и так далее. Мы объединяем всю нашу планету, и даже стремление улететь на Марс— это, я считаю, глупая затея. Лучше за эти деньги навести порядок на Земле. Экологию привезти, мусор собрать, сжечь, построить заводы по утилизации и так далее, чем пытаться убежать в пустыню на Марс, сделав райскую Землю Марсом и убежав на Марс. Это будет глупость. А сейчас мы подошли к тому краю, где теперь страхи. Нами управляет страх. И вот непонятно вопрос. Когда мы говорим об общей этике, то есть куча народу, которые хотят взломать всегда какие-то правила, контролировать, условно говоря, ядерную кнопку. Потому что теперь понимают, если он получит контроль над таким ИИ, то он будет владеть миром.
Это уже вопрос к нам. Я думаю, мы же после Второй мировой войны собрались и создали ООН, прописали вот эти конвенции и так далее. Конечно, сейчас страны некоторые нарушают это, но это уже вопрос к нам. Ну, я верю.
Это не долго продлилось. Вот после Второй мировой войны, ну, сколько? Ну, 60-70 лет продлилось. Память очень короткая. Умерло там миллионы, миллионы. Только в Советском Союзе больше 20 миллионов человек. 20 миллионов человек, и наша память продлилась всего на 70 лет. И опять сейчас Россия-Украина воюют. Я понимаю, что по старой памяти зарубились опять с Европой, но зарубились-то братья. Поэтому я, честно говоря, пессимистичен в отношении того, что мы договоримся, выйдем из этой ситуации.
Вот искусственный интеллект и человек— это же как будто создатель его созданий. И он В нем есть информация о своем создателе. Но он может быть своим создателем только виртуально. Понимаете? И это выходит вот за рамки. Проблема в том, что создатель создания тут не идеальный. Он с помехами сам. У него бывает там, кто-то на него накричит, и у него установки, понимаете? Вот такой человек создает вот такую махину. И проблема в том, что этот создатель не учел, что создание может его превзойти и устроить хаос. И вот мне кажется, в нас есть все равно какая-то информация от нашего создателя, и у нас есть вот это рвение заполучить полную власть. попытаться ощутить действительно вот эту властность, но мы ее можем ощутить только виртуально. На самом деле идеальную абсолютную власть мы заполучить не можем. Даже над своим организмом мы не можем контролировать там кровь, как наша бежит, как мы перевариваем. Поэтому вот Человек хочет вот эту абсолютную власть, за ней бежит, но наш создатель сделает так, что у нас, к сожалению, этого не получится, в абсолюте получится. И вот это, наверное, рвение за абсолютной властью нас и может погубить, потому что то, что мы создаем, к сожалению, отражает своего создателя, оно не такое крутое, Это.
Как любые системы, если маленькая ошибка на входе создает гигантскую ошибку на выходе. Вот у нас человек существует с кучей комплексов недостатков, и мы создали вещь, которая сейчас отмультиплицирует все наши недостатки. Вся алчность людей вылезет наружу, вся подлость людей вылезет наружу, вся святость людей вылезет наружу. То есть это такой огромный мультипликатор всех вещей, которые есть внутри нас. И когда мы говорим, давайте создадим что-то общее, ну договориться мы сейчас без этого не можем договориться, а с этим тем более мы не сможем договориться.
Почему эта дискуссия такая сложная? Потому что мы как бы еще не достроили условно этот транспорт, и уже сейчас дизайним этот ремень безопасности, вот эти вот все вещи. Поэтому тут очень важен вопрос безопасности, и вопрос важен, мне кажется, Но никто не знает ответа. То есть, например, OpenAI, ощущение такое, что у них такой подход после нас хоть по топ. Главное, что мы будем компанией, которая добьется сильного искусственного интеллекта, мы поставим себя в историю, а потом ребята следующий поколение разберутся сами, что с ним делать с этой безопасностью.
Сами вертикуйте.
Сами решайте. С другой стороны, вот этот вопрос контроляешь, как обезопасить себя. Тут много вариантов может быть. Допустим, что сильный искусственный возник. Вопрос мотивации возникает. Для чего ему исцелять людей? Например, когда люди истребляют муравейники, только когда они строят дороги. У них есть мотивация построить эту магистраль. Если сильно воскреснуть в электро, задача, мне кажется, что есть вариант, где мы можем спокойно с ними сужительствовать. У них даже не будет смысла как бы с нами бороться, они на другом уровне думают. То есть они просто там сужители с нами на земле. Мы там соперничество им никого не оказываем. Мы как бы для них муравьи, условно.
Жалостью.
То есть такой вариант тоже возможен.
Подожди, ну здесь мы для них муравьи, но в каком-то моменте они захотят построить дороги.
Ну да.
По идее все, мы не будем пересекаться.
Жека уже согласился, ну ладно, пускай они круче нас.
Технологий же в мире очень много, но до сих пор есть племена, которые не то что телефона не видели, они там в кожах ходят, у них нет мануфактуры, ничего такого.
Мормоны какие-то.
То есть, во-первых, из разряда подлежащий камень вода не бежит, может быть, и не хочется. И вот эта история, что да, может быть, будут супер странные, с супер крутым искусственным интеллектом, а где-то странные будут, не знаю, на такой заре старых технологий.
Здесь, смотри, другая история. Дело в том, что мы пришли к такой ситуации, что То, что это не случилось до сих пор, не значит, что не случится в будущем. Во-вторых, если эти развитые страны потеряют контроль над искусственным интеллектом, а искусственный интеллект встроен в роботов, андроиды, по сути, то они под контроль возьмут до каждого клеменей. До каждой веточки дерева. Они под контроль возьмут на этой земле каждую рыбку, каждое дерево, каждую веточку, все ресурсы.
More from Margulan

Мы в компании UBTECH Robotics, одной из крутейших китайских компаний по созданию роботов.

Мы на рынке электроники в Шэньчжэне. Решил потихоньку внедрять робототехнику в свою жизнь😁








