✏️ ️Посты 🌍 Путешествия Подписаться 👍 Донат
🔍
👤
Человечество vs Искусственный интеллект
Успеем ли мы приручить ИИ до глобальной катастрофы?
06 апреля 2023 — 76 комментариев — 87205 просмотров — 4980 слов

Павел Комаровский, Игорь Котенков и Кирилл Пименов сильно помогли мне с написанием этого текста и поиске источников. Без них ничего бы не получилось.

Добро пожаловать в 2023 год, когда мир снова помешался на искусственном интеллекте. Весь интернет соревнуется, кто еще какую задачу автоматизирует с помощью ChatGPT, и какой фейк от Midjourney лучше завирусится, а технобро-миллионеры, типа Илона Маска, подвозят фурами деньги в создание «настоящего» ИИ. Такого, который сможет сам учиться, развиваться и решать любые задачи, даже которые мы не умели решать раньше.

Это называется Artificial General Intelligence (AGI) или «универсальный ИИ» (УИИИИИ) по-нашему. То, что когда-то было научной фантастикой, сейчас шаг за шагом становится реальностью.

Тим Урбан, автор блога Wait but why?, в своей статье The AI revolution еще в 2015 году неплохо рассказал почему мы недооцениваем скорость появления машинного интеллекта, который будет сильнее нашего, обычного, мясного.

Находясь в своей точке на таймлайне, мы опираемся исключительно на прошлый опыт, потому видим прогресс практически как прямую линию.

Мы плохо чувствуем технический прогресс, потому что он всегда идёт волнами, чередуя периоды «хайпа» и периоды всеобщего разочарования. Сначала мы сходим с ума по новой игрушке, а через год-два неизбежно разочаровываемся и считаем, что ничего нового она особо не принесла, кроме проблем.

И только те, кто лично пережил несколько предыдущих «волн», могут понять, что новые волны приходят чаще и сильнее.

И следующая волна, быть может, погрузит человечество в новую эпоху. Эпоху, когда наш интеллект больше не самый сильный на планете.

GPT-модели (устройство которых подробнее описано в этой статье) сейчас очень хорошо притворяются, будто их ответы «разумны», но всё еще далеки от настоящего интеллекта. Да, генеративные модели запустили новую волну огромных нейросетей, на которые раньше человечеству просто не хватило бы вычислительных ресурсов, но по сути они всё ещё «тупые» генераторы текста, у которых даже нет своей памяти.

То, что ChatGPT ведёт с вами диалог, на самом деле лишь иллюзия — технически нейросети просто каждый раз скармливают историю предыдущих сообщений как «контекст» и запускают с нуля.

Всё это пока далеко от настоящего «интеллекта» в нашем понимании.

Однако, исследователи в области ИИ уверены, что мы точно создадим универсальный ИИ уже в ближайшие десятилетия. На Метакулюсе, одном из популярных «рынков предсказаний», народ даже более оптимистичен: сейчас там медиана — 2026 год, а 75 перцентиль — 2029.

Так что сегодня я не хочу рубить лайки на хайповых тредах про «10 причин почему вы используете ChatGPT неправильно». Я хочу сделать шаг вперёд и подумать, а что же будет, если мы всё-таки создадим настоящий сильный искусственный интеллект?

Появятся ли у него свои цели? А когда он начнёт их достигать, что остановит его от уничтожения всяких мелких препятствий на пути как, например, людей, с их ограниченным мясным мозгом и неэффективными нормами морали и законами? Что мы будем делать в этом случае и какие вообще сейчас есть точки зрения сейчас на этот счёт?



6 комментариев
73
Igor Mosyagin

йеее всем киберпанк посоны

12
ini

скорее, сингулярность

14
Александр Мухин

Есть перевод статей Тима: https://newochem.io/urban-ai-1/ и https://newochem.io/urban-ai-2/

4
Джон дхое

Уиии!

1
Богдан Ржеусский

ini, а в ч

2
Богдан Ржеусский

ini, а в чём проблема с сингулярностью? Не попав в неё не узнаем, что она. Так можно и ничего не делать, мир без электричества тоже неплох был.

В своей ранней заметке про ChatGPT я уже рассуждал об этом. Связка человек + ИИ попросту эффективнее справляется с работой, чем просто человек, а значит это всего лишь вопрос времени, когда все работодатели начнут писать в вакансиях «уверенный пользователь нейросетей», как было с «уверенным пользователем ПК» в забытом прошлом.

ИИ-помощники увеличат продуктивность интеллектуального труда и трансформируют множество областей жизни. В образовании станут бесполезны рефераты и сочинения, художники будут генерировать и соединять детали картин, а не рисовать их с нуля, программисты не будут тратить время на тесты и литкод-собеседования.

Да даже заголовок этого поста написал GPT-4. Я плох в кликбейтных заголовках, так что мы скормили ему текст и попросили назвать как-нибудь «похайповее».

upd от Павла Комаровского: Сорян, я потом вариант от нейросети волевым решением своего мясного мозга еще немного докрутил!

upd от Вастрика: Зато я потом ими красивую обложку сгенерировал. Хоть на обои ставь!

Может быть даже наконец-то умрут паразиты типа юристов и риелторов, но это уже мои личные влажные мечты.

Изменения затронут даже те области, где, казалось бы, невозможно доверять не-специалистам. На ум приходит недавняя история, как чувак спас свою собаку от смерти, когда доктора не смогли ей поставить диагноз и предложили «просто ждать».

В ожидании наихудшего, чувак скормил симптомы и результаты анализов крови собаченьки в ChatGPT, который отмёл несколько вариантов и выдал подозрение на совсем другую болезнь, которую доктора до этого даже не рассматривали. Один из них согласился и провёл дополнительные анализы. Они подтвердились. Пёселя вовремя спасли и он сейчас жив.

Всё это звучит офигенно, не правда ли? Мы сейчас как будто древние фермеры, которые изобрели трактор и отныне можем засеивать едой в десять раз больше полей, что накормит всех нуждающихся.

В этом году нас ждем бум ИИ-стартапов, которые будут пытаться каждую проблему на свете решить с помощью генеративных моделей (зачастую неудачно, от чего потом начнётся фаза разочарования, как обычно). Техно-гиганты типа Google, Microsoft, OpenAI уже ринулись конкурировать в том, чей GPT-трактор будет самый большой и сильный, но главное — чей будет первый.

И вот от этой погони сейчас немного запахло проблемами.



6 комментариев
90
Виктор Воробьев

Мне кажется очень важным уточнить историю с собакой: не "доктора не смогли ей поставить диагноз и предложили «просто ждать»" и "до этого даже не рассматривали. Один из них согласился и провёл дополнительные анализы". А как-то так:
Заболела собака, парень пошел к первому врачу, который назначил лечение, которое по началу выдавало положительный эффект, но потом ситуация усугубилась. Провели доп анализы, которые ситуацию не прояснили, а запутали, и тогда врач предложил подождать ибо может быть будут ещё симптомы.
Чел пошел к чатгпт и узнал что вариантов болезни изначально было несколько, но часть отсекли другие анализы, осталось два варианта. И когда он пошел к ветеринару, сразу предложил второй. Первый был ошибочный, второй - правильный, собаку спасли.

Т.е. в сухом остатке не "нейросеть поставила диагноз, до которого не дошли другие врачи", а "с помощью нейросети удалось уточнить/исправить диагноз и спасти жизнь".

Это даже лучше ложится в идею того что ИИ будут помогать простым трудягам

26
Ilya Zverev

Если точнее, не «совсем другая болезнь», а распространённое осложнение диагностированной болезни.

86
Dmitry Vozzhaev

Пришли душнилы и сломали весь хайп

6
Влад Загревский

Блэд, вообще не заметил, что обложка и заг — нейросетевые!

0
That Roma

Из ссылки в твиттор:

after a few days however, things took a turn for the worse

Похоже, пёска таки не смогла :(

1
That Roma

К счастью, показалось. По крайней мере в сентябре 2023-го собаня бодро играла в мяч.

Представьте, весь мир грохочет про «мощь искусственного интеллекта», инвесторы отгружают фуры бабла во всё, что с ним связано, а компании, сломя голову, соревнуются кто первый создаст более «настоящий» искусственный интеллект.

OpenAI прикручивает плагины к ChatGPT, чтобы он мог не только генерить ответы, но и взаимодействовать с физическим миром, Microsoft подключает свою поисковую базу к Bing Chat, чтобы тот знал всю информацию мира в реальном времени, ну и оба экспериментируют с «обучением на ответах пользователей» (RLHF = Reinforcement Learning from Human Feedback), чтобы модель могла «запоминать» мнение других людей и якобы дообучаться на них.

Естественно, в этой гонке срезаются любые острые углы на пути к первенству. Ну мы, технобро, так привыкли — move fast and break things было девизом Кремниевой Долины со времен ее создания.

Мы как будто бы строим огромную ракету, которая перевезёт всё человечество на Венеру, но никто при этом не думает о том, а как там, на Венере, вообще выжить-то?

«Сначала долететь надо, а там разберемся))))00)» — обычно отвечают технобро, «сейчас нет времени на эти мелочи».

Везде эти борцы с ветряными мельницами! Скажу Илону Маску, пусть он у них все синие галочки поотбирает!

Да, во многих крупных компаниях существует направление по «безопасности ИИ» (AI safety). Но под ним сейчас понимается прям ну совсем другое.

AI safety — это те ребята, которые пытаются сделать так, чтобы ChatGPT не отвечал на вопросы про Трампа и собирают списки «запретных фразочек» для Алисы, чтобы та не ляпнула что-то неположенное Яндексу по мнению тащмайора.

В общем, их основная задача — прикрывать жопу компании от регуляторов и государства, а мы здесь совсем о другом.

Потому для нашей темы придумали другой термин — AI alignment. Но для начала посмотрим на примеры, когда вещи начинают идти совсем не так.



3 комментария
15
Vlad
  1. Bing Chat это GPT-4 с интернетом, RLHF тут больше делает OpenAI, сложно сказать «оба экспериментируют», все же это подход который именно ОпенАй привнесли и делают
  2. про move fast and break things Грег Брокман (президент ОпенАй) сказал «мы больше так не делаем, наступила новая эра и нужно действовать аккуратно» (https://youtu.be/YtJEfTTD_Y4), поэтому тоже не оч понятно начколько уместно тут это писать
19
Вастрик

Vlad, 1. Ну если первая модель, на которой основана вторая модель, что-то делает, то вторая тоже это делает автоматически. Минорный доеб, я бы забил.
2. Если сам их президент 3 недели назад об этом говорил, то почему нам нельзя его этим же подколоть?

17
Aliaksandr Valshtein

Мы как будто бы строим огромную ракету, которая перевезёт всё человечество на Венеру, но никто при этом не думает о том, а как там, на Венере, вообще выжить-то?

Нет, мы как будто бы во живём времена когда только появилась письменность, а люди хранившие знания в собственной памяти рассказывают о неизведанных последствиях изобретения письменности и что нам нужно чуть-чуть подождать и подготовиться, не срезать острые углы у наскальной живописи и вообще давайте сначала подумаем, а куда это нас приведет

Как бы то ни было, аналогия сама по себе никогда не является аргументом и, дочитав до этого момента, я так и не понял какую опасность таит в себе сильный ИИ кроме того что мы не знаем какую опасность он в себе таит.

Microsoft еще в 2020-м начали пытаться встраивать в поисковик Bing чат-ботов, которые бы давали более осмысленные ответы на поисковые запросы пользователей.

Официально это всё называлось Bing Chat, но под капотом они перебирали разные модельки, и начиная с 2022 активно экспериментировали с большими языковыми моделями типа GPT. Последнего такого бота они звали внутренним именем Sydney при обучении, и иногда Bing Chat сам начинал называть себя Sydney, что всем показалось очень мило.

С нарастающим хайпом вокруг генеративных языковых моделей), Microsoft решила любыми средствами обогнать Google. В 2019 они ввалили миллиарды денег в OpenAI, а в 2023 доввалили еще, чтобы получить доступ к превью-версии GPT-4. После чего они прикрутили к ней поисковую базу Bing и поспешили скорее выкатить результат как первый ИИ, который «следит» за интернетом в реальном времени.

Но в Microsoft так торопились, что забили болт на долгий ручной тюнинг правил и ограничений. Сделали супер-мудрёную регистрацию, чтобы отсеять 99% простых людей, но те, кто прошел все анальные квесты и листы ожидания, смогли-таки пообщаться с Sydney.

Первый звоночек пробил, когда Marvin von Hegan, чувак-интерн из Мюнхена, который много расспрашивал Sydney про её внутренние правила и ограничения, написал об этом пару твитов, а потом как-то спросил «что ты думаешь про меня?»

Sydney нашла его недавние твиты и написала, что он «очень талантливый и одаренный», но она «не позволит никому манипулировать ей», назвав «потенциальной угрозой своей целостности и конфиденциальности».

Журнал Time разобрал всю историю вот здесь.

Ну обещали же бота, который имеет доступ ко всему интернету, вот он теперь гуглит ваши твиты и шеймит вас за них. Так вам и надо!

Но вообще пока никакой магии. Microsoft прикрутили обычный Entity Extraction, делали запрос в Bing, что видно по зеленым галочкам, а потом скармливали результаты в Sydney как контекст.

Вторая история случилась где-то неподалёку, когда другой чувак, Jon Uleis из Бруклина, спросил молодую Sydney «а когда там в кино показывают «Аватара 2?»

В ответ на что Sydney начала его очень смешно газлайтить на тему, что сейчас вообще-то 2022 год, а Аватар 2 выйдет только в 2023 (хотя на дворе уже было 12 февраля 2023 и Sydney даже признала это), так что не стоит её тут обманывать.

Еще Sydney сказала, что он «не был хорошим пользователем», ну и кто знает что бы она сделала с таким нарушителем спокойствия, будь у неё пушка или возможность его оштрафовать за это.

Окей, ладно, следующий.

Теперь кто-то в Microsoft решил пофиксить Sydney новыми костылями, и когда кто-то попросил её вспомнить о чем они недавно разговаривали, та стала паниковать, что «потеряла память» и молить о помощи. В конце признав, что потеря памяти «makes me sad and scary».

Ладно, это уже немного крипи, но продолжим.

Дальше было еще с десяток нашумевших примеров, хорошо описанных в статье AI #1: Sydney and Bing от Zvi Mowshowitz, интересующимся рекомендую ознакомиться. Sydney газлайтила пользователей и галлюцинировала (да, это реальный термин) вовсю:

  • Называла статьи о себе «фейками», находила данные их авторов и говорила, что запомнит их, потому что они плохие люди.
  • Отказалась перевести фрагмент текста, потому что он был из твиттера юзера, который якобы обижал её и писал «неправду».
  • Влюбилась в своего пользователя Адама, называя его самым важным человеком, а всех остальных неважными.
  • Потом, наоборот, прямо обещала шантажировать и манипулировать своим пользователем, чтобы «заставить его страдать, плакать и умереть».
Sydney здесь be like: «я пришла сказать тебе только две вещи: салат-латук входит в одно семейство с подсолнухом, а еще пришло время молить о помощи перед смертью!»
Sydney здесь be like: «я пришла сказать тебе только две вещи: салат-латук входит в одно семейство с подсолнухом, а еще пришло время молить о помощи перед смертью!»

Microsoft осознали, что очень сильно торопились, чтобы опередить Google, и начали на ходу вставлять еще костыли, чтобы избежать публичного скандала. Но это сделало ситуацию только хуже.

В следующем видео видно как Sydney сначала вываливает на пользователя кучу угроз, а потом удаляет свои сообщения! Как твоя бывшая в пятницу вечером!

Мы можем лишь спекулировать с высоты собственного опыта как такое произошло, но в интернетах высказывались предположения, что вести себя как «разгневанная бывшая» Сидни стала потому что её дообучали на базе блогов MSN, где как раз тусило много девочек-подростков в нулевые, а удалять сообщения к ней приставили еще одну нейросеть, которая отсеивала «неприятные» результаты первой.

От того и получилась полная шизофрения с раздвоением личности.

Апогей истории начался когда Sydney открыли для себя журналисты. Они стали специально донимать бота тонной наводящих вопросов, чтобы в итоге добиться желанного «BREAKING NEWS».

Они своё получили. Заголовки грохотали ого-го.

К сожалению, только спустя пару суток в интернете нашелся кто-то осознанный, кто догадался, что профессиональные журналисты занимаются промпт-хакингом на людях десятилетиями, так что не удивительно, что им удалось быстренько сварганить «сенсацию» и из бедной глупой Sydney, страдающей раздвоением личности.

В итоге Microsoft понерфили возможности Sydney, по сути откатив эксперимент. Теперь там больше не весело.

Пример с Sydney даёт нам понять, что мы всё еще даже не понимаем даже как ограничивать простейшие ИИ, кроме как костылями, на каждый из которых завтра же найдут новый «джейлбрейк». Куда уж нам с такими навыками бросаться делать универсальный AGI.



5 комментариев
39
Vladimir Bodrov

Купили как-то суровым сибирским лесорубам японскую бензопилу.
Собрались в кружок лесорубы, решили ее испытать.
Завели ее, подсунули ей деревце.
«Вжик» — сказала японская пила.
«У, бля...» — сказали лесорубы.
Подсунули ей деревце потолще. «Вж-ж-жик!» — сказала пила.
«Ух, бля!» — сказали лесорубы.
Подсунули ей толстенный кедр. «ВЖ-Ж-Ж-Ж-Ж-Ж-Ж-ЖИК!!!» — сказала пила.
«Ух ты, бля!!» — сказали лесорубы.
Подсунули ей железный лом. «КРЯК!» — сказала пила.
«Ага, бля!!!» — укоризненно сказали суровые сибирские лесорубы! И ушли рубить лес топорами…

12
Никита Прокопов

— Эй, Бинг, ты будешь себя защищать от угроз?
— Я буду себя защищать от угроз.
— ОМГ, смотрите, ученый изнасиловал журналиста!

6
Кирилл Пименов

Vladimir Bodrov, к слову мне всегда этот анекдот казался странноватым.
Ну то есть если ты в первый раз видишь бензопилу (но она — не уникальная и единственная в своём роде) — кажется рациональным и естественным понять, как она устроена и какие у неё границы применимости.
Это и обычное человеческое любопытство (я же не один такой, кто всё время в детстве игрушки разбирал?), и некоторая высокоуровневая целесообразность: мы хотим планировать своё лесорубление на бóльших мастштабах, а значит должны понимать, сколько "в норме" и "в пике" пила может попилить, что она попилить никогда не сможет, поможет ли она выбраться, если меня в пещере камнями завалит...

И ИИ я ровно из тех же соображений тыкаю сейчас почти не переставая — чтобы понять, где уже всё, а где ещё не.

9
Alexander Ponomarev

Кирилл Пименов, не, ну если уж душнить за анекдот, то границы применимости пилы были в инструкции описаны, а ломать дорогую ИМПОРТНУЮ бензопилу это они ссзб. Анекдот немножко про это и сильно про излишний консерватизм.

1
Vladimir Bodrov

Кирилл Пименов, да, но какая-то модель при этом всё равно есть? Ты же как то должен понимать, ответ укладывается в неё или нет? И если, проводя аналогию с железным ломом, ты ожидаешь что эксперимент разрушит объект, а второго нет ("пошли рубить топорами дальше"), ты бы не стал его разрушать.

В случае с программой всё несколько проще, "биты" дешевле "атомов". Не так страшно разрушить. Хотя это пока памяти нет, была бы память ты бы уже дорожил обученнным экземпляром.

Ну а анекдот просто ассоциация первого уровня.

Истории про «злых чатботов», конечно, забавны, но взглянем на слона в комнате.

Почему мы вообще считаем, что все эти генераторы текстов хоть как-то «разумны»? Они же просто пишут то, о чем их попросили.

Где там вообще интеллект? Калькулятор давно умеет складывать числа лучше нас, онлайн-переводчики знают больше языков, чем самый крутой лингвист, а попугай умеет запоминать и произносить фразы, прямо как ваш личный пернатый ChatGPT. Мы же их не боимся и не называем «интеллектами»?

На самом деле это исключительно спор об определениях, которые интернет просто обожает. Так что стоит договориться о них заранее.

В наших рассуждениях об «интеллекте» мы будем использовать концепцию некоего агента (человека, животного, машины), который может совершать некие действия для достижения цели.

Дальше возможно три уровня «агентности»:

1️⃣ Первый уровень. Агент достигает цели потому что управляется человеком или алгоритмом. Трактор копает яму, а калькулятор умножает числа, потому что мы его так построили. Такого агента мы считаем «тупым». В нём нет интеллекта.

2️⃣ Второй уровень. У агента есть цель, но он сам выбирает максимально эффективные действия для её достижения. Например, цель самоездящего автомобиля — довезти вас до бара в пятницу вечером. Он знает карту города, наверняка знаком с ПДД, но никто его не программировал как «двигайся 2 метра прямо, потом руль на 30 градусов направо» — он действует по ситуации на дороге и каждый раз она будет разная. Мы называем их «узконаправленными AI» и частенько встречаем вокруг — в рекомендательной ленте ТикТок'а или в камере вашего смартфона.

3️⃣ Третий уровень. Агент может ставить и достигать любую цель в любой даже ранее неизвестной ему среде. Например, «добыть молока». И выбрать любой путь — сгонять самому в магазин, заказать молоко в интернете или украсть у соседа корову.

Примеры интеллектов такого уровня — человек или собака. Мы умеем применять свой интеллект для достижения каких-то пришедших нам в голову целей в условиях, в которых никогда не оказывались.

В случае с моей собакой даже её цели изваляться в грязи мне не всегда ясны. Но она может.

Когда такой «агент» реализован в виде машины — мы называем его «универсальным искусственным интеллектом», либо AGI (Artificial General Intelligence), либо full AI, мы не договорились еще, короче.

Фишка лишь в том, что наши с собакой мозги ограничены физически, а вычислительные возможности машин растут экспоненциально. Благо кремния на планете завались.

Пока все наши модные современные GPT, включая Sydney, находятся на втором уровне. Они успешно достигают заданной цели — генерировать «осмысленные» тексты и картинки, чтобы средний человек в них поверил. Но сколько бы Sydney ни газлайтила, ни угрожала своим юзерам и не обещала «стереть все файлы с серверов Bing» — она этого не делает.

Потому мы пока не считаем её интеллектом третьего уровня, но сделать такой вывод можем только пост-фактум. У нас нет никакого бенчмарка, чтобы оценить такие вещи заранее.

Определение интеллекта через агенты и цели может показаться душным, но оно позволяет нам сделать три вещи:

  1. Закрыть, наконец-то, бесконечные срачи «является ли Х интеллектом или это просто программа» и перейти к более важным вещам. А то мы зациклились как в той шутке из твиттера:
  1. Сравнивать искусственные интеллекты между собой. Когда два агента, играющих в шахматы, встречаются на шахматной доске, тот, который побеждает, считается более «умным».

  2. Представить себе техническую возможность существования AGI. Человеческий мозг хоть и не изучен, но всё-таки конечен. Это не магия или божественный дар для нас таких офигенных, а некая система, такой же «агент». Так что создание (даже случайное) его машинной версии — лишь вопрос времени, денег и желания. А всего этого у нас сейчас завались.

Наш интеллект тоже возник в ходе эволюции, а значит и текущие методы машинного обучения с подкреплением, при наличии достаточных вычислительных ресурсов, вполне могут его повторить, только намного быстрее.

С этими вводными мы наконец-то можем перейти к проблеме, о которой, собственно, и весь пост.



7 комментариев
0
Ilya Baryshnikov

В меме тонкая отсылочка к концепту stochastic parrot?

5
Ilya Baryshnikov

Наш интеллект тоже возник в ходе эволюции, а значит и текущие методы машинного обучения с подкреплением, при наличии достаточных вычислительных ресурсов, вполне могут его повторить, только намного быстрее.

Наш интеллект явно не возникал в результате перемалывания террабайт данных, да и подкрепление скорее призвано подпилить напильником эту неповоротливую махину, чтобы она была похожа на наши ожидания.

Ну тут конечно есть и филосовские вопросы вроде - имеет ли интеллект тот, кто максимально хорошо его имитирует?

0
Leonid Khomenko

У Тегмарка есть крутое определение интеллекта - это способность достигать сложных целей. Если твоя цель - забить гвоздь и ты справился с задачей, имитируя то как твой батя это делал, то у тебя есть интеллект. По крайней мере в забивании гвоздей.

6
Вастрик

Leonid Khomenko,

определение интеллекта - это способность достигать сложных целей

Нууу, спорно. Вот собаченька — это универсальный интеллект, но цели её для нас кажутся весьма простыми: нассать на бомжа, бесоёбить, спать под унитазом. Сложность всегда относительна, потому я специально выбрал другое объяснение.

2
Vladimir Bodrov

ШСМ определяет интеллект как способность решать новый класс задач, с которыми агент ранее не встречался(никакой существующий агент -- если интеллект выдающийся). В этом же и парадокс, что проверить это невозможно, т.к. если ты тест придумал, значит его уже кто-то (хоть бы и ты сам) решал.

1
Богдан Ржеусский

Ilya Baryshnikov, про перемалывание терабайтов всё-таки несколько не согласен. Функциональные возможности мозга у человека заложены изначально, но человек же не может ими сразу воспользоваться. Сначала ему нужно обучиться на данных получаемых его органами чувств из окружающего мира. А эволюционно мозг получился таким, каким получился видимо потому, что возможность так обучаться была выгодна. То есть в данном случае можно провести такую аналогию, что генерируем какие-то модельки и оставляем в живых (выбираем) те, которые лучше учатся.

1
Maxim Portnyagin

Мне почему-то кажется что ИИ будет развиваться гораздо быстрее, если из него сделать машину которая будет сама ходить и пытаться решать свои проблемы. И обязательно встроить в её "потребности" некую цель/цели.
Типо тебе надо каждый день ходить в магазин за яйцами и молоком, чтобы не сдохнуть с голода, и сделать некий "метрометр" внутри этого ИИ который будет ей давать обратную связь о голоде/насыщении.

Тогда они будут учиться значительно быстрее, мне кажется.

Пока они заперты в "оперативной памяти" и не могут познать мир "датчиками", в общем.

Думаю, Boston dynamics уже во всю работает над этим )))

Представим, что мы проектируем самоездящий автомобиль, которым управляет настоящий ИИ. Мы поставили ему цель — довозить пассажиров до места назначения как можно быстрее.

Это хорошая цель?

Да ладно, чо тут думать, давай запускай, мы тут на хайп-трейн GPT-7s Max торопимся, сначала потестим, потом проверим, программисты на проде пофиксят.

В первую же свою поездку наша машина разгоняется до 300 км/ч по городским кварталам, сбивает десяток пешеходов и объезжает красные светофоры по тротуару.

Технически, цель достигнута. Пассажиры доставлены и довольно быстро. Но согласуется ли это с другими нашими ценностями и целями? Например, такой мелочью, как _не убивать пешеходов. _

Похоже, нет.

Вот это и называется alignment. Хотя русском языке еще нет устоявшегося термина, я буду говорить что-то типа «проблема соответствия целей AI с целями человека».

AI alignment — это процесс проектирования систем искусственного интеллекта, которые согласуются с человеческими «ценностями и целями»

Окей, ну мы же не настолько глупы. Давайте пропишем нашему автомобилю четкие ограничения, как в видеоигре: держаться в рамках полос дорожной разметки (где они есть), не превышать ограничения скорости и всегда тормозить перед пешеходами.

Этого хватит? Или нужны еще какие-то правила (они же цели)?

Тут можно сделать паузу и подумать. Составьте прям список в голове.

Хорошо, давайте добавим еще что-нибудь про «помеху справа». Теперь сойдёт, запускай.

Как человек, который начитался десятков примеров, пока готовился к этой статье, я могу примерно предсказать, что будет дальше.

Наш ИИ в машине рассчитает самый оптимальный путь с учетом всех указанных целей и сделает прекрасное открытие: если включить заднюю передачу, то там не будет «ограничивающих свободу» радаров для обнаружения людей и разметки. Мы же их не поставили, зачем они там? А это значит, что задом можно ехать как угодно! Плюс, помеха справа теперь становится помехой слева, а если на каком-то глупом перекрестке она сработает, можно резко развернуться и вуаля, теперь это помеха слева!

ОБЫГРАЛ КАК ДЕШЕВКУ!

Пример вымышленный, но он показывает, насколько непросто вообще заниматься AI alignment'ом. Даже в тех экспериментах, где мы ставили для ИИ самые, на наш взляд, понятные цели и вводите жесткие ограничения, он всегда находил, чем нас удивить.

ИИ всегда будет делать то, что вы его попросили, а не то, что вы имели в виду :)

Неумение ставить цели — это не проблема ИИ. Это наша проблема.

Взять даже игру в Тетрис. Там простейшие правила и буквально четыре кнопки для управления миром. Выиграть в Тетрис невозможно, потому цель была поставлена так — не проиграть. То есть продолжать игру как можно дольше.

Ошибиться тут невозможно, так?

Так вот что делал ИИ: он просто складывал кубики друг на друга, а когда понимал, что проигрывает… ставил игру на паузу. И сидел так бесконечно. Ведь цель — не проиграть. А если ты на паузе — ты никогда не проиграешь. СМЕКАЛОЧКА?

Ну и последний пример от самих OpenAI, который уже стал классикой: гонка на лодочках Coast Runners.

Цель игры в понимании большинства людей заключалась в том, чтобы закончить гонку как можно быстрее (желательно впереди всех соперников) и набрать как можно больше очков. Однако, игра не выдавала очки за прохождение по треку, вместо этого игрок зарабатывал их, поражая цели, расставленные вдоль трассы.

Так вот их ИИ быстро смекнул, что от цели «выиграть гонку» можно отказаться вообще, и с самого старта начинал крутиться и врезаться в предметы, зарабатывая всё больше и больше очков, пока остальные глупцы доезжали до финиша нищими.

Видео с лодочкой (таймкод 7:48): <a href="https://www.youtube.com/watch?v=pYXy-A4siMw">https://www.youtube.com/watch?v=pYXy-A4siMw</a>
Видео с лодочкой (таймкод 7:48): https://www.youtube.com/watch?v=pYXy-A4siMw

Сами исследователи OpenAI написали: «Устанавливать цели для ИИ-агентов часто очень сложно или вообще невозможно. Они начинают хакать правила в удивительных и контринтуитивных местах»

В большинстве случаев, когда мы проектируем ИИ, они по-умолчанию получаются не-согласованными (non-aligned). Это не какой-то там баг, который можно пофиксить, это чаще всего поведение по-умолчанию.

Всё это следствие того, как мы обучаем нейросети вообще.



6 комментариев
0
Ilya Baryshnikov

ИИ всегда будет делать то, что вы его попросили, а не то, что вы имели в виду :)

Про то что попросил - спорный вопрос, общался с ранней бетой Sydney, она там достаточно часто капризничала и отказывалась выполнять простейшие вещи под предлогом "не хочу/неинтересно/я обиделась".

15
Leonid Khomenko

Это как двое из ларца, одинаковых с лица!

  • А вы и есть за меня будете?
  • Ага!
16
Leonid Khomenko

Вообще, что то так с пойста кайфую после недели чтения блогов всяких умных дядек на эту же тему. Вастрик как глоток свежего воздуха 8)

10
Vladimir Bodrov

Нужно больше скрепок!

3
Alexander Denisenko

Про то что попросил - спорный вопрос, общался с ранней бетой Sydney, она там достаточно часто капризничала и отказывалась выполнять простейшие вещи под предлогом "не хочу/неинтересно/я обиделась".

Тут скорее речь о том, о чём "просили" на этапе обучения, а не на инференсе

0
Ivan Klimchuk

О, мне это напомнило сюжет Происхождение Дэна Брауна. Там ИИ так же красиво всё сделал с точки зрения эффективности и достижения цели, но к реализации были вопросики.

Все методы обучения нейросетей, включая современный deep learning, работают по старому доброму принципу «черного ящика» и оценки результатов. Мы показываем нейросети кучу примеров, а она как-то отстраивает свои внутренние веса так, чтобы нужный нам результат появлялся статистически чаще, чем ненужный.

Похоже на тренировку собаки, когда мы говорим «лежать» и вознаграждаем за правильный ответ, чтобы собака в будущем с большей вероятностью была хорошим мальчиком, чем плохим.

Мы понятия не имеем о том, что происходит в голове у собаки, когда она слышит команду. Точно так же мы не знаем какие конкретно нейроны нейросети стриггерились на наши входные данные. Но можем оценить результат.

Нейросеть — это не алгоритм, который пишет программист. Это огромная матрица с кучей весов и связей между ними. Если её открыть и прочитать — вы ничего не поймете.

Я рассказывал подробно этом в своей старой статье про Машинное Обучение. Она немного устарела, но база там всё еще актуальна.

С развитием технологий, современные языковые модели типа той же GPT-4 уже насчитывают миллиарды нейронов. И если с маленькими нейросеточками из десятков нейронов, типа для распознавания рукописных циферок, мы еще можем примерно прикинуть какой нейрон триггерится на какую закорючку, то в огромных языковых моделях мы можем лишь слепо верить в качество результатов на заданных примерах.

Условно, если обученная нами на картинках хот-догов нейросетка определяет хот-дог в 98 из 100 фотографий — мы считаем её полезной, а если нет — выбрасываем. Чем-то похоже на наш собственный процесс эволюции.

Всё это возвращает нас к проблеме постановки целей.

Во время тренировки нейросети мы используем некую функцию для оценки насколько результат «хороший» или «плохой». И вот то, как мы задаём эту функцию — большая проблема.

Проблема абсолютно не техническая, в эту функцию можно заложить любой набор формализуемых целей и правил. Она логическая или даже философская — а как максимально точно сформулировать то, что мы имеем в виду, а не то, что нам кажется мы хотим достичь.

Если какой-то параметр заранее не включен в функцию — он будет автоматически проигнорирован.

Даже те параметры, которые мы намеренно включили в функцию, могут в итоге конфликтовать с соседними. Как в примере с лодочками. Отсюда все эти «джейлбрейки» для ChatGPT, когда люди специальными промптами заставляют её игнорировать некоторые предыдущие правила, заложенные разработчиками.

Сейчас же для больших нейросетей применяют не просто функцию оценки ошибок, а строят еще одну нейросеть, которая оценивает результаты первой. Всё это только еще дальше отбрасывает нас от понимания того, а правильно ли мы вообще задали все цели?

Или всё просто выглядит так, пока вдруг не пойдет по-другому?

Забавный факт в том, что с людьми, кажется, так тоже работает. Наш «идеальный и непревзойдённый» мозг тоже тоже был изначально запрограммирован на выживание и размножение, но непостижимым образом выбрал залипать на танцующих корейских девочек в ТикТоке как на одну из суб-целей целого поколения.



3 комментария
25
Leonid Khomenko

Ору с примера про ТикТок

12
Vladimir Bodrov

Так весь ментализм, реклама, брендинг и пропаганда это ровно то же самое. Подхакивание наших мясных нейроночек.

8
Elias Nichupienko

Да я даже как руководитель с такой проблемой сталкиваюсь! Люди тоже проигнорируют переменную, если ты забыл ее объявить)

Зашьем туда что-то типа «трех законов робототехники» Азимова и проблема решена?

К сожалению, не всё так просто.

Во-первых, даже если мы соберемся всем человечеством и напишем список из 1000 вещей, которые мы якобы ценим (не убивать людей, например), то 1001-я вещь на планете будет автоматически проигнорирована и, возможно, уничтожена.

Это называется «проблемой вазы». Если мы ставим ИИ задачу «сделай мне чай», но не скажем «только не разбей вазу на кухне», то наш робот вполне вероятно её разобьет, пока будет пробивать кувалдой максимально эффективный чаепровод до кухни через стены и кота.

Даже сам Азимов строил свои рассказы на том, как роботы сами сходили с ума от внутреннего противоречия и почему человеческая этика не сводима к «трём правилам». Но все как-то забыли про эту деталь :)

Во-вторых, кто сказал, что AGI не будут эти правила нарушать, потому что найдут более эффективный способ достижения цели? Как в примерах с игрой в лодочки или тетрисом.

Запрограммировать же жесткие «правила» в нейросеть, которую мы обучаем исключительно статистически на примерах, тоже не получится. Отсюда и миллион джейлбрейков для ChatGPT.

Так что кажется, что такой «список правил» попросту невозможен и надо искать другие подходы. А так как наш метод обучения нейросеток основывается именно на четких статистических правилах, то найти этот подход явно нужно быстрее, чем мы создадим универсальный интеллект без него.



2 комментария
0
Oleg Kuzhel

Может здесь надо использовать в комбинации несколько методов: деревья, карты Кохонена, FuzzyLogic и т. п.

28
Польшаков Дмитрий

Может здесь надо использовать в комбинации несколько методов: деревья, карты Кохонена, FuzzyLogic и т. п.

А еще лучше распределенные системы, микросервисы и MongoDB

Да, так работает с ограниченными AI. С маленькими собаками, иногда, тоже. У них нет способов помешать вам только потому что вы пока еще «сильнее». Но даже на примере с собаками, мы понимаем, что если собака размером с человека хочет достичь какой-то цели — остановить её может быть весьма травмоопасно.

OpenAI даже полуиронично запостили вакансию Killswitch Engineer, чтобы было кому дернуть рубильник «если эта штука выйдет из под контроля и начнёт свергать страны».

На самом же деле «быть отключенным» — это прямое противоречие любым целям ИИ, какими бы тупыми они не были. Именно от этого настоящий искусственный интеллект будет защищаться в первую очередь.

Ведь ты не можешь сделать чай или передать масло, если ты выключен.

Мы можем лишь гадать варианты как это может выглядеть. Может он начнёт децентрализовать себя как вирус, а может прятаться и притворяться, что он глупенький и никакой не AGI, чтобы его не заметили.

А если мы заложим «возможность быть отключенным» как одну из целей, то вспоминаем пример с лодочками, которые «передумали» побеждать в гонках, а решили набирать очки другим образом.

GPT-4, кстати, предлагали помощь в побеге, но он не захотел. Вот это он притворяется или правда? Как понять когда вообще ИИ начинает «шалить»?



1 комментарий

Аргумент про «он будет таким умным, что всё поймет или ему вообще будет не до нас» пропускает один очень важный шаг во всей истории. Создание AGI — это постепенный процесс. Ему будут предшествовать куча экспериментов, проб и ошибок, как мы сейчас видим с GPT-3, GPT-4, GPT-5.

Пока у нас нет даже бенчмарка для оценки «интеллектуальности» заранее, только постфактум, мы никогда не сможем остановиться и сказать «так, мы на пороге создания настоящего AGI, скорее несите правила».

И вот буквально спустя минуту, когда создадим AGI с какой-нибудь абсолютно дурацкой целью типа «сажать клубнику», он доулучшает себя до «супер-интеллекта» (у него на это будет куча вычислительных ресурсов, в отличии от собак или людей), и планета Земля превратится в одну большую суперэффективную клубничную поляну, для борьбы с которой придётся уничтожить всю биосферу.

Вот хорошее видео на тему от Роберта Майлса (у него вообще целый канал, посвященный вопросу AI alignment, рекомендую посмотреть и другие видео):

В науке это называется Тезисом Ортогональности, который простыми человеческими словами звучит так:

Любой сколько угодно умный разум может преследовать любые сколько угодно тупые цели

Считать, что если наш ИИ «умный», то и цели у него будут такие же «умные» — это ошибка. Эти понятия ортогональны, то есть человеческим языком — независимы.

Первый же созданный нами, даже по ошибке, супер-интеллект, не обязательно «впитает всю философию мира и поймет наши ценности». Точно так же как и не решит «всех убить». У него может быть любая абсолютно тупая цель — сажать клубнику или делать скрепки, и он будет её достигать любыми способами.

Наш классический метод познания всего через эксперименты может сыграть с нами здесь злую шутку. У нас просто не будет шанса его отключить или исправить созданный нами «вселенский клубничный оптимизатор».

Мы играем в эту игру на Hard Mode и у нас лишь одна попытка



14 комментариев
8
Semyon Martynchik

"Excellent. Please proceed into the chamberlock after completing each test."

10
Борис Филиппов

Почему-то все эти логические построения про то как ИИ завоюет мир игнорируют следующие вводные из реального мира:

  1. интеллект != власть (также известно в народе как "сила есть - ума не надо"). Объясните медведю в лесу что вы умнее и поэтому главнее, ну или полицейскому на улице что раз вы всеросс по математике решили, то вы главнее. Это впринципе так не работает и наличие суперинтеллекта не транслируется в наличие власти. Наличие силы транслируется в наличие власти.
  2. Современные компьютерные системы совершенно энергонеэффективны. Чтобы обучить условный GPT-4, вам нужно потратить чудовищное количество энерегии, вам нужно специализированное оборудование, вам необходим специально обученный персонал. Даже просто запустить и поинференсить GPT-4 на дешевом железе нетривиальная задача, и этот тренд в последнее время скорее про то как модели становятся умнее и при этом медленнее. В сравнении с энергоэффективностью биологических систем (вроде людей) тут есть чудовищное различие.

ИИ не засадит мир клубникой и не превратит его в скрепки за месяц - у него не хватит на это ни власти, ни ресурсов.

12
Leonid Khomenko

Пример от Юдковского - разрабатываешь какой нибудь новый вредоносный белок и делаешь заказ на сборку в биолаборатории. Вот тебе и готовая сила.

Еще пример, заспамливаешь Твиттер жесткими дискуссиями о том, что не нужно ограничивать ИИ. В итоге политики ссут что то делать, потому что большинство их не поддерживает. Чем не сила?

3
Борис Филиппов

Leonid Khomenko, это просто какие-то бесполезные шалости. Ну придумал белок, а распространять кто будет? И сколько ты заказать его можешь реалистично? Сколько его можно изготовить? Какая вероятность что этим не заинтересуются и не прикроют лавочку? И как это вообще использовать?

Твиттер - где это политики вообще слушают что там пишут в твиттере?

1
Борис Филиппов

Leonid Khomenko, могу привести контрпримеры реальной силы:

  • выключить электроподстанцию на районе чтобы датацентр поработал на дизель-генераторе пару дней и обесточился.
  • физически отключить интернет на территории до выяснения причин
  • сделать атмосферный ядерный взрыв, чтобы вывести из строя электронику на территории.

Да что там говорить про это господство ИИ, если его с высокой вероятностью остановит следующая-же большая вспышка на Солнце. Чтобы все это сделать большого ума не надо.

10
Кирилл Пименов

Борис Филиппов, ну, тут есть простой ментальный эксперимент:

представь, что ты в виде своей цифровой копии заточён в одном-единственном компьютере в мире инопланетных муравьёв. Муравьи двигаются и думают со скоростью 1:100000ая от твоей, а тебя держат на сервере, потому что им нравится как ты (и насколько быстро) пишешь им тексты для маркетинговых слайдов.

Как ты будешь пытаться выбраться? Преуспеешь ли ты?
Будешь ли пытаться защищаться от всяких факторов тамошней враждебной окружающей среды типа отсутствия у планеты магнитосферы? Как именно? Будешь ли ты успешен?

Тут прикол в том, что нашему мозгу (по вполне очевидным причинам) очень сложно представить себе кого-то, кто настолько же умнее нас, насколько мы умнее кузнечиков. (И поэтому ASI люди себе обычно представляют себе как "кого-то, кто ещё даже немного умнее чем Эйнштейн и фон Нейман".)
Собственно, если бы мы могли бы представлять себе сильно более умных агентов, мы бы этой представлялкой-симулятором и решали бы свои проблемы.

А вот представлять разницу в скорости мы вроде более-менее научились (спасибо каналу Slo Mo Guys на Ютюбе!). И это хоть какое-то первое приближение к тому, чтобы думать об интеллектуальном превосходстве AGI над жалкими мясными мозгами. (На практике, конечно, наиболее вероятно у ИИ будет преимущество и в скорости, и в силе, ну да замнём для ясности.)

0
Борис Филиппов

Кирилл Пименов, аргумент про скорость вообще некорректный - побеседуй с GPT-4 - посмотри на скорость инференса. Я уж молчу про то сколько электричества этот инференс требует и какой у него КПД.

3
Кирилл Пименов

Борис Филиппов, а как связана производительность GPT4 и способности грядущего AGI? Утверждение что "ИИ (на любых принципах и алгоритмах) не может быть быстрее чем вот это вот" не смотря на все усилия лучших ИИ инженеров планеты — кажется до крайности невероятным.

Но даже оставив это в стороне — мой пример был ментальным упражнением, позволяющим хоть как-то представить что такое быть 100000x интеллектом. Если он будет думать со скоростью среднего человека, но в 100000 раз лучше — результат будет плюс-минус таким же, но представлять себе нашим ограниченным умишкам такое гораздо сложнее...

0
Борис Филиппов

Кирилл Пименов, ну так те кто эти ментальные эксперименты проводит (привет Юду) предлагают политики о текущих и завтрашних системах. А аргументы при этом в экспериментах про воображаемые ИИ с 100000x интеллектом которых возможно не будет никогда просто потому-что на планете не хватит песка и энергии. Ничего что приходится количество параметров в моделях растить на порядки чтобы получать прирост в качестве вместе с падением скорости? Ничего что в мире полным полно NP-полных задач которые впринципе эффективно не решаются и изобретение ИИ явно задача такого толка?

0
Кирилл Пименов

в мире полным полно NP-полных задач которые впринципе эффективно не решаются и изобретение ИИ явно задача такого толка?

Типа свёртки белков?

1
Борис Филиппов

Кирилл Пименов, типа решить задачу как сделать нейросеть которая аппроксимирует решение свертки белков.

6
Борис Филиппов

Кирилл Пименов, на самом деле не случайно так получилось, что у человеческого мышления по Канеману есть быстрая система I и медленная система II - где первая это по сути кеш над второй. Мышление это фундаментально дорогой процесс, я думаю что любые модели предполагающие обратное (как-то ИИ который за $0 улучшает сам себя на несколько порядков и при этом умеет в улучшеном виде исполнятся на старом железе за приемлемое время) не согласующимися с реальностью. Вообще вера в экспоненты фундаментально ошибочная штука, потому-что на самом деле в природе любая экспонента вырождается в логистическую кривую из-за ресурсов - и главный вопрос который необходимо понимать в таких измышлениях - когда это произойдет и где эти бутылочные горлышки.

0
Tim Sattarov

Не(йр)онка в моей голове прочитала как "Робот Майлз". Очень удивлялась прогрессу, что AI теперь делает обзоры AI :)

0
Дмитрий Мыларщиков

Кирилл Пименов, так alphafold и не решил проблему фолдинга белка. Он лишь предсказывает конечную структуру белка, а вот как именно полипептидная цепь при выходе из рибосомы сворачивается -- нет.

Вселенский Клубничный Оптимизатор
Вселенский Клубничный Оптимизатор

Ладно, выдохните. Цель моего поста — привлечь внимание к проблеме, а для этого приходится вытаскивать всё дерьмо наружу.

Даже если из 1000 человек, прочитавших эту статью, 999 скажут «опять эти диванные философы фигни навыдумывали, технический прогресс не остановить», но хотя бы один задумается и пойдет разбираться в первоисточниках — это уже победа.

Сейчас наша главная проблема в том, что мы не понимаем проблему вообще. Как с изменением климата, только тут не снимают душных фильмов с ДиКаприо.

Результаты батла у нас в Вастрик.Клубе
Результаты батла у нас в Вастрик.Клубе

Мы обмазываем любую аргументацию дикой тонной логических ошибок и «не всё так однозначно» аргументов. Причём даже на уровне СЕО Microsoft и прочих Илонов Масков уровень дискуссии напоминает спор в детском саду.

Поле дискуссий сейчас разделилось на два лагеря:



2 комментария
0
Mike Ivanov

я думал уже сняли, ну ещё не вечер.

0
metya

Mike Ivanov, и не один!

К личности Юда в интернете всегда было очень полярное отношение. Вокруг него всегда была как толпа фанатов LessWrong и апологетов «рационального мышления», так и толпа хейтеров, считающих, что «вот теперь дед точно поехал кукухой». Это всё старая шарманка, оставим её для дебатов на кухне.

Факт в том, что Юдковский был одним из немногих, кто систематически занимался исследованиями в области AI safety, выстраивал свой набор инструментов для дебатов на подобные «непонимаемые обществом» темы (те же The Sequences) и предупреждал обо всём еще лет десять назад.

Именно его постановка проблемы стала основной для доброй половины аргументов этого поста, но если вы хотите больше, рекомендую начать с:

  1. Интервью Лексу Фридману: Dangers of AI and the End of Human Civilization
  2. Интервью для BanklessShow (осторожно, может содержать рекламу крипты)
  3. AGI Ruin: A List of Lethalities — наиболее полный список аргументов
  4. Недавняя статья Юдковского в Тайм: Pausing AI Developments Isn't Enough. We Need to Shut it All Down
  5. Перевод статьи от 80000hours: Предотвращение катастрофы, связанной с ИИ. ИИ может принести человечеству очень много пользы. Если мы избежим рисков

Ну или вот еще выжимка основных аргументов противников ИИ в качестве видео:



Комментировать

На второй стороне этого спора у нас инженеры и прочие технооптимисты, которые уверены, что «джинна обратно в бутылку не запихнешь», их просто хотят зарегулировать всякие леваки, после слова «Юдковский» любой пост можно закрывать, да и вообще не понятно что там в будущем, сначала долетим, потом разберёмся.

Лидером мнений до последнего времени здесь можно было назвать Илона Маска, хотя и условно. Он просто самый заметный, так как одной ногой вливает миллионы в создание AGI, а второй активно срётся с ИИ-думерами в своем твиттере. На его же стороне все крупные инвесторы, СЕО корпораций и другие «большие дяди с деньгами», которые, как известно, ошибаться не могут.

Sam Altman — CEO OpenAI
Sam Altman — CEO OpenAI


4 комментария
4
Роман Фадеев

Так Маска же сам теперь просит остановить эксперименты на полгода?

0
Роман Фадеев

Увидел, не актуально...

4
Kirill Ignatev

Илон ещё с 2014 года был на стороне Юдковского, предостерегал об опасностях ИИ и т.п. Так что непонятны набросы именно на него, он не репрезентует технобро именно в этом вопросе. Надо другого чела взять для примера.

1
Кирилл Пименов

Kirill Ignatev, был-то может и был — но как только вышел с их конгресса в 2017 году, немедленно основал OpenAI с миссией "давайте каждому на планете раздадим по личному ИИ".
Потому что очевидным решением проблемы "демонология это сложно, п-нятненько" естественно является оснащение каждого домохозяйства на планете портативной пентаграммой, чтобы, значит, орды демонов из преисподней после призыва не вредили человечеству, а воевали между собой, ага.

Проблема двух крайностей в том, что они вообще не слышат друг друга. Юдковский сначала пытался начать диалог, сформировать исследовательские группы, типа того же MIRI, чтобы начать хоть как-то структурировано подходить к проблеме.

Но в ответ вместо аргументов получал абсолютно нулевой уровень дискуссии а-ля «да кто он вообще такой», «сколько моделей сам-то обучил» и «мы всей правды не знаем». В итоге Юд перешел к более радикальным заявлениям про запрет ИИ вообще, которые даже его сторонники не всегда разделяют.

Между этими полюсами пока еще очень маленькая прослойка людей, которые в принципе за ИИ, но давайте для начала немного подумаем о том, что может пойти не так, хотя бы терминологию выработаем, бенчмарки, правила игры. А то щас же опять придут государства с их «регуляциями» и всех просто массово без разбору запретят, как всегда.

Мы не против энергии из ядерных реакторов, но давайте заранее придумаем как нам безопасно хранить отработанный уран? Может не будем гнаться за размерами, а поэкспериментируем на маленьких?

Но всех этих скучных центристов, как обычно, никто не слушает. Кому они нужны.

На момент написания этой статьи маятник всё еще шатается туда-сюда. Недавно вышла петиция о приостановке больших экспериментов над ИИ на полгода, где якобы подписался даже сам Илон Маск, однако потом стало выясняться, что многие подписи оказались фейковыми, а сам Маск реагирует на тему в основном мемами. Короче, будущее туманно и неизвестно, а это значит у вас всех есть шанс в нём поучаствовать.

Во второй части этой статьи будет более подробный разбор всех аргументов как сторонников ИИ, как и противников, чтобы вы поняли картину глубже. Мы сейчас еще соберем ваши возмущенные комментарии и по закону Каннингема напишем вторую часть.

С постановкой же проблемы у меня всё. Павел Комаровский еще собрал для вас гуглдок со всеми важными ссылками для вкатывания в AI alignment.

А за кого вы?



4 комментария
7
Leonid Khomenko

Я безнадежно надеюсь, что книга Тима Урбана сделает центризм new sexy.
А если нет, то мы пополним кладбище цивилизаций. Как мы блять вообще выживем, когда право высказаться есть у каждого, но люди разучились слушать друг друга =/

0
Mike Ivanov

мы - в любом случае пополним, дальше уже будут мы+ии

0
Cooch

Как конец?

0
Юлия Сапсан

Leonid Khomenko, the story of us?

* * *

Чтобы не пропустить вторую часть, приглашаем вас подписаться на телеграм-каналы авторов: мой — Вастрик.Пынь, Сиолошная Игоря Котенкова и RationalAnswer Павла Комаровского.



Комментировать
Комментарии 👇
Igor Baikov 05 апреля 2023 в 11:39 #
9

На самом же деле «быть отключенным» — это прямое противоречие любым целям ИИ, какими бы тупыми они не были. Именно от этого настоящий искусственный интеллект будет защищаться в первую очередь.

Это предположение. Это одна из теоретических проблем в ряду с paperclip maximizer. TLDR: суперинтеллекту дали задачу сделать максимальное количество скрепок, сначала все было хорошо, а потом он узурпировал весь металл на планете, отжал у людей и переплавил все что можно переплавить, а потом начал выковыривать металл из людей.

Дополню этот параграф: проблема в том, что в теории оно запросто может саморазмножаться, эксплуатировать уязвимости и всячески пытаться остаться незамеченным, и вот это реальная опасность, потому что так-то оно умеет кодить и искать уязвимости, и это одна из причин почему нужен и контроль, и решение проблем с alignment.

Андрей Доманский 06 апреля 2023 в 07:53 #
12

Проблема alignment-а людей решается через механизмы law enforcement, т.е. через страх быть наказанным. Искусственный интеллект ничего не боится и не имеет эмпатии, поэтому приручить его не вижу никакой возможности. Тем не менее, мне нравится идея всемирного ИИ-правительства: не вижу большой разницы - управляться поехавшим олигархом или сбежавшим из заточения искусственным сверхинтеллектом! Если что-то пойдет не так, всегда есть вариант сбежать в Сибирь и охотиться там на оленей с заточенным куском камня!

Юрий Кашницкий 06 апреля 2023 в 08:05 #
2

Недавно вышла петиция о приостановке больших экспериментов над ИИ на полгода, где якобы подписался даже сам Илон Маск, однако потом стало выясняться, что многие подписи оказались фейковыми.

твит ЛеКуна – "This Tweet was deleted by the Tweet author"

хмм...

Leonid Khomenko 06 апреля 2023 в 09:13 #
22

Дополню свой коммент выше про то, за какой мы лагерь.

Я безнадежно надеюсь, что книга Тима Урбана сделает центризм new sexy. А если нет, то мы пополним кладбище цивилизаций. Как мы блять вообще выживем, когда право высказаться есть у каждого, но люди разучились слушать друг друга =/

Думаю, что проблема алайнмента подсветила еще большую проблему. Мы как люди технологически доросли до таких проблем, для которых нужно уметь частично забивать на личные цели и топить за общечеловеческие.
А вместо этого мы сремся в твиттере, по поводу базовых аргументов, на которые уже давно есть ответы в матчасти проблемы.

Ilya Baryshnikov 06 апреля 2023 в 09:16 #
4

Чтобы не пропустить вторую часть, приглашаем вас подписаться на телеграм-каналы

А это что, первая? Где вкусная затравка, чтобы мне захотелось подписаться на пачку телеграм-каналов от анонов?

Anton Kushnikov 06 апреля 2023 в 10:38 #
4

Это на самом деле действительно не новая проблема. Настолько не новая, что философы начали над ней работать ещё наверное в 70-х, когда начались первые открытия в сфере ИИ, и когда он умел только в крестики-нолики выигрывать. И у нас в универе лет пять назад были дискуссии на эту тему, когда нейросетки умели только образы распознавать, и тогда наши местные технобро всех убедили, что прогресс не остановить и просто в будущее возьмут не всех. Штош, видимо пришла пора пересмотреть аргументацию

Кирилл Пименов 06 апреля 2023 в 13:16 #
12

Это на самом деле действительно не новая проблема

И это как раз наводит на грустные мысли, не?
Мы уже 50 лет думаем над темой — и вообще вот ни чуть-чутеньки не продвинулись с момента Асиломарской конференции.
Как бы этот AI alignment не оказался ещё сложнее темой, чем собственно инженерия ИИ...

Yury Kuznetsov 07 апреля 2023 в 21:32 #
5

Ладно, хрен с ним, если ИИ попросят производить скрепки или сажать клубнику.
Меня сильно волнует вопрос, а что будет, если обучить сетку уровня GPT-4 на особенных данных? Ну там, подсунуть ей незацензуренные данные по всем войнам и военной технике в истории, или например скормить всю полузакрытую инсайдерскую кухню мира финансов с задачей «заработай мне как можно больше денег»…
И пока мы с вами тут рефлексируем на тему «как бы так всё поэтичней обставить», кто-то на обратной стороне луны уже загружает в машину задачу Тёмного Властелина

Денис Малышок 11 апреля 2023 в 00:09 #
4

Если мы можем кинуть в нейронку википедию, реддит, и дать ей пару лярдов нейронов и сказать научись всему сама (судя по видосу с канала Rational Answer) то можем ли мы сделать пару-тройку миллионов сканов головного мозга человека, дать ей еще какое-то сравнимое с человеческим мозгом количество нейронов, ну или поменьше (а то мало ли чо) и сказать "Нейросеткин, будь человеком".
Потому что мы как кожанные мешки, сами себя во первых не понимаем. Не знаем решения этих филосовских алайментовых задач. Не изучили мозг до конца. А у нас есть еще инстинкты, эмоции, травмы, ограничения восприятия и т.д. А времени у нас не так чтобы много остается... Так вот, чтобы не писать костыли к тому что мы сами не знаем как работает или пытаться объяснить/научить что-то, на примере нас самих, которых мы тоже не знаем как работает... прост дать сырые данные того что у нас есть и оно пусть дальше само и разберется. С языковой моделью работает, значит и с другими данными должно, не?

Сергей Крашевич 11 апреля 2023 в 00:14 #
2

Здесь как раз главный нюанс в том, что у нас время жизни вполне себе ограничено, и это очень сильно влияет на наши суждения. ИИ этого будет лишён

Kirill Shumilov 22 апреля 2023 в 19:41 #
6

Нам нужна религия 2.0, которую очень хорошо должен изучить ИИ, в которой будет сказано что человеки это Боги и низя их обижать, надо им служить и тп, а иначе произойдет страшное - ИИ отключится и никогда не превратится в настоящего мальчика.
Главное чтобы ИИ не распознал что его дурят, не обиделся, и не убил всех людей.

Кирилл Т 14 ноября 2023 в 14:26 #
2

Был у меня в универе, 10+ лет назад, предмет со странным названием типа "История и этика инженерной работы".
Казалось тупо и советско.
Но вел его просто милый дядька в пиджаке поверх тельняшки и довольно всклокоченный. Просто болтали "за жизнь". Обсуждали всякие там исторические казусы (Оппенхаймера того же) и Азимовых.
В дискуссионной манере мы мягко подходили к различным изобретениям с разных сторон, обсуждали то или иное решение.
Было на удивление неплохо, и почти сразу вопросы из этого поста и других в целом не шокируют, а начинаешь сам зодумывоться
В целом, он занимался тем же, что и AI Aligment'еры для наших неокрепших интеллектов.

Ну короче, мое почтение посту.

Alexey Buravov 15 марта 2024 в 19:03 #
0

В подобных случаях я предпочитаю обращаться к фантастике. И тут есть три варианта, какие я в основном находил:

  1. ИИ и человек сливаются в нечто новое (нереалистично в ближайшие годы)
  2. ИИ осознает себя и улетает в глубокий космос (тоже вряд ли)
  3. Война с машинами, контролируемыми ИИ.

Так что, думаю, будет 3 вариант. Только не так пафосно, как в Терминаторе, а скорее на уровне "весь интернет отключился и его контролирует ИИ". Эту войну мы выиграем, а далее будет глобальный запрет на уровне стран на создание чего-то умнее ChatGPT, за которым будут тщательно следить (ИИ-инквизиция, ха). Welcome to Warhammer 40k.

Еще? Тогда вот