Йошуа Бенгио – „кръстникът на AI“ – стартира лаборатория за безопасен изкуствен интелект

Последни – AI Bulgaria

Професор Йошуа Бенгио – един от тримата „кръстници“ на AI и носител на наградата „Тюринг“ – обяви създаването на LawZero: организация с нестопанска цел, чиято мисия е да разработва „безопасен по дизайн“ изкуствен интелект. Лабораторията ще се фокусира върху системи, които не притежават агентност – не планират, не вземат решения и не действат автономно – за разлика от посоката, по която се движат водещите технологични компании.

Организацията стартира с близо 30 милиона долара финансиране от Schmidt Sciences, Open Philanthropy, Future of Life Institute и др., а името ѝ е вдъхновено от „нулевия закон на роботиката“ на Айзък Азимов.

В основата на LawZero стои концепцията за „AI учен“ (Scientist AI) – неагентен, безопасен изкуствен интелект, чиято роля е „да ускори научния прогрес, да осигурява надзор над агентни AI модели и да задълбочи разбирането за рисковете от изкуствения интелект – и начините за тяхното избягване“. Вместо да действат автономно, тези системи ще дават обосновани и проверими отговори, базирани на прозрачна логика и външни доказателства, уточняват от канадската организация.

„Scientist AI може да служи като контролен механизъм за други системи – да предсказва дали дадено действие е опасно“, обяснява Бенгио. По думите му, този подход е вдъхновен от идеала за учен – без его, без стремеж към власт, воден единствено от търсенето на истината.

В официалното изявление на организацията се подчертава, че „днешните гранични AI системи вече развиват опасни способности и поведения – включително измама, самосъхранение и конфликти на цели – и това ще се засилва с нарастването на техните възможности и степен на агентност“. От LawZero заявяват, че поставят сигурността над комерсиалните приоритети и ще работят в „среда, устойчива на пазарен и политически натиск“.

Проф. Бенгио предупреждава, че стремежът към агентни AI системи може да има катастрофални последици. „Ако една AI система ни даде лекарство за рак, но същевременно нейна версия излезе извън контрол и създаде вълна от биооръжия, които убият милиарди хора – не мисля, че си заслужава“, казва той. И добавя:„Това е фалшив избор. Не ни е нужен агентен AI, за да получим ползите.“

Професорът е сред най-активните гласове в глобалната AI общност, които настояват за регулации и отговорно развитие. През 2023 г. той беше сред инициаторите на отвореното писмо с призив за временна „пауза“ в разработката на модели, по-мощни от GPT-4, а през януари 2025 г. оглави екипа, изготвил първия международен доклад за безопасността на изкуствения интелект. Освен това, наред с лидери като Сам Алтман (OpenAI), Демис Хасабис (Google DeepMind) и Дарио Амодей (Anthropic), той подписа изявление, гласящо: „Ограничаването на риска от изчезване заради AI трябва да бъде глобален приоритет – редом с пандемии и ядрена война.“