OpenAI собирает команду для разработки способов управления и контроля над «сверхразумным» ИИ, который — по прогнозам самой компаний — может появиться в течение десятилетия. И совсем обязательно он будет доброжелательно настроенным к создателям.

Актуальные методы (такие как обучение с подкреплением на основе отзывов пользователей) основаны на способности людей контролировать искусственный интеллект. Но они не спасут в случае с ИИ-системой, которая значительно умнее человека.

Новой команде предоставят доступ к 20% вычислений компаний. Вместе со штатными инженерами, а также исследователями из других организаций она будет решать поставленные задачи в течение следующих четырёх лет. А именно:

• обучать ИИ-системы, используя обратную связь от людей;
• обучать робота помогать в оценке других систем ИИ;
• создавать ИИ, который сам сможет проводить контроль за нейросетями.