После двух инцидентов за неделю, вспоминаем, как основатели Anthropic год назад говорили о "безопасности"

Как человек, работающий в области криптографии и безопасности на протяжении многих лет, я вижу в истории создания компании Anthropic не только историю одной компании, но и глубокий пример того, как строить доверие, балансировать инновации и риски в эпоху технологического взрыва. Это выходит далеко за рамки самих технологий и касается создания организации, способной противостоять системным рискам.

Самый важный урок заключается в том, что они преобразовали абстрактные принципы безопасности в конкретные, итеративные "конституционные" положения - RSP. Это похоже на то, как мы создаем протоколы или смарт-контракты в мире криптографии: безопасность - это не функция, добавляемая после, а фундаментальное свойство системы. Фраза Дарио "сигнал тревоги срабатывает слишком часто, и когда начнется настоящий пожар, никто не побежит", точно отражает фундаментальное противоречие в проектировании механизмов безопасности. Слишком частые или не откалиброванные предупреждения снижают их серьезность и в конечном итоге приводят к отказу всей системы. Это напоминает "усталость от предупреждений" в кибербезопасности или плохой пользовательский опыт, вызванный чрезмерно чувствительным контролем рисков на криптовалютных биржах. Ключевым является создание высоконадежной, точно откалиброванной системы предупреждений и вмешательства.

Еще один важный момент - это их осторожность в отношении "консенсуса". Джаред Каплан и Дарио Амодей подчеркивают, что многие отраслевые "консенсусы" по сути являются "эффектом стадного поведения, замаскированным под зрелость". Это особенно актуально в эпоху быстрого технологического прогресса. Будь то ранние законы масштабирования ИИ или новые парадигмы в области криптовалют, настоящие прорывы часто являются результатом опровержения господствующих точек зрения. Такая смелость делать ставки в условиях неопределенности является ключом к расширению границ.

То, как они справляются с ловушкой "благородной неудачи", также очень мудро. Крис Олах отмечает, что простое стремление к моральной чистоте, приводящее к жертве всего, в конечном итоге приведет к тому, что решения будут приниматься людьми, которые не придают значения безопасности. Это раскрывает важность прагматичного идеализма: настоящая задача - не героически потерпеть неудачу, а умно победить. Вы должны участвовать в создании конкурентоспособных, ценных продуктов, доказывая, что безопасность и успех могут идти рука об руку, чтобы привлечь больше людей к этой "гонке вверх". Это аналогично логике успеха открытых криптографических протоколов: только когда вы доказываете, что они жизнеспособны и ценны, экосистема процветает.

Наконец, сама история создания Anthropic отражает некоторые аспекты криптокультуры: группа людей, не являющихся "рожденными предпринимателями", объединилась из-за общего чувства ответственности и миссии, чтобы попытаться решить огромную проблему с помощью новой организационной формы. Их обещание отдать большую часть доходов также отражает долгосрочные ценности, выходящие за рамки чистой коммерческой выгоды. Эта культура высокого доверия и мотивации, основанной на миссии, является самым ценным активом, который помогает им справляться со сложными задачами безопасности.

В заключение, практика Anthropic предлагает методологию для внедрения безопасности в области быстрого инновационного развития: преобразование принципов в конкретные "конституционные" положения, осторожность в отношении ложных консенсусов, стремление к прагматичному идеализму для стимулирования "гонки вверх" и построение культуры высокого доверия. Этот опыт имеет глубокое значение для всех, кто работает в быстро развивающихся и высоконеопределенных областях, будь то ИИ, криптография или другие передовые технологии.