Крупнейшая криптобиржа США пришла к выводу, что ручной анализ смарт-контрактов более эффективен чем с применением СhatGPT.
Крупнейшая регулируемая криптобиржа в США, Coinbase, рассказала, что испытала AI-чатбот ChatGPT для того, чтобы изучить смарт-контракты ряда альткоинов. Эти альткоины являются цифровыми активами класса ERC20/721.
Команда специалистов из Coinbase, Blockchain Security team, которая отвечает за анализ уязвимостей тех или иных проектов на блокчейне, выявила, что, если у самой криптобиржи есть корпоративный разработанный подход по анализу цифровых активов класса ERC20, то выяснить то, как ChatGPT проводит такой анализ, не представляется возможным. Однако это было бы лишь одна проблема — отсутствие прозрачности в методологии анализа со стороны ChatGPT и в понимании того, насколько она статична или динамична. Другая проблема проявилась в том, что ChatGPT в ряде случаев ошибся и не указал на ошибки, которые были в реальности в программном коде смарт-контрактов и которые были выявлены при анализе человеком.
В экспериментальной выборке были представлены на анализ 20 смарт-контрактов, и лишь в 12 случаях результаты аудита смарт-контракта с помощью ChatGPT совпали с тем заключением, которое сделал блокчейн-инженер. В оставшихся восьми случаях ChatGPT в пяти чат-бот сделал явные ошибки, посчитав смарт-контракты как имеющие низкий риск уязвимости с точки зрения их безопасности, хотя это было не так.
В других трёх ChatGPT не смог вынести однозначного решения в принципе, то есть его применение оказалось бесполезным. Интересно, что СhatGPT в тех 12 случаях, когда верно определил высокий риск для устойчивости работы смарт-контрактов, не указывал досконально на саму ошибку в самом смарт-контракте, а делал выводы лишь по косвенным признакам.
Команду блокчейн-инженеров из Сoinbase также удивило то, что ответы ChatGPT на один и тот же вопрос в ходе эксперимента и касавшийся конкретного технического момента, а значит имевший в реальности однозначный и неизменный ответ, получал от этого чат-бота разные ответы в разные моменты времени, когда такой вопрос задавался. В итоге, в Coinbase подвели результат эксперимента, заявив, что «исходя из того, что ChatGPT не удовлетворяет требованиям, которые есть у криптобиржи, организация не интегрирует его в настоящее время в корпоративный анализ смарт-контрактов». В Сoinbase отметили, что хотя ожидают улучшения в работе в ChatGPT в дальнейшем, но в любом случае не намерены отказываться от ручной проверки смарт-контрактов.
