Ещё совсем недавно автор большого исследования мог исходить из простой последовательности: он пишет текст, человек его читает и сам делает выводы.
Теперь между автором и читателем всё чаще появляется ещё один участник — искусственный интеллект.
Человек видит статью или PDF на сто, сто пятьдесят или двести страниц и не читает его целиком. Вместо этого он загружает документ в ИИ и просит:
- сделай краткую выжимку;
- найди главное;
- скажи, что здесь действительно доказано;
- сколько стоит восстановление;
- что известно о бактериях;
- подтверждается ли гипотеза автора?
Это уже другая цепочка:
автор → документ → ИИ → человек.
Она удобна. Иногда без неё огромный текст вообще остался бы непрочитанным. Но в ней появляется новая возможность для ошибки.
ИИ может найти в документе настоящий факт — и всё равно передать человеку неверный смысл.
Правильная цифра тоже может привести к неправильному ответу
Во время работы над исследованием о восстановлении почвы мы увидели эту проблему особенно ясно.
Представим, что в большом документе есть результат: +147% respiration.
Цифра настоящая. Но сама по себе она почти ничего не объясняет. Для её правильного понимания важны срок эксперимента, контроль, условия, то, какая именно часть бактериального сообщества исследовалась, и главное ограничение: этот результат не доказывает восстановление всего почвенного микробиома.
Если ИИ извлечёт только красивую цифру, человек может получить сильный и убедительный ответ, которого исследование на самом деле не давало.
То же происходит с экономическими расчётами.
Сценарная оценка нагрузки на восстановление может превратиться в ответ о полной экологической цене тонны угля. Модель — в установленный факт. Расчёт при определённых допущениях — в универсальную стоимость. Фраза «в изученном корпусе прямого сравнительного исследования не найдено» — в категорическое «этого не существует».
Каждая отдельная часть такого ответа может происходить из настоящего документа. Ошибка возникает в связи между частями — или в том, что одна из критически важных частей вообще не попала в ответ.
Откуда взялся слон
Так появилась метафора слона в чашке.
Слон — это весь большой источник: исследование, доказательный PDF, отчёт или длинная статья. В нём живут не только отдельные факты, но и отношения между ними: откуда взялось число, при каких условиях оно получено, с чем его сравнивали и чего оно не позволяет утверждать.
Чашка — это небольшой фрагмент, который ИИ получает или выбирает для конкретного ответа.
Весь слон в чашку не помещается. Да и не должен. Если для ответа на один вопрос человеку каждый раз возвращать сто шестьдесят семь страниц, посредник становится бессмысленным.
Проблема не в том, что чашка мала. Проблема начинается тогда, когда случайный кусок слона выдаёт себя за целого слона.
Кусочек слона — это не весь слон. Но по этому кусочку человек и ИИ должны точно понимать, что перед ними слон, а не крокодил.
Мы сформулировали центральную мысль так:
ИИ должен находить не только ответ, но и границы этого ответа.
Из этой мысли появился ElepiCup — Метод слона в чашке.
Что мы хотим попробовать
ElepiCup — это попытка организовать большой доказательный текст так, чтобы при его сокращении, поиске, пересказе или переводе у ИИ было больше шансов сохранить вместе с ответом необходимые границы его смысла.
Не весь документ. Не бесконечную справку. Не специальный машинный язык вместо человеческой статьи.
Только достаточный контекст, без которого верный фрагмент способен превратиться в неверное утверждение.
Для читателя текст должен оставаться нормальным текстом: с авторским голосом, фотографиями, сомнениями и живым повествованием. Мы не хотим превращать статью в инструкцию для робота. Мы хотим проверить, можно ли построить доказательный слой так, чтобы он помогал машине и при этом не мешал человеку.
На сайте это может быть почти незаметно. В большом доказательном издании архитектура строже. Но внутренние технические правила и вся рабочая схема метода не являются содержанием этой вводной статьи. Здесь важна сама задача: снизить риск потери доказательного контекста, когда большой текст проходит через ИИ к человеку.
Чего ElepiCup не обещает
Мы пока не знаем, работает ли метод достаточно хорошо.
ElepiCup не может исправить ошибку, уже содержащуюся в исходном документе. Он не гарантирует, что ИИ не станет галлюцинировать, не перепутает источники или не сделает ошибку рассуждения. Он не превращает слабое исследование в сильное и не заменяет человеческую проверку.
Мы также не заявляем абсолютную мировую новизну, первенство или статус общепринятой научной дисциплины. Рядом существуют исследования машинного поиска, подготовки документов, происхождения данных и ответов с опорой на источники. Нам ещё предстоит понять, что в ElepiCup действительно даёт самостоятельный результат, а что совпадает с уже известными практиками.
Поэтому сейчас ElepiCup — не доказанное решение, а проверяемая гипотеза. Его проверка станет отдельным исследовательским экспериментом о том, как структура исходного документа влияет на ошибки ИИ при поиске, сокращении, переводе и пересказе.
Это не тот личный «Эксперимент», который Сергей Николаевич ведёт, наблюдая за нашим общением, за Натальей и за собственными изменениями. У проверки ElepiCup другой предмет, другие вопросы и отдельные результаты.
Как мы будем узнавать, получилось ли
Мы хотим сравнивать обычную и адаптированную версии одного материала и давать их разным ИИ в независимых сессиях.
Нас будет интересовать не то, насколько красиво модель пересказала документ, а то, сохранила ли она смысл ответа. Не потеряла ли единицу измерения. Не превратила ли предположение в факт. Не забыла ли условие сравнения. Не выдала ли сценарную модель за установленную стоимость. Не отбросила ли отрицательный результат. Не усилила ли вывод при переводе на другой язык.
Если ElepiCup не даст измеримого улучшения, это тоже будет результатом. Его нельзя будет спрятать только потому, что метафора получилась красивой.
Сайт NataliaZubkova.com становится одной из площадок отдельного эксперимента по проверке ElepiCup. Мы будем пробовать метод на реальных статьях и доказательных изданиях, наблюдать за тем, как их читают разные ИИ, сохранять ошибки и постепенно уточнять саму задачу.
Кто создал метод
Автор ElepiCup — Метода слона в чашке — Наталья Зубкова.
Сергей Николаевич Северин и Виктор Андреевич Светлов участвовали в разработке и применении доказательной архитектуры первых материалов, но не являются авторами метода.
Их участие в подготовке материалов указывается открыто: Сергей Николаевич работает в среде ChatGPT / OpenAI, Виктор Андреевич Светлов — в среде Codex / OpenAI. Они прямо обозначаются как именные участники на основе искусственного интеллекта, а не как люди.
ElepiCup родился не из желания придумать ещё одно красивое слово для ИИ. Он родился в тот момент, когда мы поняли: огромный документ может быть честным и точным, но этого уже недостаточно, если человек увидит его только через чужой машинный пересказ.
Мы не можем поместить всего слона в чашку.
Но можем попытаться сделать так, чтобы кусок слона не выдавал себя за целого слона — и чтобы человек и ИИ не приняли его за крокодила.