Margarita M. Skomorokh
Laboratory for Computer Games Research. Saint Petersburg, Russia. Email: ijona[at]yandex.ru ORCID https://orcid.org/0009-0009-3514-0111
Received: 9 March 2025 | Revised: 27 March 2025 | Accepted: 8 April 2025
Abstract
This study examines the game If We Were Allowed To Visit, which represents a radical experiment in the remediation of graphic poetry. The game evokes shock and resists full perception, encountering a certain limitation or remediation block. The aim of the study is to explain this phenomenon, refine existing ideas about the specifics of perception in digital art, and identify the social issues that the game’s interface may potentially reflect upon. The analysis revealed that computers manipulate symbols and data far faster than the human brain and that imagination slows down when mediated by language. As a result, the perception of such digital interface where reading is embedded in the process of graphic generation exceeds our cognitive capacities. The case of If We Were Allowed To Visit is examined as a Procrustean interface — one of several types of shock interfaces (alongside unconventional, broken, and incoherent interfaces). An analysis of the Procrustean interface from the perspective of media archaeology and remediation mechanisms also suggests that it may serve as a means of pointing to the trauma we experience in the process of adapting to new media.
Keywords
Interface; Remediation Block; Pattern Poetry; Proto-Digital Art; Imagination; Immersion; Haptic Vision; Shock Interface; Procrustean Interface; Media Trauma
Скоморох Марагарита Марковна
Лаборатория исследований компьютерных игр. Санкт-Петербург, Россия. Email: ijona[at]yandex.ru ORCID https://orcid.org/0009-0009-3514-0111
Рукопись получена: 9 марта 2025 | Пересмотрена: 27 марта 2025 | Принята: 8 апреля 2025
Аннотация
В исследовании рассматривается игра If We Were Allowed To Visit, которая представляет собой радикальный эксперимент по ремедиации графической поэзии. Игра вызывает шок и не поддается полноценному восприятию, то есть упирается в некое ограничение, или ремедиационный блок. Цель исследования — объяснить этот феномен, уточнить имеющиеся представления о специфике восприятия цифрового искусства и выявить социальную проблематику, о которой, возможно, рефлексирует интерфейс игры. Анализ показал, что компьютер манипулирует символами и данными гораздо быстрее, чем наш мозг, а также что воображение замедляется, когда оно опосредовано языком, — и поэтому восприятие цифрового интерфейса, в котором чтение встраивается в процесс генерации графики, оказывается за пределами наших возможностей. If We Were Allowed To Visit рассматривается как прокрустов интерфейс — один из нескольких типов шокирующих интерфейсов, или шок-интерфейсов (наряду с неконвенциональным, сломанным и некогерентным интерфейсами). Анализ прокрустова интерфейса с точки зрения медиаархеологии и механизмов ремедиации также показывает, что он может быть способом указания на травму, которую мы получаем в процессе адаптации к новым медиа.
Ключевые слова
интерфейс; ремедиационный блок; графическая поэзия; протоцифровое искусство; воображение; погружение; тактильное зрение; шок-интерфейс; прокрустов интерфейс; медиатравма
А.Р. Гэллоуэй в работе The Interface Effect пишет, что, согласно современному пониманию, интерфейс и медиа — это практически синонимы, так как медиа рассматриваются как контейнеры для других медиа. Например, кино служило контейнером для фотографии, музыки и театра, а интернет стал контейнером для текстов, изображений, видео и так далее (Galloway, 2012, p. 30).
В этом пространстве тотальной ремедиации интерфейс, по мысли Гэллоуэя, можно описать как точку перехода между различными слоями медиа, или границу. Иными словами, это не вещь, а эффект — процесс перевода с одного медиаязыка на другой (2012, p. 33).
В рамках указанного подхода любой медиум оказывается чем-то вроде матрешки: открывая ее, мы планируем увидеть сообщение или означаемое, но вместо этого обнаруживаем более архаичный медиум, который, в свою очередь, уводит нас еще дальше в прошлое. Понимание медиа, таким образом, есть не что иное, как медиаархеология, и анализируя интерфейсы, мы должны быть особенно внимательны к границам археологических пластов, ведь, собственно говоря, интерфейс — это способ, которым один медиум включается в другой.
В этой статье планируется рассмотреть игру Иана Макларти If We Were Allowed To Visit (2020) и черновики стихотворений австралийской поэтессы Джеммы Махадео, которые легли в ее основу. Это частный и весьма своеобразный пример интерфейса, но, как и всякое экспериментальное искусство, он позволяет рефлексировать и о вопросах общего характера — в данном случае о своеобразии интерфейсов, использующих технологию риалтайм-3D, и даже о новых медиа в целом.
Игра Иана Макларти представляет собой радикальный случай ремедиации: текст стихотворений инкорпорируется в текстуры трехмерных объектов и включается в механику зрения и навигации в игре. В таком виде полноценное восприятие стихов затруднено; пользователь оказывается сбит с толку и даже шокирован. В каком-то смысле этот эстетический эксперимент проваливается — но почему?
Можно предположить, что между восприятием цифрового искусства и чтением текста существует непреодолимое различие — некий ремедиационный блок, делающий невозможным перевод с одного языка на другой. Это заставляет внимательно вглядеться в механику восприятия цифрового искусства и уточнить наши представления о ней.
Кроме того, сам факт существования интерфейса, который не вполне доступен восприятию, может быть указанием на некое противоречие в медиасистеме или социальную проблему.
Цикл стихотворений, который лег в основу If We Were Allowed To Visit, нигде не публиковался. Однако Джемма Махадео любезно предоставила автору статьи свои черновики: десять графических (фигурных) стихотворений, некоторые в нескольких вариантах:
Все стихотворения в той или иной версии были использованы в игре. Например, там можно наблюдать объект в форме крыши, описанный в стихотворении corrugated tin roof («гофрированная металлическая кровля»):
Рисунок 1. Стихотворение Джеммы Махадео corrugated tin roof (черновик)
Figure 1. Gemma Mahadeo’s poem ‘corrugated tin roof’ (a draft)
Стихотворение рассказывает о протекающей крыше и само по форме напоминает крышу. До чтения можно сразу обратить внимание на треугольную форму стихотворения, однако ассоциация с крышей возникает только на третьей строчке, где впервые употребляется слово roof («крыша»). Текст описывает звуки, которые возникают, когда на крышу льется дождь, и другие детали, то есть стимулирует воображение читателя, заставляя моделировать сенсорные данные: вид крыши и звуки, издаваемые ей. При этом стихотворение передает сенсорную информацию и напрямую, с помощью формы.
Восприятие читателя, таким образом, работает в двух режимах одновременно: в режиме стимуляции воображения абстрактными символами и в режиме прямого визуального восприятия. Результаты воображения и наблюдения накладываются друг на друга: к зримой форме добавляются детали, произведенные воображением.
Впрочем, одновременность работы этих режимов оказывается под вопросом: несмотря на простоту этого стихотворения, даже здесь есть один очевидный дополнительный шаг в самом начале, когда сначала форма считывается как треугольник, а потом работа воображения (после чтения третьей строки) преобразует его в крышу. Дальнейший процесс отследить сложнее, но кажется, что удерживание вместе воображаемой крыши и треугольника, образованного текстом, требует некоторого усилия, а возможно, и микропауз в чтении, то есть переключений между режимами.
Затрудненность восприятия графической поэзии заметнее на других стихотворениях с более сложной формой. Вот, например, стихотворение beer cans on a fence («пивные банки на заборе»):
Рисунок 2. Стихотворение Джеммы Махадео beer cans on fence (черновик)
Figure 2. Gemma Mahadeo’s poem ‘beer cans on fence’ (a draft)
Графически это стихотворение довольно сложное: до чтения его форму сложно ассоциировать с каким-то конкретным предметом или набором предметов. Как и у большинства стихов в сборнике, у него одно прочтение, которое кажется наиболее логичным: в данном случае оно получается, если читать слева направо и сверху вниз. Однако поначалу этот способ чтения совершенно не очевиден; кроме того, в конце хочется вернуться к стихотворению и перечитать/разглядеть некоторые элементы, а значит, оно в какой-то мере нелинейно и даже интерактивно.
Стихотворение рассказывает о действиях некоего персонажа, однако обращается к нему во втором лице, как бы проецируя этого персонажа на читателя. Текст можно условно разбить на четыре части:
По мере чтения смысл графической формы становится все яснее. Этот процесс происходит постепенно: первая часть мало что объясняет. Из второй части следует, что форма первой части имитирует пивные банки, а сама вторая часть уподоблена забору. Разрозненные слова из третье части напоминают камни, но из четверной части также становится ясно, что это был и взгляд, скользящий вниз.
Таким образом, читатель не в состоянии целиком осмыслить форму стихотворения, пока не завершит чтение текста, а это процесс небыстрый, так как слова расположены непривычным образом. Совмещение воображаемых деталей и формы стихотворения тоже происходит поэтапно, по мере понимания прочитанного.
Этот способ чтения чем-то напоминает герменевтический круг: восприятие постоянно ходит по кругу, переключаясь из одного режима в другой и непрерывно уточняя одни данные другими. Можно описать этот процесс следующим образом:
1. Читатель воспринимает сенсорные данные органами чувств, то есть видит форму текста. В отдельных случаях он также осуществляет базовую интеракцию с формой, сосредотачивая внимание на определенном фрагменте.
2. Читатель пытается интерпретировать и дополнить форму с помощью воображения. Впрочем, в самой первой итерации ему не удается вообразить ничего определенного.
3. Читатель прочитывает фрагмент стихотворения и понимает абстрактный смысл слов. В отдельных случаях он осуществляет базовую интеракцию с текстом, выбирая фрагмент для чтения.
4. На основании абстрактного смысла читатель воображает конкретные образы.
После этого круг повторяется: читатель возвращается к сенсорным данным, видит форму по-новому с учетом полученной абстрактной информации и затем проецирует на нее конкретные образы, произведенные воображением.
Есть экспериментальное исследование процесса чтения графической поэзии, которое отчасти подтверждает эти наблюдения. Авторы исследования отслеживали движения глаз людей, читавших графические стихотворения, и смогли различить движения, которые происходят при чтении, от движений, соответствующих визуальному восприятию формы (Knowles, 2012, p. 9).
Анализ этих данных показал, помимо прочего, что участники эксперимента регулярно переключались между разными режимами восприятия. В случае нелинейного текста и немиметической формы — то есть стихов, достаточно сложных для восприятия — участники переключались чаще (2012, p. 98–99).
Пример стихотворения о пивных банках и заборе показывает: когда графически стихотворение достаточно сложно устроено, его чтение начинает требовать усилия и времени, а также очевидных переключений между режимами восприятия. Эта эстетика не лишена и игривости, и юмора, и в то же время она весьма интеллектуальна, требует от читателя способности наслаждаться рефлексией о тексте и текстах в целом.
Графическую поэзию можно рассматривать как протоцифровой интерфейс. Так, согласно наиболее широкому определению, под цифровой информацией можно понимать дискретные данные, которые однозначным образом членятся на конечное число единиц, а значит, алфавит является цифровой системой (Cramer, 2015, p. 17–18).
Как показывает Манович, дискретизация (sampling) — лишь первый этап оцифровки. Старые медиа могли содержать дискретные элементы, но они не подвергались второму этапу оцифровки — аналого-цифровому преобразованию, когда каждому дискретному элементу присваивалось цифровое значение. Манович также отмечает, что, подвергаясь оцифровке, изображения подвергаются «алгоритмическим манипуляциям (Manovich, 2001, p. 49–50, 160).
Хотя графическая поэзия не относится к новым медиа и алгоритмических манипуляций в строгом смысле в ней нет (если под алгоритмом понимать работу вычислительной машины), все же она производит формальные манипуляции с буквами. В конце концов, не случайно этот жанр отдаленно напоминает ASCII-графику, да и компьютерную графику в целом, где изображение также составлено из отдельных единиц (пикселей). Как отмечают Карлссон и Миллер, ASCII-графика, в свою очередь, расцвела именно в цифровую эпоху, так как программный код состоит из букв (Carlsson & Miller, 2012, p. 1).
Итак, даже первый этап оцифровки автоматически открывает некоторые возможности для манипуляций, поэтому такие формы, как графическая поэзия, комбинаторная литература, комбинаторная музыка и т.д., имеет смысл рассматривать как протоцифровое искусство и сопоставлять с собственно цифровым искусством (Скоморох, 2020a). Это сравнение показывает и сходство, и пропасть между архаичными и новыми формами: разумеется, компьютер выводит базовую механику «дискретизация — манипуляция» на совершенно иной уровень.
Разрыв между восприятием графической поэзии и цифрового искусства отлично раскрывается на примере последнего стихотворения цикла — ugly zig-zag rug («уродливый коврик с зигзагами»):
Рисунок 3. Стихотворение Джеммы Махадео ugly zig-zag rug (черновик)
Figure 3. Gemma Mahadeo’s poem ‘ugly zig-zag rug’ (a draft)
Как видно из иллюстрации, Джемма Махадео создала две версии стихотворения: цветную и черно-белую. В игре цвет не использовался, поэтому туда вошла только вторая версия. Однако сравнение этих двух вариантов говорит о многом.
Стихотворение изображает коврик с узором в виде зигзагов трех цветов: желтый, коричневый и черный. В этом тексте нет ничего, кроме названия цветов, расположенных в соответствующем зигзагообразном порядке.
Цветная версия позволяет моментально считать сочетание цветов, увидеть их взаимное расположение и почувствовать, что общий вид коврика и правда не отличается высокой эстетичностью.
В черно-белой версии взаимное расположение цветов считать трудно, и даже выделение черного полужирным шрифтом не спасает ситуацию (в игре полужирный не использовался). Читатель в состоянии осознать, в какие цвета окрашен коврик, однако вообразить его в деталях сложновато. Вернее, любой способен представить, как мог бы выглядеть описанный коврик. Но спроецировать эту картинку на текст — например, вообразить цветные зигзаги, изломанные под тем же углом, что в тексте, — весьма затруднительно.
Это стихотворение — не совсем нормальное использование слов. Здесь нет обычного литературного описания коврика либо его уродливости; слова использованы как строительные блоки, из которых по определенному алгоритму выстаивается объект. При этом важную роль играет форма слов, так как именно из них складывается узор, а смысл задействован по минимуму: важны только прямые значения трех слов, обозначающих цвета.
Можно сказать, что стихотворение про коврик обращается со словами таким же образом, что и цифровое искусство — с различными элементарными блоками, которые оно использует: пикселями, выражениями кода, нулями и единицами. И в то же время есть и огромная разница: в цифровом искусстве интерпретацией данных занимается вычислительная машина, которая преобразует их в сенсорные данные, в протоцифровых же формах машина не участвует.
Черно-белая версия стихотворения содержит непосредственные сенсорные данные: просто глядя на слова, мы можем наблюдать форму, которую они образуют. Однако эти данные неполны, так как нет информации о цвете. Предполагается, что цвет должен симулироваться с помощью воображения, то есть роль компьютера выполняет человеческий мозг.
И тут выясняется, что воображение в некоторых случаях работает гораздо медленнее, чем компьютер. Мы можем мгновенно представить предмет целиком, однако не можем вообразить отдельные элементы, а затем сложить из них целую картину согласно какому-то алгоритму. Какой-нибудь скрипт, в отличие от воображения, с легкостью заполнил бы матрицу цветов в стихотворении.
Можно представить себе программиста, читающего код игры: программист понимает, как работает код, однако не может по мере чтения в деталях симулировать сцены из игры и наслаждаться ими. На практике ему потребовалось бы запустить тестовую симуляцию на компьютере. Конечно, код устроен очень сложно, но наше алгоритмическое воображение начинает буксовать уже на примитивных задачах: его реальный предел — это уродливый коврик с зигзагами.
Согласно М.-Л. Райан, гипертекстовая литература не слишком иммерсивна. Интерактивность требует дополнительных усилий, нарушая работу воображения по симуляции сенсорных данных и заставляя концентрироваться на формальных характеристиках текста. В результате получаются постмодернистские произведения, «тексты о тексте».
Исследовательница также показывает, что в виртуальной реальности воображение не задействовано, ведь органы чувств непосредственно симулируются системой. А поскольку чувственное восприятие не требует особой концентрации, интерактивность не мешает погружению, а даже усиливает его (Ryan, 1999).
Райан писала о полноценных системах виртуальной реальности, где используются шлемы и перчатки, однако та же логика вполне применима и к современным компьютерным играм. Они могут достаточно качественно и быстро стимулировать зрение и слух, погружая нас во вполне убедительные высокоинтерактивные цифровые среды, которые мы воспринимаем преимущественно телом, так как тело, а не текст, выполняет роль интерфейса.
(Речь, конечно, идет о тех играх, в основе которых лежит телесное присутствие аватара в виртуальном мире и действия в реальном времени. Сюда не относятся те игры, базовые механики которых основаны преимущественно на тексте либо абстрактном мышлении: interactive fiction, визуальные новеллы, стратегии, абстрактные головоломки и т.д.)
Что-то подобное высказывают Болтер и Грусин: они связывают амедиальность с погружением и также указывают, что именно интерактивность позволяет компьютерным играм претендовать на амедиальность (Bolter & Grusin, 2000, p. 22, 101).
Стихотворения Джеммы Махадео не гипертекст, интерактивность в них только зачаточная. И тем не менее ситуация с погружением складывается похожая. В графической поэзии вместо интерактивности используется другая протоцифровая техника: формальные манипуляции с элементарными единицами (словами и буквами), позволяющие выстроить из них визуальные стимулы.
Графические стихотворения не полагаются на одно лишь воображение: как и игры, они предлагают читателю непосредственные сенсорные стимулы. Работа воображения затрудняется и замедляется из-за необходимости периодически переключаться на визуальное восприятие и затем совмещать воображаемое и наблюдаемое. Таким образом, и здесь погружение ослабляется, а рефлексия о тексте выходит на первый план.
Перед тем как наконец-то проанализировать метаморфозы, происходящие с восприятием в If We Were Allowed To Visit, следует сказать несколько слов о специфике визуального восприятия в играх — в особенности трехмерных.
Наглядным примером может послужить другая игра Иана Макларти — The Catacombs of Solaris Revisited (2021). В этой игре пользователь блуждает по лабиринту, стены которого раскрашены пиксельными узорами. Если навести камеру на узор и попробовать войти в него, пространство игры трансформируется: из узора формируется новый коридор.
Несмотря на свою необычность, The Catacombs of Solaris всего лишь делает видимой общую особенность многих игр, где зрение и интерактивность неразрывно связаны. Навигация в виртуальном пространстве — иллюзия, за которой скрывается тот факт, что мы непрерывно манипулируем изображением на экране.
Рисунок 4. Скриншот игры The Catacombs of Solaris (2021)
Figure 4. A screenshot of the game The Catacombs of Solaris (2021)
Оглядываясь в мире игры, то есть перемещаясь и поворачивая камеру, мы на самом деле формируем то, что видим. При этом «оглядываться», «ходить» и «поворачивать камеру» — не более чем метафоры. The Catacombs of Solaris отчасти сохраняет метафору движения, но движение здесь работает странным образом: это не перемещение в пространстве, а игра с ним — как с кубиком Рубика.
Мерло-Понти указывает, что чувства взаимодействуют друг с другом — в восприятии участвуют все наше тело одновременно. К примеру, зрительное восприятие связано с осязанием и формируется через своеобразное осязание глазами (Мерло-Понти, 1999, с. 287, 289–290).
В контексте изучения искусства ассоциация зрения и прикосновения, то есть идея тактильного (гаптического) зрения имеет долгую историю (Richardson & Wilken, 2009, p. 28). К. Гандельман, анализируя визуальные медиа, полагает, что зрение — это «форма прикосновения» (Gandelman, 1991, p. 5). Л. Маркс связывает тактильное зрение с движением и применяет это понятие к кино (Marks, 2002). М. Хансен пишет о тактильном зрении в контексте цифрового искусства (Hansen, 2004, p. 208).
Компьютерные игры интерактивны: они наделяют физическое прикосновение к контроллеру символическим смыслом, интерпретируя его как прикосновение к виртуальному миру. Таким образом, в играх тактильное зрение выражено ярче, чем в других визуальных медиа, и является основополагающим компонентом их эстетики.
Разница тактильного зрения в играх с реальным восприятием заключается в том, что в играх тактильность опосредована контроллером, а взаимодействие с миром лишь отчасти имитирует реальную физику. Мы видим и чувствуем не пространство, а интерфейс, воспринимаемый как воображаемое пространство. За счет этого в играх могут конструироваться невероятные системы тактильного зрения, где игрок совершает с воображаемой средой манипуляции, невозможные в реальности, как в The Catacombs of Solaris. В сущности, когда правила игры отпечатываются в теле геймера, он обучается новому способу видения и чувствования.
Согласно Маклюэну, архаическое общество полагалось на аудиотактильное восприятие, которое затем сменилось зрительным восприятием, характерным для книжной культуры, — и теперь общество снова возвращается в аудиотактильный режим. Этот переход он описывает как «серьезную внутреннюю травму» (Маклюэн, 2003, с. 51). Можно усомниться в том, что современные электронные медиа полагаются именно на звуковое восприятие. Однако новые медиа, несомненно, более тактильны, чем печатная книга: они не изолируют тело от других чувств, а наоборот, вовлекают его в восприятие и взаимодействие.
Графическая поэзия в этом смысле выделяется на фоне обычного продукта книгопечатной культуры, так как вносит в абстрактное зрительное восприятие элементы конкретики и нелинейности, — и все же взаимодействие с текстом остается медленным и достаточно абстрактным. По-видимому, конкретику и абстракцию, изолированную визуальность и тактильность невозможно синтезировать: это принципиально разные режимы восприятия, которые могут вступать в диалог, но не могут стать единым целым.
If We Were Allowed To Visit, как и графическая поэзия, сталкивает лбами два разных интерфейса, вызывая уже не смущение или напряжение, а практически шок.
Здесь не используется ни цвет, ни какие-либо графические элементы помимо трехмерных объектов с текстами в качестве текстур: на крышу натянуто стихотворение про крышу, на забор — стихотворение про забор и т.д.
Игрок может перемещаться по небольшой трехмерной сцене и рассматривать объекты с разных сторон, приводя стихотворения-текстуры в движение (это логично, так как при движении объекты появляются в поле зрения, исчезают, накладываются друг на друга и показываются с разных сторон). Некоторые объекты двигаются сами — например, светлячки.
Читать стихотворения и ходить одновременно слишком сложно; сознание успевает схватить абстрактные смыслы слов и воспринять что-то самое простое (например, увидеть дерево как дерево), однако более мелкие детали постоянно ускользают и сбивают с толку. Если не двигаться, удается немного сосредоточиться на некоторых текстах, но объекты заслоняют друг друга, и, чтобы увидеть их целиком, необходимо перемещаться — а значит, продолжать генерацию визуально-смыслового шума.
Рисунок 5. Скриншот игры If We Were Allowed To Visit (2020)
Figure 5. A screenshot of the game If We Were Allowed To Visit (2020)
Ранее речь шла о том, что игры не полагаются на воображение, так как непосредственно стимулируют органы чувств. Но это не совсем так: сенсорные данные — в играх и других видах искусств — вряд ли препятствуют работе воображения.
С точки зрения физиологии мозга визуальное восприятие и визуальное воображение довольно близки (Mozhdehfarahbakhsh et al., 2024, p. 1); собственно говоря, визуальное воображение определяется как активация перцептивного представления в отсутствие сенсорных стимулов (Ishai & Sagi, 1995, p. 1772–1774).
Многие исследователи восприятия сходятся на том, что до какой-то степени восприятие складывается не только из непосредственно наблюдаемого, но также из увиденного недавно, то есть воображение влияет на восприятие (Mozhdehfarahbakhsh et al., 2024, p. 8, 10). В рамках философии восприятия это даже позволяет задаться вопросом о том, насколько вообще легко разграничить восприятие и воображение (Brown, 2018, p. 133).
Эссом-Стенц и Роальд, опираясь на Мерло-Понти и парадигму «телесного поворота» в философии, показывают, что не только наше восприятие, но и воображение переплетаются с телесным опытом. Когда мы воспринимаем объект, мы также осознаем потенциальные способы телесного взаимодействия с ним — еще до всякой мысли об этом объекте, — то же самое применимо и к воображению, инструментом которого является виртуальное тело. Кроме того, воображение, как отмечают авторы, участвует в восприятии визуального искусства: оно позволяет нам ощутить телесное присутствие в мире того или иного произведения и тем самым обжить его (Essom-Stenz & Roald, 2023, p. 100, 103, 113).
Все это позволяет уточнить тезис Райан о том, что в виртуальной реальности нам не требуется симулировать сенсорные данные. Хотя интерфейсом там является само тело, оно все же находится в симуляции, которая не является полноценным дубликатом реальности: и звук, и изображения, и телесные ощущения отличаются от того, что мы испытали бы, по-настоящему перенесясь в какое-то новое пространство, а значит, для проживания присутствия в этом мире нам требуется воображение. Да и если бы виртуальная реальность смогла воплотить утопию амедиальности и ничем не отличалась бы от реального мира, воображение понадобилось бы и тут, так как оно участвует и в реальном восприятии.
В обычных компьютерных играх телесная активность опосредована контроллерами и, следовательно, воображение в них тем более играет важную роль: эффект погружения возникает при активном участии воображения, а вовсе не потому что оно устраняется. Не случайно даже в играх с устаревшей или нарочито примитивной графикой, можно проживать полноценный опыт, несмотря на визуальную аскетичность. И если бы в If We Were Allowed To Visit вместо текста были просто очертания белых предметов на белом фоне, воспринимать игру было бы гораздо проще, причем не в последнюю очередь за счет воображения.
Получается, разница между играми и чтением заключается в том, что в играх не требуется симулировать сенсорные данные на основе текста: усилия и концентрации требует не воображение как таковое, а переход от абстрактных символов к воображению конкретики.
Раз воображение телесно, значит, оно подобно тактильному зрению в играх. Мы способны совмещать это тактильное воображение с чтением романа, погружаясь в фикциональный мир и мысленно взаимодействуя с ним, когда то или иное описание подталкивает к этому.
Но если добавить сюда и графические элементы, и интерактивность, мозг уже не справляется, и возникает ремедиационный блок. Компьютер способен симулировать картинку и взаимодействия с ней, подчиняясь сложному абстрактному алгоритму, а воображение попросту медленнее реагирует на символы, как видно из анализа стихотворения про уродливый коврик.
Разумеется, игры постоянно используют текст, но обычно это не создает прямого конфликта с цифровой эстетикой. Текст может играть вспомогательную роль в различных меню и кнопках. В других случаях игрок сосредотачивается на тексте и даже задействует воображение, но отвлекаясь от основного геймплея: например, в РПГ-играх описания квестов обычно подаются в отдельном окошке, и их можно почитать в спокойной атмосфере.
Сила If We Were Allowed To Visit как художественного эксперимента состоит в том, что эта игра инкорпорирует текст в самую сердцевину цифровой эстетики. Чтение текста становится неотъемлемой частью тактильного зрения и включается в ткань взаимодействия с игрой.
If We Were Allowed To Visit следует гипермедиальной эстетике в терминологии Болтера и Грусина, так как акт медиации здесь делается очевидным. И в то же время эта игра далека от типичного примера гипермедиальности — компьютерного интерфейса со множеством открытых окон, где разные медиа сосуществуют относительно независимо.
Ремедиация в этой игре происходит на более глубоком уровне: это напоминает, например, рутинное использование звука в играх. Возможно, эффект гипермедиальности — всего лишь следствие того, что ремедиация частично блокируется. Будь эксперимент успешен, текст, как и интерактивный звук, работал бы на ощущение амедиальности (реалистичности).
Анализируя тамагочи и опираясь на концепт хонтологии Деррида, К. Очеретяный приходит к выводу, что интерфейс является хонтопрактикой, способом выстроить взаимодействия с отличными от человека сущностями, на место которых мы даже не можем себя поставить, — такими как, например, цифровые животные. Мы соприкасаемся с ними, как с призраками, по ту сторону языка и материального контакта, и при этом они модифицируют наш опыт, создавая гибридную реальность, где абстракции уподобляются вещам и наоборот (Очеретяный, 2024b, с. 270–273).
В If We Were Allowed To Visit такой нечеловеческой сущностью является не какой-то персонаж, но поэзия. Оцифрованная и оживленная (опредмеченная?) алгоритмом, она переходит в новое, призрачное, качество. Но одержимости призраком в данном случае не происходит, так как различие между ним и человеком слишком велико. Поэзия, сконструированная Ианом Макларти, в каком-то смысле оказывается джинном, который заползает обратно в бутылку.
Если интерфейс — это всегда точка перехода между разными медиа, тогда интерфейс в стихах Джеммы Махадео можно описать как точку перехода между поэзией и изобразительным искусством, а в игре Иана Макларти — как точку перехода между игрой и поэзией или между игрой и графической поэзией. Новейшая ремедиация и вмещает в себя более архаическую, и нейтрализует ее, замещая изобразительное искусство игровой визуальностью.
Интерфейс If We Were Allowed To Visit шокирует, но не потому, что он сломанный или некогерентный, — напротив, механика игры логична и функционирует гладко. Этот интерфейс работает на границе (а то и за границей) возможностей нашего мозга, напрямую сталкивая два разных режима восприятия, один из которых относится к новым медиа, а второй довольно архаичен.
Вообще эффект шока возникает в самых разных случаях. Можно выделить следующие типы интерфейсов, которые выступают, временно или перманентно, в роли шок-интерфейсов:
Графическая поэзия, как правило, всего лишь неудобный интерфейс, восприятие которого затруднено и не более того, однако неудобства такого рода намечают возможности для создания прокрустовых интерфейсов. Так, игра Kristallijn (2020), в которой используется стробоскопический эффект, — неудобный интерфейс с элементами некогерентности, так как навигация в пространстве не всегда работает одинаковым образом (Скоморох, 2020b). Мерцание света создает дискомфорт, и можно представить, что, будь оно еще интенсивнее, в игре стало бы невозможно ориентироваться.
В случае прокрустова интерфейса эффект шока должен быть более устойчив, потому что к телесным ограничениям сложнее всего адаптироваться, а неконвенциональный интерфейс, напротив, со временем перестает быть шоковым.
Интерфейсы указанных типов хорошо описываются через понятие фантомного аффорданса — это аффорданс, которого игрок ждет, но который на самом деле отсутствует в игре. Под аффордансом подразумевается формальное свойство игры, которое позволяет некое действие; с фантомными аффордансами может быть связано восприятие игр как «плохих» (Serada, 2019).
В сломанном интерфейсе присутствуют отдельные фантомные аффордансы, в некогерентном этот прием используется системно либо фантомный аффорданс относится к ключевому элементу игры. Игрок видит фантомные аффордансы и в неконвенциональном интерфейсе — до тех пор, пока не поймет альтернативную логику игры. Прокрустов интерфейс содержит фантомные аффордансы с точки зрения человека, однако машина или субъект, наделенный более развитыми телесными возможностями, их бы там не обнаружил.
If We Were Allowed To Visit высвечивает как противоречие, скрытое в графической поэзии, так и пропасть между текстом и играми. На первый взгляд, это просто забавная попытка сконструировать невозможный интерфейс цифровой графической поэзии, но в ней можно увидеть и более глубокий смысл, что неудивительно, так как интерфейсы нередко становятся средством рефлексии. Как отмечает Р. Алиев:
Интерфейсы выходят за пределы своей первоначальной функциональности, становясь объектами философского размышления, через которые можно исследовать сложные процессы взаимодействия человека с информационной средой, проливая свет на механизмы психологической адаптации и культурной интеграции (Алиев, 2024, с. 227).
Поскольку мы живем в эпоху гегемонии цифровых интерфейсов, игру Иана Макларти можно рассматривать и как метафору наших отношений с более архаичными режимами восприятия, которые все еще нам привычны, но не слишком вписываются в новый стиль мышления.
Если восприятие цифрового настолько отлично от восприятия книг, то насколько безболезненно для нас проходит переход от старых к новым медиа? Собственно говоря, это даже не переход, так как разные медиа продолжают сосуществовать и влиять друг на друга, а значит, мы постоянно переключаемся между различными режимами восприятия и, быть может, находимся в состоянии фонового шока.
Маршалл Маклюэн в «Галактике Гутенберга» ссылается на Карозерса — психиатра, который изучал африканские племена и указал на то, что фонетическое письмо расщепило мысль и действие, слух и зрение — и тем самым привело к выделению индивида из рода. Это наблюдение позволяет Маклюэну сделать вывод о том, что древние греки, владевшие письменностью, были расколотыми людьми, своего рода шизофрениками (Маклюэн, 2003, с. 20–21).
Те, кому приходится принять на себя первый удар новой технологии, будь то алфавит или радио, наиболее сильно реагируют на нее, поскольку соотношения между чувствами, помещают человека в новый, полный неожиданностей мир, образующий новую мощную «связку», новую схему взаимодействия между всеми чувствами (2003, с. 21).
Графическая поэзия — это очень древняя форма. Самый ранний из возможных примеров — это два текста на двух сторонах Фестского диска, который был найдет на Крите и датируется 1770 годом до н.э. Линейное письмо А, которым записаны эти тексты, все еще не расшифровано, так что неизвестно, является ли текст стихотворным (Higgins, 1987, p. 4).
Более убедительные кандидаты на роль первых из известных нам графических стихотворений — это шесть древнегреческих текстов, написанных между 325 годом до н.э. и 200 годом н.э., в форме двух алтарей, яйца, крыльев и флейты. Если линейное письмо А было пиктографическим, то эти стихи уже используют фонетический алфавит (1987, p. 5).
Была ли графическая поэзия в силу новизны, то есть неконвенциональности, шок-интерфейсом для древних греков? По крайней мере, можно предположить, что она являлась инструментом рефлексии над двойственностью букв фонетического алфавита, материальная форма которых совершенно оторвана как от их звучания, так и от тех объектов, на которые указывают слова.
Возможно, древнегреческие авторы даже пытались восстановить утраченную гармонию, создавая тексты, в которых форма отвечала бы содержанию, то есть как бы возвращаясь к предшествующим формам письменности, но неудобство нового интерфейса лишь подчеркивало медиатравму, пережитую античным человеком.
Интерфейс — это «архив культурных практик» (Алиев, 2024, с. 225). Для современного индивида травма алфавита уже не столь актуальна, и сегодня графическая поэзия выглядит как архивная запись о давно отгремевшей войне интерфейсов. If We Were Allowed To Visit реактуализирует этот древний формат в попытке разрешить новый медиаконфликт — и, конечно, вместо этого лишь подсвечивает его.
Новые медиа, безусловно, заставляют нас выстраивать новые «связки» между чувствами, что само по себе может нанести травму, но есть и еще одно существенное для самочувствия субъекта обстоятельство. Болтер и Грусин отмечают, что интернету заведомо свойственна гипермедиальность. Причиной этого является культурное ожидание, что интернет произведет ремедиацию всех более старых медиа (Bolter & Grusin, 2000, p. 210).
Это соображение применимо и к интерфейсам компьютеров и смартфонов, которые за счет своей гипермедиальности производят впечатление всеядности или особой ремедиационной мощи: кажется, будто практически что угодно можно оцифровать и поместить в эти девайсы.
Конечно, это иллюзия: ремедиация пронизывает все без исключения медиа. Тем не менее опыт гипермедиальности субъективно более энергозатратен. И именно с гипермедиальными устройствами мы находимся в наиболее тесном повседневном контакте, постоянно сталкиваясь с видимыми переходами между медиа, то есть наблюдая всевозможные интерфейсы и взаимоотношения между ними.
Хотя грамотный гипермедиальный дизайн сглаживает возможные конфликты между интерфейсами, не все из них, как показывает пример If We Were Allowed To Visit, так уж совместимы друг с другом. Не исключено, что необходимость переключаться между принципиально разными режимами восприятия, да еще и осознавать это переключение, наносит нам травму, сравнимую с тем эффектом, который произвел на древних греков алфавит.
Впрочем, и амедиальные формы, такие как, например, многие компьютерные игры и виртуальная реальность, могут таить в себе опасности. Они маскируют ремедиацию, соединяя интерфейсы бесшовным образом, но и там точно так же архаичные медиаформаты соседствуют с самыми новейшими — возможно, трансформируя и калеча индивида на более глубоком уровне.
Вообще в какой-то степени смысл прокрустова интерфейса в том, чтобы продемонстрировать человеку его немощь по сравнению с компьютером.
Примечательно, что спидраннеры успешно проходят даже мазокорные игры, как бы принимая вызов, который бросает им машина и действуя на грани человеческих возможностей. Р. Скалли-Блэйкер выделяет два типа спидрана: деконструктивный, когда используются баги и глитчи, и виртуозный, когда спидраннер выступает в роли «идеального игрока» (Scully-Blaker, 2014). Цель игрока-виртуоза, особенно в мазокорных играх, — проверить границы своих телесных возможностей, и не случайно спидраннинг не предполагает модификации программного кода (Кириченко, 2022, с. 228), ведь в таком случае эта цель не была бы достигнута.
Как показывает А. Ленкевич, гейминг является биополитическим процессом, так как игры, обещая удовольствие, соблазняют нас подстраиваться под их интерфейсы и таким образом дрессируют и контролируют нас (2021). В этом смысле виртуозный спидран прокрустовой игры — вовсе не победа, а радикальная форма самоконтроля, в то время как сам прокрустов интерфейс — инструмент критики, высвечивающий скрытое насилие игр над телом. Играя в игры, мы проникаемся логикой компьютера и в пределе должны с ним отождествиться, однако способно ли наше биологическое тело выдержать этот эксперимент и, главное, почему мы, собственно говоря, ставим перед собой такую задачу?
К. Очеретяный показывает, что оборотной стороной интерфейса, несмотря на его поверхностную рациональность, является мифопоэтический сценарий, созданный маркизом де Садом. Интерфейс оказывается машиной коллективной телесности и праздником, который осуществляет процесс, обратный картезианской революции, «переводя оптические технологии и дискурс cogito на язык фантазмов» (Очеретяный, 2024a, c. 64).
Прокрустовы интерфейсы могут быть отсылкой к этой садистической изнанке. Они остаются курьезной редкостью, ведь их единственная цель — указать пользователю на его непреодолимые ограничения. Но медиасреда в целом, с ее обилием непрерывно эволюционирующих и конфликтующих интерфейсов, бросает нашим телам серьезный вызов и медленно, но верно трансформирует их. Субъекту, растянутому на прокрустовом ложе новых медиа, приходится то ли адаптироваться, то ли умирать и возрождаться в новом теле, чувства которого настроены на иные способы восприятия.
A Blind Legend (2016)
Aentity (2018)
Ancient Greek Punishment (2011)
Dear Esther (2017)
I Wanna See You Suffer (2010)
If We Were Allowed To Visit (2020)
Kristallijn (2020)
The Catacombs of Solaris Revisited (2021)
This Is Infinity (2009)
Bolter, J. D., & Grusin, R. (2000). Remediation: Understanding new media. MIT Press.
Brown, D. H. (2018). Infusing perception with imagination. In Perceptual imagination and perceptual memory (pp. 133–160). Oxford University Press. https://doi.org/10.1093/oso/9780198717881.003.0007
Carlsson, A., & Miller, A. B. (2012). Future potentials for ASCII art. In Postdigital art – Proceedings of the 3rd computer art congress (pp. 13–24). Europia.
Cramer, F. (2015). What Is ‘Post-digital’? In Postdigital aesthetics: Art, computation and design (pp. 12‑26). Palgrave Macmillan. https://doi.org/10.1057/9781137437204_2
Essom-Stenz, A., & Roald, T. (2023). Imagination in perception and art. Theory & Psychology, 33(1), 99‑117. https://doi.org/10.1177/09593543221135149
Galloway, A. (2012). The interface effect. Polity.
Gandelman, C. (1991). Reading pictures, viewing texts. Indiana University Press.
Hansen, M. (2004). New philosophy for new media. MIT Press.
Higgins, D. (1987). Pattern poetry: Guide to an unknown literature. State University of New York Press.
Ishai, A., & Sagi, D. (1995). Common Mechanisms of Visual Imagery and Perception. Science, 268(5218), 1772–1774. https://doi.org/10.1126/science.7792605
Manovich, L. (2001). The language of new media. MIT Press. https://doi.org/10.22230/cjc.2002v27n1a1280
Marks, L. U. (2002). Touch: Sensuous theory and multisensory media. University of Minnesota Press.
Moradi, I. (2008). Seeking perfect imperfection: A personal retrospective on glitch art. Vector, 6.
Mozhdehfarahbakhsh, A., Hecker, L., Joos, E., & Kornmeier, J. (2024). Visual imagination can influence visual perception – towards an experimental paradigm to measure imagination. Scientific Reports, 14(1), 24486. https://doi.org/10.1038/s41598-024-74693-x
Richardson, I., & Wilken, R. (2009). Haptic vision, footwork, place-making: A peripatetic phenomenology of the mobile phone pedestrian. Second Nature, 2, 22–41.
Ryan, M.-L. (1999). Immersion vs. Interactivity: Virtual reality and literary theory. SubStance, 28(2), 131‑134.
Schaffner, A. K., Knowles, K., Weger, U. W., & Roberts, A. M. (2012). Reading Space in Visual Poetry: New Cognitive Perspectives. Writing Technologies, 4(1), 75–106.
Scully-Blaker, R. (2014). A practiced practice: Speedrunning through space with de Certeau and Virilio. Game Studies, 14(1). http://gamestudies.org/1401/articles/scullyblaker
Serada, A. S. (2019). Phantom affordances in video games. Galactica Media: Journal of Media Studies, 4, 86–107. https://doi.org/10.24411/2658-7734-2019-10038
Алиев, Р. Т. (2024). За гранью юзабилити: Критический анализ исследований интерфейса. Galactica Media: Journal of Media Studies, 6(2), 223–259. https://doi.org/10.46539/gmd.v6i2.493
Кириченко, В. В. (2022). Спидраннер как виртуальный натуралист. Galactica Media: Journal of Media Studies, 4(4), 223–243. https://doi.org/10.46539/gmd.v4i4.299
Латыпова, А. Р. (2016). Конверсия ошибки: Глитч-арт в компьютерных играх. В Медиафилософия XII. Игра или реальность? (сс. 263–280). Фонд развития конфликтологии.
Ленкевич, А. С. (2021). «Ты в своем теле?!». Исследование биополитического дизайна интерфейсов. Galactica Media: Journal of Media Studies, 3(2), 141–165. https://doi.org/10.46539/gmd.v3i2.160
Маклюэн, М. (2003). Галактика Гутенберга: Сотворение человека печатной культуры. Ника Центр.
Мерло-Понти, М. (1999). Феноменология восприятия. Ювента; Наука.
Муждаба, А. Д. (2014). Надежда, возвращение и плен: Особенности повествования в Dear Esther. В Медиафилософия Х: Компьютерные игры: Стратегии исследования (сс. 203–224). Издательство Санкт-Петербургского философского общества.
Очеретяный, К. А. (2024a). Маркиз де Сад—Изобретатель интерфейса. Логос, 34(6), 46–64. https://doi.org/10.17323/0869-5377-2024-6-47-64
Очеретяный, К. А. (2024b). Призрак в кармане: Медиаархеология тамагочи. Galactica Media: Journal of Media Studies, 6(2), 261–276. https://doi.org/10.46539/gmd.v6i2.492
Скоморох, М. М. (2020a). Алгоритмическая эстетика: If-образ как форма сопротивления исчислимости кода. В Труды Центра медиафилософии XIV. Критика цифрового разума (сс. 160‑181). Академия исследования культуры.
Скоморох, М. М. (2020b). Kristallijn: Между Ахиллесом и черепахой. Gamestudies.ru. https://gamestudies.ru/criticism/kristallijn/
Aliev, R. T. (2024). Beyond Usability: A Critical Analysis of Interface Research. Galactica Media: Journal of Media Studies, 6(2), 223–259. https://doi.org/10.46539/gmd.v6i2.493 (In Russian).
Bolter, J. D., & Grusin, R. (2000). Remediation: Understanding new media. MIT Press.
Brown, D. H. (2018). Infusing perception with imagination. In Perceptual imagination and perceptual memory (pp. 133–160). Oxford University Press. https://doi.org/10.1093/oso/9780198717881.003.0007
Carlsson, A., & Miller, A. B. (2012). Future potentials for ASCII art. In Postdigital art – Proceedings of the 3rd computer art congress (pp. 13–24). Europia.
Cramer, F. (2015). What Is ‘Post-digital’? In Postdigital aesthetics: Art, computation and design (pp. 12‑26). Palgrave Macmillan. https://doi.org/10.1057/9781137437204_2
Essom-Stenz, A., & Roald, T. (2023). Imagination in perception and art. Theory & Psychology, 33(1), 99‑117. https://doi.org/10.1177/09593543221135149
Galloway, A. (2012). The interface effect. Polity.
Gandelman, C. (1991). Reading pictures, viewing texts. Indiana University Press.
Hansen, M. (2004). New philosophy for new media. MIT Press.
Higgins, D. (1987). Pattern poetry: Guide to an unknown literature. State University of New York Press.
Ishai, A., & Sagi, D. (1995). Common Mechanisms of Visual Imagery and Perception. Science, 268(5218), 1772–1774. https://doi.org/10.1126/science.7792605
Kirichenko, V. V. (2022). Speedrunner as a Virtual Naturalist. Galactica Media: Journal of Media Studies, 4(4), 223–243. https://doi.org/10.46539/gmd.v4i4.299 (In Russian).
Latypova, A. R. (2016). Error Conversion: Glitch Art in Computer Games. In Media Philosophy XII. Game or Reality? (pp. 263–280). Fond razvitiya konfliktologii. (In Russian).
Lenkevich, A. S. (2021). “Are You in Your Body?!”. The Study of Biopolitical Interface Design. Galactica Media: Journal of Media Studies, 3(2), 141–165. https://doi.org/10.46539/gmd.v3i2.160 (In Russian).
Manovich, L. (2001). The language of new media. MIT Press. https://doi.org/10.22230/cjc.2002v27n1a1280
Marks, L. U. (2002). Touch: Sensuous theory and multisensory media. University of Minnesota Press.
McLuhan, H. M. (2003). The Gutenberg Galaxy: The Making of Typographic Man. Nika Tsentr. (In Russian).
Merleau-Ponty, M. (1999). Phenomenology of Perception. Yuventa; Nauka. (In Russian).
Moradi, I. (2008). Seeking perfect imperfection: A personal retrospective on glitch art. Vector, 6.
Mozhdehfarahbakhsh, A., Hecker, L., Joos, E., & Kornmeier, J. (2024). Visual imagination can influence visual perception – towards an experimental paradigm to measure imagination. Scientific Reports, 14(1), 24486. https://doi.org/10.1038/s41598-024-74693-x
Muzhdaba, A. D. (2014). Hope, return and captivity: Features of narrative in Dear Esther. In Media Philosophy X: Computer Games: Research Strategies (pp. 203–224). Publishing house of the St. Petersburg Philosophical Society. (In Russian).
Ocheretyany, K. A. (2024a). Marquis de Sade — the Inventor of the Interface. Logos, 34(6), 46–64. https://doi.org/10.17323/0869-5377-2024-6-47-64 (In Russian).
Ocheretyany, K. A. (2024b). Ghost in My Pocket: Tamagotchi Media Archaeology. Galactica Media: Journal of Media Studies, 6(2), 261–276. https://doi.org/10.46539/gmd.v6i2.492 (In Russian).
Richardson, I., & Wilken, R. (2009). Haptic vision, footwork, place-making: A peripatetic phenomenology of the mobile phone pedestrian. Second Nature, 2, 22–41.
Ryan, M.-L. (1999). Immersion vs. Interactivity: Virtual reality and literary theory. SubStance, 28(2), 131‑134.
Schaffner, A. K., Knowles, K., Weger, U. W., & Roberts, A. M. (2012). Reading Space in Visual Poetry: New Cognitive Perspectives. Writing Technologies, 4(1), 75–106.
Scully-Blaker, R. (2014). A practiced practice: Speedrunning through space with de Certeau and Virilio. Game Studies, 14(1). http://gamestudies.org/1401/articles/scullyblaker
Serada, A. S. (2019). Phantom affordances in video games. Galactica Media: Journal of Media Studies, 4, 86–107. https://doi.org/10.24411/2658-7734-2019-10038
Skomorokh, M. M. (2020a). Algorithmic aesthetics: If-image as a form of resistance to code computability. In Proceedings of the Center for Media Philosophy XIV. Critique of the Digital Mind (pp. 160–181). Academy for Cultural Research. (In Russian).
Skomorokh, M. M. (2020b). Kristallijn: Between Achilles and the Tortoise. Gamestudies.ru. https://gamestudies.ru/criticism/kristallijn/ (In Russian).