Оперантне зумовлення: що це, підкріплення, покарання, згасання та модель Скіннера
Коротка відповідь
Оперантне зумовлення — це форма научіння, за якої майбутня ймовірність поведінки змінюється залежно від її наслідків. Якщо певний наслідок підвищує ймовірність повторення поведінки, він виконує функцію підкріплення. Якщо наслідок зменшує ймовірність поведінки, у поширеній сучасній навчальній термінології йдеться про покарання.
Найвідоміша систематична експериментальна програма оперантного зумовлення пов’язана з Б. Ф. Скіннером. Проте він не почав історію научіння через наслідки з нуля: важливою передумовою був закон ефекту Едварда Торндайка та ранні експерименти з інструментальним научінням. У 1937 році Скіннер запровадив термін «оперант» (operant) для функціональної одиниці поведінки та чіткіше розмежував оперантну й респондентну поведінку.
Сьогодні оперантне, або інструментальне, научіння залишається активною сферою психології та нейронауки. Сучасні дослідження вивчають не тільки те, чи повторюється дія після підкріплення, а й те, як організм засвоює зв’язки між діями та результатами, як формуються цілеспрямовані дії й звички та чому згасання не означає простого стирання попереднього научіння.
Оперантне зумовлення, обумовлення чи научіння
В українських джерелах можна зустріти кілька варіантів: «оперантне зумовлення», «оперантне обумовлення» та «оперантне научіння». Англійський термін — operant conditioning. У частині академічної літератури близькими назвами є instrumental conditioning та instrumental learning — інструментальне зумовлення або інструментальне научіння.
На цій сторінці канонічною формою є «оперантне зумовлення». Варіанти «оперантне обумовлення» та «оперантне научіння» корисні для пошуку й термінологічної орієнтації, але не означають окремих психологічних сутностей.
Назви «оперантне» й «інструментальне» в навчальних текстах нерідко вживають як дуже близькі. Водночас у сучасній експериментальній літературі інструментальне научіння часто є ширшим позначенням досліджень дій та їхніх результатів, зокрема цілеспрямованої і звичної поведінки. Тому механічно оголошувати ці терміни абсолютно тотожними в кожному теоретичному контексті не варто.
Як виникла ідея: від Торндайка до Скіннера
Передісторія оперантного зумовлення почалася раніше за Скіннера. Наприкінці XIX століття Едвард Торндайк досліджував, як тварини навчаються виходити з проблемних ящиків. Згодом він сформулював закон ефекту: наслідки дії впливають на подальшу силу зв’язку між ситуацією та реакцією. Формулювання закону змінювалося в різні роки, тому його не слід переказувати як готову скіннерівську теорію підкріплення.
У 1930-х роках Скіннер розробляв іншу систему опису поведінки. У статті 1937 року «Two Types of Conditioned Reflex: A Reply to Konorski and Miller» він запропонував називати таку функціональну одиницю поведінки оперантом (operant). Він також розрізнив оперантну поведінку (operant behavior) і респондентну поведінку (respondent behavior).
Скіннер сам визнавав історичний пріоритет Торндайка у вивченні такого типу поведінки. Його внесок полягав у новій функціональній системі понять, методах вимірювання частоти реакцій, експериментальному контролі контингентностей та великій програмі досліджень того, як наслідки змінюють поведінку.
Докладніше про персоналію: Б. Ф. Скіннер: біографія, оперантне зумовлення, радикальний біхевіоризм і внесок у психологію.
Що таке оперант
Оперант — це не обов’язково один конкретний рух. Це функціональний клас дій, які визначаються їхнім відношенням до умов і наслідків. Наприклад, у лабораторній задачі тварина може натискати важіль трохи по-різному. Якщо різні варіанти руху мають одну функцію та приводять до тієї самої контрольованої події, їх можна аналізувати як один клас оперантної поведінки.
Такий спосіб опису відрізняється від пошуку одного стимулу, який автоматично викликає реакцію. Для оперантної поведінки центральним стає функціональний зв’язок між ситуацією, дією та її наслідками.
Як працює оперантне зумовлення
У найпростішому вигляді експериментатор або природне середовище створює певні умови, організм виконує дію, після чого відбувається наслідок. Якщо зв’язок між дією та наслідком систематично змінює майбутню ймовірність цієї дії, ми маємо оперантне научіння.
Тричленна контингентність
Для аналізу оперантної поведінки часто використовують тричленну схему: попередня умова або дискримінативний стимул → поведінка → наслідок. Попередня умова не обов’язково примушує реакцію виникнути. Вона може сигналізувати, що за певної поведінки конкретний наслідок зараз доступний.
Це важливо, бо поведінка залежить не від одного елемента, а від відношень між умовами, діями та наслідками. Одна й та сама дія в різних контекстах може мати різні функції.
Оперантне і класичне зумовлення: у чому різниця
У класичному, або павловському, зумовленні в центрі перебуває зв’язок між стимулами та реакціями, які можуть бути викликані певними подіями. В оперантному зумовленні досліджують дії, ймовірність яких змінюється через їхні наслідки.
Це не означає, що в реальній поведінці два типи научіння існують у герметично відокремлених світах. Павловські стимули можуть впливати на інструментальні дії, а оперантні контингентності можуть діяти в середовищі, насиченому іншими асоціативними зв’язками. Розмежування потрібне передусім для точного аналізу механізмів.
Пов’язаний матеріал: Іван Павлов: умовні рефлекси, класичне зумовлення та внесок у психологію.
Підкріплення: що воно означає насправді
Підкріплення визначають за функцією: наслідок є підкріплювальним, якщо після нього відповідна поведінка стає ймовірнішою за порівнюваних умов. Слово не означає автоматично «приємне», «корисне», «добре» або «схвалене».
Винагорода не завжди є підкріпленням
Те, що людина називає винагородою, ще не доводить ефекту підкріплення. Похвала, бонус, солодощі чи будь-який інший наслідок можуть задумуватися як винагорода, але функціональне питання звучить інакше: чи збільшилася після цього конкретна поведінка? Якщо ні, називати подію підкріплювачем лише через намір некоректно.
Позитивне і негативне підкріплення
«Позитивне» та «негативне» тут описують не моральну оцінку, а напрям зміни середовища: щось додається або щось усувається. Обидва види підкріплення за визначенням збільшують майбутню ймовірність поведінки.
Позитивне підкріплення
Після поведінки додається певна подія, і поведінка стає частішою або ймовірнішою. Наприклад, якщо студент систематично отримує змістовний позитивний зворотний зв’язок за своєчасне виконання завдань і після цього частіше виконує їх вчасно, цей зворотний зв’язок може виконувати функцію позитивного підкріплення.
Негативне підкріплення
Після поведінки припиняється або віддаляється певна неприємна подія, і поведінка стає ймовірнішою. Саме тому негативне підкріплення не є покаранням. Якщо дія дозволяє уникнути або припинити небажану ситуацію й через це повторюється частіше, йдеться про підкріплення.
Докладніше: Підкріплення.
Покарання: позитивне і негативне
У стандартній навчальній схемі покарання визначають як наслідок, після якого поведінка стає менш імовірною. Як і з підкріпленням, «позитивне» означає додавання події, а «негативне» — її вилучення. Ці слова не означають «добре» та «погано».
Позитивне покарання
Після поведінки додається наслідок, і поведінка зменшується. Функціональна класифікація залежить від спостережуваного ефекту, а не від того, чи вважав хтось наслідок суворим або неприємним.
Негативне покарання
Після поведінки забирається доступ до певної події або ресурсу, і поведінка зменшується. Знову ж таки, назва описує структуру контингентності й ефект на поведінку, а не моральну оцінку методу.
Процес | Що відбувається після поведінки | Ефект на поведінку | Ключова логіка |
|---|---|---|---|
Позитивне підкріплення | Подія додається | Поведінка зростає | Додали → зросла |
Негативне підкріплення | Подія усувається | Поведінка зростає | Прибрали → зросла |
Позитивне покарання | Подія додається | Поведінка зменшується | Додали → зменшилась |
Негативне покарання | Подія усувається | Поведінка зменшується | Прибрали → зменшилась |
Чому намір недостатній
Дорослий може вважати, що «покарав» дитину, керівник — що «підкріпив» працівника, а тренер — що «винагородив» спортсмена. У поведінковому аналізі намір сам по собі не визначає функцію наслідку. Потрібно дивитися, як змінюється поведінка в часі та за яких умов.
Згасання
Згасання в оперантному контексті відбувається, коли зв’язок між поведінкою та наслідком, який раніше її підтримував, припиняється, і з часом поведінка слабшає. Це не те саме, що покарання: новий каральний наслідок може взагалі не вводитися.
Сучасні дослідження показують, що згасання часто не стирає первинне научіння. Воно створює нове научіння, яке може бути сильно залежним від контексту. Через це раніше набута поведінка інколи повертається після перерви, зміни контексту або повторного контакту з наслідком.
Формування поведінки через послідовні наближення
Формування поведінки, або shaping, — це процедура, за якої підкріплюють послідовні наближення до цільової форми поведінки. Замість очікування складної дії одразу спочатку підкріплюють доступний крок, а потім поступово змінюють критерій.
Історія shaping складніша за популярний міф про одну раптову знахідку. У ранній роботі Скіннера вже були елементи послідовних наближень; відомий епізод ручного формування поведінки голуба відбувся пізніше, у 1943 році. Тому коректніше говорити про розвиток і систематизацію процедури в скіннерівській традиції, а не про магічний момент «винаходу».
Розклади підкріплення
Розклад підкріплення визначає, за яких умов підкріплюється поведінка. Різні розклади створюють різні часові й кількісні патерни реагування. Важливий внесок у систематичне дослідження цієї теми зробили Б. Ф. Скіннер і Чарльз Б. Ферстер; їхня книга «Schedules of Reinforcement» вийшла 1957 року.
Безперервне підкріплення
Кожна визначена реакція підкріплюється. Такий режим може швидко встановлювати нову поведінку, але це не означає, що він оптимальний для будь-якої довготривалої задачі.
Фіксоване співвідношення
Підкріплення надається після певної кількості реакцій. Критичним параметром є кількість виконаних дій, а не час сам по собі.
Змінне співвідношення
Необхідна кількість реакцій змінюється навколо певної середньої величини. Саме непередбачуваність моменту підкріплення може підтримувати стійке реагування.
Фіксований інтервал
Першу релевантну реакцію після завершення фіксованого проміжку часу можна підкріпити. Поведінка часто змінюється залежно від наближення моменту, коли підкріплення знову стане доступним.
Змінний інтервал
Тривалість інтервалу до наступної можливості підкріплення змінюється. Це робить точний момент доступності наслідку менш передбачуваним.
Стимульний контроль і дискримінація
Оперантна поведінка не відбувається у вакуумі. Організм може навчитися, що певні стимули або контексти сигналізують доступність конкретних наслідків. Коли поведінка систематично відрізняється залежно від таких умов, говорять про стимульний контроль і дискримінацію.
Це допомагає зрозуміти, чому одна й та сама дія може бути частою в одному середовищі й майже не виникати в іншому, хоча фізично людина або тварина здатна виконати її в обох ситуаціях.
Приклади з повсякденного життя
Побутові приклади корисні лише як ілюстрації. Без спостереження за реальною зміною поведінки не можна впевнено визначити, що саме виконувало функцію підкріплення або покарання.
Людина частіше перевіряє застосунок після непередбачуваних повідомлень. Це може нагадувати дію змінного розкладу, але конкретну функцію треба встановлювати за поведінковими даними.
Водій пристібається, і дратівливий сигнал автомобіля припиняється. Якщо через це пристібання стає ймовірнішим, припинення сигналу функціонує як негативне підкріплення.
Учень отримує конкретний позитивний зворотний зв’язок після добре виконаної роботи. Лише якщо така робота після цього стає ймовірнішою, зворотний зв’язок можна назвати підкріплювальним.
Людина перестає виконувати дію, яка раніше регулярно приносила результат, коли цей результат більше не настає. Це може бути прикладом оперантного згасання.
Що змінила сучасна наука
Оперантне зумовлення не стало «спростованою старою теорією». Дослідження поведінки, що залежить від наслідків, продовжуються. Водночас сучасна наука описує ці процеси значно ширше, ніж ранній скіннерівський словник.
Зв’язок дія — результат
В інструментальному научінні велика увага приділяється тому, чи засвоює організм специфічний зв’язок між дією та її результатом. Цілеспрямована дія чутлива до того, наскільки результат зараз цінний і чи справді дія його спричиняє.
Цілеспрямовані дії і звички
Сучасні експерименти розрізняють цілеспрямовані дії (goal-directed actions) і звичну поведінку (habitual behavior). Один із класичних тестів — знецінення підкріплювального результату. Якщо після зміни цінності результату дія слабшає навіть без нового прямого досвіду цього наслідку під час тесту, це свідчить про використання представлення «дія — результат». Якщо поведінка стає менш чутливою до поточної цінності результату, дослідники можуть говорити про звичний контроль.
Сучасні огляди водночас застерігають від надто простої дихотомії «або ціль, або звичка». Ці системи можуть навчатися паралельно, взаємодіяти й конкурувати, а методи вимірювання звичок мають власні обмеження.
Мозок і обчислювальні моделі
Нейронаука досліджує кортикостріарні системи, які беруть участь у цілеспрямованому та звичному контролі. Обчислювальні теорії навчання з підкріпленням (reinforcement learning) також моделюють навчання на основі прогнозованих наслідків і помилок прогнозу.
Проте навчання з підкріпленням в обчислювальній нейронауці та машинному навчанні не є просто новою назвою скіннерівського оперантного зумовлення. Між цими традиціями є історичні й концептуальні зв’язки, але вони використовують різні рівні опису та формальні моделі.
Згасання як нове научіння
Дослідження поведінкової нейронауки показують, що оперантне згасання здебільшого не стирає первинне научіння. Поведінка може відновлюватися при зміні контексту, з часом або після повторного контакту з певними наслідками. Це важливе сучасне уточнення до спрощеної картинки «перестали підкріплювати — реакція стерлася».
Де застосовують оперантні принципи
Принципи оперантного научіння використовують або досліджують у багатьох сферах: експериментальній психології научіння, аналізі поведінки, освіті, тренуванні тварин, організаційній поведінці та частині клінічних і реабілітаційних підходів.
Це не означає, що будь-яку сучасну поведінкову терапію можна звести до Скіннера або що одна лабораторна закономірність автоматично визначає ефективність конкретної клінічної процедури. Сучасні психотерапії та поведінкові втручання мають власну доказову базу, протоколи, межі застосування та етичні вимоги.
Контекстно пов’язаний матеріал: Біхевіоральна терапія.
Що оперантне зумовлення не означає
Це не твердження, що вся людська поведінка пояснюється лише нагородами й покараннями.
Це не тотожність між «негативним підкріпленням» і покаранням.
Це не правило, що будь-яка винагорода автоматично є підкріплювачем.
Це не доказ того, що Скіннер одноосібно відкрив усю традицію научіння через наслідки.
Це не повна теорія сучасної психотерапії, нейронауки або машинного навчання.
Це не етична ліцензія на маніпуляцію людьми; практичні втручання потребують окремої оцінки цілей, згоди, ризиків і професійних стандартів.
Б. Ф. Скіннер і оперантне зумовлення
Скіннер зробив оперантний аналіз однією з найвпливовіших експериментальних програм психології XX століття. Він запровадив термін «оперант», розвинув методологію вимірювання поведінки, систематично досліджував підкріплення та разом з іншими дослідниками — зокрема Чарльзом Б. Ферстером — вивчав розклади підкріплення.
Водночас точна історія потребує попередників і співучасників. Закон ефекту Торндайка передував Скіннеру; інструментальне научіння розвивалося в ширшій експериментальній традиції; сучасна наука про цілеспрямовану та звичну поведінку включає моделі й методи, яких у ранньому радикальному біхевіоризмі не було.
Про ширший історичний контекст: Біхевіоризм.
Поширені помилки
«Позитивне» означає добре, а «негативне» — погано. Ні: в цій схемі йдеться про додавання або усунення події.
Негативне підкріплення — це покарання. Ні: підкріплення збільшує поведінку, покарання — зменшує.
Якщо я дав винагороду, я підкріпив поведінку. Не обов’язково: функція визначається фактичною зміною поведінки.
Згасання стирає старе научіння. Сучасні дані показують, що старе научіння може зберігатися й відновлюватися.
Скіннер винайшов научіння через наслідки. Ні: історичним попередником був, зокрема, Торндайк; внесок Скіннера — інша концептуальна й експериментальна система.
Часті запитання
Що таке оперантне зумовлення простими словами?
Це научіння через наслідки власних дій: залежно від того, що відбувається після поведінки, вона може ставати більш або менш імовірною в майбутньому.
Хто створив оперантне зумовлення?
Найвідоміша систематична програма пов’язана з Б. Ф. Скіннером, який у 1937 році запровадив термін «оперант». Але історія має важливих попередників, насамперед Едварда Торндайка з його законом ефекту. Тому формула «Скіннер одноосібно винайшов навчання через наслідки» історично неточна.
Чим негативне підкріплення відрізняється від покарання?
Негативне підкріплення збільшує поведінку через усунення певної події. Покарання, навпаки, визначається зменшенням поведінки. Слово «негативне» означає вилучення, а не негативну оцінку.
Чи завжди нагорода є підкріпленням?
Ні. Подія стає підкріплювачем лише тоді, коли в конкретних умовах вона фактично збільшує відповідну поведінку. Намір винагородити цього не гарантує.
Чи зникає поведінка назавжди після згасання?
Не обов’язково. Згасання часто створює нове, контекстно залежне научіння, тоді як первинна асоціація може зберігатися. Тому можливе відновлення поведінки після часу або зміни контексту.
Оперантне і інструментальне научіння — це одне й те саме?
У багатьох навчальних контекстах терміни використовують як близькі або взаємозамінні. У сучасній експериментальній літературі «інструментальне научіння» може охоплювати ширший спектр досліджень дій та результатів, зокрема цілеспрямованого й звичного контролю.