🧠 Калькулятор активаційних функцій

Візуалізація та розрахунок функцій активації нейронних мереж: Sigmoid, ReLU, Tanh, Softmax та інші

📊 Калькулятор активаційних функцій

x = 0.00

Sigmoid (σ) Класика

Стискає значення до (0, 1). Гарна для бінарної класифікації.

σ(x) = 1 / (1 + e⁻ˣ)

Tanh Центрований

Стискає до (-1, 1). Центрований вихід, краще ніж Sigmoid.

tanh(x) = (eˣ - e⁻ˣ)/(eˣ + e⁻ˣ)

ReLU Популярний

Найпопулярніша функція. Просто і ефективно.

ReLU(x) = max(0, x)

Leaky ReLU Покращений

Вирішує проблему "мертвих нейронів" ReLU.

LReLU(x) = max(αx, x)

ELU Гладкий

Експоненційний лінійний блок. Гладкий для негативних.

ELU(x) = x if x>0, α(eˣ-1) if x≤0

SELU Самонормалізація

Масштабований ELU з самонормалізацією.

SELU(x) = λ·ELU(x)

Swish Google

Запропонований Google. Гладкий і ефективний.

Swish(x) = x · σ(x)

GELU BERT/GPT

Використовується в трансформерах. Гаусівська.

GELU(x) ≈ x·Φ(x)

Softplus Гладкий ReLU

Гладка апроксимація ReLU.

Softplus(x) = ln(1 + eˣ)

Mish Новий

Сучасна функція з хорошою продуктивністю.

Mish(x) = x·tanh(Softplus(x))

Hard Swish MobileNet

Швидша апроксимація Swish для мобільних.

HardSwish(x) = x·clip(x+3,0,6)/6

PReLU Навчальний

Параметричний ReLU з навчальним α.

PReLU(x) = max(αx, x)

Результати обчислення

Функція активації: Sigmoid
f(x): 0.5
f'(x) (похідна): 0.25

Графік функції

Графік похідної

📈 Softmax калькулятор

Softmax перетворює вектор дійсних чисел у розподіл ймовірностей. Використовується в останньому шарі класифікаторів.

Softmax(zᵢ) = exp(zᵢ) / Σⱼ exp(zⱼ)

Введіть логіти (необроблені виходи мережі):

⚖️ Порівняння активаційних функцій

Порівняння значень усіх активаційних функцій для заданого входу.

x = 0.00

🔗 Симуляція нейронного шару

Вхідні значення:

Результати шару

Матриця ваг W:

Вектор зміщень b:

📚 Теорія активаційних функцій

1. Роль активаційних функцій

Функції активації додають нелінійність до нейронних мереж. Без них мережа з будь-якою кількістю шарів була б еквівалентна одношаровій лінійній моделі.

Нейрон: y = f(Σwᵢxᵢ + b) = f(w·x + b)

де f — функція активації, w — ваги, b — зміщення

2. Властивості ідеальної функції активації

  • Нелінійність: Дозволяє апроксимувати складні функції
  • Диференційованість: Для застосування градієнтного спуску
  • Монотонність: Спрощує оптимізацію
  • Центрований вихід: Прискорює навчання (як tanh)
  • Обчислювальна ефективність: Швидкі операції

3. Класичні функції

Sigmoid (Логістична)

σ(x) = 1 / (1 + e⁻ˣ)
σ'(x) = σ(x) · (1 - σ(x))

Діапазон: (0, 1)
Проблема: Зникаючий градієнт при |x| >> 0

Tanh (Гіперболічний тангенс)

tanh(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ) = 2σ(2x) - 1
tanh'(x) = 1 - tanh²(x)

Діапазон: (-1, 1)
Переваги: Центрований вихід

4. Сімейство ReLU

ReLU (Rectified Linear Unit)

ReLU(x) = max(0, x)
ReLU'(x) = { 1, x > 0; 0, x ≤ 0 }

Переваги: Простота, швидкість, розріджена активація
Недолік: "Мертві нейрони" при x < 0

Leaky ReLU

LReLU(x) = max(αx, x), α ≈ 0.01
LReLU'(x) = { 1, x > 0; α, x ≤ 0 }

Вирішує проблему мертвих нейронів

ELU (Exponential Linear Unit)

ELU(x) = { x, x > 0; α(eˣ - 1), x ≤ 0 }
ELU'(x) = { 1, x > 0; α·eˣ, x ≤ 0 }

Гладкий перехід, робустний до шуму

SELU (Scaled ELU)

SELU(x) = λ · ELU(x)
λ ≈ 1.0507, α ≈ 1.6733

Самонормалізація: виходи мають μ≈0, σ≈1

5. Сучасні функції

Swish

Swish(x) = x · σ(βx)
При β=1: Swish(x) = x · σ(x)
Swish'(x) = σ(x) + x · σ(x) · (1 - σ(x))

Гладка, не-монотонна, немає верхньої межі

GELU (Gaussian Error Linear Unit)

GELU(x) = x · Φ(x) = x · P(X ≤ x), X ~ N(0, 1)
GELU(x) ≈ 0.5x(1 + tanh(√(2/π)(x + 0.044715x³)))

Використовується в BERT, GPT, ViT

Mish

Mish(x) = x · tanh(softplus(x)) = x · tanh(ln(1 + eˣ))

Гладка, не-монотонна, без насичення зверху

6. Softmax

Softmax(zᵢ) = exp(zᵢ) / Σⱼ exp(zⱼ)

З температурою T:
Softmax(zᵢ, T) = exp(zᵢ/T) / Σⱼ exp(zⱼ/T)

T → 0: жорсткий argmax
T → ∞: рівномірний розподіл

7. Порівняльна таблиця

Функція Діапазон Центрована Складність Де використовувати
Sigmoid (0, 1) ❌ O(1) exp Вихід бінарної класифікації
Tanh (-1, 1) ✅ O(1) exp RNN, LSTM
ReLU [0, ∞) ❌ O(1) Приховані шари CNN
Leaky ReLU (-∞, ∞) ~ O(1) Заміна ReLU
GELU (-0.17, ∞) ~ O(1) erf Трансформери
Swish (-0.28, ∞) ~ O(1) exp Глибокі мережі
Softmax (0, 1), Σ=1 ❌ O(n) exp Вихід мультикласу

8. Рекомендації щодо вибору

  • Приховані шари CNN: ReLU, Leaky ReLU, ELU
  • Трансформери: GELU
  • RNN/LSTM: Tanh (всередині), Sigmoid (для воріт)
  • Вихід бінарної класифікації: Sigmoid
  • Вихід мультикласової класифікації: Softmax
  • Вихід регресії: Без активації (лінійний)
  • GAN генератор: Tanh (вихід)

Практичне значення та контекст

Де застосовується

Інструменти даного типу широко застосовуються у навчальній та дослідницькій діяльності. Вони дозволяють швидко отримувати точні числові результати, перевіряти аналітичні розрахунки та моделювати різноманітні сценарії. Використання онлайн-калькуляторів значно прискорює роботу науковців, інженерів, студентів та спеціалістів-практиків, які щодня стикаються з відповідними обчислювальними задачами.

Часті запитання (FAQ)

Навіщо вивчати цю тему?
Ця тема є основою математичної освіти і широко застосовується в природничих науках, інженерії, економіці та комп'ютерних науках. Розуміння базових понять допомагає краще орієнтуватися у складніших розділах математики та ефективно вирішувати реальні задачі.
З чого почати вивчення теми?
Починайте з основних визначень і теорем, наведених на цій сторінці. Опрацюйте приклади розв'язання задач покроково, потім спробуйте самостійно вирішити кілька вправ. Наш калькулятор допоможе перевірити правильність відповідей.
Що таке хімічна рівновага?
Хімічна рівновага — стан системи, при якому швидкості прямої та зворотної реакцій рівні, і склад системи не змінюється з часом (в умовах незмінних зовнішніх умов). Рівновага описується константою рівноваги Kc або Kp. За принципом Ле-Шательє, зміна умов (температура, тиск, концентрація) зміщує рівновагу в бік, що компенсує цю зміну.
Як відрізнити кислоту від основи?
За теорією Бренстеда-Лоурі: кислота — донор протона (H⁺), основа — акцептор протона. За Арреніусом: кислота дисоціює з утворенням H⁺, основа — OH⁻. Кількісно кислотність оцінюється показником pH: pH < 7 — кисле середовище, pH = 7 — нейтральне, pH > 7 — лужне. Визначають за допомогою індикаторів або pH-метра.
Як користуватися цим калькулятором?
Введіть необхідні значення у відповідні поля та натисніть кнопку обчислення. Результат відобразиться одразу. Калькулятор підтримує десяткові числа та від'ємні значення — для введення від'ємного числа використовуйте знак мінус. Усі розрахунки виконуються онлайн без встановлення додаткового програмного забезпечення.

📁 Категорія: IT