شبکه‌های عصبی بازگشتی (Recurrent Neural Networks – RNN)

بیایید به سراغ شبکه‌های عصبی بازگشتی (Recurrent Neural Networks – RNN) برویم. این نوع شبکه‌های عصبی برای پردازش داده‌های توالی طراحی شده‌اند و به ویژه در مسائلی مانند تحلیل متن، تشخیص گفتار و پیش‌بینی سری‌های زمانی کاربرد دارند.

شبکه‌های عصبی بازگشتی (RNN)

1. تعریف RNN

• RNN‌ها شبکه‌های عصبی هستند که می‌توانند از اطلاعات قبلی برای پردازش اطلاعات جدید استفاده کنند. این ویژگی آن‌ها را برای داده‌های توالی مانند متن یا سیگنال‌های صوتی بسیار مناسب می‌سازد.
• در RNN، هر نورون می‌تواند به حالت قبلی خود دسترسی داشته باشد، که به آن‌ها اجازه می‌دهد وابستگی‌های زمانی را یاد بگیرند.

2. ساختار RNN

• یک شبکه عصبی بازگشتی شامل لایه‌هایی از نورون‌ها است که به یکدیگر متصل هستند و ورودی‌های جدید را با استفاده از خروجی‌های قبلی پردازش می‌کنند.
• هر نورون دارای یک حالت داخلی است که در طول زمان به روزرسانی می‌شود. این حالت به عنوان حافظه (Memory) شبکه عمل می‌کند و به آن اجازه می‌دهد اطلاعات را از مراحل قبل به خاطر بسپارد.

3. نحوه کارکرد RNN

• در هر زمان ttt، ورودی xtx_txt​ به نورون‌ها وارد می‌شود و به همراه حالت قبلی ht−1h_{t-1}ht−1​ پردازش می‌شود. خروجی hth_tht​ سپس به عنوان حالت جدید برای زمان ttt ذخیره می‌شود.
• معادلات پایه برای RNN به شکل زیر است:
  • ht=f(Wh⋅ht−1+Wx⋅xt+b)h_t = f(W_h \cdot h_{t-1} + W_x \cdot x_t + b)ht​=f(Wh​⋅ht−1​+Wx​⋅xt​+b)
  • yt=Wy⋅ht+byy_t = W_y \cdot h_t + b_yyt​=Wy​⋅ht​+by​
• در این معادلات، WhW_hWh​، WxW_xWx​، و WyW_yWy​ وزن‌های مربوط به اتصالات مختلف هستند و fff تابع فعال‌سازی (معمولاً tanh یا ReLU) است.

4. مزایا و معایب RNN

• مزایا:
  • توانایی یادگیری وابستگی‌های زمانی: RNN‌ها می‌توانند وابستگی‌های طولانی‌مدت در داده‌های توالی را یاد بگیرند.
  • قابلیت پردازش توالی‌های ورودی با طول متغیر: RNN‌ها می‌توانند توالی‌هایی با طول‌های مختلف را پردازش کنند.
• معایب:
  • مشکل ناپایداری گرادیان: در هنگام یادگیری از توالی‌های طولانی، ممکن است گرادیان‌ها بسیار بزرگ یا بسیار کوچک شوند، که به یادگیری نامناسب منجر می‌شود.
  • زمان‌بر بودن آموزش: آموزش RNN‌ها به دلیل وابستگی به زمان و توالی‌ها می‌تواند زمان‌بر باشد.

5. انواع RNN

• LSTM (Long Short-Term Memory): این نوع RNN به طور خاص برای حل مشکل ناپایداری گرادیان طراحی شده است و از واحدهای حافظه برای ذخیره اطلاعات بلندمدت استفاده می‌کند.
• GRU (Gated Recurrent Unit): مشابه LSTM است، اما ساختار ساده‌تری دارد و به یادگیری وابستگی‌های بلندمدت کمک می‌کند.

6. پیاده‌سازی RNN در پایتون

در اینجا یک مثال ساده از یک شبکه LSTM برای پیش‌بینی توالی با استفاده از Keras آورده شده است:

pythonCopy codeimport numpy as np
from keras.models import Sequential
from keras.layers import LSTM, Dense

# تولید داده‌های تصادفی به عنوان مثال
X = np.array([[i+j for j in range(10)] for i in range(100)])  # 100 توالی با طول 10
y = np.array([i + 10 for i in range(100)])  # هدف

# تغییر شکل داده‌ها به فرم (نمونه‌ها، زمان، ویژگی‌ها)
X = X.reshape((X.shape[0], X.shape[1], 1))

# تعریف مدل RNN با LSTM
model = Sequential()
model.add(LSTM(50, activation='relu', input_shape=(10, 1)))  # 50 نورون در لایه LSTM
model.add(Dense(1))  # لایه خروجی

# کامپایل مدل
model.compile(optimizer='adam', loss='mean_squared_error')

# آموزش مدل
model.fit(X, y, epochs=200, verbose=1)

# پیش‌بینی
sample_input = np.array([[i+j for j in range(10)] for i in range(1)])  # نمونه جدید
sample_input = sample_input.reshape((sample_input.shape[0], sample_input.shape[1], 1))
prediction = model.predict(sample_input)
print("Prediction:", prediction)

• در این مثال، یک مدل LSTM برای پیش‌بینی یک توالی ساده طراحی شده است. داده‌های ورودی به شکل 3 بعدی (نمونه‌ها، زمان، ویژگی‌ها) تغییر شکل داده شده‌اند.
• مدل با استفاده از تابع هزینه Mean Squared Error و بهینه‌ساز Adam کامپایل و آموزش داده می‌شود.

فعالیت پیشنهادی:

• از یک مجموعه داده واقعی مانند داده‌های متنی (مثل تحلیل احساسات) یا سری‌های زمانی استفاده کنید و یک RNN برای پردازش و پیش‌بینی آن داده‌ها طراحی کنید.

جمع‌بندی

اکنون که با RNN و نوع‌های آن آشنا شدید، اگر تمایل دارید، می‌توانیم به موضوعات دیگری مانند یادگیری عمیق و تحلیل داده‌های متنی یا پیش‌بینی سری‌های زمانی بپردازیم.