न्यूरल नेटवर्क में एक्टिवेशन फंक्शन क्या है? टाइप्स, रोल, फुल गाइड

सबसे आम सक्रियण कार्यों में ReLU (रेक्टिफाइड लीनियर यूनिट), सिग्मॉइड, टैन (हाइपरबोलिक टैंगेंट), और सॉफ्टमैक्स (मल्टी-क्लास वर्गीकरण के लिए आउटपुट लेयर में उपयोग किया जाता है) शामिल हैं।

ReLU (रेक्टिफाइड लीनियर यूनिट) एक व्यापक रूप से उपयोग किया जाने वाला Activation फ़ंक्शन है जो Positive होने पर इनपुट को सीधे आउटपुट करता है; अन्यथा, यह शून्य आउटपुट देता है। इसकी भूमिका non-linearity का परिचय देना और लुप्त हो रही ग्रेडिएंट समस्या को कम करने में मदद करना है, जिससे deep नेटवर्क को प्रशिक्षित करना आसान हो जाता है।

सिग्मॉइड सक्रियण फ़ंक्शन बाइनरी classification problems के लिए उपयोगी है जहां नेटवर्क को 0 और 1 के बीच संभावनाओं को आउटपुट करने की आवश्यकता होती है। इसका उपयोग आमतौर पर ऐसे कार्यों के लिए आउटपुट लेयर में किया जाता है।

टैनह (हाइपरबोलिक टैंगेंट) activation function सिग्मॉइड के समान है लेकिन -1 और 1 के बीच Value आउटपुट करता है। यह उन कार्यों के लिए उपयोगी है जहां डेटा शून्य के आसपास केंद्रित है और डीप नेटवर्क में अधिक कुशलता से सीखने में मदद कर सकता है।

Activation फ़ंक्शन का चुनाव आपके कार्य की नेचर, आपके डेटा के गुणों और आपके neural नेटवर्क की architecture पर निर्भर करता है। vanishing ग्रेडिएंट्स औरnon-linearity जैसे कारकों पर प्रयोग और विचार करना महत्वपूर्ण है।

जबकि ReLU लोकप्रिय है, यह "dying ReLU" समस्या से ग्रस्त हो सकता है, जहां न्यूरॉन्स Inactive हो सकते हैं। लीकी ReLU और पैरामीट्रिक ReLU (PReLU) ऐसे वेरिएंट हैं जो इस समस्या का समाधान करते हैं।

सॉफ्टमैक्स का उपयोग मल्टी-क्लास Classification के लिए आउटपुट लेयर में किया जाता है। यह raw scores (लॉगिट) को संभावनाओं में परिवर्तित करता है, जहां प्रत्येक क्लास को एक संभावना स्कोर मिलता है, और सभी संभावनाओं का योग 1 के बराबर होता है।

हां, प्रत्येक लेयर की आवश्यकताओं और हल की जा रही समस्या के आधार पर, neural नेटवर्क की विभिन्न लेयर्स में विभिन्न activation functions का उपयोग करना आम बात है।

हाल के रिसर्च से स्विश और जीईएलयू जैसे उपन्यास activation functions का विकास हुआ है, जिसका उद्देश्य deep neural networks के प्रदर्शन में सुधार करना है।