गणितीय अनुकूलन समस्याओं में ग्रेडिएंट विधियों की समीक्षा। ढाल अनुकूलन के तरीके
अप्रतिबंधित अनुकूलन समस्या में कोई प्रतिबंध नहीं हैं।
याद रखें कि एक बहुआयामी फ़ंक्शन का ग्रेडिएंट एक वेक्टर है जो विश्लेषणात्मक रूप से आंशिक डेरिवेटिव के ज्यामितीय योग द्वारा व्यक्त किया जाता है
स्केलर फंक्शन ग्रेडिएंट एफ(एक्स) किसी बिंदु पर यह फ़ंक्शन की सबसे तेज़ वृद्धि की ओर निर्देशित होता है और स्तर रेखा (सतह के) के लिए ओर्थोगोनल होता है नियत मान एफ(एक्स), एक बिंदु से गुजरना एक्स क) ग्रेडिएंट के विपरीत वेक्टर एंटीग्रेडिएंट को फ़ंक्शन के सबसे तेज़ कमी की दिशा में निर्देशित किया जाता है एफ(एक्स). चरम बिंदु पर ग्रैड एफ(एक्स)= 0.
ग्रेडिएंट विधियों में, न्यूनतम की खोज करते समय एक बिंदु की गति वस्तुनिष्ठ कार्यपुनरावृत्त सूत्र द्वारा वर्णित है
कहाँ पे क चरण पैरामीटर चालू कएंटीग्रेडिएंट के साथ वें पुनरावृत्ति। चढ़ाई के तरीकों (अधिकतम के लिए खोज) के लिए, आपको ढाल के साथ आगे बढ़ने की जरूरत है।
चरण पैरामीटर चुनने के साथ-साथ पिछले चरण में आंदोलन की दिशा को ध्यान में रखते हुए ढाल विधियों के विभिन्न प्रकार एक दूसरे से भिन्न होते हैं। ग्रेडिएंट विधियों के लिए निम्नलिखित विकल्पों पर विचार करें: एक स्थिर चरण के साथ, एक चर चरण पैरामीटर (चरण उपखंड) के साथ, विधि तेज वंशऔर संयुग्म ढाल विधि।
निरंतर चरण पैरामीटर के साथ विधि।इस पद्धति में, प्रत्येक पुनरावृत्ति पर चरण पैरामीटर स्थिर होता है। सवाल उठता है: चरण पैरामीटर का मूल्य व्यावहारिक रूप से कैसे चुनें? पर्याप्त रूप से छोटा कदम पैरामीटर न्यूनतम बिंदु तक पहुंचने के लिए आवश्यक अस्वीकार्य रूप से बड़ी संख्या में पुनरावृत्तियों को जन्म दे सकता है। दूसरी ओर, एक चरण पैरामीटर जो बहुत बड़ा है, न्यूनतम बिंदु को ओवरशूट करने और इस बिंदु के आसपास एक ऑसिलेटरी कम्प्यूटेशनल प्रक्रिया को जन्म दे सकता है। ये परिस्थितियाँ विधि के नुकसान हैं। चूंकि अग्रिम में चरण पैरामीटर के स्वीकार्य मूल्य का अनुमान लगाना असंभव है क, तो एक चर चरण पैरामीटर के साथ ग्रेडिएंट विधि का उपयोग करना आवश्यक हो जाता है।
जैसे-जैसे यह इष्टतम के करीब पहुंचता है, ग्रेडिएंट वेक्टर परिमाण में घटता जाता है, शून्य की ओर प्रवृत्त होता है, इसलिए, जब क = स्थिरांक चरण की लंबाई धीरे-धीरे कम हो जाती है। इष्टतम के पास, ग्रेडिएंट वेक्टर की लंबाई शून्य हो जाती है। वेक्टर लंबाई या मानक in एन-आयामी यूक्लिडियन स्थान सूत्र द्वारा निर्धारित किया जाता है
, कहाँ पे एन- चर की संख्या।
इष्टतम की खोज को रोकने के विकल्प:
व्यावहारिक दृष्टिकोण से, तीसरे स्टॉपिंग मानदंड का उपयोग करना अधिक सुविधाजनक है (चूंकि डिज़ाइन पैरामीटर के मान रुचि के हैं), हालांकि, चरम बिंदु की निकटता निर्धारित करने के लिए, आपको दूसरे पर ध्यान केंद्रित करने की आवश्यकता है मानदंड। कम्प्यूटेशनल प्रक्रिया को रोकने के लिए कई मानदंडों का उपयोग किया जा सकता है।
एक उदाहरण पर विचार करें। उद्देश्य फ़ंक्शन का न्यूनतम ज्ञात करें एफ(एक्स) = (एक्स 1 2) 2 + (एक्स 2 4) 2 . समस्या का सटीक समाधान एक्स*= (2.0;4.0)।आंशिक व्युत्पन्न के लिए व्यंजक
,
.
एक चरण चुनें क = 0.1. आइए शुरुआती बिंदु से खोजें एक्स 1 = . समाधान तालिका के रूप में प्रस्तुत किया गया है।
चरण पैरामीटर विभाजन के साथ ढाल विधि।इस स्थिति में, अनुकूलन प्रक्रिया के दौरान, चरण पैरामीटर k घट जाता है, यदि अगले चरण के बाद, उद्देश्य फ़ंक्शन बढ़ जाता है (जब न्यूनतम की खोज की जाती है)। इस मामले में, चरण की लंबाई अक्सर आधे में विभाजित (विभाजित) होती है, और चरण पिछले बिंदु से दोहराया जाता है। यह चरम बिंदु के लिए अधिक सटीक दृष्टिकोण प्रदान करता है।
सबसे तेज उतरने की विधि।चर चरण विधियाँ पुनरावृत्तियों की संख्या के संदर्भ में अधिक किफायती हैं। यदि प्रतिग्रेडिएंट की दिशा के साथ इष्टतम चरण लंबाई k एक-आयामी न्यूनीकरण समस्या का समाधान है, तो इस विधि को सबसे तेज वंश विधि कहा जाता है। इस पद्धति में, प्रत्येक पुनरावृत्ति पर, एक-आयामी न्यूनतमकरण की समस्या हल हो जाती है:
एफ (एक्स कश्मीर+1 ) = एफ (एक्स क क एस क )=मिनट एफ( क ), एस क = एफ (एक्स);
क >0
.
पर यह विधिएंटीग्रेडिएंट की दिशा में आंदोलन तब तक जारी रहता है जब तक कि उद्देश्य फ़ंक्शन के न्यूनतम तक नहीं पहुंच जाता (जब तक कि उद्देश्य फ़ंक्शन का मूल्य कम हो जाता है)। एक उदाहरण का उपयोग करते हुए, आइए विचार करें कि अज्ञात पैरामीटर के आधार पर प्रत्येक चरण पर उद्देश्य फ़ंक्शन को विश्लेषणात्मक रूप से कैसे लिखा जा सकता है
उदाहरण। मिनट एफ(एक्स 1 , एक्स 2 ) = 2एक्स 1 2 + 4एक्स 2 3 – 3. फिर एफ(एक्स)= [ 4एक्स 1 ; 12एक्स 2 2 ]. बात करने दो एक्स क = , फलस्वरूप एफ(एक्स)= [ 8; 12], एफ(एक्स क एस क ) =
2(2 8 ) 2 + 4(1 12 ) 3 3. यह खोजना आवश्यक है जो इस फ़ंक्शन का न्यूनतम प्रदान करता है।
सबसे तेज वंश एल्गोरिथ्म (न्यूनतम खोजने के लिए)
प्रारंभिक चरण. मान लीजिए रुकने वाला स्थिरांक है। प्रारंभिक बिंदु चुनें एक्स 1 , रखना क = 1 और मुख्य चरण पर जाएं।
बुनियादी कदम. यदि एक || ग्रेडएफ(एक्स)||< , फिर खोज समाप्त करें, अन्यथा निर्धारित करें एफ(एक्स क ) और ढूंढें क न्यूनीकरण समस्या का इष्टतम समाधान एफ(एक्स क क एस क ) पर क 0. डाल एक्स क +1 = एक्स क क एस क, सौंपना क =
क + 1 और मुख्य चरण दोहराएं।
स्टीपेस्ट डिसेंट मेथड में एक वेरिएबल के फंक्शन का न्यूनतम पता लगाने के लिए, आप यूनिमॉडल ऑप्टिमाइज़ेशन मेथड्स का उपयोग कर सकते हैं। विधियों के एक बड़े समूह से, द्विभाजन (द्विभाजन) और स्वर्ण खंड की विधि पर विचार करें। अनिमॉडल ऑप्टिमाइज़ेशन विधियों का सार चरम के स्थान की अनिश्चितता के अंतराल को कम करना है।
द्विभाजन विधि (द्विभाजन)प्रारंभिक चरण।विभेदकता स्थिरांक और अनिश्चितता अंतराल की अंतिम लंबाई चुनें मैं. का मान जितना संभव हो उतना छोटा होना चाहिए, हालांकि, फ़ंक्शन के मूल्यों को अलग करने की अनुमति देता है एफ( ) तथा एफ( ) . होने देना [ एक 1 , बी 1 ] प्रारंभिक अनिश्चितता अंतराल। डाल क =
मुख्य चरण में एक ही प्रकार के पुनरावृत्तियों की एक सीमित संख्या होती है।
के-वें पुनरावृत्ति।
स्टेप 1।यदि एक बी क एक क मैं, तो गणना समाप्त हो जाती है। समाधान एक्स * = (एक क + बी क )/2. अन्यथा
,
.
चरण दोयदि एक एफ( क ) < एफ( क ), रखना एक क +1 = एक क ; बी क +1 = क. अन्यथा एक क +1 = कतथा बी क +1 = बी क. सौंपना क = क + 1 और चरण 1 पर जाएँ।
गोल्डन सेक्शन विधि।द्विभाजन विधि की तुलना में अधिक कुशल विधि। चलो लाते हैं मूल्य ते करनाकम पुनरावृत्तियों में अनिश्चितता अंतराल और उद्देश्य फ़ंक्शन की कम गणना की आवश्यकता होती है। इस पद्धति में, अनिश्चितता अंतराल के नए विभाजन बिंदु की गणना एक बार की जाती है। नया बिंदु कुछ दूरी पर रखा गया है
= 0.618034 अंतराल के अंत से।
गोल्डन रेश्यो एल्गोरिथम
प्रारंभिक चरण।अनिश्चितता अंतराल की स्वीकार्य परिमित लंबाई चुनें मैं > 0. होने देना [ एक 1 , बी 1 ] प्रारंभिक अनिश्चितता अंतराल। डाल 1 = एक 1 +(1 )(बी 1 एक 1 ) तथा 1 = एक 1 + (बी 1 एक 1 ) , कहाँ पे = 0,618 . गणना एफ( 1 ) तथा एफ( 1 ) , रखना क = 1 और मुख्य चरण पर जाएं।
स्टेप 1।यदि एक बी क एक क मैं, तब गणना समाप्त होती है एक्स * = (एक क + बी क )/ 2. अन्यथा, यदि एफ( क ) > एफ( क ) , फिर चरण 2 पर जाएँ; यदि एफ( क ) एफ( क ) , चरण 3 पर जाएँ।
चरण दोडाल एक क +1 = क , बी क +1 = बी क , क +1 = क , क +1 = एक क +1 + (बी क +1 – एक क +1 ). गणना एफ( क +1 ), चरण 4 पर जाएं।
चरण 3डाल एक क +1 = एक क , बी क +1 = क , क +1 = क , क +1 = एक क +1 + (1 )(बी क +1 – एक क +1 ). गणना एफ( क +1 ).
चरण 4सौंपना क = क + 1, चरण 1 पर जाएं।
पहले पुनरावृत्ति में, फ़ंक्शन के दो मूल्यांकनों की आवश्यकता होती है, बाद के सभी पुनरावृत्तियों में, केवल एक।
संयुग्म ढाल विधि (फ्लेचर-रीव्स)।इस पद्धति में, आंदोलन की दिशा का चुनाव क+ 1 कदम दिशा परिवर्तन को ध्यान में रखता है ककदम। डिसेंट डायरेक्शन वेक्टर एंटी-ग्रेडिएंट डायरेक्शन और पिछली सर्च डायरेक्शन का एक लीनियर कॉम्बिनेशन है। इस मामले में, जब खड्ड कार्यों (संकीर्ण लंबी गर्त के साथ) को कम करते हैं, तो खोज खड्ड के लंबवत नहीं होती है, बल्कि इसके साथ होती है, जो आपको जल्दी से न्यूनतम तक पहुंचने की अनुमति देती है। संयुग्म ढाल विधि का उपयोग करके एक चरम सीमा की खोज करते समय, बिंदु निर्देशांक की गणना अभिव्यक्ति द्वारा की जाती है एक्स क +1 = एक्स क वी क +1 , कहाँ पे वी क +1 निम्नलिखित व्यंजक द्वारा परिकलित एक सदिश है:
.
पहला पुनरावृत्ति आमतौर पर निर्भर करता है वी = 0 और एंटी-ग्रेडिएंट सर्च किया जाता है, जैसा कि सबसे तेज डिसेंट मेथड में होता है। फिर गति की दिशा एंटीग्रेडिएंट की दिशा से जितनी अधिक विचलित होती है, उतनी ही महत्वपूर्ण रूप से ग्रेडिएंट वेक्टर की लंबाई अंतिम पुनरावृत्ति में बदल जाती है। बाद में एनएल्गोरिथम के संचालन को ठीक करने के लिए कदम एंटीग्रेडिएंट के साथ सामान्य कदम उठाते हैं।
संयुग्म ढाल विधि का एल्गोरिथ्म
स्टेप 1।प्रारंभ बिंदु दर्ज करें एक्स 0 , शुद्धता , आयाम एन.
चरण दोडाल क = 1.
चरण 3वेक्टर रखो वी क = 0.
चरण 4गणना ग्रैड एफ(एक्स क ).
चरण 5वेक्टर की गणना करें वी क +1.
चरण 6 1D वेक्टर खोज करें वी क +1.
चरण 7यदि एक क < एन, रखना क = क + 1 और चरण 4 पर जाएँ अन्यथा चरण 8 पर जाएँ।
चरण 8यदि वेक्टर की लंबाई वीसे कम, खोज समाप्त करें, अन्यथा चरण 2 पर जाएं।
संयुग्म दिशा विधि न्यूनीकरण समस्याओं को हल करने में सबसे प्रभावी में से एक है। एक आयामी खोज के संयोजन के साथ विधि अक्सर सीएडी में अभ्यास में प्रयोग की जाती है। हालांकि, यह ध्यान दिया जाना चाहिए कि यह गणना प्रक्रिया के दौरान होने वाली त्रुटियों के प्रति संवेदनशील है।
ढाल के तरीकों के नुकसान
कार्यों में एक बड़ी संख्या मेंचर विश्लेषणात्मक कार्यों के रूप में व्युत्पन्न प्राप्त करना कठिन या असंभव है।
अंतर योजनाओं का उपयोग करके डेरिवेटिव की गणना करते समय, परिणामी त्रुटि, विशेष रूप से एक चरम सीमा के आसपास, इस तरह के अनुमान की संभावनाओं को सीमित करती है।
ग्रेडिएंट विधि द्वारा अनुकूलन करते समय, अध्ययन के तहत वस्तु का इष्टतम आउटपुट चर के सबसे तेज वृद्धि (कमी) की दिशा में मांगा जाता है, अर्थात। ढाल की दिशा में। लेकिन इससे पहले कि आप ढाल की दिशा में एक कदम उठाएं, आपको इसकी गणना करने की आवश्यकता है। ग्रेडिएंट की गणना या तो उपलब्ध मॉडल से की जा सकती है
सिमुलेशन गतिशील ढाल बहुपद
i-वें कारक के संबंध में आंशिक अवकलज कहां है;
i, j, k - इकाई वैक्टर कारक स्थान के निर्देशांक अक्षों की दिशा में, या निर्देशांक अक्षों की दिशा में n परीक्षण आंदोलनों के परिणामों के अनुसार।
यदि एक गणित का मॉडल सांख्यिकीय प्रक्रियाएक रैखिक बहुपद का रूप है, प्रतिगमन गुणांक b i जिनमें से x i की शक्तियों में एक टेलर श्रृंखला में फ़ंक्शन y = f(X) के विस्तार के आंशिक व्युत्पन्न हैं, फिर इष्टतम को ढाल की दिशा में मांगा जाता है एक निश्चित चरण ज मैं:
पीकेएफवी एन (सीएच) \u003d और 1 पी 1 + और 2 पी 2 + ... + और टी पी टी
प्रत्येक चरण के बाद दिशा को सही किया जाता है।
ढाल विधि, इसके कई संशोधनों के साथ, एक आम है और प्रभावी तरीकाअध्ययन के तहत वस्तुओं में से इष्टतम की खोज करें। ढाल विधि के संशोधनों में से एक पर विचार करें - खड़ी चढ़ाई विधि।
खड़ी चढ़ाई विधि, या अन्यथा बॉक्स-विल्सन विधि, तीन विधियों के लाभों को जोड़ती है - गॉस-सीडल विधि, ग्रेडिएंट विधि और पूर्ण (या भिन्नात्मक) फैक्टोरियल प्रयोगों की विधि, एक रैखिक गणितीय मॉडल प्राप्त करने के साधन के रूप में . खड़ी चढ़ाई विधि का कार्य आउटपुट चर के सबसे तेज वृद्धि (या कमी) की दिशा में कदम उठाना है, अर्थात ग्रेड y (X) के साथ। ढाल विधि के विपरीत, दिशा को प्रत्येक अगले चरण के बाद ठीक नहीं किया जाता है, लेकिन जब किसी दिए गए दिशा में किसी बिंदु पर उद्देश्य फ़ंक्शन का आंशिक चरम पहुंच जाता है, जैसा कि गॉस-सीडल विधि में किया जाता है। आंशिक चरम के बिंदु पर, एक नया फैक्टोरियल प्रयोग स्थापित किया जाता है, एक गणितीय मॉडल निर्धारित किया जाता है, और एक तेज चढ़ाई फिर से की जाती है। इस विधि द्वारा इष्टतम की ओर बढ़ने की प्रक्रिया में, नियमित सांख्यिकीय विश्लेषणमध्यवर्ती खोज परिणाम। जब प्रतिगमन समीकरण में द्विघात प्रभाव महत्वपूर्ण हो जाते हैं तो खोज समाप्त कर दी जाती है। इसका मतलब है कि इष्टतम क्षेत्र तक पहुंच गया है।
आइए दो चर के एक फ़ंक्शन के उदाहरण का उपयोग करके ग्रेडिएंट विधियों का उपयोग करने के सिद्धांत का वर्णन करें
दो अतिरिक्त शर्तों के अधीन:
यह सिद्धांत (बिना परिवर्तन के) किसी भी संख्या में चर, साथ ही अतिरिक्त शर्तों पर लागू किया जा सकता है। समतल x 1, x 2 (चित्र 1) पर विचार करें। सूत्र (8) के अनुसार, प्रत्येक बिंदु F के एक निश्चित मान से मेल खाता है। चित्र 1 में, इस तल से संबंधित रेखाएँ F = const बिंदु M * के आसपास बंद वक्रों द्वारा दर्शायी जाती हैं, जहाँ F न्यूनतम है। मान लीजिए प्रारंभिक क्षण में मान x 1 और x 2 बिंदु M 0 के अनुरूप हैं। गणना चक्र परीक्षण चरणों की एक श्रृंखला के साथ शुरू होता है। सबसे पहले, x 1 को एक छोटा वेतन वृद्धि दी जाती है; इस समय, x 2 का मान अपरिवर्तित है। फिर एफ के मूल्य में परिणामी वृद्धि निर्धारित की जाती है, जिसे आंशिक व्युत्पन्न के मूल्य के समानुपाती माना जा सकता है
(यदि मान हमेशा समान होता है)।
आंशिक व्युत्पन्न (10) और (11) की परिभाषा का अर्थ है कि निर्देशांक वाला एक वेक्टर और पाया जाता है, जिसे F का ग्रेडिएंट कहा जाता है और इसे निम्नानुसार दर्शाया जाता है:
यह ज्ञात है कि इस वेक्टर की दिशा एफ के मूल्य में सबसे तेज वृद्धि की दिशा के साथ मेल खाती है। इसके विपरीत दिशा "सबसे तेज वंश" है, दूसरे शब्दों में, एफ के मूल्य में सबसे तेज कमी।
ढाल के घटकों को खोजने के बाद, परीक्षण आंदोलनों को रोक दिया जाता है और काम करने के चरणों को ढाल की दिशा के विपरीत दिशा में किया जाता है, और चरण का आकार जितना बड़ा होता है, वेक्टर ग्रेड एफ का निरपेक्ष मान उतना ही अधिक होता है। शर्तों को महसूस किया जाता है यदि कार्य चरणों के मूल्य और आंशिक डेरिवेटिव के पहले प्राप्त मूल्यों के समानुपाती हैं:
जहां बी एक सकारात्मक स्थिरांक है।
प्रत्येक कार्य चरण के बाद, F की वृद्धि का अनुमान लगाया जाता है। यदि यह नकारात्मक हो जाता है, तो आंदोलन सही दिशा में है और आपको उसी दिशा में आगे बढ़ने की आवश्यकता है M 0 M 1 आगे। यदि बिंदु एम 1 पर माप परिणाम दिखाता है कि, तो काम करने की गति बंद हो जाती है और परीक्षण आंदोलनों की एक नई श्रृंखला शुरू होती है। इस मामले में, ग्रेडिएंट ग्रेडएफ एक नए बिंदु एम 1 पर निर्धारित किया जाता है, फिर काम करने की गति सबसे तेज वंश की नई मिली दिशा के साथ जारी रहती है, यानी लाइन के साथ एम 1 एम 2 , आदि। इस विधि को सबसे तेज अवतरण/सबसे तेज चढ़ाई विधि कहा जाता है।
जब सिस्टम न्यूनतम के पास होता है, जो कि मात्रा के एक छोटे से मूल्य द्वारा इंगित किया जाता है
एक अधिक "सतर्क" खोज विधि, तथाकथित ढाल विधि के लिए एक स्विच है। यह सबसे तेज अवरोही विधि से भिन्न है जिसमें ग्रेडिएंट ग्रेडफ का निर्धारण करने के बाद, केवल एक कार्यशील चरण बनाया जाता है, और फिर एक नए बिंदु पर परीक्षण आंदोलनों की एक श्रृंखला फिर से शुरू होती है। खोज की यह विधि सबसे तेज अवरोही विधि की तुलना में न्यूनतम की अधिक सटीक स्थापना प्रदान करती है, जबकि बाद वाली आपको न्यूनतम तक जल्दी पहुंचने की अनुमति देती है। यदि खोज के दौरान बिंदु M अनुमेय क्षेत्र की सीमा तक पहुँचता है और कम से कम एक मान M 1 , M 2 संकेत बदलता है, तो विधि बदल जाती है और बिंदु M क्षेत्र की सीमा के साथ आगे बढ़ना शुरू कर देता है।
खड़ी चढ़ाई विधि की प्रभावशीलता चर के पैमाने और प्रतिक्रिया सतह के प्रकार की पसंद पर निर्भर करती है। गोलाकार आकृति वाली सतह इष्टतम तक तेजी से संकुचन सुनिश्चित करती है।
खड़ी चढ़ाई विधि के नुकसान में शामिल हैं:
1. एक्सट्रपलेशन की सीमा। ढाल के साथ चलते हुए, हम संबंधित चर के संबंध में उद्देश्य फ़ंक्शन के आंशिक डेरिवेटिव के एक्सट्रपलेशन पर भरोसा करते हैं। हालांकि, प्रतिक्रिया सतह का आकार बदल सकता है और खोज की दिशा बदलना आवश्यक है। दूसरे शब्दों में, विमान पर गति निरंतर नहीं हो सकती है।
2. वैश्विक इष्टतम खोजने में कठिनाई। विधि केवल स्थानीय ऑप्टिमा खोजने के लिए लागू है।
व्याख्यान संख्या 8
ढाल के तरीकेसमस्या को सुलझाना गैर-रेखीय प्रोग्रामिंग. दंड कार्यों के तरीके। संचालन अनुसंधान समस्याओं के लिए गैर-रेखीय प्रोग्रामिंग अनुप्रयोग।
सीमा के बिना कार्य।सामान्यतया, किसी भी गैर-रेखीय समस्या को ग्रेडिएंट विधि द्वारा हल किया जा सकता है। हालाँकि, इस मामले में केवल एक स्थानीय चरम सीमा पाई जाती है। इसलिए, उत्तल प्रोग्रामिंग समस्याओं को हल करने के लिए इस पद्धति को लागू करना अधिक समीचीन है जिसमें कोई भी स्थानीय चरम भी वैश्विक है (प्रमेय 7.6 देखें)।
हम एक अरैखिक अवकलनीय फलन को अधिकतम करने की समस्या पर विचार करेंगे एफ(एक्स) अधिकतम बिंदु के लिए ढाल खोज का सार एक्स* बहुत सरल: आपको एक मनमाना बिंदु लेने की आवश्यकता है एक्स 0 और इस बिंदु पर परिकलित ग्रेडिएंट का उपयोग करके, उस दिशा का निर्धारण करें जिसमें एफ(एक्स) उच्चतम दर से बढ़ता है (चित्र 7.4),
और फिर, मिली दिशा में एक छोटा कदम उठाते हुए, एक नए बिंदु पर जाएँ एक्स मैं. फिर अगले बिंदु पर जाने के लिए सबसे अच्छी दिशा निर्धारित करें एक्स 2, आदि अंजीर में। 7.4 खोज पथ एक टूटी हुई रेखा है एक्स 0 , एक्स 1 , एक्स 2 ... इस प्रकार, बिंदुओं का एक क्रम बनाना आवश्यक है एक्स 0 , एक्स 1 , एक्स 2 ,...,एक्स k , ... ताकि यह अधिकतम बिंदु तक परिवर्तित हो जाए एक्स*, यानी, अनुक्रम के बिंदुओं के लिए, शर्तें
ढाल के तरीके, एक नियम के रूप में, अनंत चरणों में सटीक समाधान प्राप्त करना संभव बनाते हैं, और केवल कुछ मामलों में सीमित संख्या में। इस संबंध में, ढाल विधियों को समाधान के अनुमानित तरीकों के रूप में संदर्भित किया जाता है।
एक बिंदु से आंदोलन एक्स केएक नए मुकाम पर एक्सके+1बिंदु से गुजरने वाली एक सीधी रेखा के साथ किया जाता है एक्स केऔर समीकरण होने
(7.29)
जहां k एक संख्यात्मक पैरामीटर है जिस पर चरण आकार निर्भर करता है। जैसे ही समीकरण (7.29) में पैरामीटर मान का चयन किया जाता है: k =λ k 0 , खोज पॉलीलाइन पर अगला बिंदु परिभाषित हो जाता है।
चरण आकार चुनने के तरीके में ढाल के तरीके एक दूसरे से भिन्न होते हैं - पैरामीटर k 0 का मान k । उदाहरण के लिए, एक स्थिर चरण k = के साथ एक बिंदु से दूसरे बिंदु पर जाना संभव है, अर्थात, किसी के लिए भी क
अगर यह पता चला है कि 
, तो आपको बिंदु पर वापस जाना चाहिए और पैरामीटर के मान को कम करना चाहिए, उदाहरण के लिए, to λ
/2.
कभी-कभी चरण आकार को ढाल के मापांक के समानुपाती लिया जाता है।
यदि एक अनुमानित समाधान मांगा जाता है, तो निम्नलिखित विचारों के आधार पर खोज को समाप्त किया जा सकता है। की प्रत्येक श्रृंखला के बाद निश्चित संख्याचरण उद्देश्य फ़ंक्शन के प्राप्त मूल्यों की तुलना करते हैं एफ(एक्स) यदि अगली श्रृंखला के बाद परिवर्तन एफ(एक्स) कुछ पूर्वनिर्धारित छोटी संख्या से अधिक नहीं है, खोज समाप्त कर दी गई है और मूल्य पहुंच गया है एफ(एक्स) वांछित अनुमानित अधिकतम के रूप में माना जाता है, और संबंधित एक्सके लिए ले एक्स*.
यदि उद्देश्य कार्य एफ(एक्स) अवतल (उत्तल), फिर आवश्यक और पर्याप्त स्थितिबिंदु इष्टतमता एक्स* उस बिंदु पर फ़ंक्शन का शून्य ढाल है।
ढाल खोज के एक सामान्य प्रकार को सबसे तेज चढ़ाई विधि कहा जाता है। इसका सार इस प्रकार है। एक बिंदु पर ढाल को परिभाषित करने के बाद एक्स केएक सीधी रेखा के साथ आंदोलन 
बिंदु पर उत्पादित एक्स के+ 1 , जिसमें फ़ंक्शन का अधिकतम मान पहुँच जाता है एफ(एक्स) ढाल की दिशा में। फिर इस बिंदु पर फिर से ढाल निर्धारित किया जाता है, और आंदोलन एक सीधी रेखा में बिंदु पर नए ढाल की दिशा में किया जाता है एक्स के+ 2 , जहां इस दिशा में अधिकतम मूल्य पहुंच गया है एफ(एक्स) बिंदु तक पहुंचने तक आंदोलन जारी रहता है। एक्स* उद्देश्य समारोह के सबसे बड़े मूल्य के अनुरूप एफ(एक्स) अंजीर पर। 7.5 आंदोलन की योजना को इष्टतम बिंदु तक दिखाता है एक्स*सबसे तेज वृद्धि की विधि। इस मामले में, बिंदु पर ढाल की दिशा एक्स केसतह स्तर रेखा के स्पर्शरेखा है एफ(एक्स) बिंदु पर एक्स के+ 1 , इसलिए बिंदु पर ढाल एक्स के+ 1 ढाल के लिए ओर्थोगोनल है (चित्र 7.4 से तुलना करें)।
एक बिंदु से आगे बढ़ना एक्स केएक बिंदु तक समारोह में वृद्धि के साथ है एफ(एक्स) मूल्य से
यह व्यंजक (7.30) से देखा जा सकता है कि वृद्धि चर का एक फलन है, अर्थात। फ़ंक्शन का अधिकतम पता लगाने पर एफ(x) ग्रेडिएंट की दिशा में) मूवमेंट स्टेप (गुणक) को चुनना आवश्यक है जो फ़ंक्शन की वृद्धि में सबसे बड़ी वृद्धि प्रदान करता है, अर्थात् फ़ंक्शन। जिस मूल्य पर उच्चतम मूल्य, फ़ंक्शन के चरम के लिए आवश्यक शर्त से निर्धारित किया जा सकता है:
(7.31)
आइए हम समानता (7.30) में अंतर करके अवकलज के लिए व्यंजक कैसे प्राप्त करें? जटिल कार्य:
इस परिणाम को समानता (7.31) में प्रतिस्थापित करने पर, हम प्राप्त करते हैं
इस समानता की एक सरल ज्यामितीय व्याख्या है: अगले बिंदु पर ढाल एक्स के+ 1, पिछले बिंदु पर ढाल के लिए ओर्थोगोनल एक्स के.
इस सतह की समतल रेखाओं का निर्माण किया जाता है। इस प्रयोजन के लिए, समीकरण को रूप में घटाया जाता है ( एक्स 1 -1) 2 + (x 2 -2) 2 \u003d 5-0.5 एफ, जिससे यह स्पष्ट है कि विमान के समानांतर विमानों के साथ परवलयिक के प्रतिच्छेदन की रेखाएं एक्स 1 ओ एक्स 2 (स्तर रेखाएँ) त्रिज्या के वृत्त हैं। पर एफ=-150, -100, -50 उनकी त्रिज्याएँ क्रमशः बराबर होती हैं
, और उभयनिष्ठ केंद्र बिंदु (1; 2) पर है। इस फ़ंक्शन का ग्रेडिएंट खोजें: मैं कदम. हम गणना करते हैं:
अंजीर पर। 7.6 मूल बिंदु के साथ एक्स 0 =(5; 10) वेक्टर 1/16 का निर्माण किया गया है, जो बिंदु पर फ़ंक्शन की सबसे तेज़ वृद्धि की दिशा को दर्शाता है एक्स 0. अगला बिंदु इस दिशा में स्थित है। इस समय ।
शर्त (7.32) का उपयोग करते हुए, हम प्राप्त करते हैं
या 1-4=0, जहां से = 1/4। चूँकि , तब पाया गया मान अधिकतम बिंदु है। हम देखतें है एक्स 1 =(5-16/4; 10-32/4)=(1; 2).
द्वितीय चरण. दूसरे चरण के लिए प्रारंभिक बिंदु एक्स 1 =(1; 2)। परिकलित करें =(-4∙1 +4; -4∙2+8)=(0; 0)। फलस्वरूप, एक्स 1 =(1; 2) एक स्थिर बिंदु है। लेकिन जबसे दिया गया कार्यअवतल, फिर पाया बिंदु (1; 2) पर वैश्विक अधिकतम पर पहुंच जाता है।
रैखिक बाधाओं के साथ समस्या। हम तुरंत ध्यान दें कि यदि उद्देश्य कार्य एफ(एक्स) एक विवश समस्या में एक ही चरम है और यह स्वीकार्य क्षेत्र के अंदर है, तो चरम को खोजने के लिए एक्स* उपरोक्त पद्धति बिना किसी संशोधन के लागू होती है।
रैखिक बाधाओं के साथ उत्तल प्रोग्रामिंग समस्या पर विचार करें:
(7.34)
यह मान लिया है कि एफ(एक्स) एक अवतल फलन है और स्वीकार्य क्षेत्र के प्रत्येक बिंदु पर निरंतर आंशिक अवकलज है।
आइए समस्या को हल करने की प्रक्रिया के ज्यामितीय चित्रण से शुरू करें (चित्र 7.7)। चलो प्रारंभिक बिंदु एक्स 0 अनुमत क्षेत्र के अंदर स्थित है। एक बिंदु से एक्स 0 आप ग्रेडिएंट की दिशा में तब तक आगे बढ़ सकते हैं जब तक एफ(एक्स) अधिकतम तक नहीं पहुंचेगा। हमारे मामले में एफ(एक्स) हर समय बढ़ता है, इसलिए आपको बिंदु पर रुकने की जरूरत है एक्स, सीमा रेखा पर। जैसा कि चित्र से देखा जा सकता है, ढाल की दिशा में आगे बढ़ना असंभव है, क्योंकि हम स्वीकार्य क्षेत्र को छोड़ देंगे। इसलिए, आंदोलन की एक और दिशा खोजना आवश्यक है, जो एक तरफ, स्वीकार्य क्षेत्र से बाहर नहीं जाता है, और दूसरी तरफ, सबसे बड़ी वृद्धि सुनिश्चित करता है एफ(एक्स) ऐसी दिशा वेक्टर का निर्धारण करेगी, जो वेक्टर के साथ सबसे छोटा है तेज़ कोनेएक बिंदु से बाहर जाने वाले किसी अन्य वेक्टर की तुलना में एक्स मैंऔर स्वीकार्य क्षेत्र में झूठ बोल रहा है। विश्लेषणात्मक रूप से, इस तरह के वेक्टर को स्केलर उत्पाद को अधिकतम करने की स्थिति से पाया जा सकता है 
. इस मामले में, सबसे लाभप्रद दिशा का संकेत देने वाला वेक्टर सीमा रेखा के साथ मेल खाता है।
 |
इस प्रकार, अगले चरण में, सीमा रेखा के साथ तब तक चलना आवश्यक है जब तक एफ(एक्स); हमारे मामले में - बिंदु तक एक्स 2. यह चित्र से देखा जा सकता है कि आगे वेक्टर की दिशा में आगे बढ़ना चाहिए, जो कि स्केलर उत्पाद को अधिकतम करने की स्थिति से पाया जाता है
, यानी, सीमा रेखा के साथ। आंदोलन एक बिंदु पर समाप्त होता है एक्स 3 , चूंकि ऑप्टिमाइज़ेशन खोज इस बिंदु पर समाप्त होती है, फ़ंक्शन के बाद से एफ(एक्स) यह है स्थानीय अधिकतम. इस बिंदु पर अवतलता के कारण एफ(एक्स) स्वीकार्य क्षेत्र में वैश्विक अधिकतम तक भी पहुंच जाता है। अधिकतम बिंदु पर ढाल एक्स 3 =एक्स* वैध क्षेत्र से गुजरने वाले किसी भी वेक्टर के साथ एक अधिक कोण बनाता है एक्स 3, इसीलिए अदिश उत्पादकिसी भी स्वीकार्य के लिए नकारात्मक होगा आरके, अलावा आर 3 सीमा रेखा के साथ निर्देशित। इसके लिए, अदिश गुणनफल = 0, चूँकि और परस्पर लंबवत हैं (सीमा रेखा सतह की समतल रेखा को स्पर्श करती है) एफ(एक्स) अधिकतम बिंदु से गुजरना एक्स*)। यह समानता एक विश्लेषणात्मक संकेत के रूप में कार्य करती है कि बिंदु पर एक्स 3 समारोह एफ(एक्स) अपने चरम पर पहुंच गया। अब समस्या के विश्लेषणात्मक समाधान पर विचार करें (7.33) - (7.35)। यदि अनुकूलन खोज स्वीकार्य क्षेत्र में स्थित एक बिंदु से शुरू होती है (समस्या की सभी बाधाओं को सख्त असमानताओं के रूप में संतुष्ट किया जाता है), तो व्यक्ति को ऊपर की स्थापना के अनुसार ढाल की दिशा में आगे बढ़ना चाहिए। हालांकि, अब चुनाव kसमीकरण (7.29) में इस आवश्यकता से जटिल है कि अगला बिंदु स्वीकार्य क्षेत्र में रहता है। इसका मतलब है कि इसके निर्देशांक को बाधाओं (7.34), (7.35) को पूरा करना चाहिए, यानी असमानताओं को संतुष्ट करना चाहिए:
(7.36)
सिस्टम को हल करना रैखिक असमानताएं(7.36), हम पैरामीटर के स्वीकार्य मूल्यों का खंड पाते हैं k, जिसके तहत बिंदु x k +1 स्वीकार्य क्षेत्र से संबंधित होगा।
अर्थ कश्मीर *समीकरण (7.32) को हल करने के परिणामस्वरूप निर्धारित:
जिस पर एफ(एक्स) में स्थानीय अधिकतम है kदिशा में खंड से संबंधित होना चाहिए। यदि पाया गया मान kनिर्दिष्ट खंड से आगे जाता है, फिर जैसे कश्मीर *मिला है । इस मामले में, खोज प्रक्षेपवक्र का अगला बिंदु सिस्टम की असमानता (7.36) के अनुरूप सीमा हाइपरप्लेन पर निकलता है, जिसके अनुसार सिस्टम को हल करते समय सही समापन बिंदु प्राप्त किया गया था। स्वीकार्य पैरामीटर मानों का अंतराल k.
यदि अनुकूलन खोज सीमा हाइपरप्लेन पर पड़े एक बिंदु से शुरू होती है, या खोज प्रक्षेपवक्र का अगला बिंदु सीमा हाइपरप्लेन पर निकला है, तो अधिकतम बिंदु पर आगे बढ़ने के लिए, सबसे पहले, यह आवश्यक है आंदोलन की सर्वोत्तम दिशा खोजें। इसके लिए, गणितीय प्रोग्रामिंग की एक सहायक समस्या को हल करना आवश्यक है, अर्थात्, फ़ंक्शन को अधिकतम करने के लिए
प्रतिबंधों के तहत
उन लोगों के लिए टी, जिस पर
कहाँ पे 
.
समस्या (7.37) - (7.40) को हल करने के परिणामस्वरूप, एक वेक्टर मिलेगा जो ढाल के साथ सबसे छोटा न्यून कोण बनाता है।
स्थिति (7.39) कहती है कि बिंदु स्वीकार्य क्षेत्र की सीमा से संबंधित है, और स्थिति (7.38) का अर्थ है कि वेक्टर के साथ विस्थापन स्वीकार्य क्षेत्र के अंदर या इसकी सीमा के साथ निर्देशित किया जाएगा। के मान को सीमित करने के लिए सामान्यीकरण की स्थिति (7.40) आवश्यक है, क्योंकि अन्यथा उद्देश्य फ़ंक्शन (7.37) के मान को मनमाने ढंग से बड़ा बनाया जा सकता है। विभिन्न रूपसामान्यीकरण की स्थिति, और इस समस्या के आधार पर (7.37) - (7.40) रैखिक या गैर-रेखीय हो सकती है।
दिशा निर्धारित करने के बाद, मान पाया जाता है कश्मीर *अगले बिंदु के लिए 
खोज प्रक्षेपवक्र। इस मामले में, आवश्यक चरम स्थिति का उपयोग समीकरण (7.32) के समान रूप में किया जाता है, लेकिन वेक्टर के प्रतिस्थापन के साथ, अर्थात।
(7.41)
बिंदु पर पहुंचने पर अनुकूलन खोज बंद हो जाती है एक्स के *, जिसमें 
.
उदाहरण 7.5.बाधाओं के तहत एक समारोह को अधिकतम करें
समाधान।अनुकूलन प्रक्रिया के एक दृश्य प्रतिनिधित्व के लिए, हम इसके साथ एक ग्राफिक चित्रण करेंगे। चित्र 7.8 किसी दिए गए सतह की कई स्तरीय रेखाएँ और OABS के एक स्वीकार्य क्षेत्र को दर्शाता है जिसमें एक बिंदु खोजना है एक्स* जो इस फ़ंक्शन को अधिकतम प्रदान करता है (उदाहरण 7 4 देखें)।
आइए अनुकूलन खोज शुरू करें, उदाहरण के लिए, बिंदु से एक्स 0 =(4, 2,5) सीमा रेखा AB . पर स्थित है एक्स 1 +4एक्स 2=14. जिसमें एफ(एक्स 0)=4,55.
ग्रेडिएंट का मान ज्ञात कीजिए
बिंदु पर एक्स 0. इसके अलावा, यह इस आंकड़े से देखा जा सकता है कि से अधिक अंक वाली स्तर रेखाएं एफ(एक्स 0)=4.55। एक शब्द में, आपको एक दिशा देखने की जरूरत है आर 0 =(आर 01 , आर 02) अगले बिंदु पर जा रहे हैं एक्स 1 इष्टतम के करीब। इसके लिए, हम बाधाओं के तहत फ़ंक्शन को अधिकतम करने की समस्या (7.37) - (7.40) को हल करते हैं
 |
बिंदु के बाद से एक्स 0 केवल एक (प्रथम) सीमा रेखा पर स्थित है ( मैं=1) एक्स 1 +4एक्स 2=14, तो स्थिति (7.38) को समानता के रूप में लिखा जाता है।
इस समस्या के प्रतिबंधात्मक समीकरणों की प्रणाली में केवल दो समाधान हैं (-0.9700; 0.2425) और (0.9700; -0.2425) उन्हें सीधे फ़ंक्शन में प्रतिस्थापित करके टी 0 अधिकतम पर सेट करें टी 0 गैर-शून्य है और (-0.9700; 0.2425) को हल करके पहुंचा जाता है, इस प्रकार, से आगे बढ़ें एक्स 0 वेक्टर की दिशा में आवश्यक है आर 0 \u003d (0.9700; 0.2425), यानी सीमा रेखा बीए के साथ।
अगले बिंदु के निर्देशांक निर्धारित करने के लिए एक्स 1 =(एक्स 11 ; एक्स 12)
(7.42)
उस पैरामीटर का मान ज्ञात करना आवश्यक है जिस पर फ़ंक्शन एफ(एक्स) बिंदु पर एक्स
कहां से =2.0618. वहीं = -0.3999<0. Значит,=2,0618. По формуле (7.42) находим координаты новой точки х 1 (2; 3).
यदि हम अनुकूलन खोज जारी रखते हैं, तो अगली सहायक समस्या (7.37) - (7.40) को हल करते समय यह पाया जाएगा कि 1 = 
, जिसका अर्थ है कि बिंदु x 1 स्वीकार्य क्षेत्र में उद्देश्य फ़ंक्शन का अधिकतम बिंदु x* है। इसे बिंदु x 1 पर आकृति से देखा जा सकता है कि एक स्तर रेखा स्वीकार्य क्षेत्र की सीमा को छूती है। इसलिए, बिंदु x 1 अधिकतम x* का बिंदु है। जिसमें एफअधिकतम = एफ(एक्स*)=5,4.
 |
नॉनलाइनियर बाधाओं के साथ एक समस्या। यदि रैखिक बाधाओं के साथ समस्याओं में, सीमा रेखाओं के साथ आंदोलन संभव और समीचीन हो जाता है, तो गैर-रेखीय बाधाओं के साथ जो उत्तल क्षेत्र को परिभाषित करते हैं, सीमा बिंदु से कोई भी मनमाने ढंग से छोटा विस्थापन तुरंत व्यवहार्य समाधान के क्षेत्र की सीमा से आगे बढ़ सकता है , और अनुमेय क्षेत्र में लौटने की आवश्यकता होगी (चित्र। 7.9)। इसी तरह की स्थिति उन समस्याओं के लिए विशिष्ट होती है जिनमें फ़ंक्शन का चरम होता है एफ(एक्स) क्षेत्र की सीमा पर पहुँच जाता है। इस कारण विभिन्न
आंदोलन के तरीके जो सीमा के पास और अनुमेय क्षेत्र के अंदर स्थित बिंदुओं के अनुक्रम का निर्माण प्रदान करते हैं, या बाद की सीमा को पार करते हुए ज़िगज़ैग आंदोलन करते हैं। जैसा कि आंकड़े से देखा जा सकता है, बिंदु x 1 से अनुमेय क्षेत्र में वापसी सीमा समारोह के ढाल के साथ की जानी चाहिए जो कि उल्लंघन किया गया था। यह सुनिश्चित करेगा कि अगला बिंदु x 2 चरम बिंदु x* की ओर भटकता है। ऐसे मामले में, एक चरम का संकेत वैक्टर और की संपार्श्विकता होगी।
आइए हम कई चरों के एक अलग-अलग फ़ंक्शन के बिना शर्त न्यूनतमकरण की समस्या पर विचार करें। मान लीजिए कि एक बिंदु पर ग्रेडिएंट का मान न्यूनतम है। नीचे दी गई ग्रेडिएंट विधि में, बिंदु से वंश की दिशा सीधे चुनी जाती है। इस प्रकार, ग्रेडिएंट विधि के अनुसार
चरण चुनने के कई तरीके हैं, जिनमें से प्रत्येक ग्रेडिएंट विधि के एक निश्चित प्रकार को परिभाषित करता है।
1. सबसे तेज अवतरण की विधि।
एक अदिश चर के एक फ़ंक्शन पर विचार करें और उस मान के रूप में चुनें जिसके लिए समानता
1845 में ओ. कॉची द्वारा प्रस्तावित इस विधि को अब सबसे तेज अवतरण विधि कहा जाता है।
अंजीर पर। 10.5 दो चरों के एक फलन को न्यूनतम करने के लिए इस पद्धति का एक ज्यामितीय चित्रण दिखाता है। प्रारंभिक बिंदु से, लंबवत दिशा में स्तर रेखा तक, अवरोहण तब तक जारी रहता है जब तक कि किरण के साथ फ़ंक्शन का न्यूनतम मान नहीं पहुंच जाता। पाए गए बिंदु पर, यह किरण स्तर रेखा को छूती है। फिर, बिंदु से एक दिशा में लंबवत स्तर रेखा तक एक वंश बनाया जाता है जब तक कि संबंधित बीम बिंदु पर इस बिंदु से गुजरने वाली स्तर रेखा को स्पर्श नहीं करता है, आदि।
हम ध्यान दें कि प्रत्येक पुनरावृत्ति पर चरण की पसंद का तात्पर्य एक-आयामी न्यूनीकरण समस्या (10.23) के समाधान से है। कभी-कभी यह ऑपरेशन विश्लेषणात्मक रूप से किया जा सकता है, उदाहरण के लिए, द्विघात फ़ंक्शन के लिए।
हम द्विघात फलन को न्यूनतम करने के लिए सबसे तेज अवरोही विधि लागू करते हैं
एक सममित सकारात्मक निश्चित मैट्रिक्स ए के साथ।
सूत्र (10.8) के अनुसार, इस स्थिति में, सूत्र (10.22) इस तरह दिखता है:
नोटिस जो
यह फ़ंक्शन पैरामीटर a का द्विघात फ़ंक्शन है और ऐसे मान पर न्यूनतम तक पहुंचता है जिसके लिए
इस प्रकार, जैसा कि द्विघात के न्यूनीकरण पर लागू होता है
फ़ंक्शन (10.24), सबसे तेज वंश विधि सूत्र (10.25) द्वारा गणना के बराबर है, जहां
टिप्पणी 1. चूंकि फ़ंक्शन का न्यूनतम बिंदु (10.24) सिस्टम के समाधान के साथ मेल खाता है, सबसे तेज अवरोही विधि (10.25), (10.26) का उपयोग रैखिक बीजगणितीय समीकरणों के सिस्टम को सममित सकारात्मक के साथ हल करने के लिए एक पुनरावृत्त विधि के रूप में भी किया जा सकता है। निश्चित मैट्रिक्स।
टिप्पणी 2. ध्यान दें कि रेले संबंध कहां है (देखें 8.1)।
उदाहरण 10.1। हम द्विघात फलन को न्यूनतम करने के लिए सबसे तेज अवरोही विधि लागू करते हैं
ध्यान दें कि इसलिए, न्यूनतम बिंदु का सटीक मूल्य हमें पहले से पता है। हम इस फ़ंक्शन को फॉर्म (10.24) में लिखते हैं, जहां मैट्रिक्स और वेक्टर जैसा कि यह देखना आसान है,
हम प्रारंभिक सन्निकटन लेते हैं और हम सूत्रों (10.25), (10.26) का उपयोग करके गणना करेंगे।
मैं पुनरावृत्ति।
द्वितीय पुनरावृत्ति।
यह दिखाया जा सकता है कि पुनरावृत्ति के दौरान सभी के लिए मान प्राप्त किए जाएंगे
ध्यान दें कि इस प्रकार के साथ,
सबसे तेज अवरोही विधि द्वारा प्राप्त अनुक्रम एक ज्यामितीय प्रगति की दर से अभिसरण करता है, जिसका हर है
अंजीर पर। 10.5 इस उदाहरण में प्राप्त किए गए मूल प्रक्षेपवक्र को ठीक से दिखाता है।
द्विघात फलन को न्यूनतम करने के मामले में, निम्नलिखित सामान्य परिणाम होता है।
प्रमेय 10.1। मान लीजिए कि A एक सममित धनात्मक निश्चित आव्यूह है और द्विघात फलन (10.24) को न्यूनतम किया जाए। फिर, प्रारंभिक सन्निकटन के किसी भी विकल्प के लिए, सबसे तेज अवरोही विधि (10.25), (10.26) अभिसरण करती है और निम्नलिखित त्रुटि अनुमान सत्य है:
यहाँ और लाडो मैट्रिक्स A के न्यूनतम और अधिकतम eigenvalues हैं।
ध्यान दें कि यह विधि एक ज्यामितीय प्रगति की दर से अभिसरण करती है, जिसका हर, इसके अलावा, यदि वे करीब हैं, तो यह छोटा है और विधि जल्दी से परिवर्तित हो जाती है। उदाहरण के लिए, उदाहरण 10.1 में हमारे पास है और इसलिए, यदि Asch, तो 1 है, और हमें सबसे तेज अवरोही विधि के धीरे-धीरे अभिसरण की अपेक्षा करनी चाहिए।
उदाहरण 10.2। प्रारंभिक सन्निकटन पर द्विघात फ़ंक्शन को कम करने के लिए सबसे तेज वंश विधि का अनुप्रयोग सन्निकटन का एक क्रम देता है जहां वंश का प्रक्षेपवक्र अंजीर में दिखाया गया है। 10.6
अनुक्रम यहाँ एक ज्यामितीय प्रगति की दर से परिवर्तित होता है, जिसका हर, यानी, बहुत धीमा है,
पिछले उदाहरण की तुलना में। चूँकि यहाँ प्राप्त परिणाम अनुमान (10.27) के पूर्ण अनुरूप है।
टिप्पणी 1. हमने उस स्थिति में जब उद्देश्य फलन द्विघात है, सबसे तेज अवरोही विधि के अभिसरण पर एक प्रमेय तैयार किया है। सामान्य स्थिति में, यदि कम से कम किया जा रहा फ़ंक्शन सख्ती से उत्तल है और इसमें न्यूनतम बिंदु x है, तो प्रारंभिक सन्निकटन की पसंद की परवाह किए बिना, इस विधि द्वारा प्राप्त अनुक्रम x में परिवर्तित हो जाता है। इस मामले में, न्यूनतम बिंदु के पर्याप्त रूप से छोटे पड़ोस में गिरने के बाद, अभिसरण रैखिक हो जाता है और संबंधित ज्यामितीय प्रगति के हर को ऊपर से मूल्य और जहां और हेसियन मैट्रिक्स के न्यूनतम और अधिकतम eigenvalues से अनुमान लगाया जाता है
टिप्पणी 2. द्विघात उद्देश्य फलन (10.24) के लिए, एक-आयामी न्यूनीकरण समस्या (10.23) का समाधान एक सरल स्पष्ट सूत्र (10.26) के रूप में पाया जा सकता है। हालांकि, यह अधिकांश अन्य गैर-रैखिक कार्यों के लिए नहीं किया जा सकता है, और सबसे तेज वंश गणना के लिए एक-आयामी न्यूनीकरण के संख्यात्मक तरीकों को लागू करना पड़ता है, जैसे कि पिछले अध्याय में विचार किया गया था।
2. "खड्डों" की समस्या।
ऊपर की चर्चा से यह पता चलता है कि यदि न्यूनतम फ़ंक्शन के लिए स्तर की सतह गोले के करीब होती है (जब स्तर रेखाएं मंडलियों के करीब होती हैं) तो ढाल विधि काफी तेज़ी से परिवर्तित होती है। ऐसे फलनों के लिए, और 1. प्रमेय 10.1, टिप्पणी 1, और उदाहरण 10.2 के परिणाम से संकेत मिलता है कि अभिसरण की दर के मान के रूप में तेजी से घटती है। द्वि-आयामी मामले में, संबंधित सतह की राहत एक खड्ड के साथ इलाके जैसा दिखता है (चित्र 10.7)। इसलिए, ऐसे कार्यों को आमतौर पर गली कहा जाता है। "खड्डे के तल" की विशेषता वाली दिशाओं के साथ, खड्ड का कार्य महत्वहीन रूप से बदलता है, जबकि अन्य दिशाओं में "खड्ड ढलान" को चिह्नित करते हुए, कार्य में एक तेज परिवर्तन होता है।
यदि प्रारंभिक बिंदु "खड्ड ढलान" पर पड़ता है, तो ढाल वंश की दिशा "खड्ड तल" के लगभग लंबवत हो जाती है और अगला सन्निकटन विपरीत "खड्ड ढलान" पर पड़ता है। "खड्ड तल" की ओर अगला कदम मूल "खड्ड ढलान" के दृष्टिकोण को लौटाता है। नतीजतन, "खड्ड तल" के साथ न्यूनतम बिंदु की ओर बढ़ने के बजाय, अवरोही प्रक्षेपवक्र "खड्डे" के पार ज़िगज़ैग कूदता है, लगभग लक्ष्य तक नहीं पहुंच रहा है (चित्र। 10.7)।
घाटी कार्यों को कम करते हुए ढाल विधि के अभिसरण में तेजी लाने के लिए, कई विशेष "खड्डे" विधियों को विकसित किया गया है। आइए सबसे सरल तरीकों में से एक का विचार दें। दो करीबी शुरुआती बिंदुओं से, "खड्ड के नीचे" के लिए एक ढाल वंश बनाया जाता है। पाए गए बिंदुओं के माध्यम से एक सीधी रेखा खींची जाती है, जिसके साथ एक बड़ा "खड्ड" कदम उठाया जाता है (चित्र 10.8)। इस तरह से पाए गए बिंदु से, क्रमिक अवरोही का एक चरण फिर से उस बिंदु तक ले जाया जाता है। फिर बिंदुओं से गुजरने वाली सीधी रेखा के साथ दूसरा "खड्डा" कदम उठाया जाता है। नतीजतन, "खड्ड तल" के साथ न्यूनतम बिंदु तक की गति काफी तेज हो जाती है।
"खड्डों" और "गली" विधियों की समस्या के बारे में अधिक जानकारी पाई जा सकती है, उदाहरण के लिए, में .
3. अवरोही चरण का निर्धारण करने के लिए अन्य दृष्टिकोण।
जैसा कि यह समझना आसान है, प्रत्येक पुनरावृत्ति पर उस दिशा के करीब वंश की दिशा चुनना वांछनीय होगा जिसके साथ आंदोलन बिंदु से बिंदु x तक जाता है। दुर्भाग्य से, एंटीग्रेडिएंट (एक नियम के रूप में, वंश की एक असफल दिशा है। यह विशेष रूप से खड्ड कार्यों के लिए स्पष्ट है। इसलिए, एक-आयामी न्यूनतम समस्या (10.23) के समाधान के लिए गहन खोज की सलाह के बारे में संदेह है। और उस दिशा में केवल एक ऐसा कदम उठाने की इच्छा है जो फ़ंक्शन की "महत्वपूर्ण कमी" प्रदान करे। इसके अलावा, व्यवहार में, कभी-कभी एक मूल्य को परिभाषित करने से संतुष्ट होता है जो केवल उद्देश्य के मूल्य में कमी प्रदान करता है समारोह।
1. ढाल विधियों की अवधारणा।एक निरंतर भिन्न कार्य के चरम के अस्तित्व के लिए एक आवश्यक शर्त फॉर्म की शर्तें हैं
फ़ंक्शन तर्क कहां हैं। अधिक संक्षेप में, इस स्थिति को इस रूप में लिखा जा सकता है
(2.4.1)
किसी दिए गए बिंदु पर फ़ंक्शन के ग्रेडिएंट का पदनाम कहाँ है।
ऑब्जेक्टिव फ़ंक्शन के चरम को निर्धारित करने के लिए ग्रेडिएंट का उपयोग करने वाली अनुकूलन विधियों को कहा जाता है ढाल।वे स्थिर अवस्थाओं के इष्टतम अनुकूली नियंत्रण की प्रणालियों में व्यापक रूप से उपयोग किए जाते हैं, जिसमें खोज इष्टतम (चुने हुए मानदंड के अर्थ में) सिस्टम की स्थिर स्थिति के लिए की जाती है जब इसके पैरामीटर, संरचना या बाहरी प्रभाव बदलते हैं।
समीकरण (2.4.1) सामान्यतः अरैखिक होता है। इसका सीधा समाधान या तो असंभव है या बहुत कठिन। विभिन्न प्रकार के पुनरावर्ती सूत्रों के उपयोग के आधार पर एक चरम बिंदु की खोज के लिए एक विशेष प्रक्रिया का आयोजन करके ऐसे समीकरणों का समाधान खोजना संभव है।
खोज प्रक्रिया एक बहु-चरणीय प्रक्रिया के रूप में बनाई गई है, जिसमें प्रत्येक बाद के चरण में उद्देश्य फ़ंक्शन में वृद्धि या कमी होती है, अर्थात, क्रमशः अधिकतम और न्यूनतम की खोज के मामले में शर्तें पूरी होती हैं:
होकर एनतथा एन- 1 चरणों की संख्या को दर्शाता है, और इसके माध्यम से उद्देश्य फ़ंक्शन के तर्कों के मूल्यों के अनुरूप वैक्टर हैं एन-एम और ( पी- 1)वें चरण। rth चरण के बाद, कोई प्राप्त कर सकता है
यानी r - चरणों के बाद - उद्देश्य फ़ंक्शन अब इसके तर्कों में किसी और बदलाव के साथ नहीं बढ़ेगा (कमी) ;। उत्तरार्द्ध का अर्थ है निर्देशांक के साथ एक बिंदु तक पहुंचना जिसके लिए हम लिख सकते हैं कि
| (2.4.2) | |
| (2.4.3) |
जहां उद्देश्य समारोह का चरम मूल्य है।
हल करने के लिए (2.4.1) सामान्य स्थिति में, निम्नलिखित प्रक्रिया लागू की जा सकती है। आइए हम उद्देश्य फ़ंक्शन निर्देशांक का मान इस रूप में लिखें
जहां कुछ गुणांक (स्केलर) है जो शून्य के बराबर नहीं है।
चरम बिंदु पर, चूंकि
इस प्रकार समीकरण (2.4.1) का हल संभव है यदि किसी प्रारंभिक मान के लिए पुनरावृत्ति प्रक्रिया के अभिसरण की स्थिति संतुष्ट हो।
समीकरण (2.2.) के समाधान के आधार पर निर्धारित करने के तरीके, एक दूसरे से भिन्न होते हैं, यानी, एक चरम की खोज की प्रक्रिया में उद्देश्य फ़ंक्शन को बदलने के चरण की पसंद में। यह कदम स्थायी हो सकता है 
या चर दूसरे मामले में, चरण मान में परिवर्तन का नियम, बदले में, पूर्व निर्धारित किया जा सकता है या। वर्तमान मूल्य पर निर्भर करता है (गैर-रैखिक हो सकता है)।
2. सबसे तेज वंश विधिसबसे तेज अवरोही विधि का विचार यह है कि एक चरम सीमा की खोज ढाल या प्रतिगामी में सबसे बड़े परिवर्तन की दिशा में की जानी चाहिए, क्योंकि यह चरम बिंदु तक पहुंचने का सबसे छोटा रास्ता है। इसे लागू करते समय, सबसे पहले, किसी दिए गए बिंदु पर ढाल की गणना करना और चरण मान चुनना आवश्यक है।
ढाल गणना।चूंकि, अनुकूलन के परिणामस्वरूप, चरम बिंदु के निर्देशांक पाए जाते हैं, जिसके लिए संबंध सत्य है:
फिर ग्रेडिएंट को निर्धारित करने के लिए कम्प्यूटेशनल प्रक्रिया को ऑब्जेक्टिव फ़ंक्शन के स्थान में असतत बिंदुओं पर ग्रेडिएंट के घटकों को निर्धारित करने की प्रक्रिया द्वारा प्रतिस्थापित किया जा सकता है 
 | |
| (2.4.5) |
निर्देशांक में एक छोटा सा परिवर्तन कहाँ है 
मान लें कि ग्रेडिएंट परिभाषा बिंदु बीच में है
खंड तो
पसंद (2.4.5) या (2.4.6) अनुभाग पर फ़ंक्शन की स्थिरता पर निर्भर करता है - कुल्हाड़ी;; यदि खड़ीपन बड़ी नहीं है, तो वरीयता (2.4.5) को दी जानी चाहिए, क्योंकि कम गणनाएं हैं; अन्यथा, (2.4.4) के अनुसार गणना करके अधिक सटीक परिणाम प्राप्त किए जाते हैं। यादृच्छिक विचलन के औसत से ग्रेडिएंट निर्धारित करने की सटीकता बढ़ाना भी संभव है।
चरण मूल्य चयनस्टेप वैल्यू चुनने में कठिनाई यह है कि ग्रेडिएंट की दिशा एक बिंदु से दूसरे बिंदु पर बदल सकती है। इस मामले में, एक बहुत बड़ा कदम इष्टतम प्रक्षेपवक्र से विचलन की ओर ले जाएगा, अर्थात, एक ढाल या प्रतिगामी के साथ दिशा से, और एक बहुत छोटा कदम प्रदर्शन करने की आवश्यकता के कारण एक चरम की ओर बहुत धीमी गति से आंदोलन की ओर ले जाएगा। बड़ी मात्रा में गणना।
चरण मान का अनुमान लगाने के संभावित तरीकों में से एक न्यूटन-रैफसन विधि है। आइए इस धारणा के तहत एक-आयामी मामले के उदाहरण पर विचार करें कि चरम समीकरण के समाधान द्वारा निर्धारित बिंदु पर पहुंच गया है (चित्र 2.4.2)।
खोज को एक बिंदु से शुरू करें और, इस बिंदु के पड़ोस में, फ़ंक्शन को एक अभिसरण टेलर श्रृंखला में विस्तारित किया जा सकता है। फिर
बिंदु पर ढाल की दिशा स्पर्शरेखा की दिशा के समान है। न्यूनतम चरम बिंदु की खोज करते समय, निर्देशांक बदलना एक्सढाल के साथ आगे बढ़ना इस प्रकार लिखा जा सकता है:
चित्र 2.4.2 न्यूटन-रैफसन विधि के अनुसार चरण की गणना करने की योजना।
(2.4.7) को (2.4.8) में प्रतिस्थापित करने पर, हम प्राप्त करते हैं:
चूँकि, इस उदाहरण की स्थिति के अनुसार, मान समीकरण के हल द्वारा निर्धारित बिंदु पर पहुँच जाता है, तो हम ऐसा कदम उठाने का प्रयास कर सकते हैं कि 
यानी टू
एक नया मान बदलें 
लक्ष्य समारोह के लिए। यदि उस बिंदु पर, निर्धारण प्रक्रिया को दोहराया जाता है, जिसके परिणामस्वरूप मूल्य पाया जाता है:
आदि। यदि उद्देश्य फ़ंक्शन में परिवर्तन छोटे हैं, तो गणना बंद हो जाती है, अर्थात।
कहाँ पे – उद्देश्य समारोह का निर्धारण करने में स्वीकार्य त्रुटि।
इष्टतम ढाल विधि।इस पद्धति के पीछे का विचार इस प्रकार है। सबसे तेज अवतरण की सामान्य विधि में, चरण को सामान्य मामले में चुना जाता है [जब] मनमाने ढंग से, केवल इस तथ्य से निर्देशित होता है कि यह एक निश्चित मूल्य से अधिक नहीं होना चाहिए। इष्टतम ग्रेडिएंट विधि में, स्टेप वैल्यू को इस आवश्यकता के आधार पर चुना जाता है कि किसी दिए गए बिंदु से ग्रेडिएंट (एंटी-ग्रेडिएंट) की दिशा में तब तक बढ़ना चाहिए जब तक कि ऑब्जेक्टिव फंक्शन बढ़ता (घटता) नहीं हो जाता। यदि यह आवश्यकता पूरी नहीं होती है, तो आंदोलन को रोकना और आंदोलन की एक नई दिशा (ढाल की दिशा), आदि निर्धारित करना आवश्यक है (जब तक कि इष्टतम बिंदु नहीं मिल जाता)।
इस प्रकार, इष्टतम मान और क्रमशः न्यूनतम और अधिकतम खोजने के लिए, समीकरणों के समाधान से निर्धारित होते हैं:
क्रमशः (1) और (2) में
इसलिए, प्रत्येक चरण की परिभाषा में मूल एक से शुरू होने वाले ढाल के साथ गति के प्रक्षेपवक्र के प्रत्येक बिंदु के लिए समीकरणों (1) या (2) से खोजना शामिल है।
लोड हो रहा है...