7.2 KiB
ಪರ್ವತ ಕಾರ್ ತರಬೇತಿ
OpenAI Gym ಅನ್ನು ಎಲ್ಲಾ ಪರಿಸರಗಳು ಒಂದೇ API ಒದಗಿಸುವಂತೆ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ - ಅಂದರೆ ಒಂದೇ ವಿಧಾನಗಳು reset, step ಮತ್ತು render, ಮತ್ತು ಕ್ರಿಯೆ ಸ್ಥಳ ಮತ್ತು ನಿರೀಕ್ಷಣಾ ಸ್ಥಳ ಎಂಬ ಒಂದೇ ಅವಧಾರಣೆಗಳು. ಆದ್ದರಿಂದ, ಕಡಿಮೆ ಕೋಡ್ ಬದಲಾವಣೆಗಳೊಂದಿಗೆ ವಿಭಿನ್ನ ಪರಿಸರಗಳಿಗೆ ಒಂದೇ ಬಲವರ್ಧಿತ ಕಲಿಕೆ ಆಲ್ಗಾರಿದಮ್ಗಳನ್ನು ಹೊಂದಿಸಲು ಸಾಧ್ಯವಾಗಬೇಕು.
ಪರ್ವತ ಕಾರ್ ಪರಿಸರ
ಪರ್ವತ ಕಾರ್ ಪರಿಸರ ಒಂದು ಕಣಿವೆಗೆ ಸಿಲುಕಿದ ಕಾರನ್ನು ಹೊಂದಿದೆ:
ಗುರಿ ಕಾರ್ ಅನ್ನು ಕಣಿವೆಯಿಂದ ಹೊರತೆಗೆದು ಧ್ವಜವನ್ನು ಹಿಡಿಯುವುದು, ಪ್ರತಿ ಹಂತದಲ್ಲಿ ಕೆಳಗಿನ ಕ್ರಿಯೆಗಳಲ್ಲಿ ಒಂದನ್ನು ಮಾಡುವುದು:
| ಮೌಲ್ಯ | ಅರ್ಥ |
|---|---|
| 0 | ಎಡಕ್ಕೆ ವೇಗ ಹೆಚ್ಚಿಸು |
| 1 | ವೇಗ ಹೆಚ್ಚಿಸಬೇಡಿ |
| 2 | ಬಲಕ್ಕೆ ವೇಗ ಹೆಚ್ಚಿಸು |
ಈ ಸಮಸ್ಯೆಯ ಮುಖ್ಯ ತಂತ್ರವೆಂದರೆ, ಕಾರಿನ ಎಂಜಿನ್ ಪರ್ವತವನ್ನು ಒಂದೇ ಬಾರಿ ಏರುವಷ್ಟು ಶಕ್ತಿಶಾಲಿ ಅಲ್ಲ. ಆದ್ದರಿಂದ, ಯಶಸ್ವಿಯಾಗಲು ಏಕಮಾರ್ಗದಲ್ಲಿ ಹೋದರೆ ಆಗುವುದಿಲ್ಲ, ಬದಲಾಗಿ ಹಿಂದಕ್ಕೆ ಮುಂದೆ ಚಲಿಸಿ ವೇಗವನ್ನು ಸಂಗ್ರಹಿಸಬೇಕು.
ನಿರೀಕ್ಷಣಾ ಸ್ಥಳದಲ್ಲಿ ಕೇವಲ ಎರಡು ಮೌಲ್ಯಗಳಿವೆ:
| ಸಂಖ್ಯೆ | ನಿರೀಕ್ಷಣೆ | ಕನಿಷ್ಠ | ಗರಿಷ್ಠ |
|---|---|---|---|
| 0 | ಕಾರ್ ಸ್ಥಾನ | -1.2 | 0.6 |
| 1 | ಕಾರ್ ವೇಗ | -0.07 | 0.07 |
ಪರ್ವತ ಕಾರ್ ಗೆ ಬಹುಶಃ ಕಷ್ಟಕರವಾದ ಬಹುಮಾನ ವ್ಯವಸ್ಥೆ ಇದೆ:
- ಕಾರ್ ಪರ್ವತದ ಮೇಲ್ಭಾಗದಲ್ಲಿ ಧ್ವಜವನ್ನು ತಲುಪಿದರೆ (ಸ್ಥಾನ = 0.5) 0 ಬಹುಮಾನ ನೀಡಲಾಗುತ್ತದೆ.
- ಕಾರ್ ಸ್ಥಾನ 0.5 ಕಿಂತ ಕಡಿಮೆ ಇದ್ದರೆ -1 ಬಹುಮಾನ ನೀಡಲಾಗುತ್ತದೆ.
ಕಾರ್ ಸ್ಥಾನ 0.5 ಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಥವಾ ಎಪಿಸೋಡ್ ಉದ್ದ 200 ಕ್ಕಿಂತ ಹೆಚ್ಚು ಆಗಿದ್ರೆ ಎಪಿಸೋಡ್ ಮುಗಿಯುತ್ತದೆ.
ಸೂಚನೆಗಳು
ನಮ್ಮ ಬಲವರ್ಧಿತ ಕಲಿಕೆ ಆಲ್ಗಾರಿದಮ್ನ್ನು ಪರ್ವತ ಕಾರ್ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಹೊಂದಿಸಿ. ಇತ್ತೀಚಿನ notebook.ipynb ಕೋಡ್ ನಿಂದ ಪ್ರಾರಂಭಿಸಿ, ಹೊಸ ಪರಿಸರವನ್ನು ಬದಲಿಸಿ, ಸ್ಥಿತಿ ವಿಭಜನೆ ಕಾರ್ಯಗಳನ್ನು ಬದಲಿಸಿ, ಮತ್ತು ಕಡಿಮೆ ಕೋಡ್ ಬದಲಾವಣೆಗಳೊಂದಿಗೆ ಅಲ್ಗಾರಿದಮ್ನ್ನು ತರಬೇತಿಗೆ ಪ್ರಯತ್ನಿಸಿ. ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ಹೊಂದಿಸಿ ಫಲಿತಾಂಶವನ್ನು ಉತ್ತಮಗೊಳಿಸಿ.
ಗಮನಿಸಿ: ಅಲ್ಗಾರಿದಮ್ನ್ನು ಸಮನ್ವಯಗೊಳಿಸಲು ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಹೊಂದಾಣಿಕೆ ಅಗತ್ಯವಾಗಬಹುದು.
ಮೌಲ್ಯಮಾಪನ
| ಮಾನದಂಡ | ಉದಾಹರಣೀಯ | ತೃಪ್ತಿಕರ | ಸುಧಾರಣೆ ಅಗತ್ಯವಿದೆ |
|---|---|---|---|
| Q-ಲರ್ನಿಂಗ್ ಆಲ್ಗಾರಿದಮ್ನ್ನು CartPole ಉದಾಹರಣೆಯಿಂದ ಯಶಸ್ವಿಯಾಗಿ ಹೊಂದಿಸಲಾಗಿದೆ, ಕಡಿಮೆ ಕೋಡ್ ಬದಲಾವಣೆಗಳೊಂದಿಗೆ, 200 ಹಂತಗಳೊಳಗೆ ಧ್ವಜ ಹಿಡಿಯುವ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಸಾಧ್ಯವಾಗಿದೆ. | ಇಂಟರ್ನೆಟ್ನಿಂದ ಹೊಸ Q-ಲರ್ನಿಂಗ್ ಆಲ್ಗಾರಿದಮ್ನ್ನು ಸ್ವೀಕರಿಸಲಾಗಿದೆ, ಆದರೆ ಚೆನ್ನಾಗಿ ದಾಖಲೆ ಮಾಡಲಾಗಿದೆ; ಅಥವಾ ಇತ್ತೀಚಿನ ಆಲ್ಗಾರಿದಮ್ನ್ನು ಸ್ವೀಕರಿಸಲಾಗಿದೆ, ಆದರೆ ಬಯಸಿದ ಫಲಿತಾಂಶಗಳನ್ನು ತಲುಪಲಿಲ್ಲ | ವಿದ್ಯಾರ್ಥಿ ಯಾವುದೇ ಆಲ್ಗಾರಿದಮ್ನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಹೊಂದಿಸಲು ಸಾಧ್ಯವಾಗಲಿಲ್ಲ, ಆದರೆ ಪರಿಹಾರಕ್ಕೆ ಪ್ರಮುಖ ಹಂತಗಳನ್ನು ಕೈಗೊಂಡಿದ್ದಾರೆ (ಸ್ಥಿತಿ ವಿಭಜನೆ, Q-ಟೇಬಲ್ ಡೇಟಾ ರಚನೆ ಇತ್ಯಾದಿ ಅನುಷ್ಠಾನಗೊಳಿಸಲಾಗಿದೆ) |
ಅಸ್ವೀಕಾರ:
ಈ ದಸ್ತಾವೇಜು Co-op Translator ಎಂಬ AI ಅನುವಾದ ಸೇವೆಯನ್ನು ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ಶುದ್ಧತೆಯತ್ತ ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ತಪ್ಪುಗಳು ಅಥವಾ ಅಸತ್ಯತೆಗಳು ಇರಬಹುದು ಎಂದು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ಅಧಿಕೃತ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಮಹತ್ವದ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ ಅಥವಾ ತಪ್ಪು ವಿವರಣೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಾಗುವುದಿಲ್ಲ.