Skip to content
Snippets Groups Projects
Commit b3a16f58 authored by Carsten Eie Frigaard's avatar Carsten Eie Frigaard
Browse files

update

parent c1e994e1
No related branches found
No related tags found
No related merge requests found
Hide whitespace changes
Inline Side-by-side
Showing
with 347 additions and 0 deletions
Html/Dokumentation_og_links.html 0 → 100644
+ 66
− 0
View file @ b3a16f58
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<h3>Web sites</h3>
Primære
<dl>
<dt><span style='font-family: courier new, courier;'>[GITHOML]</span>:
<dd><span style='font-family: courier new, courier;'><a href='https://github.com/ageron/handson-ml2/' rel='noopener' target='_blank'>ithub.com/ageron/handson-ml2/</a></span>
<dt>Scikit-learn:
<dd><span style='font-family: courier new, courier;'><a href='https://scikit-learn.org/stable/' rel='noopener' target='_blank'>cikit-learn.org/stable/</a></span>
<dt>Keras:
<dd><span style='font-family: courier new, courier;'><a href='https://keras.io/' rel='noopener' target='_blank'>eras.io/</a></span>
</dl>
Sekundære
<ul>
<li><span style='font-family: courier new, courier;'><a href='https://jupyter-notebook.readthedocs.io/en/stable/' rel='noopener' target='_blank'>Jupyter: jupyter-notebook.readthedocs.io/en/stable</a></span></li>
<li><span style='font-family: courier new, courier;'><a href='https://anaconda.org/' rel='noopener' target='_blank'>Anaconda Cloud: anaconda.org</a></span></li>
<li><span style='font-family: courier new, courier;'><a href='https://www.tensorflow.org/' rel='noopener' target='_blank'>Tensorflow: www.tensorflow.org</a></span></li>
</ul>
Datakilder
<ul>
<li><span style='font-family: courier new, courier;'><a href='https://www.kaggle.com/' rel='noopener' target='_blank'>Kaggle datasets: www.kaggle.com</a></span></li>
<li><i>Sign in with your email</i> =&gt; genbrug gerne min konto, og undgå tidsplid:
<ul>
<li>user: cef@ase.au.dk</li>
<li>password: test123</li>
</ul>
</li>
</ul>
Dokumentation
<ul>
<li>Brug den inbyggede hjælp i [JPYNP]</li>
<img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/Screenshot_jupyter_help.png' alt='the-missing-link: https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/Screenshot_jupyter_help.png'>
</ul>
Guides etc.
<ul>
<li><span style='font-family: courier new, courier;'><a href='https://www.w3schools.com/python/python_intro.asp' rel='noopener' target='_blank'>A Quick Python intro (short)</a></span></li>
<li><span style='font-family: courier new, courier;'><a href='https://docs.python.org/3/tutorial/' rel='noopener' target='_blank'>A Python tutorial (not so short!)</a></span></li>
<li>Jupyter shortcuts quick guide XXX</li>
<li>Scikit-learn reference XXX</li>
<li>Scikit-learn cheat sheet XXX</li>
</ul>
</body>
</html>
\ No newline at end of file
Html/Figs/Screenshot_jupyter_help.png 0 → 100644
+ 0
− 0
View file @ b3a16f58
Html/Figs/Screenshot_jupyter_help.png

86.5 KiB

Html/Figs/Screenshot_new_terminal_1.png 0 → 100644
+ 0
− 0
View file @ b3a16f58
Html/Figs/Screenshot_new_terminal_1.png

58.3 KiB

Html/Figs/Screenshot_new_terminal_2.png 0 → 100644
+ 0
− 0
View file @ b3a16f58
Html/Figs/Screenshot_new_terminal_2.png

28.2 KiB

Html/Figs/book_dl.jpg 0 → 100644
+ 0
− 0
View file @ b3a16f58
Html/Figs/book_dl.jpg

71 KiB

Html/Figs/book_homl.jpg 0 → 100644
+ 0
− 0
View file @ b3a16f58
Html/Figs/book_homl.jpg

42.8 KiB

Html/Figs/brian_holm.jpg 0 → 100644
+ 0
− 0
View file @ b3a16f58
Html/Figs/brian_holm.jpg

83.8 KiB

Html/GPU_Cluster.html 0 → 100644
+ 140
− 0
View file @ b3a16f58
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
Der er adgang til en GPU baseret server ifbm kurset. Serveren består af en &#x27;master&#x27; som kan tilgås via
<dl>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/'>pucluster.st.lab.au.dk/</a></span>
</dl>
og fem &#x27;slave&#x27; noder med GPU&#x27;er via
<dl>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub1'>pucluster.st.lab.au.dk/jhub1</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub2'>pucluster.st.lab.au.dk/jhub2</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub3'>pucluster.st.lab.au.dk/jhub3</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub4'>pucluster.st.lab.au.dk/jhub4</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub4'>pucluster.st.lab.au.dk/jhub4</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub5'>pucluster.st.lab.au.dk/jhub5</a></span> (GPU 3090 og ny 4GHz CPU, 3090 har problemer med Tensorflow)
</dl>
som frit kan benyttes.
<p>Adgang kræver at i er på EDUROAM eller VPN/au access.</p>
<p>Der er pt. ingen load-balancing på de fire noder så se på gpucluster hjemmesiden, hvilke noder der er mindst belastede (via TOP
dataen).</p>
<h3>Brug</h3>
<p>Alle grupper har fået deres egen konto, og f.eks. så logger Grp 09 ind som:</p>
<dl>
<dd>Login: f21mal09
<dd>Password: f21mal09_123
</dl>
<p>Dvs. brugernavn/login f21malXX hvor XX er jeres ITMAL gruppe og password sammen som brugernavn med med _123
tilføjet.</p>
<h3>Quick Guide</h3>
<dl>
<dt>GIT via Jupyter:
<dd>I kan clone git repositoret via en &#x27;!&#x27;-shell commando i Jupyter notepad&#x27;en
<dd><span style='font-family: courier new, courier;'>! git clone https://cfrigaard@bitbucket.org/cfrigaard/itmal</span>
<dd>og så herefter pull&#x27;e via
<dd><span style='font-family: courier new, courier;'>! cd itmal &amp;&amp; git pull</span>
<dt>PYTHONPATH
<dd>NOTE: PYTHONPATH er IKKE sat (som vi gjorde i L03/modules_and _classes.ipynb), men kan simuleres via
<dd><span style='font-family: courier new, courier;'>import sys,os sys.path.append(os.path.expanduser(&#x27;~/itmal&#x27;))</span>
</dl>
<p>Hvis du kloner GITMAL til itmal som overnfor er der nu automatisk sat en path op til libitaml, prøv det!</p>
<h3>GPU Hukommelse</h3>
<p>Ved brug af Keras+GPU allokeres automatisk al GPU hukommelse. Når vi er flere brugere skal i derfor indsætte
følgende i starten af jeres Keras/Tensorflow Jupyternotebook kode:</p>
<pre style='margin-left: 30px;'><code>
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.05
config.gpu_options.allow_growth=True
set_session(tf.Session(config=config))
</code></pre>
eller blot
<pre style='margin-left: 30px;'><code>
from libitmal import kernelfuns as itmalkernelfuns
itmalkernelfuns.EnableGPU()
</code></pre>
<p>så allokeres kun en brøkdel af GPU hukommelsen! Det ser ud til at growth=True ikke virker, så sæt per_process_gpu_memory_fraction op hvis i har
behov.</p>
<p>Der kører nu et automatisk startup-script når i logger ind/åbner en nodebook. Se</p>
<pre style='margin-left: 30px;'><code>/home/shared/(??)/startup/00_init.py</code></pre>
<p>der kører StartupSequence_SetPath() og StartupSequence_EnableGPU(), den sidste unktion med følgende default
paramete</p>
<pre style='margin-left: 30px;'><code>def StartupSequence_EnableGPU(gpu_mem_fraction=0.05, gpus=None, cpus=None)</code></pre>
<p>Bemærk at jeres jupyter server, beholder all hukommelse, også når i logger af...kun &quot;stop my server&quot;/&quot;start server&quot;
frigiver!</p>
<h3>Noter</h3>
<p>Terminal på cluster: brug Jupyter notebooks terminalen. Herefter har du en fin terminal på cluster noden</p>
<p>SSH til cluster: eller gør det på den klassiske metode via SSH til clusterens &#x27;masternode&#x27; via</p>
<pre style='margin-left: 30px;'><code>&gt; ssh -p 443 gpucluster.st.lab.au.dk</code></pre>
<p>og herfra videre til &#x27;noder&#x27; via ssh node 1 til node 5, f.eks.</p>
<pre style='margin-left: 30px;'><code>&gt; ssh node3</code></pre>
<p>Brug ikke &#x27;masternode&#x27;en til udregninger, kun node 1 til 5!</p>
<p>Sæt gerne jeres SSH certifickater på, så i slipper for login/password.</p>
<p>Password kan kun ændres via SSH og <span style='font-family: courier new, courier;'>&gt; passwd</span></p>
<p>Se Hvad der kører på CPU</p>
<pre style='margin-left: 30px;'><code>! top -n1</code></pre>
<p>Se Hvad der kører på GPU</p>
<pre style='margin-left: 30px;'><code>! nvidia-smi</code></pre>
<p>Kill din egne processer</p>
<pre style='margin-left: 30px;'><code>! kill -9 &lt;pid&gt;</code></pre>
<p>eller</p>
<pre style='margin-left: 30px;'><code>! pkill &lt;procesnavn&gt;</code></pre>
</body>
</html>
\ No newline at end of file
Html/Kursusforkortelser.html 0 → 100644
+ 82
− 0
View file @ b3a16f58
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<dl>
<dt>[DL]:
<dd>Enten bare Deep Learning eller Deep Learning bogen af Ian Goodfellow, et. al.
<dt>[G]:
<dd>Group, ITMAL øvelsesgruppe.
<dt><span style='font-family: courier new, courier;'>[GITHOML]</span>:
<dd>
<dl>
<dt>GitHub repository til <span style='font-family: courier new, courier;'>[HOML]</span>,
<dd><span style='font-family: courier new, courier;'><a href='https:///github.com/ageron/handson-ml2/' rel='noopener' target='_blank'>github.com/ageron/handson-ml2/</a></span>
<dt>Clone via HTTPS
<dd><span style='font-family: courier new, courier;'>git clone https://github.com/ageron/handson-ml2.git</span>
<dt>eller via SSH
<dd><span style='font-family: courier new, courier;'>git clone git@github.com:ageron/handson-ml2.git</span>
</dl>
<dt><span style='font-family: courier new, courier;'>[GITMAL]</span>:
<dd>
<dl>
<dt>Git repository for ITMAL,
<dd><span style='font-family: courier new, courier;'><a href='https://gitlab.au.dk/au204573/GITMAL/'>itlab.au.dk/au204573/GITMAL/</a></span>
<dt>Clone via HTTPS
<dd><span style='font-family: courier new, courier;'>git clone https://gitlab.au.dk/au204573/GITMAL.git</span>
<dt>eller via SSH
<dd><span style='font-family: courier new, courier;'>git clone git@gitlab.au.dk:au204573/GITMAL.git</span>
</dl>
<dt><span style='font-family: courier new, courier;'>[HOML]</span>:
<dd>Hands-on Machine Learning af Aurélien Géron, hovedlitteratur til dette kursus. For klarhedens skyld undtales &#x27;HOML&#x27; som Holm i Brian Holm.
<dd>
<br><img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/brian_holm.jpg' alt='Brian Holm (foto fra cdn-ctstaging.pressidium.com)'>
<br><br>
<span style='font-size: xx-small;'>[kilde: https://cdn-ctstaging.pressidium.com/wp-content/uploads/2020/12/CORVOS_00000365-066.jpg]</span><br>
<dt>[ITMAL]:
<dd>IT Machine Learning, kursusnavnet.
<dt><span style='font-family: courier new, courier;'>[JPYNB]</span>:
<dd>Jypyter Python NoteBook, dvs. Notebook applikationen eller en notebook kildetekst fil (med endelsen .ipynb).
<dt>[ML]:
<dd>Machine Learning, det generelle koncept.
<dt>[NN:]
<dd>Neural Network(s).
<dt>[O1, O2, O3, O4]:
<dd>En opgaveaflevering, f.eks. O1 for opgaveaflevering 1.
<dt>[SG]:
<dd>Super-group, bestående af tre eller fire Grupper [G]&#x27;s.
<dt>[Q]:
<dd>Et specifikt spørgsmål (Question) i en journal opgave, ala Qc for opgave &#x27;c&#x27; i et journal spørgsmål.
</dl>
</body>
</html>
\ No newline at end of file
Html/Litteratur.html 0 → 100644
+ 59
− 0
View file @ b3a16f58
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<h3>Hands-on Machine Learning <span style='font-family: courier new, courier;'>[HOML]</span></h3>
<p style='margin-left: 30px;'>
<img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/book_homl.jpg' alt='Hands-on Machine Learning with Scikit-Learn (front image)'>
<br> <i>Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems</i>
<br>
<br> Aurélien Géron
<br> O&#x27;Reilly / Wiley, 2019, 2.ed.
<br> ISBN: 9781492032649
<br> <span style='font-family: courier new, courier;'><a href='https://www.oreilly.com/library/view/hands-on-machine-learning/9781492032632/' rel='noopener' target='_blank'>ww.oreilly.com/library/view/hands-on-machine-learning/9781492032632/</a></span>
</p>
<p><i>NOTE 1:</i> dette er anden udgave (Second Edition/2.ed) af Géron&#x27;s &quot; Hands-on&quot;,
undgå at bruge førsteudgaven, idet den benytter TensorFlow direkte istedet for
Keras, og desuden har flere mangler.</p>
<p><i>NOTE 2:</i> i PDF udgaven (Early Release, June 2019, 2019-04-22: Fifth Release)
svare sidetal og nogle kaptitler ikke til den officielle bog udgave ovenfor!</p>
<h3>Deep Learning [DL]</h3>
<p style='margin-left: 30px;'>
<img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/book_dl.jpg' alt='Deep Learning (front image)'>
<br> <i>Deep Learning</i>
<br>
<br> Ian Goodfellow, Yoshua Bengio, Aaron Courville
<br> The MIT Press
<br> November 18, 2016
<br> Hardcover: 775 pages
<br> ISBN-10: 0262035618
<br> ISBN-13: 978-0262035613
<br> <span style='font-family: courier new, courier;'><a href='http://www.deeplearningbook.org/' rel='noopener' target='_blank'>ww.deeplearningbook.org/</a></span>
</p>
<p><i>NOTE:</i> ikke obligatorisk, kun få afsnit og figure bruges herfra. (Bog god til
videregående Neural Netværks-teori og meget brugt i ML sammenhænge.)</p>
</body>
</html>
\ No newline at end of file
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment