Commit b3a16f58 authored by Carsten Eie Frigaard's avatar Carsten Eie Frigaard
Browse files

update

parent c1e994e1
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<h3>Web sites</h3>
Primære
<dl>
<dt><span style='font-family: courier new, courier;'>[GITHOML]</span>:
<dd><span style='font-family: courier new, courier;'><a href='https://github.com/ageron/handson-ml2/' rel='noopener' target='_blank'>ithub.com/ageron/handson-ml2/</a></span>
<dt>Scikit-learn:
<dd><span style='font-family: courier new, courier;'><a href='https://scikit-learn.org/stable/' rel='noopener' target='_blank'>cikit-learn.org/stable/</a></span>
<dt>Keras:
<dd><span style='font-family: courier new, courier;'><a href='https://keras.io/' rel='noopener' target='_blank'>eras.io/</a></span>
</dl>
Sekundære
<ul>
<li><span style='font-family: courier new, courier;'><a href='https://jupyter-notebook.readthedocs.io/en/stable/' rel='noopener' target='_blank'>Jupyter: jupyter-notebook.readthedocs.io/en/stable</a></span></li>
<li><span style='font-family: courier new, courier;'><a href='https://anaconda.org/' rel='noopener' target='_blank'>Anaconda Cloud: anaconda.org</a></span></li>
<li><span style='font-family: courier new, courier;'><a href='https://www.tensorflow.org/' rel='noopener' target='_blank'>Tensorflow: www.tensorflow.org</a></span></li>
</ul>
Datakilder
<ul>
<li><span style='font-family: courier new, courier;'><a href='https://www.kaggle.com/' rel='noopener' target='_blank'>Kaggle datasets: www.kaggle.com</a></span></li>
<li><i>Sign in with your email</i> =&gt; genbrug gerne min konto, og undgå tidsplid:
<ul>
<li>user: cef@ase.au.dk</li>
<li>password: test123</li>
</ul>
</li>
</ul>
Dokumentation
<ul>
<li>Brug den inbyggede hjælp i [JPYNP]</li>
<img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/Screenshot_jupyter_help.png' alt='the-missing-link: https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/Screenshot_jupyter_help.png'>
</ul>
Guides etc.
<ul>
<li><span style='font-family: courier new, courier;'><a href='https://www.w3schools.com/python/python_intro.asp' rel='noopener' target='_blank'>A Quick Python intro (short)</a></span></li>
<li><span style='font-family: courier new, courier;'><a href='https://docs.python.org/3/tutorial/' rel='noopener' target='_blank'>A Python tutorial (not so short!)</a></span></li>
<li>Jupyter shortcuts quick guide XXX</li>
<li>Scikit-learn reference XXX</li>
<li>Scikit-learn cheat sheet XXX</li>
</ul>
</body>
</html>
\ No newline at end of file
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
Der er adgang til en GPU baseret server ifbm kurset. Serveren består af en &#x27;master&#x27; som kan tilgås via
<dl>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/'>pucluster.st.lab.au.dk/</a></span>
</dl>
og fem &#x27;slave&#x27; noder med GPU&#x27;er via
<dl>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub1'>pucluster.st.lab.au.dk/jhub1</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub2'>pucluster.st.lab.au.dk/jhub2</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub3'>pucluster.st.lab.au.dk/jhub3</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub4'>pucluster.st.lab.au.dk/jhub4</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub4'>pucluster.st.lab.au.dk/jhub4</a></span>
<dd><span style='font-family: courier new, courier;'><a href='http://gpucluster.st.lab.au.dk/jhub5'>pucluster.st.lab.au.dk/jhub5</a></span> (GPU 3090 og ny 4GHz CPU, 3090 har problemer med Tensorflow)
</dl>
som frit kan benyttes.
<p>Adgang kræver at i er på EDUROAM eller VPN/au access.</p>
<p>Der er pt. ingen load-balancing på de fire noder så se på gpucluster hjemmesiden, hvilke noder der er mindst belastede (via TOP
dataen).</p>
<h3>Brug</h3>
<p>Alle grupper har fået deres egen konto, og f.eks. så logger Grp 09 ind som:</p>
<dl>
<dd>Login: f21mal09
<dd>Password: f21mal09_123
</dl>
<p>Dvs. brugernavn/login f21malXX hvor XX er jeres ITMAL gruppe og password sammen som brugernavn med med _123
tilføjet.</p>
<h3>Quick Guide</h3>
<dl>
<dt>GIT via Jupyter:
<dd>I kan clone git repositoret via en &#x27;!&#x27;-shell commando i Jupyter notepad&#x27;en
<dd><span style='font-family: courier new, courier;'>! git clone https://cfrigaard@bitbucket.org/cfrigaard/itmal</span>
<dd>og så herefter pull&#x27;e via
<dd><span style='font-family: courier new, courier;'>! cd itmal &amp;&amp; git pull</span>
<dt>PYTHONPATH
<dd>NOTE: PYTHONPATH er IKKE sat (som vi gjorde i L03/modules_and _classes.ipynb), men kan simuleres via
<dd><span style='font-family: courier new, courier;'>import sys,os sys.path.append(os.path.expanduser(&#x27;~/itmal&#x27;))</span>
</dl>
<p>Hvis du kloner GITMAL til itmal som overnfor er der nu automatisk sat en path op til libitaml, prøv det!</p>
<h3>GPU Hukommelse</h3>
<p>Ved brug af Keras+GPU allokeres automatisk al GPU hukommelse. Når vi er flere brugere skal i derfor indsætte
følgende i starten af jeres Keras/Tensorflow Jupyternotebook kode:</p>
<pre style='margin-left: 30px;'><code>
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.05
config.gpu_options.allow_growth=True
set_session(tf.Session(config=config))
</code></pre>
eller blot
<pre style='margin-left: 30px;'><code>
from libitmal import kernelfuns as itmalkernelfuns
itmalkernelfuns.EnableGPU()
</code></pre>
<p>så allokeres kun en brøkdel af GPU hukommelsen! Det ser ud til at growth=True ikke virker, så sæt per_process_gpu_memory_fraction op hvis i har
behov.</p>
<p>Der kører nu et automatisk startup-script når i logger ind/åbner en nodebook. Se</p>
<pre style='margin-left: 30px;'><code>/home/shared/(??)/startup/00_init.py</code></pre>
<p>der kører StartupSequence_SetPath() og StartupSequence_EnableGPU(), den sidste unktion med følgende default
paramete</p>
<pre style='margin-left: 30px;'><code>def StartupSequence_EnableGPU(gpu_mem_fraction=0.05, gpus=None, cpus=None)</code></pre>
<p>Bemærk at jeres jupyter server, beholder all hukommelse, også når i logger af...kun &quot;stop my server&quot;/&quot;start server&quot;
frigiver!</p>
<h3>Noter</h3>
<p>Terminal på cluster: brug Jupyter notebooks terminalen. Herefter har du en fin terminal på cluster noden</p>
<p>SSH til cluster: eller gør det på den klassiske metode via SSH til clusterens &#x27;masternode&#x27; via</p>
<pre style='margin-left: 30px;'><code>&gt; ssh -p 443 gpucluster.st.lab.au.dk</code></pre>
<p>og herfra videre til &#x27;noder&#x27; via ssh node 1 til node 5, f.eks.</p>
<pre style='margin-left: 30px;'><code>&gt; ssh node3</code></pre>
<p>Brug ikke &#x27;masternode&#x27;en til udregninger, kun node 1 til 5!</p>
<p>Sæt gerne jeres SSH certifickater på, så i slipper for login/password.</p>
<p>Password kan kun ændres via SSH og <span style='font-family: courier new, courier;'>&gt; passwd</span></p>
<p>Se Hvad der kører på CPU</p>
<pre style='margin-left: 30px;'><code>! top -n1</code></pre>
<p>Se Hvad der kører på GPU</p>
<pre style='margin-left: 30px;'><code>! nvidia-smi</code></pre>
<p>Kill din egne processer</p>
<pre style='margin-left: 30px;'><code>! kill -9 &lt;pid&gt;</code></pre>
<p>eller</p>
<pre style='margin-left: 30px;'><code>! pkill &lt;procesnavn&gt;</code></pre>
</body>
</html>
\ No newline at end of file
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<dl>
<dt>[DL]:
<dd>Enten bare Deep Learning eller Deep Learning bogen af Ian Goodfellow, et. al.
<dt>[G]:
<dd>Group, ITMAL øvelsesgruppe.
<dt><span style='font-family: courier new, courier;'>[GITHOML]</span>:
<dd>
<dl>
<dt>GitHub repository til <span style='font-family: courier new, courier;'>[HOML]</span>,
<dd><span style='font-family: courier new, courier;'><a href='https:///github.com/ageron/handson-ml2/' rel='noopener' target='_blank'>github.com/ageron/handson-ml2/</a></span>
<dt>Clone via HTTPS
<dd><span style='font-family: courier new, courier;'>git clone https://github.com/ageron/handson-ml2.git</span>
<dt>eller via SSH
<dd><span style='font-family: courier new, courier;'>git clone git@github.com:ageron/handson-ml2.git</span>
</dl>
<dt><span style='font-family: courier new, courier;'>[GITMAL]</span>:
<dd>
<dl>
<dt>Git repository for ITMAL,
<dd><span style='font-family: courier new, courier;'><a href='https://gitlab.au.dk/au204573/GITMAL/'>itlab.au.dk/au204573/GITMAL/</a></span>
<dt>Clone via HTTPS
<dd><span style='font-family: courier new, courier;'>git clone https://gitlab.au.dk/au204573/GITMAL.git</span>
<dt>eller via SSH
<dd><span style='font-family: courier new, courier;'>git clone git@gitlab.au.dk:au204573/GITMAL.git</span>
</dl>
<dt><span style='font-family: courier new, courier;'>[HOML]</span>:
<dd>Hands-on Machine Learning af Aurélien Géron, hovedlitteratur til dette kursus. For klarhedens skyld undtales &#x27;HOML&#x27; som Holm i Brian Holm.
<dd>
<br><img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/brian_holm.jpg' alt='Brian Holm (foto fra cdn-ctstaging.pressidium.com)'>
<br><br>
<span style='font-size: xx-small;'>[kilde: https://cdn-ctstaging.pressidium.com/wp-content/uploads/2020/12/CORVOS_00000365-066.jpg]</span><br>
<dt>[ITMAL]:
<dd>IT Machine Learning, kursusnavnet.
<dt><span style='font-family: courier new, courier;'>[JPYNB]</span>:
<dd>Jypyter Python NoteBook, dvs. Notebook applikationen eller en notebook kildetekst fil (med endelsen .ipynb).
<dt>[ML]:
<dd>Machine Learning, det generelle koncept.
<dt>[NN:]
<dd>Neural Network(s).
<dt>[O1, O2, O3, O4]:
<dd>En opgaveaflevering, f.eks. O1 for opgaveaflevering 1.
<dt>[SG]:
<dd>Super-group, bestående af tre eller fire Grupper [G]&#x27;s.
<dt>[Q]:
<dd>Et specifikt spørgsmål (Question) i en journal opgave, ala Qc for opgave &#x27;c&#x27; i et journal spørgsmål.
</dl>
</body>
</html>
\ No newline at end of file
<!DOCTYPE html>
<html>
<!-- AUTOGENERATED HTML from CourseBuilder, CEF -->
<meta http-equiv='Content-Type' content='text/html; charset=utf-8'/>
<body style='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<h3>Hands-on Machine Learning <span style='font-family: courier new, courier;'>[HOML]</span></h3>
<p style='margin-left: 30px;'>
<img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/book_homl.jpg' alt='Hands-on Machine Learning with Scikit-Learn (front image)'>
<br> <i>Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems</i>
<br>
<br> Aurélien Géron
<br> O&#x27;Reilly / Wiley, 2019, 2.ed.
<br> ISBN: 9781492032649
<br> <span style='font-family: courier new, courier;'><a href='https://www.oreilly.com/library/view/hands-on-machine-learning/9781492032632/' rel='noopener' target='_blank'>ww.oreilly.com/library/view/hands-on-machine-learning/9781492032632/</a></span>
</p>
<p><i>NOTE 1:</i> dette er anden udgave (Second Edition/2.ed) af Géron&#x27;s &quot; Hands-on&quot;,
undgå at bruge førsteudgaven, idet den benytter TensorFlow direkte istedet for
Keras, og desuden har flere mangler.</p>
<p><i>NOTE 2:</i> i PDF udgaven (Early Release, June 2019, 2019-04-22: Fifth Release)
svare sidetal og nogle kaptitler ikke til den officielle bog udgave ovenfor!</p>
<h3>Deep Learning [DL]</h3>
<p style='margin-left: 30px;'>
<img src='https://itundervisning.ase.au.dk/ITMAL_E21/Html/Figs/book_dl.jpg' alt='Deep Learning (front image)'>
<br> <i>Deep Learning</i>
<br>
<br> Ian Goodfellow, Yoshua Bengio, Aaron Courville
<br> The MIT Press
<br> November 18, 2016
<br> Hardcover: 775 pages
<br> ISBN-10: 0262035618
<br> ISBN-13: 978-0262035613
<br> <span style='font-family: courier new, courier;'><a href='http://www.deeplearningbook.org/' rel='noopener' target='_blank'>ww.deeplearningbook.org/</a></span>
</p>
<p><i>NOTE:</i> ikke obligatorisk, kun få afsnit og figure bruges herfra. (Bog god til
videregående Neural Netværks-teori og meget brugt i ML sammenhænge.)</p>
</body>
</html>
\ No newline at end of file
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment