🧠 Pertemuan 12: Pengantar Deep Learning

Fundamental Concepts of Neural Networks and Deep Learning

Machine Learning dalam Geofisika | Institut Teknologi Sumatera

🎯 Tujuan Pembelajaran

Memahami konsep fundamental neural networks dan deep learning
Mengerti arsitektur dan komponen dasar artificial neural networks (ANN)
Memahami forward propagation dan backpropagation
Mengenal activation functions dan perannya dalam neural networks
Memahami loss functions dan optimization algorithms
Mengenal berbagai arsitektur deep learning (CNN, RNN, Transformer)

📊 Materi Presentasi

💡 Gunakan tombol panah atau klik untuk navigasi slide Buka di Tab Baru →

📝 Catatan: Presentasi ini mencakup materi fundamental deep learning mulai dari konsep dasar neural networks hingga arsitektur modern seperti CNN, RNN, dan Transformers. Pastikan memahami setiap konsep sebelum melanjutkan ke materi praktikum.

📚 Outline Materi

1. Pendahuluan

  • Motivasi dan latar belakang deep learning
  • Sejarah perkembangan neural networks
  • Biological inspiration: dari neuron biologis ke artificial neuron
  • Artificial neuron dan perceptron
  • Kapan menggunakan deep learning vs traditional ML
  • Aplikasi deep learning di berbagai domain

2. Review Machine Learning vs Deep Learning

  • Perbedaan fundamental ML klasik dan deep learning
  • Feature engineering vs feature learning
  • Shallow learning vs deep learning
  • Kapabilitas representasi dan abstraksi
  • Trade-off: data requirements, interpretability, computational cost
  • Kelebihan dan keterbatasan masing-masing approach

3. Arsitektur Deep Learning

  • Komponen dasar: layers, neurons, weights, biases
  • Feedforward Neural Networks (FNN/MLP)
  • Convolutional Neural Networks (CNN) untuk data spasial
  • Recurrent Neural Networks (RNN/LSTM/GRU) untuk data sequential
  • Autoencoders untuk dimensionality reduction
  • Transformers dan attention mechanism
  • Activation functions, loss functions, optimizers
  • Forward propagation dan backpropagation

4. Studi Kasus

  • Seismic facies classification dengan CNN
  • Well log analysis dan lithology prediction
  • Time series prediction: earthquake forecasting dengan RNN/LSTM
  • GPR data interpretation dengan deep learning
  • Seismic inversion menggunakan neural networks
  • Transfer learning untuk geophysical applications
  • Implementasi praktis dengan TensorFlow/Keras dan PyTorch

🔑 Konsep Kunci

1. Universal Approximation Theorem

Neural network dengan single hidden layer dapat mengaproksimasi sembarang continuous function dengan arbitrary accuracy, asalkan memiliki neuron yang cukup banyak.

2. Backpropagation

Algoritma efisien untuk menghitung gradients dalam neural networks menggunakan chain rule. Memungkinkan training networks dengan banyak layers (deep networks).

3. Gradient Descent Variants

Batch GD (entire dataset), Stochastic GD (single sample), Mini-batch GD (subset). Trade-off antara accuracy dan computational efficiency.

4. Vanishing/Exploding Gradients

Gradients menjadi terlalu kecil (vanishing) atau terlalu besar (exploding) saat backprop melalui banyak layers. Diatasi dengan: proper initialization, batch normalization, ReLU activation, residual connections.

5. Overfitting Prevention

Neural networks prone to overfitting karena high capacity. Strategi: regularization (L1/L2), dropout, early stopping, data augmentation, batch normalization.

🌍 Aplikasi dalam Geofisika

Seismic Interpretation

  • CNN untuk automatic fault detection
  • Semantic segmentation untuk facies classification
  • Seismic attribute analysis
  • First break picking

Well Log Analysis

  • Lithology classification dari multi-well logs
  • Petrophysical property prediction
  • Missing log reconstruction
  • Formation evaluation automation

Geophysical Inversion

  • Neural network sebagai forward model
  • Inverse problem solving dengan DL
  • Uncertainty quantification
  • Physics-informed neural networks (PINN)

Time Series Prediction

  • RNN/LSTM untuk earthquake prediction
  • Volcanic activity forecasting
  • Ground deformation monitoring
  • Reservoir production forecasting

📖 Referensi dan Sumber Belajar

Buku dan Tutorial

  1. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. [deeplearningbook.org]
  2. Nielsen, M. (2015). Neural Networks and Deep Learning. [neuralnetworksanddeeplearning.com]
  3. Chollet, F. (2021). Deep Learning with Python (2nd ed.). Manning Publications.
  4. Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2021). Dive into Deep Learning. [d2l.ai]

Online Courses

  1. Andrew Ng - Deep Learning Specialization (Coursera)
  2. Fast.ai - Practical Deep Learning for Coders
  3. MIT 6.S191 - Introduction to Deep Learning
  4. Stanford CS230 - Deep Learning

Geophysics-Specific

  1. Dramsch, J. S. (2020). "70 years of machine learning in geoscience in review." Advances in Geophysics, 61, 1-55.
  2. Bergen, K. J., et al. (2019). "Machine learning for data-driven discovery in solid Earth geoscience." Science, 363(6433).
  3. Mosser, L., et al. (2020). "Deep learning for subsurface characterization." The Leading Edge, 39(8), 580-596.

💻 Framework Documentation:

• TensorFlow/Keras: tensorflow.org

• PyTorch: pytorch.org

• Scikit-learn (Neural Networks): scikit-learn.org

🚀 Langkah Selanjutnya

Setelah mempelajari materi ini, Anda diharapkan:

✓ Memahami fundamental concepts neural networks dan deep learning

✓ Mengerti arsitektur dan training process neural networks

✓ Mampu memilih activation functions, loss functions, dan optimizers yang tepat

✓ Siap untuk implementasi praktis di Praktikum berikutnya

✓ Memahami aplikasi deep learning dalam konteks geofisika

Lanjut ke Praktikum 04 → Pertemuan 13 →

Machine Learning dalam Geofisika

Pertemuan 12: Pengantar Deep Learning

Institut Teknologi Sumatera | Teknik Geofisika | 2025