Showing posts with label riset. Show all posts
Showing posts with label riset. Show all posts

Sunday, May 5, 2024

Topik TA Dasar2 NLP: analisis berbagai algoritma decoder unt Natural Language Generation

https://www.youtube.com/watch?v=N9L32bFieEY&t=1s


https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1234/slides/cs224n-2023-lecture10-nlg.pdf


Pada bagian 3 Decoding from NLG models

Misal memggunakan: 

  • greedy decoding vs beam search
  • Sampling: Top-k sampling, Top-p sampling, typical sampling, epsilon sampling
  • Scaling randomness: temperature
  • Reranking


Friday, May 3, 2024

Topik TA Dasar2 NLP: Analisis perbandingan performasi metode2 NER

 Dengan HMM, CRF, Deep learning based mathods


https://web.stanford.edu/~jurafsky/slp3/
Ch 8 Sequence Labeling for Parts of Speech and Named Entities

Li, Jing, et al. "A survey on deep learning for named entity recognition." IEEE transactions on knowledge and data engineering 34.1 (2020): 50-70.

Nasar, Zara, Syed Waqar Jaffry, and Muhammad Kamran Malik. "Named entity recognition and relation extraction: State-of-the-art." ACM Computing Surveys (CSUR) 54.1 (2021): 1-39.

Friday, April 26, 2024

Topik TA Dasar2 NLP: analisis sentimen menggunakan model sekuensial dasar/standar (RNN)

 Analisis sentimen pada dasarnya adalah klasifikasi teks (klasifikasi sentimen). Ada nama khusus "analisis sentimen", penelitian yg lebih spesifik atas data teks sentimen/opini karena ada sifat2 khusus sentimen, dibandingkan teks yg biasanya dalah fakta. Sehingga ada teknik2 khusus klasifikasi teks sentimen, yg berbeda dengan klasifikasi teks fakta.

Namun dengan adanya model deep learning sekuansial (RNN dkk), atau deep learning scr umum, biasanya model arsitektur lebih generik. Tidak ada teknik2 khusus. 

Menarik untuk diteliti bagaimana analisis sentimen menggunakan model sekuensial deep learning. Unt sederhananya gunakan saja RNN. Bandungkan metode SOTA analisis sentimen yg non deep learning dengan RNN. 

Salah satu yg perlu diperhatikana adalah DL scr umum perlu data lebih banyak.




Sunday, April 21, 2024

Topik TA Dasar2 NLP: analisis berbagai varian klasifikasi menggunakan RNN

 Topik TA:  analisis berbagai varian klasifikasi menggunakan RNN. Salah satu varian utama yang ingin dianalisis adalah cara outputnya, brnuk sederhananya, bagaimana kalau dg bi-directional RNN, outputnya ada di akhir sequence (sebelah kanan), ditempat lain (misal tengah, kiri), atau digabung. Atau mungkin dengan attention, dll.  Juga untuk stacked. 

Variasi juga saat pengoutputan: varian FNN dan varian2 lain  



Klasifikasi teks dengan attention: seperti encoder decoder, hanya satu layer pertama decoder yang diapakai (sebagai output klasifikasi)