Topik TA Dasar NLP: cross encoder text retrieval

 
Menarik untuk tugas akhir. Untuk korpus yg relatif kecil. 

Implementasi dan analisis cross encoder text retrieval

Slide dari CS224u Stanford Uni Natural Language Understanding

Barangkali salah satu dataset yg dipakai TREC disamping dataset sendiri

Topik TA Dasar2 NLP: analisis berbagai algoritma decoder unt Natural Language Generation

https://www.youtube.com/watch?v=N9L32bFieEY&t=1s

https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1234/slides/cs224n-2023-lecture10-nlg.pdf

Pada bagian 3 Decoding from NLG models

Misal memggunakan: 

• greedy decoding vs beam search
• Sampling: Top-k sampling, Top-p sampling, typical sampling, epsilon sampling
• Scaling randomness: temperature
• Reranking

Topik TA Dasar2 NLP: Analisis perbandingan performasi metode2 NER

 Dengan HMM, CRF, Deep learning based mathods

https://web.stanford.edu/~jurafsky/slp3/
Ch 8 Sequence Labeling for Parts of Speech and Named Entities

Li, Jing, et al. "A survey on deep learning for named entity recognition." IEEE transactions on knowledge and data engineering 34.1 (2020): 50-70.

Nasar, Zara, Syed Waqar Jaffry, and Muhammad Kamran Malik. "Named entity recognition and relation extraction: State-of-the-art." ACM Computing Surveys (CSUR) 54.1 (2021): 1-39.

Topik TA Dasar2 NLP: analisis sentimen menggunakan model sekuensial dasar/standar (RNN)

 Analisis sentimen pada dasarnya adalah klasifikasi teks (klasifikasi sentimen). Ada nama khusus "analisis sentimen", penelitian yg lebih spesifik atas data teks sentimen/opini karena ada sifat2 khusus sentimen, dibandingkan teks yg biasanya dalah fakta. Sehingga ada teknik2 khusus klasifikasi teks sentimen, yg berbeda dengan klasifikasi teks fakta.

Namun dengan adanya model deep learning sekuansial (RNN dkk), atau deep learning scr umum, biasanya model arsitektur lebih generik. Tidak ada teknik2 khusus. 

Menarik untuk diteliti bagaimana analisis sentimen menggunakan model sekuensial deep learning. Unt sederhananya gunakan saja RNN. Bandungkan metode SOTA analisis sentimen yg non deep learning dengan RNN. 

Salah satu yg perlu diperhatikana adalah DL scr umum perlu data lebih banyak.

Topik TA Dasar2 NLP: analisis berbagai varian klasifikasi menggunakan RNN

 Topik TA:  analisis berbagai varian klasifikasi menggunakan RNN. Salah satu varian utama yang ingin dianalisis adalah cara outputnya, brnuk sederhananya, bagaimana kalau dg bi-directional RNN, outputnya ada di akhir sequence (sebelah kanan), ditempat lain (misal tengah, kiri), atau digabung. Atau mungkin dengan attention, dll.  Juga untuk stacked. 

Variasi juga saat pengoutputan: varian FNN dan varian2 lain  

Klasifikasi teks dengan attention: seperti encoder decoder, hanya satu layer pertama decoder yang diapakai (sebagai output klasifikasi)