empty_empty
New Member
Download miễn phí Đồ án Phát hiện từ quan điểm mới cho phân tích cảm xúc
MỤC LỤC
DANH MỤC BẢNG.11
LỜI CẢM ƠN .12
LỜI NÓI ĐẦU.13
CHƯƠNG 1 : TỔNG QUAN VỀ PHÂN TÍCH QUAN ĐIỂM .15
1.1 Nhu cầu về thông tin quan điểm và nhận xét. 15
1.2 Lịch sử của phân tích quan điểm và khai thác quan điểm . 17
1.3 Một số nghiên cứu trong phân tích quan điểm. 18
1.3.1 Xác định cụm từ, quan điểm. 18
1.3.2 Sử dụng tính từ và phó từ . 19
1.3.3 Sử dụng các động từ . 20
1.3.4 Xác định chiều hướng, cụm từ, quan điểm. 21
1.4. Nhiệm vụ của phân tích quan điểm. 21
1.5. Bài toán phân lớp quan điểm. 21
1.5.1 Phân cực quan điểm và mức độ phân cực . 22
1.5.2 Nhiệm vụ của bài toán phân lớp quan điểm . 23
CHƯƠNG 2 : PHÁT HIỆN TỪ MỚI CHO PHÂN TÍCH QUAN ĐIỂM .25
2.1. Giới thiệu phương pháp . 25
2.2 Phương pháp. 28
2.2.1. Các định nghĩa . 28
2.2.2. Tổng quan thuật toán . 28
2.2.3. Độ đo tính hữu ích của một mẫu . 29
2.3 Độ đo khả năng để là các từ mới. 31
2.3.1. Kiểm tra tỷ lệ thích hợp (LRT). 31
2.3.2. Entropy mẫu bên trái (Left pattern Entropy) . 32
2.3.3. Xác xuất của một từ mới. 32
2.3.4. Các độ đo nguyên tắc không cấu thành. . 3310
2.3.5 Cấu hình để kết hợp các yếu tố khác nhau . 34
2.4. Thực nghiệm . 35
2.4.1 Chuẩn bị dữ liệu. 35
2.4.2. Các độ đo . 35
2.4.3. Đánh giá các độ đo và so sánh với các phương pháp có bản . 36
2.4.4 Điều chỉnh tham số . 37
2.4.5. đoán mức độ cảm xúc của các từ quan điểm mới. 37
2.4.6. Ứng dụng của các từ quan điểm mới cho phân tích cảm xúc. 38
CHƯƠNG 3 : ỨNG DỤNG TÌM TỪ QUAN ĐIỂM MỚI CHO DỮ LIỆU
TIẾNG VIỆT.40
3.1. Đặt vấn đề . 40
3.2. Phương pháp. 41
3.3. Thực nghiệm . 44
3.3.1. Dữ liệu . 44
3.3.2. Xử lý dữ liệu . 45
KẾT LUẬN .49
PHỤ LỤC.50
TÀI LIỆU THAM KHẢO.55
Để tải tài liệu này, vui lòng Trả lời bài viết, Mods sẽ gửi Link download cho bạn ngay qua hòm tin nhắn.
Ketnooi -
You must be registered for see links
Ai cần tài liệu gì mà không tìm thấy ở Ketnooi, đăng yêu cầu down tại đây nhé:
Nhận download tài liệu miễn phí
Tóm tắt nội dung tài liệu:
and Schutze, 1999) và phân tích cú pháp nông dựa trên luật (Neff et
al., 2003) cho bước tiền xử lý. Sau đó họ phân tích tính phụ thuộc về mặt cú
pháp giữa các cụm từ và tìm kiếm các cụm từ có một từ chỉ quan điểm mà nó
bổ nghĩa hay được bổ nghĩa bởi một thuật ngữ chủ thể.
21
1.3.4 Xác định chiều hướng, cụm từ, quan điểm
Trong phân tích quan điểm, xu hướng của những từ, cụm từ trực tiếp
thể hiện quan điểm, cảm xúc của người viết bài. Phương pháp chính để nhận
biết xu hướng quan điểm của những từ, cụm từ chỉ cảm nghĩ là dựa trên thống
kê hay dựa trên từ vựng.
1.4. Nhiệm vụ của phân tích quan điểm
Phân tích quan điểm là những nghiên cứu nhằm phát hiêṇ ra quan điểm
hay xu hướng của người dùng dưạ trên các kỹ thuâṭ liên quan đến vấn đề xử lý
ngôn ngữ tư ̣nhiên. Có hai hướng tiếp câṇ chính cho bài toán này là : Phân lớp
quan điểm (Sentiment Classification) và trích quan điểm (Sentiment
Extraction).
Trích quan điểm: bao gồm 3 nhiệm vụ chính là:
- Trích các đăc̣ trưng đối tươṇg có nhâṇ xét trong môĩ quan điểm.
- Xác điṇh có hay không các quan điểm trong các đăc̣ trưng là
positive, negative hay neutral (phu ̣ thuôc̣ vào điṇh daṇg của các
quan điểm)
- Nhóm các cuṃ từ cùng nghiã đăc̣ trưng
1.5. Bài toán phân lớp quan điểm
Phân lớp là quá trình "nhóm” các đối tượng "giống” nhau vào "một lớp”
dựa trên các đặc trưng dữ liệu của chúng. Tuy nhiên, phân lớp là một hoạt
động tiềm ẩn trong tư duy con người khi nhận dạng thế giới thực, đóng vai trò
quan trọng làm cơ sở đưa ra các dự báo, các quyết định. Phân lớp và cách mô
tả các lớp giúp cho tri thức được định dạng và lưu trữ trong đó.
Khi nghiên cứu một đối tượng, hiện tượng, chúng ta chỉ có thể dựa vào
một số hữu hạn các đặc trưng của chúng. Nói cách khác, ta chỉ xem xét biểu
diễn của đối tượng, hiện tượng trong một không gian hữu hạn chiều, mỗi
chiểu ứng với một đặc trưng được lựa chọn. Khi đó, phân lớp dữ liệu trở thành
phân hoạch tập dữ liệu thành các tập con theo một tiêu chuẩn nhận dạng được.
Nhiệm vụ phân lớp quan điểm đươc̣ xem xét với hai tiếp câṇ chính là:
- Phân lớp câu chứa quan điểm
22
- Phân lớp tài liêụ chứa quan điểm.
Phân lớp câu/tài liệu chứa quan điểm có thể đươc̣ phát biểu như sau: Cho
môṭ câu hay môṭ tài liêụ chứa quan điểm, haỹ phân loaị xem câu hay tài liêụ
đó thể hiêṇ quan điểm mang xu hướng tích cực(positive) hay tiêu cực
(negative), hoăc̣ trung lâp̣ (neutral).
Theo Bo Pang và Lillian Lee (2002) phân lớp câu/tài liệu chỉ quan điểm
không có sự nhận biết của mỗi từ/ cụm từ chỉ quan điểm. Họ sử dụng học máy
có giám sát để phân loại những nhận xét về phim ảnh. Không cần phân
lớp các từ hay cụm từ chỉ quan điểm, họ rút ra những đặc điểm khác nhau của
các quan điểm và sử dụng thuật toán Naïve Bayes (NB), Maximum Entropy
(ME) và Support Vector Machine (SVM) để phân lớp quan điểm. Phương
pháp này đạt độ chính xác từ 78, 7% đến 82, 9%.
Input: Cho môṭ tâp̣ các văn bản chứa các ý kiến đánh giá về môṭ đối tươṇg
nào đó.
Output: Mỗi văn bản đươc̣ chia vào môṭ lớp theo mức đô ̣ phân cưc̣
(polarity) về tiếp cận ngữ nghĩa nào đó (tích cưc̣, tiêu cưc̣ hay
trung lâp̣).
Phân lớp tài liệu theo hướng quan điểm thật sự là vấn đề thách thức và
khó khăn trong lĩnh vự xử lý ngôn ngữ đó chính là bản chất phức tạp của ngôn
ngữ của con người, đặc biệt là sự đa nghĩa và nhập nhằng nghĩa của ngôn ngữ.
Sự nhập nhằng này rõ ràng sẽ ảnh hưởng đến độ chính xác bộ phân lớp của
chúng ta một mức độ nhất định. Một khía cạnh thách thức của vấn đề này
dường như là phân biệt nó với việc phân loại chủ đề theo truyền thống đó là
trong khi những chủ đề này được nhận dạng bởi những từ khóa đứng một
mình, quan điểm có thể diễn tả một cách tinh tế hơn. Ví dụ câu sau: “Làm thế
nào để ai đó có thể ngồi xem hết bộ phim này ?”không chứa ý có nghĩa duy
nhất mà rõ ràng là nghĩa tiêu cực. Theo đó, quan điểm dường như đòi hỏi sự
hiểu biết nhiều hơn, tinh tế hơn.
1.5.1 Phân cực quan điểm và mức độ phân cực
- Mức đô ̣phân cưc̣: positive/negative/neutral
- Nhâṇ xét về sản phẩm, dic̣h vu:̣ Like/ dislike/ So so
- Nhâṇ xét về phim ảnh thumbs up/ thumbs down
23
- Nhâṇ xét về quan điểm chính tri:̣like to win/ unlike to windows
Liberal/conservative
- Phân loaị bài báo là good new/ bad new.
Các bài toán liên quan đến phân lớp phân cưc̣ quan điểm:
Xác điṇh sư ̣phân cưc̣ của văn bản (tài liêụ/câu) chứa quan điểm:
tích cưc̣, tiêu cưc̣ hay trung tính.
VD: Thông qua nhâṇ xét: “This laptop is great”.
Xác điṇh môṭ đoaṇ thông tin “khách quan” là tốt hoăc̣ xấu
=>thách thức liên quan đến phân tích quan điểm.
VD: “The stock prise rose”
Phân biêṭ giữa câu “chủ quan”và “khách quan”
Rating inference (ordinal regression): Sắp xếp các quan điểm theo nhiều
mức:
Sắp xếp các đánh giá từ theo nhiều mức: VD: 1 sao đến 5 sao.
Hay theo mức đô ̣phân cưc̣: rất thích, thích, bình thường, không
thích,
Khi phân loaị vào 3 lớp: positive, negative, neutral: neutral đươc̣
coi là giá tri ̣trung bình giữa positive và negative.
Nhañ “neutral”: môṭ số đươc̣ sử duṇg như là lớp khách quan(thiếu
quan điểm).
Theo Cabral và Hortacsu, 2006: nhañ neutral có thể gần negative
hơn vì con người có xu hướng phản ứng maṇh với nhâṇ xét
negative: 40% so với nhâṇ xét neutral là 10%.
1.5.2 Nhiệm vụ của bài toán phân lớp quan điểm
Bài toán phân lớp quan điểm được biết đến như là bài toán phân lớp tài
liệu với mục tiêu là phân loại các tài liệu theo định hướng quan điểm.
Đã có rất nhiều tiếp cận khác nhau được nghiên cứu để giải quyết cho
loại bài toán này. Để thực hiện, về cơ bản có thể chia thành hai nhiệm vụ
chính như sau:
24
- Trích các đặc trưng nhằm khai thác các thông tin chỉ quan điểm để
phục vụ mục đích phân loại tài liệu theo định hướng ngữ nghĩa.
- Xây dựng mô hình để phân lớp các tài liệu.
25
CHƯƠNG 2 : PHÁT HIỆN TỪ MỚI CHO PHÂN
TÍCH QUAN ĐIỂM
Tự động trích các từ mới là sự cần thiết trước tiên cho một số nhiệm vụ
xử lý ngôn ngữ tự nhiên như tách từ (ngôn ngữ Tiếng Trung, Tiếng Việt),
trích tên của thực thể và phân tích tình cảm, phân tích quan điểm.
Minlie Hoang et al., 2014 đã giới thiệu một phương pháp để trích các từ
quan điểm mới từ dữ liệu lớn do người dùng tạo ra. Trong đó, các tác giả đã
giới thiệu một phương pháp học hoàn toàn không giám sát và một Framwork
hoàn toàn dựa trên dữ liệu cho trích từ quan điểm mới và ứng dụng nó trong
bài toán phân tích quan điểm. Các tác giả đã thiết lập các độ đo thống kê để
xác định tính phù hợp của một mẫu từ vựng và đo khả năng một từ là từ mới.
Phương pháp này chỉ sử dụng rất ít các thông tin ngôn ngữ (gần với các
nguồn tài nguyên ngôn ngữ tự do) ở đây chỉ sử dụng thông tin gán nhãn từ
loại POS, và không yêu cầu phải xây dựng quy tắc ngôn ngữ. Các tác giả đã
chứng minh từ cảm xúc (quan điểm) mới sẽ mang lại lợi ích trong phân tích
cảm xúc hay phân tích quan điểm. Các kết quả thực nghiệm chứng minh tính
hiệu quả của phương pháp đề xuất.
2.1. Giới thiệu phương pháp
Các từ mới trên Internet xuất hiện ngày càng nhiều, đặc biệt là trong
nội dung do người dùng tạo ra. Người dùng muốn cập nhật và chia sẻ thông
tin của họ trên các trang web xã hội với phong cách ngôn ngữ riêng của họ,
trong đó xuất hiện các từ mới trong các lĩnh vực như chính trị, kinh tế, văn
hóa, xã hội.
Tuy nhiên, những từ mới như vậy đã tạo ra những thách thức cho một
số nhiệm vụ xử lý trong ngôn ngữ tự nhiên. Việc tự động trích các từ mới là
không thể thiếu đối với nhiều công việc như phân đoạn từ (Tiếng Trung hay
Tiếng Việt..), dịch máy, trích xuất thực thể có tên, hỏi và trả lời, và phân tích
cảm xúc, phân tích quan điểm. Phát hiện từ mới là một trong những vấn đề
quan trọng nhất trong tách từ Tiếng Trung. Các nghiên cứu gần đây (Sproat và
Emerson, 2003) (Chen, 2003) đã chỉ ra rằng hơn 60% tách từ từ kết quả của từ
26
mới. Thống kê cho thấy đã có hơn 1.000 từ mới tiếng Trung xuất hiện mỗi
năm (Trung tâm Nghiên cứu Thesaurus, 2003). Các từ này là những thuật ngữ
kỹ thuật chủ yếu và là các từ nhạy cảm với thời gian trong văn hóa, xã hội,
chính trị. Phần lớn các từ này chưa được nhận dạng chính xác bởi các thuật
toán tách từ, và nó nằm ngoài các miền từ vựng.
Phát hiện từ mới cũng rất quan trọng để phân tích cảm xúc như cụm
trích các cụm từ chứa quan điểm và phân loại mức độ quan điểm (tích cực,
tiêu cực hay trung lập). Một cụm từ cảm xúc với đầy đủ ý nghĩa có một ranh
giới chính xác, tuy nhiên, các ký tự trong một từ mới có thể được chia nhỏ.
Ví dụ, trong một câu " 表 演/ n 非 常/ adv 给/ v 力/ n（artists'
performance is very impressive – Biểu diễn của các nghệ sĩ rất ấn tượng)" hai
ký tự “给/v 力/n (cool; powerful – tuyệt vời, mạnh mẽ) nên được trí...
al., 2003) cho bước tiền xử lý. Sau đó họ phân tích tính phụ thuộc về mặt cú
pháp giữa các cụm từ và tìm kiếm các cụm từ có một từ chỉ quan điểm mà nó
bổ nghĩa hay được bổ nghĩa bởi một thuật ngữ chủ thể.
21
1.3.4 Xác định chiều hướng, cụm từ, quan điểm
Trong phân tích quan điểm, xu hướng của những từ, cụm từ trực tiếp
thể hiện quan điểm, cảm xúc của người viết bài. Phương pháp chính để nhận
biết xu hướng quan điểm của những từ, cụm từ chỉ cảm nghĩ là dựa trên thống
kê hay dựa trên từ vựng.
1.4. Nhiệm vụ của phân tích quan điểm
Phân tích quan điểm là những nghiên cứu nhằm phát hiêṇ ra quan điểm
hay xu hướng của người dùng dưạ trên các kỹ thuâṭ liên quan đến vấn đề xử lý
ngôn ngữ tư ̣nhiên. Có hai hướng tiếp câṇ chính cho bài toán này là : Phân lớp
quan điểm (Sentiment Classification) và trích quan điểm (Sentiment
Extraction).
Trích quan điểm: bao gồm 3 nhiệm vụ chính là:
- Trích các đăc̣ trưng đối tươṇg có nhâṇ xét trong môĩ quan điểm.
- Xác điṇh có hay không các quan điểm trong các đăc̣ trưng là
positive, negative hay neutral (phu ̣ thuôc̣ vào điṇh daṇg của các
quan điểm)
- Nhóm các cuṃ từ cùng nghiã đăc̣ trưng
1.5. Bài toán phân lớp quan điểm
Phân lớp là quá trình "nhóm” các đối tượng "giống” nhau vào "một lớp”
dựa trên các đặc trưng dữ liệu của chúng. Tuy nhiên, phân lớp là một hoạt
động tiềm ẩn trong tư duy con người khi nhận dạng thế giới thực, đóng vai trò
quan trọng làm cơ sở đưa ra các dự báo, các quyết định. Phân lớp và cách mô
tả các lớp giúp cho tri thức được định dạng và lưu trữ trong đó.
Khi nghiên cứu một đối tượng, hiện tượng, chúng ta chỉ có thể dựa vào
một số hữu hạn các đặc trưng của chúng. Nói cách khác, ta chỉ xem xét biểu
diễn của đối tượng, hiện tượng trong một không gian hữu hạn chiều, mỗi
chiểu ứng với một đặc trưng được lựa chọn. Khi đó, phân lớp dữ liệu trở thành
phân hoạch tập dữ liệu thành các tập con theo một tiêu chuẩn nhận dạng được.
Nhiệm vụ phân lớp quan điểm đươc̣ xem xét với hai tiếp câṇ chính là:
- Phân lớp câu chứa quan điểm
22
- Phân lớp tài liêụ chứa quan điểm.
Phân lớp câu/tài liệu chứa quan điểm có thể đươc̣ phát biểu như sau: Cho
môṭ câu hay môṭ tài liêụ chứa quan điểm, haỹ phân loaị xem câu hay tài liêụ
đó thể hiêṇ quan điểm mang xu hướng tích cực(positive) hay tiêu cực
(negative), hoăc̣ trung lâp̣ (neutral).
Theo Bo Pang và Lillian Lee (2002) phân lớp câu/tài liệu chỉ quan điểm
không có sự nhận biết của mỗi từ/ cụm từ chỉ quan điểm. Họ sử dụng học máy
có giám sát để phân loại những nhận xét về phim ảnh. Không cần phân
lớp các từ hay cụm từ chỉ quan điểm, họ rút ra những đặc điểm khác nhau của
các quan điểm và sử dụng thuật toán Naïve Bayes (NB), Maximum Entropy
(ME) và Support Vector Machine (SVM) để phân lớp quan điểm. Phương
pháp này đạt độ chính xác từ 78, 7% đến 82, 9%.
Input: Cho môṭ tâp̣ các văn bản chứa các ý kiến đánh giá về môṭ đối tươṇg
nào đó.
Output: Mỗi văn bản đươc̣ chia vào môṭ lớp theo mức đô ̣ phân cưc̣
(polarity) về tiếp cận ngữ nghĩa nào đó (tích cưc̣, tiêu cưc̣ hay
trung lâp̣).
Phân lớp tài liệu theo hướng quan điểm thật sự là vấn đề thách thức và
khó khăn trong lĩnh vự xử lý ngôn ngữ đó chính là bản chất phức tạp của ngôn
ngữ của con người, đặc biệt là sự đa nghĩa và nhập nhằng nghĩa của ngôn ngữ.
Sự nhập nhằng này rõ ràng sẽ ảnh hưởng đến độ chính xác bộ phân lớp của
chúng ta một mức độ nhất định. Một khía cạnh thách thức của vấn đề này
dường như là phân biệt nó với việc phân loại chủ đề theo truyền thống đó là
trong khi những chủ đề này được nhận dạng bởi những từ khóa đứng một
mình, quan điểm có thể diễn tả một cách tinh tế hơn. Ví dụ câu sau: “Làm thế
nào để ai đó có thể ngồi xem hết bộ phim này ?”không chứa ý có nghĩa duy
nhất mà rõ ràng là nghĩa tiêu cực. Theo đó, quan điểm dường như đòi hỏi sự
hiểu biết nhiều hơn, tinh tế hơn.
1.5.1 Phân cực quan điểm và mức độ phân cực
- Mức đô ̣phân cưc̣: positive/negative/neutral
- Nhâṇ xét về sản phẩm, dic̣h vu:̣ Like/ dislike/ So so
- Nhâṇ xét về phim ảnh thumbs up/ thumbs down
23
- Nhâṇ xét về quan điểm chính tri:̣like to win/ unlike to windows
Liberal/conservative
- Phân loaị bài báo là good new/ bad new.
Các bài toán liên quan đến phân lớp phân cưc̣ quan điểm:
Xác điṇh sư ̣phân cưc̣ của văn bản (tài liêụ/câu) chứa quan điểm:
tích cưc̣, tiêu cưc̣ hay trung tính.
VD: Thông qua nhâṇ xét: “This laptop is great”.
Xác điṇh môṭ đoaṇ thông tin “khách quan” là tốt hoăc̣ xấu
=>thách thức liên quan đến phân tích quan điểm.
VD: “The stock prise rose”
Phân biêṭ giữa câu “chủ quan”và “khách quan”
Rating inference (ordinal regression): Sắp xếp các quan điểm theo nhiều
mức:
Sắp xếp các đánh giá từ theo nhiều mức: VD: 1 sao đến 5 sao.
Hay theo mức đô ̣phân cưc̣: rất thích, thích, bình thường, không
thích,
Khi phân loaị vào 3 lớp: positive, negative, neutral: neutral đươc̣
coi là giá tri ̣trung bình giữa positive và negative.
Nhañ “neutral”: môṭ số đươc̣ sử duṇg như là lớp khách quan(thiếu
quan điểm).
Theo Cabral và Hortacsu, 2006: nhañ neutral có thể gần negative
hơn vì con người có xu hướng phản ứng maṇh với nhâṇ xét
negative: 40% so với nhâṇ xét neutral là 10%.
1.5.2 Nhiệm vụ của bài toán phân lớp quan điểm
Bài toán phân lớp quan điểm được biết đến như là bài toán phân lớp tài
liệu với mục tiêu là phân loại các tài liệu theo định hướng quan điểm.
Đã có rất nhiều tiếp cận khác nhau được nghiên cứu để giải quyết cho
loại bài toán này. Để thực hiện, về cơ bản có thể chia thành hai nhiệm vụ
chính như sau:
24
- Trích các đặc trưng nhằm khai thác các thông tin chỉ quan điểm để
phục vụ mục đích phân loại tài liệu theo định hướng ngữ nghĩa.
- Xây dựng mô hình để phân lớp các tài liệu.
25
CHƯƠNG 2 : PHÁT HIỆN TỪ MỚI CHO PHÂN
TÍCH QUAN ĐIỂM
Tự động trích các từ mới là sự cần thiết trước tiên cho một số nhiệm vụ
xử lý ngôn ngữ tự nhiên như tách từ (ngôn ngữ Tiếng Trung, Tiếng Việt),
trích tên của thực thể và phân tích tình cảm, phân tích quan điểm.
Minlie Hoang et al., 2014 đã giới thiệu một phương pháp để trích các từ
quan điểm mới từ dữ liệu lớn do người dùng tạo ra. Trong đó, các tác giả đã
giới thiệu một phương pháp học hoàn toàn không giám sát và một Framwork
hoàn toàn dựa trên dữ liệu cho trích từ quan điểm mới và ứng dụng nó trong
bài toán phân tích quan điểm. Các tác giả đã thiết lập các độ đo thống kê để
xác định tính phù hợp của một mẫu từ vựng và đo khả năng một từ là từ mới.
Phương pháp này chỉ sử dụng rất ít các thông tin ngôn ngữ (gần với các
nguồn tài nguyên ngôn ngữ tự do) ở đây chỉ sử dụng thông tin gán nhãn từ
loại POS, và không yêu cầu phải xây dựng quy tắc ngôn ngữ. Các tác giả đã
chứng minh từ cảm xúc (quan điểm) mới sẽ mang lại lợi ích trong phân tích
cảm xúc hay phân tích quan điểm. Các kết quả thực nghiệm chứng minh tính
hiệu quả của phương pháp đề xuất.
2.1. Giới thiệu phương pháp
Các từ mới trên Internet xuất hiện ngày càng nhiều, đặc biệt là trong
nội dung do người dùng tạo ra. Người dùng muốn cập nhật và chia sẻ thông
tin của họ trên các trang web xã hội với phong cách ngôn ngữ riêng của họ,
trong đó xuất hiện các từ mới trong các lĩnh vực như chính trị, kinh tế, văn
hóa, xã hội.
Tuy nhiên, những từ mới như vậy đã tạo ra những thách thức cho một
số nhiệm vụ xử lý trong ngôn ngữ tự nhiên. Việc tự động trích các từ mới là
không thể thiếu đối với nhiều công việc như phân đoạn từ (Tiếng Trung hay
Tiếng Việt..), dịch máy, trích xuất thực thể có tên, hỏi và trả lời, và phân tích
cảm xúc, phân tích quan điểm. Phát hiện từ mới là một trong những vấn đề
quan trọng nhất trong tách từ Tiếng Trung. Các nghiên cứu gần đây (Sproat và
Emerson, 2003) (Chen, 2003) đã chỉ ra rằng hơn 60% tách từ từ kết quả của từ
26
mới. Thống kê cho thấy đã có hơn 1.000 từ mới tiếng Trung xuất hiện mỗi
năm (Trung tâm Nghiên cứu Thesaurus, 2003). Các từ này là những thuật ngữ
kỹ thuật chủ yếu và là các từ nhạy cảm với thời gian trong văn hóa, xã hội,
chính trị. Phần lớn các từ này chưa được nhận dạng chính xác bởi các thuật
toán tách từ, và nó nằm ngoài các miền từ vựng.
Phát hiện từ mới cũng rất quan trọng để phân tích cảm xúc như cụm
trích các cụm từ chứa quan điểm và phân loại mức độ quan điểm (tích cực,
tiêu cực hay trung lập). Một cụm từ cảm xúc với đầy đủ ý nghĩa có một ranh
giới chính xác, tuy nhiên, các ký tự trong một từ mới có thể được chia nhỏ.
Ví dụ, trong một câu " 表 演/ n 非 常/ adv 给/ v 力/ n（artists'
performance is very impressive – Biểu diễn của các nghệ sĩ rất ấn tượng)" hai
ký tự “给/v 力/n (cool; powerful – tuyệt vời, mạnh mẽ) nên được trí...