Natural language processing (NLP) is a subfield of linguistics, computer science, và artificial intelligence concerned with the interactions between computers và human language, in particular how to lớn program computers to lớn process and analyze large amounts of natural language data. The goal is a computer capable of "understanding" the contents of documents, including the contextual nuances of the language within them. The technology can then accurately extract information và insights contained in the documents as well as categorize and organize the documents themselves - Wikipedia

Natural Language Processing là gì

Natural Language Processing (NLP) là một nhánh của ngữ điệu học, khoa học laptop và trí tuệ tự tạo liên quan đến sự tương tác giữa máy tính và ngôn ngữ tự nhiên của con tín đồ (Ví dụ: giờ Anh, giờ Việt,...), giọng nói hoặc văn bản.

Những thử thách trong nghành nghề xử lý ngôn ngữ thoải mái và tự nhiên là: dấn diện giọng nói, hiểu được ngôn ngữ thoải mái và tự nhiên của con người và mô rộp lại ngữ điệu tự nhiên.

Bạn đang xem: Xử lý ngôn ngữ tự nhiên (Natural Language Processing)

Các vận dụng của NLP

Các ứng dụng có tích phù hợp Natural Language Processing (NLP) góp đỡ bọn họ trong cuộc sống thường ngày hằng ngày như:

Personal Assistant (Trợ lý ảo cá nhân): Siri, Cortana, Google Assistant Auto-Complete (Tự hễ điền từ bỏ còn thiếu): Trong quy định tiếm kiếm của Goolge khi chúng ta tìm kiếm một từ gì đấySpell Checking - chất vấn lỗi thiết yếu tả: số đông ở khắp đông đảo nơi, Google Doc, Microsoft Word, ...Translation - Phiên Dịch: Google Translate

bây chừ chúng ta đã cùng nhìn qua các vận dụng của NLP trong lĩnh vực kinh doanh:

Các chuỗi thức ăn uống nhanh phải chào đón một lượng lớn những đơn mua hàng và năng khiếu nại hằng ngày. Câu hỏi phải xử lý bằng tay thủ công đôi khi vẫn dễ không đúng sót cùng nhàm chán vày chúng cứ lặp đi lặp lại, chế tạo đó bạn sẽ phải tốn nhiều giá thành để mướn thêm nhân công nếu như số lượng đơn hàng tăng lên hốt nhiên biến. Nhờ có sự thành lập và hoạt động của trợ lý ảo nhưng khối lượng công việc được giảm xuống đáng kể, các Chat Bot sẽ tiếp xúc với người dùng và tiếp nhận đơn hàng cố gắng vì đề nghị gọi điện như lúc trước đây, ...Các nhãn sản phẩm tung ra thị phần những mặt hàng mới của họ cùng tiếp thị bọn chúng trên những nền tảng mạng xóm hội, họ có thể đo lường độ thành công xuất sắc của chiến dịc (campaign) trải qua các chỉ số như: số lượt tiếp cận (reach, impression), số đối kháng đăt hàng, ... Tuy thế họ lại chần chờ được ý kiến của bạn về sản phẩm của mình, bao nhiêu phân trăm con người thích, không thích và trung lập. Với sự trợ góp của NLP bạn hoàn toàn có thể làm được điều này thông qua phân tích xúc cảm (Sentiment Analysis)

Phân các loại NLP

NLP được chia thành 2 nghành chính: ngữ điệu học và khoa học máy tính

Ngôn ngữ học chủ yếu tập trung vào việc hiểu được cấu trúc của ngôn ngữ, bao gồm:

Ngữ âm (Phonetics) : phân tích âm thanh ngữ điệu của nhỏ ngườiÂm vị (Phonology) : Nghiên cứu khối hệ thống âm thanh trong ngữ điệu của nhỏ người
Cú pháp (Syntax) : nghiên cứu sự hiện ra và cấu tạo của một câu nói.Ngữ nghĩa (Semantics) : Nghiên cứu chân thành và ý nghĩa của câu nói
Ngữ dụng học tập (Pragmatics) : Nghiên cứu cách thức các lời nói với ý nghĩa sâu sắc của chúng (semantics) được sử dụng cho các mục đích tiếp xúc cụ thể. Cụ thể nói nhiều như vậy thì tóm gọn gàng lại người đứng đối diện muốn biểu thị cái gì.

Trong lúc ấy Khoa học máy tính xách tay lại quan tâm đến việc chuyển đổi các kiến thức và kỹ năng chuyên sâu về ngữ điệu học thành phần nhiều chương trình máy tính (Program, Application) với sự trợ giúp tâm đắc của trí tuệ tự tạo (AI) nhằm phục vụ con người.

Những tiến bộ về mặt kĩ thuật trong lĩnh vực NLP có thể được chia nhỏ ra thành: mô hình hệ thống dựa trên nguyên tắc (rule-based), quy mô máy học cổ xưa và Deep Learning

Mô hình hệ thống dựa trên các quy tắc (rule-based), nói nôm mãng cầu là bạn sẽ định ra một vài các quy tắc dựa trên hiểu biết nhất thiết về một ngành nghề làm sao đó, trong văn cảnh này là ngữ điệu học. Ví dụ chúng ta định ra phép tắc sau nếu những chữ có chữ cái đầu viết hoa là tên gọi người hay địa điểm (Nguyễn Văn A, Bà Rịa - Vũng Tàu, ...). Mặc dù nhiên, so sự phức hợp của ngôn ngữ con người, phạt triển gấp rút (teen code, cố ý sai chủ yếu tả, ...) khối hệ thống rule-based chứng minh sự cứng nhắc, vì chưng phải luôn có người liên tiếp thêm các rule vào, trở ngại để cai quản và tất cả tính bao quát hóa thấp.Mô hình máy học truyền thống có thể giải nhiều bài xích toán thử thách hơn (VD: Phát hiện spam, ...) thông qua việc trích lọc những Features (các trực thuộc tính, VD: tên, họ, năm sinh, doanh thu, ...) bằng cách sử dụng những phương thức như Bag of Words, Part of Speech, sau đó xây dựng các quy mô máy học tập (Machine Learning Models) như tư vấn Vector Machine, Naive Bayes, ... Các quy mô này sẽ khai quật những mẫu câu có ngữ nghĩa (semantics patterns) trong dữ liệu train (huấn luyện) để đưa ra các dự đoán vào tương lai.Mô hình Deep Learning: đang là mô hình phổ vươn lên là nhất trong nghiên cứu và áp dụng NLP, nó tất cả tính bao hàm hóa (generalization) giỏi hơn quy mô máy học tập cổ điển, bạn có thể hiểu dễ dàng khái quát mắng hóa là năng lực tương phù hợp với những dữ liệu mới, sẽ lộ diện trong tương lai, lúc Model của người sử dụng chỉ cho tác dụng tốt so với mẫu thử hiện tại nhưng lại cho kết quả xấu với những mẫu thử trong tương lai thì nó bao gồm tính tổng quan hóa thấp. Mô hình này ko cần các thuộc tính xử lý bằng tay bằng tay, bởi nó sẽ tự làm điều ấy cho bạn. Khả năng học hỏi của quy mô Deep learning mạnh bạo hơn so với các mô hình cạn (shallow)/ mô hình cổ điển. Lộ diện con đường giải quyết được các bài toán NLP phức hợp một bí quyết triệt để.
*
Bag of Words
*
Part of Speech

Làm giải pháp nào nhưng máy tính rất có thể hiểu được văn phiên bản ?

Máy tính hoàn toàn có thể hiểu được những bé số, nhưng không thể nào gọi được kí tự, từ ngữ tốt câu nói, bởi vì vậy yêu cầu một số công việc trung gian trước khi xây dựng mô hình NLP, call là trình diễn văn phiên bản (text representation). Mình vẫn tập trung phân tích và lý giải biểu diễn trường đoản cú (word), vị nó đơn giản và dễ dàng và dễ hiểu nhất so với biểu diễn kí tự (character), một phần của trường đoản cú (subword) - xóa đi một vài kí từ bỏ của từ.

*
One Hot Encoding

Trước khi Deep Learning ra đời, biểu diễn văn bạn dạng (cho trang bị hiểu) được tiến hành bằng kĩ thuật khá 1-1 giản: one-hot encoder, như hình phía bên trên các bạn sẽ thấy trả sử mình tất cả 5 câu nói, được chuyển thành một mảng N*M:

N là số lượng câu nói bắt buộc biểu diễnM là con số từ khác nhau trường thọ trong văn bản

Tương ứng với từng câu, trường đoản cú nào gồm thì đánh tiên phong hàng đầu từ nào không xuất hiện thêm thì đặt số 0 cầm là bạn đã sở hữu một vector (1,0,0,0) màn biểu diễn cho từ Cat. Giải pháp tiếp cận này đang có một vài những hạn chế:

Vấn đề về bộ lưu trữ lưu trữ (RAM + Ổ cứng), như các bạn cũng thấy ngơi nghỉ trên, vector bao gồm rất nhiều số 0 và khôn cùng ít số 1 (spare matrix), số 0 phần đông không sử dụng nhưng bạn vẫn bắt buộc lưu nó
Thiếu sự hiểu biết về ngữ nghĩa của câu nói, bởi vector nghỉ ngơi trên không biểu lộ được sự dục tình giữa các từ cùng với nhau, ví dụ hoa cùng ong có thể có mối contact mật thiết với nhau

Vào năm 2013 Google đã giới thiệu một quy mô mới để trình diễn văn bảng là word2vec <Mikolov et al., 2013>, quy mô này hoàn toàn có thể thể hiện văn bảng bằng dense vector (trái ngược cùng với spare vector, phần lớn các giá trị phần đông khác 0), và nắm bắt được ngữ nghĩa của câu nói. Một số trong những các nghiên cứu khác dựa trên word2vec như Glo
Ve <Pennington et al., 2014> cùng fast
Text <Bojanowski et al., 2016>.

Cuối năm 2018, những nhà nghiên cứu của Google lại chỉ dẫn một mô hình khác (BERT), biết tới cơ sở mang lại các nghiên cứu và áp dụng NLP tiên tiến và phát triển nhất hiện nay.

BERT cũng chính là trọng trung tâm trong series NLP của 200Lab, với mong ước mọi người rất có thể hiểu được nguyên lý hoạt động vui chơi của mô hình này.

Bạn có thể nhấn vào links này nhằm tham gia vào nhóm với nhận thêm các tài liệu hữu dụng khác về Data nhé!

Xử lý ngôn từ tự nhiên, một nhánh phân tích của trí tuệ nhân tạo, được phát triển nhằm xây dựng những chương trình đồ vật tính có tác dụng phân tích, xử lý, cùng hiểu ngữ điệu con người. Technology này đã với đang mang lại những ứng dụng cung ứng thiết thực trong các hoạt động vận hành doanh nghiệp lớn cũng như nâng cao trải nghiệm khách hàng hàng.


Một giữa những mong ý muốn mãnh liệt, lộ diện từ rất sớm của các nhà khoa học máy tính xách tay (computer science) nói phổ biến và trí tuệ nhân tạo (artificial intelligence) dành riêng là phát hành thành công những hệ thống, lịch trình máy tính có chức năng giao tiếp với bé người trải qua ngôn ngữ tự nhiên (natural language), tức thứ ngôn từ con người sử dụng hàng ngày thay vì những ngôn ngữ lập trình sẵn (programming language) hay ngôn từ máy (computer language) bậc thấp. Giải pháp xử lý ngôn ngữ thoải mái và tự nhiên (natural language processing), một nhánh phân tích của trí óc nhân tạo, vào đó cách tân và phát triển các thuật toán, xây dựng các chương trình đồ vật tính có khả năng phân tích, xử lý, cùng hiểu ngôn từ của con người, đó là lĩnh vực nhằm mục tiêu hiện thực hóa kim chỉ nam này. Cho nên vì thế ngay từ khi trí tuệ tự tạo mới thành lập và hoạt động (năm 1956), các nhà nghiên cứu và phân tích đã đặt xử trí ngôn ngữ thoải mái và tự nhiên là một trong hai trọng trách trọng trung khu của trí óc nhân tạo, sát bên việc cải tiến và phát triển các chương trình laptop có khả năng thành công con người trong những trò đùa trí tuệ đối kháng. Nội dung bài viết này sẽ reviews về nghành xử lý ngôn từ tự nhiên, quá trình cơ bản trong xử lý ngôn ngữ tự nhiên, một số trong những ứng dụng của xử lý ngôn ngữ tự nhiên, và phương pháp công nghệ này giúp trang bị tính tiếp xúc với con người.

Giới thiệu về xử lý ngôn ngữ tự nhiên (NLP)

Xử lý ngôn ngữ tự nhiên và thoải mái là một nhánh của trí thông minh nhân tạo, triệu tập vào việc phân tích sự can hệ giữa laptop và ngôn ngữ tự nhiên của bé người, dưới dạng tiếng nói của một dân tộc (speech) hoặc văn bạn dạng (text). Kim chỉ nam của nghành nghề này là giúp máy tính hiểu cùng thực hiện kết quả những nhiệm vụ liên quan tiền đến ngôn từ của con bạn như: can hệ giữa tín đồ và máy, nâng cấp hiệu quả giao tiếp giữa con bạn với nhỏ người, hoặc đơn giản và dễ dàng là nâng cấp hiệu quả xử lý văn phiên bản và lời nói.

Xử lý ngữ điệu tự nhiên thành lập từ trong những năm 40 của vậy kỷ 20, trải qua các giai đoạn cách tân và phát triển với nhiều phương pháp và mô hình xử lý khác nhau. Rất có thể kể cho tới các phương thức sử dụng ô-tô-mát và quy mô xác suất (những năm 50), các phương pháp dựa trên ký kết hiệu, các phương thức ngẫu nhiên (những năm 70), các phương pháp sử dụng học máy truyền thống lịch sử (những năm đầu thế kỷ 21), và đặc biệt là sự bùng nổ của học tập sâu trong thập kỷ vừa qua.

Xử lý ngữ điệu tự nhiên rất có thể được chia ra thành nhì nhánh lớn, không trọn vẹn độc lập, bao hàm xử lý tiếng nói của một dân tộc (speech processing) và cách xử lý văn bản (text processing). Xử trí tiếng nói triệu tập nghiên cứu, cải cách và phát triển các thuật toán, chương trình laptop xử lý ngữ điệu của con tín đồ ở dạng tiếng nói (dữ liệu âm thanh). Những ứng dụng quan trọng của xử lý tiếng nói bao gồm nhận dạng giờ nói với tổng thích hợp tiếng nói. Ví như như nhấn dạng tiếng nói là chuyển ngôn ngữ từ dạng tiếng nói sang dạng văn bạn dạng thì ngược lại, tổng hòa hợp tiếng nói chuyển ngôn từ từ dạng văn bản thành giờ nói. Xử lý văn phiên bản tập trung vào phân tích dữ liệu văn bản. Các ứng dụng quan trọng đặc biệt của xử lý văn bạn dạng bao gồm tìm kiếm cùng truy xuất thông tin, dịch máy, tóm tắt văn bạn dạng tự động, tuyệt kiểm lỗi chủ yếu tả từ động. Cách xử trí văn bạn dạng đôi lúc được phân tách tiếp thành nhì nhánh nhỏ dại hơn bao gồm hiểu văn phiên bản và sinh văn bản. Ví như như hiểu tương quan tới các bài toán đối chiếu văn bạn dạng thì sinh liên quan tới nhiệm vụ tạo thành văn bạn dạng mới như trong số ứng dụng về dịch lắp thêm hoặc bắt tắt văn phiên bản tự động.

Xử lý văn bạn dạng bao gồm 4 bước bao gồm sau:

Phân tích hình vị: là sự việc nhận biết, phân tích, và miêu tả cấu trúc của hình vị vào một ngôn từ cho trước và những đơn vị ngôn từ khác, như từ gốc, biên từ, phụ tố, từ loại, v.v. Trong xử lý tiếng Việt, hai bài toán nổi bật trong phần này là tách bóc từ (word segmentation) cùng gán nhãn từ một số loại (part-of-speech tagging).Phân tích cú pháp: là các bước phân tích một chuỗi các biểu tượng, nghỉ ngơi dạng ngôn ngữ tự nhiên hoặc ngữ điệu máy tính, tuân thủ theo đúng văn phạm hình thức. Văn phạm hiệ tượng thường cần sử dụng trong so sánh cú pháp của ngôn từ tự nhiên bao gồm Văn phạm phi văn cảnh (Context-free grammar – CFG), Văn phạm hạng mục kết nối (Combinatory categorial grammar – CCG), với Văn phạm dựa vào (Dependency grammar – DG). Đầu vào của quá trình phân tích là 1 câu bao gồm một chuỗi từ cùng nhãn từ các loại của chúng, và đầu ra là 1 cây đối chiếu thể hiện cấu tạo cú pháp của câu đó.Phân tích ngữ nghĩa: là quá trình liên hệ cấu tạo ngữ nghĩa, từ lever cụm từ, mệnh đề, câu với đoạn đến cấp độ toàn bài bác viết, với ý nghĩa sâu sắc độc lập của chúng. Nói bí quyết khác, việc này nhằm mục đích tìm ra ngữ nghĩa của đầu vào ngôn từ. So sánh ngữ nghĩa bao gồm hai nấc độ: Ngữ nghĩa trường đoản cú vựng thể hiện các chân thành và ý nghĩa của phần đông từ thành phần, và rõ ràng nghĩa của từ; Ngữ nghĩa thành phần liên quan đến phương thức các từ link để hình thành những nghĩa rộng hơn.Phân tích diễn ngôn: là phân tích văn bạn dạng có xét tới quan hệ giữa ngữ điệu và ngữ cảnh sử dụng (context-of-use). So sánh diễn ngôn, do đó, được triển khai ở mức độ đoạn văn hoặc toàn thể văn phiên bản thay vị chỉ phân tích riêng ở mức câu.Điều gì khiến cho NLP là một lĩnh vực khó?

Có nhiều lý do khiến cho xử lý ngôn ngữ thoải mái và tự nhiên là một nhiệm vụ khó như tập tự vựng rộng lớn lớp cùng được cập nhật thường xuyên, cấu tạo ngữ pháp linh hoạt và nhiều lúc khá lỏng lẻo, ngôn ngữ nhiều lúc thể hiện cảm xúc, hàm ý của bạn viết. Tuy vậy có hai tại sao cơ bạn dạng nhất là tính nhập nhằng của ngôn từ (ambiguity) và sự cần thiết của tri thức nền (background knowledge). Tính nhập nhằng ta đang trao đổi ở trong phần sau, trước hết nói tới tri thức nền.

Một đứa trẻ, từ lúc sinh ra tính đến khi tập nói, tập đọc trải sang 1 giai đoạn dài phát triển. Trong giai đoạn này đứa trẻ không dứt tiếp xúc với quả đât bên ngoài, có các trải nghiệm và tiếp thu kỹ năng từ thế giới xung quanh. Những tri thức cơ bản dần dần được xuất hiện như lửa thì nóng, nước đá thì lạnh, đi con đường đèn đỏ thì dừng, tín hiệu đèn xanh thì đi, nhưng không có đèn tím. Những tri thức này giúp ích rất nhiều cho con người trong việc hiểu ngôn ngữ. Câu hỏi đưa các tri thức nền này vào máy vi tính là thách thức lớn, đến thời điểm này vẫn không có phương án tốt.

Tiếp đến, về tính nhập nhằng của ngôn ngữ, nhập nhằng là hiện nay tượng xẩy ra khi ngôn ngữ rất có thể được gọi theo rất nhiều cách khác nhau, tùy nằm trong vào ngữ cảnh mà nó xuất hiện. Vào xử lý ngôn từ tự nhiên, nhập nhằng hoàn toàn có thể xuất hiện ở những cấp độ, từ vựng, ngữ pháp, ngữ nghĩa, dẫn tới trở ngại trong bài toán xử lý trên thiết bị tính. Xét các ví dụ sau:

Ví dụ 1:

They book that hotel. (S1)They read that book. (S2)

Đầu tiên, từ bỏ book là nhập nhằng về mặt từ loại. Book hoàn toàn có thể là một đụng từ (trong câu S1) hoặc một danh từ (trong câu S2) tùy trực thuộc vào ngữ cảnh xuất hiện thêm của nó. Hiện tượng này gây trở ngại cho câu hỏi gán nhãn từ bỏ loại, một cách trong so với cú pháp. Không những vậy, book cũng nhập nhằng về khía cạnh ngữ nghĩa. Book có thể là một hành động mua hàng thứ nào đấy (trong câu S1) hoặc rất có thể là một văn bản viết được xuất bạn dạng dưới dạng in ấn hay điện tử (trong câu S2). Hiện tượng kỳ lạ này gây trở ngại cho bài bác toán xác định nghĩa của từ, là 1 trong bước trong so với ngữ nghĩa.

Ví dụ 2:

*
Hình 1: Một ví dụ về sự việc nhập nhằng vào cú pháp.

Xem thêm: Viên uống chống lão hóa tốt nhất hiện nay, review top 10

Ở góc độ ngữ pháp, câu này hoàn toàn có thể được phân tích và lý giải theo nhị cây cú pháp như bên trên Hình 1. Những cấu trúc khác nhau dẫn đến các cách đọc khác nhau: “a computer understands you like your mother does” hoặc “a computer understands that you like your mother”. Hiện tượng lạ này gây cực nhọc khăn cho cả hai việc là phân tích cú pháp cùng phân tích ngữ nghĩa.