Обработка естественного языка позволяет компьютерам преобразовывать то, что мы говорим, в команды, которые он может выполнять. Узнайте, как это работает и как оно используется для улучшения нашей жизни.
Что такое обработка естественного языка
Будь то Alexa, Siri, Google Assistant, Bixby или Cortana, каждый, у кого есть смартфон или умная колонка, имеет голосового помощника в наши дни. Кажется, что с каждым годом эти голосовые помощники лучше распознают и выполняют то, что мы им приказываем. Но задумывались ли вы когда-нибудь, как эти помощники обрабатывают то, что мы говорим? Им удается это делать благодаря обработке естественного языка или НЛП.
Исторически сложилось так, что большинство программ могло реагировать только на фиксированный набор конкретных команд. Откроется файл, поскольку вы нажали кнопку «Открыть», или электронная таблица вычислит формулу на основе на определенные символы и названия формул. Программа общается, используя язык программирования, на котором она была закодирована, и, таким образом, будет производить вывод, когда ей будет предоставлен ввод, который она распознает. В этом контексте слова подобны набору различных механических рычагов, которые всегда обеспечивают желаемый результат.
Это контрастирует с человеческими языками, которые сложны, не структурированы и имеют множество значений, основанных на предложениях. структура, тон, акцент, время, пунктуация и контекст. Обработка естественного языка — это ветвь искусственного интеллекта, которая пытается преодолеть разрыв между тем, что машина распознает как ввод, и человеческим языком. Это сделано для того, чтобы, когда мы говорим или печатаем естественным образом, машина выдавала результат в соответствии с тем, что мы сказали.
Это делается путем использования огромного количества точек данных для извлечения смысла из различных элементов человеческой речи. языка, помимо значений реальных слов. Этот процесс тесно связан с концепцией, известной как машинное обучение, позволяющее компьютерам узнавать больше по мере получения большего количества точек данных. Именно по этой причине большинство машин для обработки естественного языка, с которыми мы часто взаимодействуем, со временем становятся лучше.
Чтобы лучше прояснить концепцию, давайте взглянем на два наиболее используемых метода высшего уровня в НЛП для обработки языка и информации.
Токенизация
Токенизация означает разделение речи на слова или предложения. Каждый фрагмент текста — это токен, и именно эти токены появляются при обработке вашей речи. Звучит просто, но на практике это сложный процесс.
Допустим, вы используете программу преобразования текста в речь, такую как Google Keyboard, чтобы отправить сообщение другу. Вы хотите отправить сообщение: «Встретимся в парке». Когда ваш телефон берет эту запись и обрабатывает ее с помощью алгоритма преобразования текста в речь Google, Google должен разделить то, что вы только что сказали, на токены. Этими токенами могут быть «встреча», «я», «в», «то» и «парк».
У людей разная длина пауз между словами, и в других языках их может быть не так уж мало. способ слышимой паузы между словами. Процесс токенизации сильно различается между языками и диалектами.
Выбор корней и лемматизация
Выбор корней и лемматизация включают в себя процесс удаление дополнений или вариантов корневого слова, которое может распознать компьютер. Это делается для того, чтобы сделать интерпретацию речи последовательной для разных слов, которые по сути означают одно и то же, что ускоряет обработку НЛП.
Стемминг — это грубый быстрый процесс, который включает удаление аффиксов из корневого слова, которые являются дополнениями к слову, прикрепленному до или после корня. . Это превращает слово в простейшую базовую форму, просто удаляя буквы. Например:
- «Walking» превращается в «walk»
- «Faster» превращается в «fast «
- «Severity» превращается в «severe»
Как видите, определение основы может иметь неблагоприятный эффект, полностью изменяя значение слова. «Severity» и «sever» не означают одно и то же, но суффикс «ity» был удален в процессе образования корней.
С другой стороны, лемматизация – более сложный процесс, который включает преобразование слова в его исходное положение. основе, известной как лемма. При этом учитывается контекст слова и то, как оно используется в предложении. Это также включает поиск термина в базе данных слов и соответствующей леммы. Например:
- Поворот «Есть» в «be»
- «Operation» превращается в «operate»
- «Severity» превращается в «severe»
В этом примере лемматизации удалось превратить термин «серьезность» в «серьезный», что является его формой леммы и корнем слова.
Случаи использования НЛП и будущее
Предыдущие примеры только начинают поверхностно рассказывать о том, что такое обработка естественного языка. Он охватывает широкий спектр практик и сценариев использования, многие из которых мы используем в повседневной жизни. Вот несколько примеров использования НЛП в настоящее время:
- Интеллектуальный ввод текста: когда вы печатаете сообщение на своем смартфоне, он автоматически предлагает вам слова, которые подходят к предложению или которыми вы пользовались раньше.
- Машинный перевод . Широко используемые услуги потребительского перевода, такие как Google Translate, чтобы включить высокоуровневую форму NLP для обработки языка и его перевода.
- Чат-боты . НЛП — это основа для интеллектуальных чат-ботов, особенно в сфере обслуживания клиентов, где они могут помогать клиентам и обрабатывать их запросы до того, как они столкнутся с реальным человеком.
Это еще не все. приходить. Использование НЛП в настоящее время разрабатывается и внедряется в таких областях, как средства массовой информации, медицинские технологии, управление рабочим местом и финансы. Есть шанс, что в будущем мы сможем провести полноценный сложный разговор с роботом.
