Qualcomm voice assist что это
Qualcomm Tech Summit 2019. День 2. Snapdragon 865 и высокие технологии
Итак, после того, как в первый день саммита было задано направление обсуждений, даны намеки на то, что нас ждет в новом году и в новых продуктах от Qualcomm и партнеров компании, мы перешли к техническим подробностям второго дня. Ознакомьтесь с репортажем о первом дне, чтобы не пропустить ощущение того, что происходило.
В зале, где проходят презентации, используется Wi-Fi от Verizon, нас всех убедительно просили не использовать персональные хотспоты, так как они убивают интернет как таковой, засоряют эфир в относительно небольшом пространстве зала.
И это несмотря на то, что тут стоит Wi-Fi 6, скорость раздачи в обычное время неплохая, поддерживаются оба диапазона.
Но сеть не рассчитана на то, чтобы тут было одновременно много людей, причем людей, которые не просто потребляют трафик, но еще и передают что-то в огромных количествах. Поэтому такие ограничения и просьба не использовать свои роутеры или смартфоны. Как мне кажется, нужно придумать функцию, которая будет отключать в таких зонах возможность использовать Wi-Fi-раздачу для сторонних устройств. Но это так, неисполнимая мечта.
Содержание
Про Snapdragon 865 и его умения – самый мощный чипсет
Мы привыкли к тому, что с каждым поколением устройств растет их производительность, больше операций в секунду, выше скорость обработки данных. И в этом аспекте никаких отличий от предыдущих лет нет, Snapdragon 865 быстрее, чем его предшественники.
Чтобы осознать технические характеристики, в них нужно вчитаться, я постараюсь отдельно и на примерах показать, что изменилось в приложениях (не в сухих цифрах, а что именно можно делать на этом чипсете). Но вначале посмотрите на технические характеристики.
Adreno 650 GPU
5G Modem-RF System
Wi-Fi & Bluetooth
Camera
Audio
Display
Visual Subsystem
Security
Charging
Location
Memory
General Specifications
На меня произвели впечатление улучшения в области Wi-Fi, наличие LPDDR5 памяти, улучшения в области GPS и Bluetooth, этот чипсет практически во всем получил качественное развитие по сравнению с предшественниками. Описывать каждое в этом обзорном материале нет ни сил, ни возможностей, выберем только самое основное.
Помимо того, что есть вещи ожидаемые, также есть и относительно неожиданные. Так, современный смартфон – это не просто устройство для ввода и вывода информации, в нем множество датчиков, некоторые из них работают постоянно. А это значит, что они тратят энергию, создавать для каждого такого устройства свой собственный DSP накладно, и в Qualcomm сделали Sense Hub, где сосредоточено управление датчиками и сенсорами.
В этом подходе нет ничего особенного, но на практике вы можете получить множество применений, часть из которых нам показали в виде демонстраций. Например, вы можете улучшить AI-алгоритмы, в частности, это автоматическое определение того, что за музыка играет около вас. Но это кажется чем-то привычным, на самом деле, вопрос в том, сколько энергии уходит на это. И тут тоже совершили небольшой переворот, для AI-алгоритмов выделили процессор Hexagon. Принцип тот же самый, что и с хабом для датчиков, но специализация немного другая.
Например, мы привыкли к тому, что движок от Google позволяет переводить устную речь с одного языка на другой, теперь затраты энергии на это значительно меньше.
Это происходит в режиме реального времени, причем не требуется участия облака, все работает на устройстве! Мы уже видели это на Pixel 4/4XL, это совместная работа Qualcomm и Google.
И таких примеров очень много, например, ребята из Snapchat показали маски, что накладываются на видео в режиме реального времени, обработка идет на устройстве. Маски выглядят очень живо, производительность чипсета такова, что на обработку требуется меньше времени и энергии.
Нейросети и их алгоритмы, задействованные в Snapdragon 865, позволяют реализовать совсем иного качества сервисы как для отдельных компаний, так и для операторов. Одним из примеров стало использование таких алгоритмов для достраивания видео в режиме реального времени, оператор передает вам видео в низком разрешении, а смартфон его автоматически повышает. Экономия трафика налицо, операторам этот сервис понравится. А нам как пользователям? Это открытый вопрос, так как пока мы как покупатели приобретаем определенный объем трафика (привет, безлимиты) и хотим максимального качества видео. Мы не хотим, чтобы на нас экономили. Но это будущее, к которому мы рано или поздно привыкнем. Демонстрация поражает воображение, так как картинка мыльная и она восстанавливается до весьма неплохого качества. Как будет на практике? Никто вам на это пока не ответит, ждем появления реальных сервисов с такой возможностью.
Другим применением становится создание AI-аватаров, вы можете создавать их в реальном времени, они повторяют вашу мимику, жесты. Показывали это на примере Loom.AI.
Spectra 480 ISP, камеры в смартфоне – это важно
Одним из ключевых компонентов в новом чипсете от Qualcomm становится отдельный ISP для обработки видео и фото, это Spectra 480. Маркетологи придумали термин «гигапиксельная скорость».
Это означает, что обработка может происходить со скоростью 60 кадров в секунду и с разрешением 64 мегапикселя. Но это условность, так как камер в современном смартфоне бывает много, это не один модуль. И тут важно уметь объединить картинки с разных модулей. И это уже можно делать.
На один такт в Spectra 480 обрабатывается 4 пикселя, а не один, как раньше. Это большая скорость работы с изображениями.
Также модуль позволяет повысить число точек для работы автофокуса.
На рынке получили распространение модули с фильтром Quad-Bayer, это 48, 64 мегапикселя или даже больше. В Spectra 480 есть аппаратная поддержка их обработки, то есть разгружается CPU, что хорошо – скорость работы камер возрастет.
Чем выше производительность процессора, в том числе в отдельном модуле, тем больше вычислительных алгоритмов для улучшения картинки вам доступно. Например, вы можете снизить шумы при съемке в темноте, улучшить читаемость картинки. И все это тут присутствует в полном объеме.
Также меньше тратится энергии при записи видео, обработке снимков, а у них появляется больше деталей.
Но также это означает, что вы можете снимать 4К-видео и получать снимки в полном разрешении, например, в 64 мегапикселя – никаких ограничений тут не будет. В Qualcomm говорят о том, что пробовали модуль на 200 мегапикселей с одним из производителей, это самое большое разрешение, когда-то полученное на мобильном устройстве, и текущее железо с этим справляется.
Улучшения в области камер не просто заметны, они огромны. Новый чипсет позволяет добиться улучшений в вычислительной фотографии, а значит, качество снимков подрастет для совершенно разных смартфонов, от моделей средней цены до флагманов. И это можно только приветствовать. Ничего принципиально нового нет, но улучшено все, что существовало до сегодняшнего дня. Это полировка алгоритмов, что известны нам давно.
Новым словом является семантическая сегментация в вычислительной фотографии. Показывали это на примере семантических фильтров от компании Morpho. Камера анализирует, что вы снимаете, а затем делит снимок на сегменты. В обычном фото у вас применяется фильтр для всей фотографии, например, так работает уменьшение шумов.
В семантических фильтрах AI анализирует снимок и делит его на участки – выделяет волосы, кожу, фон снимка. И дальше фильтры применяются к каждой отдельной зоне! Это позволяет повысить качество картинки.
Звучит фантастически, но это то, что делала Google в линейке Pixel достаточно давно. Теперь эти технологии пришли на массовый рынок и будут использоваться повсеместно рано или поздно. Улучшение снимков, которое сулит использование семантических фильтров, трудно, да просто невозможно недооценить.
Где еще будет использоваться AI? Да везде в фото, например, при использовании оптического зума, чтобы добиться гладкой картинки при зумировании, это то, что вы видите на экране.
Другой момент – это 8К-видео, что впервые снято на Snapdragon (разрешение 33 мегапикселя). Понятно, что картинка на презентации выглядела очень хорошо. Дождемся реальных образцов и применения технологии на практике, тут не стоит спешить.
В Qualcomm вспомнили, что с каждым поколением чипсета улучшали качество картинки, добавляли поддержку HDR и многое другое.
Впервые в мире на 865-ом появляется Dolby Vision для съемки видео. Эта технология позволяет получить HDR-контент при съемке видео в очень высоком качестве (упрощаю, но так понятнее). Контраст, яркость, резкость – все это Dolby Vision при съемке видео. Представитель лаборатории Dolby сказал, что это профессиональные технологии, которые становятся доступны обычному, массовому потребителю. Вопрос, насколько быстро они появятся в большом числе устройств. К слову сказать, это также заслуга Spectra 480.
Напомню, что чипсет поддерживает дисплеи с частотой 120 Гц, а это значит, что ваши видео с частотой 1120 кадров в секунду будут смотреться неплохо. Но теперь вы можете снимать 4К видео в Slo-Mo с частотой 960 fps, и оно ничем не ограничено! Вы можете снимать так долго, как хотите.
Последнее, о чем стоит сказать в разрезе камер, это формат HEIF от Google, он позволяет менять глубину резкости снимка. Этот формат адаптирован на уровне железа.
А теперь посмотрите все нововведения, что сделаны для изображений и видео.
Элитный гейминг от Qualcomm
В Qualcomm решили объяснить, что такое лучшее из лучших решений для игр, почему они называют свое решение элитным. Но вначале несколько цифр.
По мнению Qualcomm, для того, чтобы играть комфортно в большинство игр, в будущем потребуется поддержка 5G. На наших глазах выросло первое поколение потребителей, что изначально погружены в мобильные телефоны, умеют и хотят играть на них. Категория eSport стала основной, и эра мобильных игр наступила. Возможно, что это объясняет, почему все производители с таким упорством создают игровые продукты, даже те, что бесконечно далеки от этого рынка. Это тренд, и игры становятся тем, что должна иметь каждая компания. В том числе и Qualcomm.
В новом движке от Qualcomm игры адаптируются под то, как работают процессор и графика. Для этого на лету анализируется как игра, так и аппаратные возможности устройства, обеспечивается плавная работа.
Помимо того, что для геймеров важно качество игры, они привыкли к настольным мониторам с частотой 144 Гц, эта частота теперь поддерживается и для мобильных устройств (как обычно, нужно, чтобы производитель железки реализовал эту возможность). Игры могут идти с частотой 120 кадров в секунду.
Функция Game Color Plus – это улучшенное отображение картинки, она становится более яркой, цветной, и все без потери в качестве геймплея. Считайте, что просто улучшение картинки. Особой разницы во время демонстрации не увидел, это, как по мне, мелочи.
Новая аппаратная функция Adreno HDR Fast Blend – это возможность применять разные эффекты (смог, дым и так далее) на 3D-картинке. Не просто применять, а сделать так, чтобы это происходило быстро.
На презентации также говорили о том, что впервые на Android появляются отдельно обновляемые GPU-драйверы и эта функция начинает поддерживаться Google. Вы просто можете загрузить их в любой момент в Play Store. Эта фишка очень важна и повышает качество флагманов, нет смысла ждать отдельной прошивки, в которой появится и улучшение графики. Теперь графика может жить в отрыве от обновлений устройства по другим направлениям.
Много слов было сказано о том, что графика на устройствах с 865-ым теперь уровня десктопов и применяются аналогичные алгоритмы. И это в какой-то мере правда, мобильные устройства заимствуют все больше и больше возможностей в ПК, так как растет их производительность. Другое дело, что на относительно небольшом экране это не так уж нужно. Совсем другое дело, когда вы подключаете телефон к большому экрану или телевизору.
И вот коротко о том, что улучшилось в новом поколении чипсета для игр.
Короткий вывод
Кто-то скажет, что ничего неожиданного не случилось, улучшения в 865-ом чипсете во многом очевидны. Но во время второго дня меня не покидало ощущение того, что в Qualcomm, словно пылесосом, собрали все лучшее, что есть на рынке, и попытались воплотить в своем чипсете. Это дорогое и универсальное решение, в котором многообещающие перспективы не только для 5G, но и для камер в мобильных устройствах, игр и AI-алгоритмов. Тут просто россыпи того, что может обернуться весьма интересными сервисами и устройствами. И это чипсет, который станет не просто востребован, он позволит строить устройства нового поколения. В этом нет никаких сомнений, ни малейших.
Что из новых возможностей чипсета от Qualcomm вам понравилось больше всего? Что показалось ненужным и надуманным? Расскажите в комментариях.
Qualcomm QCC3020 — расцвет китайских TWS-наушников
Если вы погуглите QCC3020, то результаты поиска вывалят гору обзоров наушников — от визуальных подражателей AirPods до псевдо-винтажных моделей для ценителей. Edifier, Tronsmart, Mifo, Pamu… их всех объединяет небольшая ценность родного бренда и китайское происхождение. Давайте разберёмся, что это за чип, и почему производители недорогих TWS-наушников используют QCC3020 и почему так им гордятся.
True Wireless Stereo
True Wireless Stereo, или TWS, это когда два беспроводных уха работают синхронно, доставляя музыку и голоса вам в голову. Не самой первой, но самой популярной моделью стали Apple AirPods, хоть и не содержали в описании этого акронима. Технология даже вошла в топ главных технологий десятилетия по версии читателей Хабра.
Вскоре появились подражатели совершенно разных ценовых диапазонов (даже за 500 руб.), но качество и удобство использования оставляли желать лучшего: уши рассинхронизировались, могла образовываться задержка между правым и левым ухом, или пропадала связь с одним из них.
На помощь пришёл Qualcomm. В 2018м году компания выкатила для производителей линейку SoC QCC30xx для работы с Bluetooth, которые поддерживают TWS, aptX и CvC (об этом ниже).
Чип QCC3020 — самый бюджетный из представленных вариантов, но при этом обладает набором-минимумом для создания беспроводных наушников. Цену за Qualcomm не выкладывает в открытый доступ. У китайских поставщиков цены «с улицы» узнать сложно — разброс от 0.1 до 10 юаней (10-100 руб.), в зависимости от кол-ва штук в заказе.
Характеристики SoC
Обработка сигналов
Bluetooth
Форм-фактор чипа
Обратите внимание, что среди выделенных функций наушников есть, например, «вызов голосового ассистента нажатием кнопки» — эту и другие функции реализовали все до единого производителей наушников на QCC3020, поэтому обзоры подобных наушников так похожи друг на друга.
Интересно, что на иллюстрации из документа-обзора чипа у модели 3020 нет поддержки Stereo Headset, хотя наушники определённо работают в стерео-режиме.
«Шумоподавление» CvC
В описании практически всех наушников с QCC3020 упоминают Qualcomm CvC — «активное шумоподавление», а некоторые даже преподносят её как ANC (Active Noise Cancelling — активное шумоподавление).
CvC расшифровывается как Clear Voice Capture, в чипе QCC3020 используется CvC 8.0. В отличие от ANC, CvC не подавляет звуки окружающей среды вокруг вас. Она нужна для чистой передачи голоса абоненту, с которым вы разговариваете. Чип QCC3020 поддерживает две пары микрофонов на каждый наушник, которые используются для отделения фоновых звуков от речи, и ваш собеседник действительно будет слышать более чистый голос, но для вас самих это будет неочевидно.
Qualcomm сделал для рынка беспроводных китайских наушников примерно то же самое, что сделал Android для рынка китайских смартфонов: в одночасье вместо франкенштейнов с телевизором и самописными Java-приложениями мы получили настоящие смартфоны с приложениями, а теперь вместо стрёмных скрипящих затычек у нас богатый выбор недорогих и качественных наушников на любой бюджет.
Qualcomm представила аудио технологию aptX Voice
Qualcomm Technologies, дочерняя компания Qualcomm Incorporated, представила новый голосовой кодек Qualcomm aptX Voice, обеспечивающий высокое качество передачи речи с высоким разрешением по беспроводным соединениям Bluetooth.
Разборчивость и понятность речи — основные факторы, влияющие на телефонное общение. Кодек aptX Voice, новый функционал технологии Qualcomm aptX Adaptive audio, позволяет существенно улучшить качество речи при переговорах с помощью Bluetooth-гарнитур.
Сегодня голосовые кодеки с суперширокополосной полосой пропускания используются провайдерами для повышения качества речи в мобильных сетях, т.е. многие пользователи мобильных устройств уже на практике знают, что такое высокое качество передачи голоса. В то же время, если для телефонных разговоров используются устройства, поддерживающие профиль Bluetooth Handsfree Profile, качество речи будет не столь высоким. Для повышения качества передачи музыки по каналу Bluetooth был разработан кодек aptX, теперь ему на помощь пришел кодек aptX Voice, который улучшает передачу речи, обеспечивая кристально чистое звучание голоса с частотой дискретизации 32 КГц при передаче по профилю Bluetooth Handsfree Profile.
«Технология aptX совершила революцию в прослушивании музыки по Bluetooth, обеспечив беспрецедентное качество звучания, и теперь кодек aptX Voice готов сделать то же самое с передачей голоса, — сказал Джемс Чапмэн (James Chapman), вице-президент и генеральный менеджер компании подразделения по разработке голосовых, музыкальных и носимых технологий, Qualcomm Technologies International, Ltd. — aptX Voice решает проблему повышения четкости и качества передачи речи для потребителей, которые все больше пользуются беспроводными гарнитурами и наушниками».
Популярность беспроводной технологии Bluetooth растет, и потребители все активнее требуют повышения качества звучания как при голосовых вызовах, так и при прослушивании музыки. Что касается речи, то использование узко- и широкополосных кодеков профиля Bluetooth Handsfree Profile иногда приводит к невозможности различить голоса, путанице в словах, забиванию диалога фоновыми шумами и, в конце концов, утомляет говорящих. Кодек aptX Voice повышает комфортность разговора, улучшая общее качество звучания и уменьшая нагрузку на говорящих, особенно при нахождении в операторском центре или других подобных ситуациях.
Параметры кодека aptX Voice (частота дискретизации 32 КГц, плоская частотная характеристика до 16 КГц) обеспечивают высокое качество голоса, которого потребители привыкли ожидать от линейки аудиокодеков aptX. Кроме того, технология aptX Voice обеспечивает ряд преимуществ.
Повышается разборчивость и понятность речи, улучшается общее качество звучания по сравнению с узко- и широкополосными кодеками профиля Bluetooth Handsfree Profile. Улучшается понимание, повышается узнаваемость голосов, облегчается распознавание приглушенных звуков и непривычно артикулированной речи. Улучшается распознаваемость слов с похожими звуками, например, «с» и «ф», которые при разговоре по телефону часто бывают неразличимы. Появляется возможность слышать тихую речь и понимать речь, когда в разговор вступают несколько человек одновременно. Улучшается понимание в присутствии других помех, например, при громкой связи или при наличии фонового шума.
Новая технология уже доступна на платформах Qualcomm Snapdragon 865 и Qualcomm Snapdragon 765, также она будет доступна в аксессуарах, использующих новую линейку однокристальных систем Qualcomm Technologies Bluetooth Audio, которая выйдет в 2020 г.