400元快餐不限次数二维码_同城200元附近,51茶楼最新版本,同城快餐

美林数据
ABOUT US
美林数据技术股份有限公司（简称：美林数据，NEEQ：831546）是国内知名的数据治理和数据分析服务提供商。

Tempo大数据分析平台之文本分析

2020-04-09 11:02:55 次
据IDC报告，当下数据以每年50%左右的速度快速增长，截至2020年全球数据规模将达44ZB，其中文本等非结构化数据占比高达75%-85%，因此对文本等非结构数据的挖掘分析显得尤为迫切和重要。
文本挖掘分析常规挖掘流程
图1，全球非结构化数据量增长情况
文本分析(Text Mining)指从大量非结构化文本数据中抽取未知的、可理解的、最终可用的知识，并运用这些知识更好地组织信息，进而获取用户感兴趣或有用模式的过程。
文本分析流程大致可以描述为：基于网页、文档、字符等非结构化文本数据，利用自然语言处理技术实现非结构化文本数据结构化，再结合机器学习、统计分析、可视化分析等技术进行挖掘分析，进而实现搜索引擎、舆情分析、新闻分类、邮件过滤、智能问答、话题分析等业务场景应用。其中，平台文本分析?？榧词鞘迪肿匀挥镅源沓Ｓ霉δ苣？?，比如：分词、信息抽取、特征选择、主旨话题分析、关键词、命名实体识别、向量空间、情感分析、垃圾信息检测等功能。
文本挖掘分析常规挖掘流程
图2，文本挖掘分析常规挖掘流程
Tempo大数据分析平台文本分析?？榍捌诮ㄉ枥砟钍腔谇巢阌镅苑治鍪迪址墙峁够谋臼萁峁够岷掀教ɑ餮?、挖掘分析等技术实现文本分析挖掘。Tempo大数据分析平台文本挖掘?？楣δ苣？榧芄谷缦峦妓荆δ芗芄狗炙母霾愦危菏莶?、基础层、分析层、应用层。数据层是平台输入的待处理文本数据，基础层为平台自然语言处理?？樘峁┲С牛治霾阒饕瓿煞墙峁够谋镜淖匀挥镅源聿⒒诮峁徊阶龌餮?、可视化分析、统计分析，应用层基于分析层的结果实现相关文本处理业务场景应用。
Tempo大数据分析平台文本挖掘?？楣δ芗芄? src=
图3，Tempo大数据分析平台文本挖掘?？楣δ芗芄?/span>
Tempo大数据分析平台文本挖掘核心是基于自然语言处理实现非结构化文本的处理功能，平台自然语言处理?？榈墓δ芨乓缦卤恚?/span>
表1，自然语言处理模块的功能概要
自然语言处理?？榈墓δ芨乓? src=
基于自然语言处理和机器学习做文本挖掘的处理流程：首先对文本数据进行分词处理，其次，基于分词数据进行特征词选择、向量空间实现文本向量化，至此即可打通和平台机器学习（分类算法、聚类算法）的接口，最后，基于机器学习?？槭迪治谋痉掷?、文本聚类等相关业务场景应用，比如，新闻分类、文档聚类、舆情分析等。
如图4，基于新闻咨询数据实现的新闻自动分类建模流程，左半部分是基于自然语言处理（分词、特征选择、向量空间?？椋┦迪治谋鞠蛄炕野氩糠只谄教ǖ穆呒毓榉掷嗨惴ü菇ㄐ挛欧掷嗥?，并对模型进行评估分析。
新闻分类挖掘流程
图4，新闻分类挖掘流程
基于自然语言处理和可视化分析做文本挖掘的处理流程：首先对文本数据进行分词处理，其次，基于分词数据进行情感分析、信息抽取、信息检测、关键词抽取、主旨话题分析等文本分析，将以上分析结果由结构化输出节点进行结果重构输出，最后，可基于可视化分析技术实现文本分析。
如图5，基于电商平台手机评论数据实现手机产品市场分析流程：左半部分基于自然语言处理（分词、信息抽取、观点情感分析、关键词抽取、主旨话题分析）实现文本相关分析：
  • 信息抽取实现从手机产品描述中抽取手机品牌和手机型号信息；
  • 情感分析判别评论的情感倾向；
  • 主旨话题分析评论文本的关注焦点；
右半部分将整合的数据输出到数据库，可进一步接入可视化分析平台实现手机产品市场分析场景：
  • 不同品牌、型号的手机在市场上的受欢迎程度分析；
  • 不同年龄段的顾客对手机的关注点分析；
  • 产品在不同区域的市场占有情况分析；
手机评论分析数据挖掘流程

图5，手机评论分析数据挖掘流程
文本挖掘模块特点: 流程化设计理念，丰富的功能?？?，基于分布式计算法框架开发，和平台节点进行有机集成：
平台文本挖掘模块特点
图6，平台文本挖掘模块特点
  • 流程化设计:平台文本挖掘采用流程挖掘模式，用户使用方便，业务流程易于理解；
  • 功能丰富:平台实现了自然语言处理常用基本?？?，能够灵活方便实现业务挖掘场景；
  • 分布式计算:文本挖掘模块基于Spark集群框架实现，能够对大批量文本数据进行高效处理运算；
  • 有机集成:文本挖掘?？榭梢院推教?a href="http://www.pervert.cn/product/tempoai.html" target="_blank">机器学习、统计分析、可视化分析等?？榻形薹於越?；
服务热线
400-608-2558
咨询热线
15502965860
美林数据
微信扫描二维码，立即在线咨询