hadoop电商精准营销（数据精准营销的七个关键要素）

本文目录

• 数据精准营销的七个关键要素
• 如何利用大数据，分析和挖掘客户价值，实现精准营销
• 大数据 为什么 要用 hadoop
• 金融需要 hadoop，spark 等这些大数据分析工具吗使用场景是怎样的
• 大数据精准营销对电商和生产行业有什么影响
• 某电商双11数据分析与预测为什么会用到hive,可不可以直接用Hadoop

数据精准营销的七个关键要素

数据精准营销的七个关键要素
说到大数据精准营销，不得不先提个性化的用户画像，我们针对每一类数据实体，进一步分解可落地的数据维度，刻画TA的每一个特征，在聚集起来形成人群画像。

01用户画像
用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。具体包含以下几个维度：
用户固定特征：性别，年龄，地域，教育水平，生辰八字，职业，星座
用户兴趣特征：兴趣爱好，使用APP，网站，浏览/收藏/评论内容，品牌偏好，产品偏好
用户社会特征：生活习惯，婚恋，社交/信息渠道偏好，宗教信仰，家庭成分
用户消费特征：收入状况，购买力水平，商品种类，购买渠道喜好，购买频次
用户动态特征：当下时间，需求，正在前往的地方，周边的商户，周围人群，新闻事件如何生成用户精准画像大致分成三步。
1.采集和清理数据：用已知预测未知
首先得掌握繁杂的数据源。包括用户数据、各式活动数据、电子邮件订阅数、线上或线下数据库及客户服务信息等。这个是累积数据库；这里面最基础的就是如何收集网站／APP用户行为数据。比如当你登陆某网站，其Cookie就一直驻留在浏览器中，当用户触及的动作，点击的位置，按钮，点赞，评论，粉丝，还有访问的路径，可以识别并记录他／她的所有浏览行为，然后持续分析浏览过的关键词和页面，分析出他的短期需求和长期兴趣。还可以通过分析朋友圈，获得非常清晰获得对方的工作，爱好，教育等方面，这比个人填写的表单，还要更全面和真实。
我们用已知的数据寻找线索，不断挖掘素材，不但可以巩固老会员，也可以分析出未知的顾客与需求，进一步开发市场。
2.用户分群：分门别类贴标签
描述分析是最基本的分析统计方法，描述统计分为两大部分：数据描述和指标统计。数据描述：用来对数据进行基本情况的刻画，包括数据总数，范围，数据来源。指标统计：把分布，对比，预测指标进行建模。这里常常是Data mining的一些数学模型，像响应率分析模型，客户倾向性模型，这类分群使用Lift图，用打分的方法告诉你哪一类客户有较高的接触和转化的价值。
在分析阶段，数据会转换为影响指数，进而可以做"一对一"的精准营销。举个例子，一个80后客户喜欢在生鲜网站上早上10点下单买菜，晚上6点回家做饭，周末喜欢去附近吃日本料理，经过搜集与转换，就会产生一些标签，包括"80后""生鲜""做饭""日本料理"等等，贴在消费者身上。
3.制定策略：优化再调整
有了用户画像之后，便能清楚了解需求，在实际操作上，能深度经营顾客关系，甚至找到扩散口碑的机会。例如上面例子中，若有生鲜的打折券，日本餐馆最新推荐，营销人员就会把适合产品的相关信息，精准推送这个消费者的手机中；针对不同产品发送推荐信息，同时也不断通过满意度调查，跟踪码确认等方式，掌握顾客各方面的行为与偏好。
除了顾客分群之外，营销人员也在不同时间阶段观察成长率和成功率，前后期对照，确认整体经营策略与方向是否正确；若效果不佳，又该用什么策略应对。反复试错并调整模型，做到循环优化。
这个阶段的目的是提炼价值，再根据客户需求精准营销，最后追踪客户反馈的信息，完成闭环优化。
我们从数据整合导入开始，聚合数据，在进行数据的分析挖掘。数据分析和挖掘还是有一些区别。数据分析重点是观察数据，单纯的统计，看KPI的升降原因。而数据挖掘从细微和模型角度去研究数据，从学习集、训练集发现知识规则，除了一些比较商业化的软件SAS，WEKA功能强大的数据分析挖掘软件，这边还是更推荐使用R，Python，因为SAS，SPSS本身比较昂贵，也很难做页面和服务级别的API，而Python和R有丰富的库，可以类似WEKA的模块，无缝交互其他API和程序，这里还需要熟悉数据库，Hadoop等。
02数据细分受众
“颠覆营销”书中提到一个例子，可以引述一下，大家思考一个问题：如果你打算搜集200份有效问卷，依照以往的经验，你需要发多少份问卷，才能达到这个目标？预计用多少预算和时间来执行？
以往的方法是这样的：评估网络问卷大约是5%的回收率，想要保证收到200份的问卷，就必须有20倍的发送量，也就是发出4000份问卷，一个月内如果可以回收，就是不错的表现。
但现在不一样了，在执行大数据分析的3小时内，就可以轻松完成以下的目标：
精准挑选出1%的VIP顾客
发送390份问卷，全部回收
问卷寄出3小时内回收35%的问卷
5天内就回收了超过目标数86%的问卷数
所需时间和预算都在以往的10%以下
这是怎么做到在问卷发送后的3个小时就回收35%？那是因为数据做到了发送时间的"一对一定制化"，利用数据得出，A先生最可能在什么时间打开邮件就在那个时间点发送问卷。
举例来说，有的人在上班路上会打开邮件，但如果是开车族，并没有时间填写答案，而搭乘公共交通工具的人，上班路上的时间会玩手机，填写答案的概率就高，这些都是数据细分受众的好处。
03预 测
“预测”能够让你专注于一小群客户，而这群客户却能代表特定产品的大多数潜在买家。
当我们采集和分析用户画像时，可以实现精准营销。这是最直接和最有价值的应用，广告主可以通过用户标签来发布广告给所要触达的用户，这里面又可以通过上图提到的搜索广告，展示社交广告，移动广告等多渠道的营销策略，营销分析，营销优化以及后端CRM/供应链系统打通的一站式营销优化，全面提升ROI。
我们再说一说营销时代的变迁，传统的企业大多还停留在“营销1.0”时代，以产品为中心，满足传统的消费者需求，而进入“营销2.0”，以社会价值与品牌为使命，也不能完全精准对接个性化需求。进入营销3.0的数据时代，我们要对每个消费者进行个性化匹配，一对一营销，甚至精确算清楚成交转化率，提高投资回报比。

大数据下的营销颠覆经典的营销4P理论，Product，Price，Place，Promotion，取而代之的是新的4P，People，Performance，Process，Prediction。在大数据时代，线下地理的竞争边界早就不存在，比的是早一步的先知能力，利用大数据，从顾客真实交易数据中，预测下一次的购买时间。 营销3.0时代关键词就是“预测”。
预测营销能够让你专注于一小群客户，而这群客户却能代表特定产品的大多数潜在买家。以上图为例，你可以将营销活动的目标受众锁定为20万潜在客户或现有客户，其中包括特定产品的大多数买家（4万人）。你还可以拨出部分预算用于吸引更小的客户群（比如20% 的客户），而不是整个客户群，进而优化你的支出。
过去我们看数据可能是被动的方式，但预测营销强调是决策价值，比如购买时间，你该看的不是她最后的购买日期，而是下次购买的时间，看未来的存活概率，最后生成客户终身价值（CLV）。预测营销催生了一种新的数据驱动营销方式，就是以客户为中心，核心在于帮助公司完成从以产品或渠道为中心到以客户为中心的转变。
04精准推荐
大数据最大的价值不是事后分析，而是预测和推荐，我就拿电商举例，"精准推荐"成为大数据改变零售业的核心功能。譬如服装网站Stitch fix例子，在个性化推荐机制方面，大多数服装订购网站采用的都是用户提交身形、风格数据+人工推荐的模式，Stitch Fix不一样的地方在于它还结合了机器算法推荐。这些顾客提供的身材比例，主观数据，加上销售记录的交叉核对，挖掘每个人专属的服装推荐模型。 这种一对一营销是最好的服务。
数据整合改变了企业的营销方式，现在经验已经不是累积在人的身上，而是完全依赖消费者的行为数据去做推荐。未来，销售人员不再只是销售人员，而能以专业的数据预测，搭配人性的亲切互动推荐商品，升级成为顾问型销售。
05技术工具
关于预测营销的技术能力，有几种选择方案：
1、使用预测分析工作平台，然后以某种方法将模型输入活动管理工具；
2、以分析为动力的预测性活动外包给市场服务提供商；
3、评估并购买一个预测营销的解决方案，比如预测性营销云和多渠道的活动管理工具。
但无论哪条路，都要确定三项基本能力：
1）连接不同来源的客户数据，包括线上，线下，为预测分析准备好数据 ；
2）分析客户数据，使用系统和定制预测模型，做高级分析 ；
3）在正确时间，正确客户，正确的场景出发正确行为，可能做交叉销售，跨不同营销系统。
06预测模型
预测客户购买可能性的行业标准是RFM模型（最近一次消费R，消费频率F，消费金额M），但模型应用有限，本质是一个试探性方案，没有统计和预测依据。“过去的成绩不能保证未来的表现”，RFM只关注过去，不去将客户当前行为和其他客户当前行为做对比。这样就无法在购买产品之前识别高价值客户。
我们聚焦的预测模型，就是为了在最短时间内对客户价值产生最大影响。这里列举一些其他模型参考：
参与倾向模型，预测客户参与一个品牌的可能性，参与定义可以多元，比如参加一个活动，打开电子邮件，点击，访问某页面。可以通过模型来确定EDM的发送频率。并对趋势做预测，是增加还是减少活动。
钱包模型，就是为每个客户预测最大可能的支出，定义为单个客户购买产品的最大年度支出。然后看增长模型，如果当前的总目标市场比较小，但未来可能很大，就需要去发现这些市场。
价格优化模型，就是能够去最大限度提升销售，销量或利润的架构，通过价格优化模型为每个客户来定价，这里需要对你想要的产品开发不同的模型，或者开发通用，可预测的客户价格敏感度的模型，确定哪一块报价时对客户有最大的影响。
关键字推荐模型，关键字推荐模型可以基于一个客户网络行为和购买记录来预测对某个内容的喜爱程度，预测客户对什么热点，爆款感兴趣，营销者使用这种预测结果为特定客户决定内容营销主题。
预测聚集模型，预测聚集模型就是预测客户会归为哪一类。
07AI在营销领域的应用
去年人工智能特别火，特别是深度学习在机器视觉，语言识别，游戏AI上的突飞猛进，以至于人们开始恐慌人工智能是不是已经可以接管人类工作，我个人是对新技术有着强烈的兴趣，也非常看好新科技，数据与现实的关联。
我以前在国外零售店买单的时候经常被询问“你有没有购物卡”，当我说没有收银员会赶紧劝我免费开通，有打折优惠，只需要填个手机号和邮箱，后面就可以针对我的购买记录做营销活动，而当我下次进来，他们就让我报出电话号码做消费者识别，当时我想如果做到人脸识别，岂不是更方便，刷脸就可以买单。而这个场景在去年也有了实验，蚂蚁金服研发出了一个生物识别机器人，叫蚂可Mark，据说其认脸能力已经超越了人类肉眼的能力。还有VR购物，Amazon推出的无收银员商店Amazon Go，通过手势识别，物联网和后续数据挖掘等技术实现购物体验。
针对营销领域，主要有以下三种预测营销技术：
1、无监督的学习技术
无监督学习技术能识别数据中的隐藏模式，也无须明确预测一种结果。比如在一群客户中发现兴趣小组，也许是滑雪，也许是长跑，一般是放在聚类算法，揭示数据集合中 真实的潜在客户。所谓聚类，就是自动发现重要的客户属性，并据此做分类。
2、 有监督的学习技术
通过案例训练机器，学习并识别数据，得到目标结果，这个一般是给定输入数据情况下预测，比如预测客户生命周期价值，客户与品牌互动的可能性，未来购买的可能性。
3、强化学习技术
这种是利用数据中的潜质模式，精准预测最佳的选择结果，比如对某用户做促销应该提供哪些产品。这个跟监督学习不同，强化学习算法无须仅需输入和输出训练，学习过程通过试错完成。
从技术角度看，推荐模型应用了协同过滤，贝叶斯网络等算法模型。强化学习是被Google Brain团队的负责人Jeff Dean认为是最有前途的AI研究方向之一。最近Google的一个AI团队DeepMind发表了一篇名为《学会强化学习》的论文。
按团队的话来说，叫做“学会学习”的能力，或者叫做能解决类似相关问题的归纳能力。除了强化学习，还在迁移学习。迁移学习就是把一个通用模型迁移到一个小数据上，使它个性化，在新的领域也能产生效果，类似于人的举一反三、触类旁通。
强化学习加上迁移学习，能够把小数据也用起来，我认为是很激动人心的，通过AI来创造AI，数据科学家的部分工作也可以让机器来实现了。

如何利用大数据，分析和挖掘客户价值，实现精准营销

未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术,
包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop
MapReduce的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对,
在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。 数据立方是一款大数据可视化关系挖掘工具，展现方式包括关系图、时间轴、分析图表、列表等多种表达方式，为使用者提供全方位的信息展现方式。

大数据 为什么 要用 hadoop

大数据（big
data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
有人把数据比喻为蕴
藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。
大数据的价值体现在以下几个方面：
1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;
2)
做小而美模式的中长尾企业可以利用大数据做服务转型;
3)
面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

金融需要 hadoop，spark 等这些大数据分析工具吗使用场景是怎样的

看看用亿信ABI做的相关案例
银行大数据应用
国内不少银行已经开始尝试通过大数据来驱动业务运营，如中信银行信用卡中心使用大数据技术实现了实时营销，光大银行建立了社交网络信息数据库，招商银行则利用大数据发展小微贷款。总的来看银行大数据应用可以分为四大方面：
1、客户画像
客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。比如，如果某位信用卡客户月均刷卡8次，平均每次刷卡金额800元，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。包括：
（1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库）。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理；
（2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可；
（3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况；
（4）其他有利于扩展银行对客户兴趣爱好的数据，如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。
2、精准营销
在客户画像的基础上银行可以有效的开展精准营销，包括：
（1）实时营销。实时营销是根据客户的实时状态来进行营销，比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销（某客户采用信用卡采购孕妇用品，可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务）；或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；
（2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；
（3）个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；
（4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。
3、风险管理与风险控制
在风险管理和控制方面包括中小企业贷款风险评估和欺诈交易识别等手段
（1）中小企业贷款风险评估。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效的开展中小企业贷款。
（2）实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎（如从一个不经常出现的国家为一个特有用户转账或从一个不熟悉的位置进行在线交易）进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪，摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯。
4、运营优化
（1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道尤其是网络渠道推广的质量，从而进行合作渠道的调整和优化。同时，也可以分析哪些渠道更适合推广哪类银行产品或者服务，从而进行渠道推广策略的优化。
（2）产品和服务优化：银行可以将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，更深层次地理解客户的习惯，智能化分析和预测客户需求，从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析，通过对还款数据挖掘比较区分优质客户，根据客户还款数额的差别，提供差异化的金融产品和服务方式。
（3）舆情分析：银行可以通过爬虫技术，抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息，并通过自然语言处理技术进行正负面判断，尤其是及时掌握银行以及银行产品和服务的负面信息，及时发现和处理问题；对于正面信息，可以加以总结并继续强化。同时，银行也可以抓取同行业的银行正负面信息，及时了解同行做的好的方面，以作为自身业务优化的借鉴。

大数据精准营销对电商和生产行业有什么影响

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）,平台有hadoop

某电商双11数据分析与预测为什么会用到hive,可不可以直接用Hadoop

首先明确Hive和Hadoop两者的关系：
1、Hadoop是一种用于存储、读取以及处理海量数据的技术。你可以将他等价理解为个人PC的文件系统，只不过它能够承载远比一两块硬盘所能储存的多得多的数据；
2、Hive是一种构建在Hadoop之上的工具，它通过书写SQL语句的方式部分实现了Hadoop的功能，也就是说，所有Hive具备的能力，Hadoop都有，只不过Hive提供了一套描述工具，让你用可读性更强、更通用的方式描述你想解决的问题，然后由Hive将其转换成Hadoop的底层逻辑，最终解决问题。
所以，你问的问题也就不言自明了，当然可以直接基于Hadoop，使用Java、Python等语言直接编写MapReduce的处理过程；但是，常规的数据分析如果使用Hive，可能只需要若干Select查询语句即可完成，若编写代码完成，可能需要安装配置本地IDE、完成相关代码库的依赖、MapReduce完整逻辑的实现、任务的提交、计算结果的获取等等一系列庞杂的细节。两厢对比，我认为虽然理论上可以直接用Hadoop，但是在真实业务场景下，就是不能用的。
希望我说明白了~