-
继上一节讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不...
-
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的...
-
#优惠券敏感人群分析源代码地址放在最后。互联网给我们老百姓带来的最直接的福利要从补贴开始说起，从滴滴快的烧钱大战，美团饿了么的外卖红包，补贴的硝烟似乎从未停止。补贴不仅仅是发发优惠券那么简单的事，补贴是一门纯技术活。告别了快速占领市场时粗犷的烧钱方式，进入成熟期互联网公司大都开始了精细化运营，如何把补贴用在最需要的用户身上，如何在降低补贴...
-
项目简介：大数据涉及到的业务很多很复杂，从一开始的项目架构，再到后台的网站搭建，以及数据的收集，数据的分析，数据的迁移，业务开发，后台运维，等等。我们没办法一个实验将所有的过程都学习到。本次试验我们将会将重点放在项目架构上，后面的项目我们将重点放在每一部分的实现上。通过本次实验，你将能了解到一个大数据架构师工作的基本步骤，虽然本次实验我们...
-
#JanusGraph-Importjanusgraph是一个强大的分布式开源图数据库，但是没有导入数据的方法，要想导入数据你可能有以下选择：1.导入顶点，然后查询边对应的顶点并插入边。2.导入顶点，记下顶点id，然后和边join，直接用id插入边3.使用我提供的方法假如有以下数据：VertexLable:USER,ITEM(用户，商品)...
-
#POS-task__Thisseminar:__上一次自定义了一个RNN网络,现在我们需要结合keras来定义网络.这次我们判断一句话的每个单词词性。##PartOfSpeechTagging和上次模型不一样，这次我们需要通过RNN获得两种类型数据的映射。很多任务都会用到这样的模型:*语音识别-processinghumanvoicei...
-
作者刘欣来源微信公众号号码农翻身链接https://mp.weixin.qq.com/s/J-HVQnDp9fOqQnxaythsog去年的这个时候我通过两个月的复习拿到了阿里巴巴的offer，有一些运气，也有一些心得，借着跳槽季来临特此分享出来。简单梳理一下我的复习思路，同时也希望和大家一起交流讨论，一起学习，如果不对之处欢迎指正一起学...
-
#MotivationforrecurrentlayersRNN是循环神经网络的简称。实际上我们之前讲的MLP仅仅适用于批量的数据进行训练，而现实生活有很多序列化数据，注意这个序列化和数据存储的序列化是两个不同概念。我们说的序列化数据指的是随着时间输入进行，例如一篇文章、一段音乐，以及用户访问网站数据也是一条一条传入的，这种时候循环神经网...
-
#GeneratingnameswithRNNs我们已经学了RNN，现在上手练习一下RNN。##下载数据简单处理名字数据来自https://raw.githubusercontent.com/hse-aml/intro-to-dl/master/week5/names```pythonstart_token=""withopen("nam...
-
#pythonRNN使用python实现一个简单的RNN减法计算器。减法计算的时候需要每次考虑当前的被减数、减数，还要考虑上一次的可能要的退位输入，这刚好就是一个时序网络模型。##定义一些工具类及激活函数```pythonimportcopy,numpyasnpnp.random.seed(0)#随机数生成器的种子，可以每次得到一样的值#...
