炼数成金 大数据
订阅

大数据

纽约时报Kafka架构实战
纽约时报Kafka架构实战
我们把这个系统叫做发布管道(Publishing Pipeline)。这篇文章主要关注后端的系统,我们会介绍如何使用 Kafka 保存纽约时报的文章,以及如何使用 Kafka 和 Steams API 将发布的内容实时推送给各种应用。下面是总体 ...
分类:   
阿里云发布POLARDB,未来3年无自研数据库的云计算玩家将被淘汰
阿里云发布POLARDB,未来3年无自研数据库的云计算玩家将被淘汰
近日,阿里云正式对外发布了全新一代自研关系型数据库POLARDB。值得注意的是,POLARDB并不是基于开源数据库MySQL之上研发的分支,而且基于第三代分布式共享存储架构,创新实现企业级OLTP与OLAP一体化数据库系统整体 ...
分类:   
Julia:世界上知名的大公司都在使用这款新的编程语言!
Julia:世界上知名的大公司都在使用这款新的编程语言!
编程语言可谓种类繁多;数学家、研究人员和数据科学家面临的一大问题常常是,找到实际上适合手头处理的任何任务的某一种语言。为了避免困难,总部位于孟加拉国和美国的初创公司Julia Computing的几位联合创始人开发 ...
分类:   
ngxtop:在命令行实时监控 Nginx 的神器
ngxtop:在命令行实时监控 Nginx 的神器
Nginx网站服务器在生产环境中运行的时候需要进行实时监控。实际上,诸如Nagios, Zabbix, Munin 的网络监控软件是支持 Nginx 监控的。如果你不需要以上软件提供的综合性报告或者长期数据统计功能,只是需要一种快速简 ...
分类:   
Python 最难的问题
Python 最难的问题
随处都是问题。难度大、耗时多肯定是其中一个问题。仅仅是尝试解决这个问题就会让人惊讶。之前是整个社区的尝试,但现在只是外围的开发人员在努力。对于新手,去尝试解决这样的问题,主要是因为问题难度足够大,解决 ...
分类:   
一文读懂工业物联网 全面起底核心玩家和技术体系
一文读懂工业物联网 全面起底核心玩家和技术体系
物联网进入与传统产业深度融合发展的崭新阶段。未来10年内,全球物联网将创造10多万亿美元的价值,约占全球经济的1/10,并与城市管理、生产制造、汽车驾驶、能源环保等形成数个千亿级规模以上的细分市场。其中,工业 ...
分类:   
Java 9 正式发布,终落地 Jigsaw 项目
Java 9 正式发布,终落地 Jigsaw 项目
9 月 21 日,大家期待已久的 Java 9 终于正式发布了,本文与大家一起快速回顾一下 IntelliJ IDEA 中 Java 9 的支持,并了解 IntelliJ IDEA 2017.3 中针对 Java 9 的推出的新功能。Jigsaw 和 JPMS提及 Java 9,最大的 ...
分类:   
为什么LinkedIn放弃MySQL slowlog,用基于网络层慢查询分析器
为什么LinkedIn放弃MySQL slowlog,用基于网络层慢查询分析器
LinkedIn 大量使用MySQL,公司内部 500 多个服务依赖于MySQL。 为了方便管理以及提高资源利用率,我们使用多租户架构模式。 然而这种模式的一个主要缺点是,来自一个应用程序的查询可能会影响到其他应用程序。虽然我 ...
分类:   
Linux 文件系统概览
Linux 文件系统概览
本文旨在高屋建瓴地来讨论 Linux 文件系统概念,而不是对某种特定的文件系统,比如 EXT4 是如何工作的进行具体的描述。另外,本文也不是一个文件系统命令的教程。每台通用计算机都需要将各种数据存储在硬盘驱动器(H ...
分类:   
来了,Apache Kylin在百度外卖流量分析平台的应用与实践~
来了,Apache Kylin在百度外卖流量分析平台的应用与实践~
流量分析平台是通过对进入百度外卖App的流量从路径、大区、城市、商圈、终端、版本、渠道等多个维度进行分析,帮助活动运营、渠道运营、产品经理、产品运营、大区经理等角色更好的了解其业务的流量情况,从而进一步 ...
分类:   
记一次 MySQL 找回用户数据
记一次 MySQL 找回用户数据
有天,我们公司外区的一个销售C说他8月3号以前的工作流记录找不到了。问清缘由,原来是更新了微信号(我们公司的工作流是基于企业微信开发的)。经过分析,微信号和流程数据并没什么关系,所以初步得出结论:本来只 ...
分类:   
我国物联网传感器和芯片两大核心技术仍受制于人
我国物联网传感器和芯片两大核心技术仍受制于人
物联网通过传感装置,将物理世界转换成数字世界,进而实现物与物、人与物相联。经过8年的发展,我国物联网发展有了长足进步,但仍面临一些瓶颈,比如两大基础核心技术——传感器和芯片仍受制于人。同时,也面临应用 ...
分类:   
Swift 4.0 正式发布,更快更兼容更好用
Swift 4.0 正式发布,更快更兼容更好用
Swift 4 现已正式发布!Swift 4 在 Swift 3 的基础上,提供了更强大的稳健性和稳定性,为 Swift 3 提供源码兼容性,对标准库进行改进,并添加了归档和序列化等功能。你可以通过观看 WWDC 2017: What’s New in Swift ...
分类:   
十大最受欢迎的 React Native 应用开发编辑器
十大最受欢迎的 React Native 应用开发编辑器
市面上用于开发工作的编辑器非常多,笔者会经常因为不同的编程语言该如何选择好用的编辑器而感到纠结。而在随后从事 React Native 开发工作过程中,对相应的编辑器做了一些探索和研究,本文总结了一些非常适合移动应 ...
分类:   
深入 JavaScript 数组:进化与性能
深入 JavaScript 数组:进化与性能
正式开始前需要声明,本文并不是要讲解 JavaScript 数组基础知识,也不会涉及语法和使用案例。本文讲得更多的是内存、优化、语法差异、性能、近来的演进。在使用 JavaScript 前,我对 C、C++、C# 这些已经颇为熟悉。 ...
分类:   
李沐:一起“剁手”之GPU购买指南
李沐:一起“剁手”之GPU购买指南
深度学习训练通常需要大量的计算资源。GPU目前是深度学习最常使用的计算加速硬件。相对于CPU来说,GPU更便宜(达到同样的计算能力GPU一般便宜10倍),而且计算更加密集(一台服务器可以搭配8块或者16块GPU)。因此GP ...
分类:   
我用Python爬取了全国4500个热门景点,告诉你国庆哪儿最堵?
我用Python爬取了全国4500个热门景点,告诉你国庆哪儿最堵?
金秋九月,丹桂飘香,在这秋高气爽,阳光灿烂的收获季节里,我们送走了一个个暑假余额耗尽哭着走向校园的孩子们,又即将迎来一伟大的国庆长假。那么问题来了,去哪儿玩呢?百度输了个“国庆”,出来的第一条居然是“ ...
分类:   
React 许可证的五宗罪
React 许可证的五宗罪
Facebook 公司的 BSD+专利许可证失败的原因不是因为许可证本身,而是因为它忽略了开源软件更深层次的本质。2017 年 7 月,Facebook 公司应用于 react 等项目的许可证组合被 Apache 软件基金会禁止使用。该许可证组合 ...
分类:   
数据湖只是个哗众取宠的伪概念吗?
数据湖只是个哗众取宠的伪概念吗?
最大的问题在于“数据湖”这个词已经不堪重负,被供应商和分析师们赋予了太多不同的含义。如果有什么东西不属于传统的数据仓库架构,那就把它归结为某一种数据湖。最后数据湖就成了一个不清楚的、模糊的概念。众所周 ...
分类:   
WordPress 宣布停止使用 React,网传百度也停用 React
WordPress 宣布停止使用 React,网传百度也停用 React
WordPress是一种使用PHP语言开发的博客平台,用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站,也可以把WordPress当作一个内容管理系统(CMS)来使用。WordPress几乎所有项目都基于React开发,比如,最 ...
分类:   
体系化认识RPC
体系化认识RPC
RPC(Remote Procedure Call),即远程过程调用,是一个分布式系统间通信的必备技术,本文体系性地介绍了 RPC 包含的核心概念和技术,希望读者读完文章,一提到 RPC,脑中不是零碎的知识,而是具体的一个脑图般的体 ...
分类:   
深度解密京东登月平台基础架构
深度解密京东登月平台基础架构
登月平台的基础架构以Docker+Kubernetes为中心,底层基础设施包括CPU、GPU、FPGA计算资源,IB、OPA高速互联网络以及多样化的文件系统,之上是机器学习框架和算法库,最上层是业务应用。管理中心包括权限管理、任务管 ...
分类:   
一文读懂量子机器学习:量子算法基石已经奠定
一文读懂量子机器学习:量子算法基石已经奠定
在人类拥有计算机之前,人类就从数据中寻找模式。托勒密将对星系运动的观测数据纳入宇宙地心说的模型,并用复杂的行星轮理论来解释行星的逆行运动。 在十六世纪,开普勒分析了哥白尼和布拉赫的数据,揭示出以前隐藏 ...
分类:   
Oracle 要将 Java EE 移交给 Eclipse 基金会
Oracle 要将 Java EE 移交给 Eclipse 基金会
Oracle 日前宣布,选择将 Eclipse 基金会作为 Java EE(Java 平台企业版)的新家。Oracle 是与 Java EE 的两个最大的贡献者 IBM 和 Red Hat 一同做出的该决定。Oracle 软件布道师 David Delabassee 在博文中说,“… ...
分类:   
使用 Docker 和 Kubernetes 将 MongoDB 作为微服务运行
使用 Docker 和 Kubernetes 将 MongoDB 作为微服务运行
想在笔记本电脑上尝试 MongoDB?只需执行一个命令,你就会有一个轻量级的、独立的沙箱。完成后可以删除你所做的所有痕迹。想在多个环境中使用相同的程序栈application stack副本?构建你自己的容器镜像,让你的开发 ...
分类:   
Stack Overflow 报告:Python 正在令人难以置信地增长!
Stack Overflow 报告:Python 正在令人难以置信地增长!
我们最近探讨了那些世界银行定义为高收入的富裕国家是如何倾向于使用与世界上其它地区不同的技术。这其中我们看到的最大的差异在于 Python 编程语言。就高收入国家而言,Python 的增长甚至要比 Stack Overflow Trend ...
分类:   
为什么 Python 增长如此之快?
为什么 Python 增长如此之快?
根据 Stack Overflow 最近公布的报告,基于 SO 上不同问题帖的访问量统计,Python 可以说是增长最快的主流编程语言。Python 也是高收入国家访客最爱浏览的标签。一起看看 SO 数据科学家 David Robinson 的分析。为什 ...
分类:   
数据异构的武器 - BINLOG+MQ
数据异构的武器 - BINLOG+MQ
何谓数据异构,上周交易部门商品的同事过来做分享,又看到这个词,他的PPT里面是 数据库异构。其实我们以前做的事情,也是可以成为数据异构。比如我们将DB里面的数据持久化到REDIS里面去,就是一种数据异构的方式。 ...
分类:   
开源英雄:Solomon Hykes 和 Docker 的革命性崛起
开源英雄:Solomon Hykes 和 Docker 的革命性崛起
“从我创立 DotCloud 伊始,我们就将很多我们写的东西开源了,纵观 DotCloud 的历史,我们开源十几个项目,不过最后有一个项目非常的成功,它的名字叫做 Docker,其成为了所有开源项目中最为成功的一个,它是如此的 ...
分类:   
行尸走肉:注定淘汰的 IT 工作
行尸走肉:注定淘汰的 IT 工作
在IT行业,技术迅速转变、业务要求不断变化,这使得重塑职业道路成为一个关乎生存的问题。罗伯·特里(Rob Terry)记得。上世纪90年代中期的几年,他帮助几家公司开发交互式光盘,包括《InfoWorld》的姊妹出版物《PC ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

  GMT+8, 2017-9-29 12:28 , Processed in 0.108822 second(s), 19 queries .