【案例】光大银行：风险一体化项目实施
征信机构始于19世纪30年代的美国。雏形是一些商业调研机构，服务民间或银行借贷业务，获取信息途径通过招募些调研人员去街巷走访，然后逐渐形成规模及规范化。
2014年，互联网金融界最火的名词非P2P莫属，伴随着平台数量和类型的快速增长，业界对于P2P业务未来的成长性和发展性，也不禁产生了更多的期待。“大数据”一词，近两年与P2P行业联系紧密，前沿的互联网科技不仅为金融行业带来了更多活力，也帮助P2P行业实现快速成长。 实际上，互联网大数据技术对于P2P公司扩张企业边界，同样具有重要意义。 人言“它山之石可以攻玉”，阿里今年“双十一”物流配送体系在数据的流转和分享模式方面创新，或许可以给我们一些启发。 为应对飙升的物流运量，“双十一”期间，
中国已到数字化革命阶段-苏州太牛！其他城市还在迷茫时候，苏州已成为大数据商业创新发源地城市。
当下，“大数据”几乎是每个IT人都在谈论的一个词汇，不单单是时代发展的趋势，也是革命技术的创新。大数据对于行业的用户也越来越重要。掌握了核心数据，不单单可以进行智能化的决策，还可以在竞争激烈的行业当中脱颖而出，所以对于大数据的战略布局让越来越多的企业引起了重视，并重新定义了自己的在行业的核心竞争。当然，越来越接地气越来越实为要。 在当前的互联网领域，大数据的应用已十分广泛，尤其以企业为主，企业成为大数据应用的主体。大数据真能改变企业的运作方式吗？答案毋庸置疑是肯定的。随着企业开始利用大数据，我们每天都会
金融科技&大数据产品推荐：荣之联·风报—人工智能企业情报分析系统
数据猿导读 当前阶段，数据处于一个混乱无监管，但快速野蛮增长的阶段，各类形形色色的数据充斥着数据市场。第一类是用户授权爬取的数据；第二类是实时接入的接口数据；第三类是信贷机构本身产生的数据。 本文为数
根据数据查询路径查询目标任务数据的数据索引信息，对数据索引信息进行特征提取，得到特征信息集合；将特征信息集合输入聚类模型进行特征聚类，得到目标聚类结果；根据目标聚类结果构建距离数据离散分布图，根据距离数据离散分布图判断数据索引信息是否存在异常，得到数据异常判断结果；根据数据异常判断结果确定对应的异常索引节点；根据数据库组织信息，对异常索引节点进行数据库异常根因分析，生成目标任务数据对应的根因分析结果。
金融科技&大数据产品推荐：家装分期——满足万亿市场的家装分期消费
腾讯云数据库TDSQL与中国人民大学最新联合研究成果被SIGMOD 2022接收并将通过长文形式发表。SIGMOD是国际数据管理与数据库领域顶尖的学术会议之一，腾讯云数据库TDSQL论文已连续多年入选VLDB、SIGMOD、ICDE等国际顶级会议。 本次入选论文题目为：CompressDB: Enabling Efficient Compressed Data Direct Processing for Various Databases。论文针对压缩数据的直接操作与处理，提出一项新型数据库处理技术——Co
年初，从北极光创投获得了1000万美元投资的TalkingData创始人兼CEO崔晓波走入CSDN的视野。《TalkingData CEO崔晓波深度专访：真正懂大数据的公司不说大数据》一文将TalkingData团队构成、创业初衷、商务模式、产品特点描述的非常清楚。而后，伴随移动数据的风潮日渐猛烈，TalkingData发展速度更为惊人：其麾下App Analytics、Game Analytics和 Mobile Ad Tracking三项服务已经分别覆盖约7.2 亿、3.5 亿和2亿独立移动设备。 im
Impala是对现有大数据查询工具的补充，不能替代基于Hive的MapReduce批处理任务框架（适用于耗时长的批处理任务，例如ETL等）。
京东不惧刷单威胁，称用大数据打击黄牛和刷单准确率99% 今年的315曝光的电商平台上的刷单现象引起了很多人的关注，同样是电商平台的京东近日表示，除了严格的管理和奖惩制度外，他们还利用技术手段，通过大数
爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。比如：
养码场的线上课程，以技术人员为核心的学习、交流、分享社群，全方位服务技术人和技术创业者。这里聚集了众多BAT/美团/京东/滴滴/360/小米/网易等知名互联网公司技术总监&技术负责人，他们在这里分享经验、招聘人才，与你一起成长。
腾讯征信在2015全球移动互联网大会上首度亮相。腾讯征信总经理吴丹接受京华时报专访时表示，腾讯征信最快将在今年六七月获得央行颁发的个人征信牌照，目前正在内测向QQ、微信等腾讯产品的8亿用户推出征信报告。 今年1月，央行要求8家机构做好个人征信业务的准备工作，准备时间为6个月，蚂蚁金服、腾讯、拉卡拉等8家机构入围。据吴丹透露，腾讯征信作为腾讯的全资子公司，有望在年中获得牌照。 据介绍，腾讯征信提供的服务包括大数据征信和身份核实。吴丹表示，未来腾讯征信的服务对象主要分企业和个人两类。企业主要包括银行、
佳讯飞鸿布局物联大数据，拟1.3亿元收购六捷科技30%股权；商业数据分析公司GrowingIO完成新一轮2000万美元A轮融资；易会推出“营销云3.0”，重新定义大数据时代的事件数字营销……以下为您奉
金融科技&大数据产品推荐：神策分析——可私有化部署的用户行为分析平台
本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台架构的发展趋势。
作为当前互联网金融市场最重要的分支之一，网络借贷已入“短、平、快、准”的移动互联网时代。不论是传统银行、消费金融公司还是BAT巨头、P2P等互联网金融平台，都在觊觎这一块大蛋糕。在经历了数年的快速成长后，网络信贷开始两极分化，并逐渐形成几超多强的局面，那么在网贷整体进入下半场的时候，谁才是决定生死的力量？谁又能打好风控这张牌？
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能，通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
• 1 基础查询 • 2 字符串\数字\日期时间 • 3 聚合数据查询 • 4 子查询 • 5 联接\组合查询 • 6 高级查询 • 7 更新数据
阿里巴巴是“数据窃取者”吗？腾讯可以“监控”我的聊天记录吗？百度会记录我所有的搜索记录吗？最近，一系列关于数据的事件又重新把媒体和公众引向关于大数据的最初的是非问题：付费通与支付宝中止在水电燃气收费方
移动互联网的迅猛发展催生了更多创新和颠覆的模式，传统金融正受着巨大冲击。当前，随着微众银行微粒贷上线，加上现金贷、随意借、手机贷等平台，通过移动端贷款的平台也越来越多。 与此同时，以友信为代表的部分P2P平台也纷纷抢滩进入移动金融领域，“移动借款”正在从一个尚且新鲜的认知逐渐成为P2P行业的普遍共识。 对此，业内人士表示，通过移动端来贷款确实更加方便，不过可能更适合一些金额较小的贷款，同时，通过移动端等纯线上模式完成贷款，仍需依靠大数据的发展和不断完善征信体系。随着大数据、云计算等新一代互联网技术的迅速崛起
大数据价值的发现与其所处的应用场景密切相关。概括起来，大数据价值发现可以划分为三大类：数据服务、数据分析和数据探索。数据服务是面向大规模用户，提供高性能的数据查询、检索、预测等服务，通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验，通过对大规模数据使用特定的计算模型进行较为复杂的运算，从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合，通过不断揭示数据的规律和数据间的关联，引导分析人员发现并认识其所未知的数据模式或规律，其
基于大数据技术构建数据仓库平台，源于大数据技术本身的不成熟和普及度问题，以及辅助工具的缺失，注定了其实施过程与传统数据仓库的差异性，和更大的实施难度。本文针对大数据技术应用与数据仓库类项目需求分析阶段，需要完成的主要工作基于用户需求分析说明书的文档结构进行目录式展现。如需了解更深层的细节，可以做专项技术交流和咨询服务。
平台，即围绕“一平台，两个中心”（“一平台”即大数据服务平台，“两个中心”即“资源环境数据中心”、“业务协同应用中心”）的设计思路，建设生态环境大数据一体化服务平台，实现环境质量监测数据、污染源监测数据、辐射环境监测数据、环境监管数据的统一收集、汇总、存储及管理，促进各类数据的整合共享与业务协同，初步实现对数据的深度挖掘分析与创新应用，为环境管理、环境信息公开等提供数据服务和信息支持，为自治区生态云建设提供基础数据支撑。需要建以下一平台两中心：
文|叶蓬 【按：此文是与我的《基于大数据分析的安全管理平台技术研究及应用》同期发表在内刊上的我的同事们的作品，转载于此。这些基础性的研究和测试对比分析，对于我们的BDSA技术路线选定大有帮助。】 引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon D
通俗解释：SKipList 翻译为中文就是 跳跃表，SkipList是一种数据结构，用于快速的查找数据的位置，本质上了来讲是一个List链表。
这是一款特别强大的一款微信小程序源码,初步算了一下,该款小程序目前包含了几十个功能。
第一阶段-语言基础（15天） python基础语法 python字符串解析 python时间和日历 python文件操作，数据处理 python界面编程 python面向对象高级语法 命名空间和作用域应用案例分析 项目：图形界面实现数据查询、python实战2048、语音对话开发、语音控制开发 第二阶段-语言高级（15天） python处理txt，csv，pdf，jsons python平台迁移linux python常用第三方库 python发送邮件 python发送短信 python高级语法 python正则表达式 python网络编程 python系统编程 python pyGame python Office办公自动化 python 数据库开发 jpython简介 项目：高并发数据查询、简单邮箱爬虫、多线程网络爬虫、python飞机大战 第三阶段-全栈前段（20） HTMP-HTML5 CSS-CSS3 JavaScript JQuerry JQuerry EasyUI jQuery Mobile Bootstrap PhotoShop 第四阶段-全栈后端（35天） linux网站配置 Python Github 项目代码管理和项目开发流程敏捷、代码重构、测试驱动开发、自动化 Python网站框架Django开发 Python网站框架Flash开发 Pythonn web server框架Tornado开发 RESTful接口开发 Python全栈后端项目：学校管理系统、移动Twitter、聊天室 第五阶段-linux自动化（14天） linux指令实战 linux shell指令实战 linux运维自动化实战 系统基础信息模块 业务服务监控 定制业务质量报表 python与系统安全 运维常见工具 python运维阶段项目 linux系统安全审计 第六阶段-KaliLinux（3天） Klilinux简介 Kliliux信息收集 Kalilinux漏洞分析 Kalilinux数据库评估 Kalilinuxweb评估 Kalilinux密码破解 Kali linux无线安全 Kali linux嗅探欺骗 Kali linux权限维持 Kali Linux社会工程学 项目:Python FTP 网络,ZIP等等密码破解 ， Python密码字典生成 第七阶段-数据分析(14天) numpy数据处理 pandas数据分析 matplotib数据可视化 scipy数据统计分析 python金融数据分析 项目：美国各州人口数据分析、美国大候选人政治献金解密、天气数据分析与可视化 第八阶段-人工智能（7天） 机器学习基础知识简介 KNN算法 线性回归 逻辑斯蒂回归算法 决策树算法 朴素贝叶斯算法 支持向量机 聚类k-means算法 项目：预测年收入、自动脸补全、使用聚类手写数字识别 第九阶段-大数据（7天） Hadoop HDFS Hadoop Mapreduce python Spark编程 spark推荐系统引擎 spark Mlib 项目：IMDB电影大数据分析、漫威英雄关系分析、巴尔的磨房产数据分析 第十阶段-项目实战（25天） 分布式爬虫+elasticsearch打造搜索引擎 微信公众号平台 在线教育平台 1688电商网站 清华大学ERP系统 链家房产网 B/S自动化运维平台 大数据分析 人工智能深度学习tensorflow项目
一、大数据风控——互联网金融的命脉 近几年,大数据已经撼动了世界的方方面面,从商业科技到医疗、政府、教育、经济、人文以及社会其他各个领域;数据成了有价值的公司资产、重要的经济投入和新型商业模式的基石。 有人曾把大数据比喻成“新时代的石油;业界也有句话叫,得数据者得天下。现如今,在大数据时代下,数据比以往任何时候都更加根植于生活中的每个角落。试图用数据去解决问题、改善福利,并且促成新的经济繁荣等等。以上这些在互联网金融业尤为突出。 (一)大数据风控已成为互联网金融核心环节 早在1980年,著名未来
大数据数据需要查询分析可视化工具,AI数据挖掘和探索也需要相关可视化编辑工具，开源产品主要有两个一个是Zeppelin notebook 一个是jupyter notebook，其中juypter主要用于数据科学家、算法分析人员使用python进行数据分析、算法建模，相关企业如aws、百度、腾讯都有基于jupyter notebook去进行定制化开发，zeppelin notebook比较偏重于大数据数据查询分析可视化，支持多种大数据计算引、存储引擎擎如：Spark、Flink、Hive、Kylin等，现在对这两个产品进行介绍
数据猿导读 如今，虽然很多银行还没有设立单独的像“大数据部”这样的机构，甚至还没有成文的大数据战略规划等纲领性文件，但每家银行都把大数据作为一项非常重要的战略及措施在推进。 记者 | 郭敏 本文长度为
在这篇博客中，我们将深入探讨Apache Kylin的工作原理、优势以及如何高效使用它来处理大数据。这篇文章是为了帮助那些对大数据分析、数据立方体、OLAP技术感兴趣的读者，无论是初学者还是行业专家。我们将探讨Kylin的关键特性，如预计算数据立方体、多维分析和海量数据支持，以及如何在实际项目中应用这些特性。
随着近几年整个产业数字化进程的深入，数据库的应用场景变得更多、更复杂，导致数据库需要应对相比以往急剧增长的数据规模，处理更加多样的数据类型，以及具备更加复杂的场景化能力。
在用户画像平台架构图&构成？中，我详细描述了用户画像的构成，今天聊聊用户画像的质量保障，希望对大家有所帮助。
1、数据模型：Hive是基于Hadoop的关系型数据仓库，支持类SQL语言进行数据查询和处理，数据存储在Hadoop分布式文件系统中。HBase是一个分布式的列式NoSQL数据库，以键值对的方式存储数据，可以直接访问数据。
从Elasticsearch 到大名鼎鼎的ELK 三件套，从ELK 到Elastic Stack 生态，ES 的生态发展越来越完善，应用领域也越来越宽广。
在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求。
中间件分表是不是一个好的主意？通过中间件来对MYSQL的数据进行分表是一个常见的对于大数量的解决的方案，通过中间件将应用的数据在中间层进行路由，通过路由将一张表的数据，映射到不同物理数据库上的表，通过应用设计的分片键将数据根据规则存储在不同的物理服务器上。实际上分布式数据库的基本原理也是这样。
数据将是未来银行的核心竞争力之一,这已成为银行业界的共识。在大数据时代，银行所面临的竞争不仅仅来自于同行业内部，外部的挑战也日益严峻，互联网、电子商务等新兴企业在产品创新能力、市场敏感度和大数据处理经
很多大数据应用的实施似乎都是在一个现有的数据仓库上，添加一个或多个新的大容量数据流，还有一些支持数据存储和业务分析的专业软硬件。数据存储问题通常是通过部署一个专门的硬件一体机来协调，这样就可以在存储大量数据的同时还能够提供超快的数据访问。 在这样的情况下，我们还需要考虑数据库设计的问题么？ 大数据环境下的数据建模 大多数DBA认为：良好的数据库设计是系统和应用程序设计的一部分。很多的业务需求，如数据可用性，清理处理，还有应用性能都可以利用特定的数据库设计加以解决。 那么对于
随着信息时代的飞速发展，数据已经成为了各行各业的重要资源。知识图谱作为大数据时代的一种新型数据组织形式，能够将分散、无序的数据进行结构化处理，并建立起相互之间的关系，从而更好地满足人们对知识的需求。而在知识图谱中，数据服务扮演着至关重要的角色。
时序数据处理应用于物联网、车联网、工业互联网领域的过程数据采集、过程控制，并与过程管理建立一个数据链路，属于工业数据治理的新兴领域。从工具维度看，时序数据处理工具与传统时序数据库的差异很大。后者局限于车间级的可编程逻辑控制器，而非企业级。
在开源大数据技术飞速发展的十数年，我们见证了多元化技术的兴起和变迁。如何从海量数据中，通过数据处理和可视化的手段，对开源大数据技术的过去、现在和未来，做出深刻洞察？如何为开发者在开源大数据技术领域的学习、选型和技术研发提供有益参考？带着这样的思考，开放原子开源基金会、X-Lab 开放实验室、阿里巴巴开源委员会共同发起了「2022 开源大数据热力报告」项目， InfoQ 作为战略合作伙伴参与其中。 项目简介 「2022 开源大数据热力报告」收集相关公开数据进行关联分析，通过 Star、Issue、open
数据时代，数据的多源集成和快速检索查询是第一步，配上数据分析及可视化才能算窥得大数据一角。 创建这个项目的主要目的一是对前期工作的一些总结，二是提升自己。 这里简单介绍一下sqlpro这个项目的核心功能。
这里是天堂之门。互联网金融以及随后的Fintech蓝海，吸引了传统金融巨头、互联网大佬、创业新贵集体涌入。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
