首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏数据科学与人工智能

    金融科技:金融科技数据科学概述

    我以一个金融科技数据科学工作者的角度观看,是指利用各种科技服务金融业务和数据以创造商业价值的系统化过程。 我把它作进一步的细分: 1 各种科技,我常用的人工智能技术、数据科学技术、统计学习技术、数据分析和挖掘技术、数据可视化技术、数据库技术、数据平台技术等。 03 金融科技数据科学工作介绍 我是在金融科技从事数据科学工作,主要内容包括: 1 业务和数据的理解 2 数据清洗和准备工作 3 数据的探索性分析和报告 4 风控模型设计和应用 5 营销模型设计和应用 6 模型的部署、管理、优化和迭代 7 高效建模环境的搭建和维护 8 全流程数据科学工作的模块化编程 9 数据、规则、模型、策略设计、分析和调优 等等 04 金融科技数据科学人才的三点思考 如何成为一名金融科技数据科学人才 首先,金融科技数据科学人才属于一种复合型人才。这样的人才既需要熟悉金融业务问题,又需要掌握数据科学的知识和技能。 其次,优秀的沟通和表达能力、团队协作能力、项目管理能力,这些软实力,也非常重要。

    2.5K10编辑于 2022-01-20
  • 来自专栏数据科学与人工智能

    金融科技数据

    金融科技领域的数据,从数据结构角度观察,分为结构化数据、半结构化数据和非结构化数据;从数据所有权角度观察,分为自有数据和第三方数据;从数据作用角度观察,分为营销类数据、风控类数据、财务类数据等。 不同角度观察,可以梳理不同数据划分类型。 我结合自己的项目经验,从风控类和营销类两个方面来介绍所用到的数据集。 01风控类数据 凡是对于风控有作用的数据,都可以纳入风控类数据。 3)用户的终端数据 终端是入口,通过授权获取相关信息,比方说APP列表信息、短信信息、通讯录信息、设备信息、GPS信息等 4)用户授权运营商数据 运营商数据包括用户信息数据、通话数据、短信数据、流量数据 5)用户授权社保数据 用户社保数据包括用户信息数据、用户缴纳社保明细数据等。 6)用户授权电商数据 用户电商数据包括用户信息数据、用户地址数据、用户电商消费详单数据等。 8)贷中贷款和还款数据 用户贷款信息,用户额度数据,用户还款计划表,用户还款明细等。 9)贷后的催收数据 用户逾期数据,用户催收策略数据,用户失联数据等。

    1.2K20编辑于 2022-03-29
  • 来自专栏数据科学与人工智能

    金融科技数据导入技术

    金融科技行业,我接触的主要数据格式: 1 csv格式或者xlsx格式,轻量级的数据格式 2 SAS软件数据格式,通过SAS软件处理和保存的数据 3 数据库表格数据,关系数据库或者数据平台的数据表 4 第三方数据 API调用传送数据json格式 金融科技行业的数据科学工作,不管是探索,还是分析,还是建模,我们要先导入数据。 我的经验分享如下: 1 首先,清楚数据的格式 2 其次,选择合适的技术栈 3 第三,编写代码导入数据 4 最后,数据检视 01 导入csv格式或者xlxs格式数据 1.1 Python语言 使用pandas 2 使用pyhive库访问和获取大数据平台Hive数仓的数据表 3.2 R语言 使用RODBC包从数据导入数据表,需要在Win系统或者Linux先配置好ODBC。 例如: 1 使用RPostgreSQL包访问和获取PostgreSQL数据库的数据表 2 使用RMySQL包访问和获取MYSQL数据库的数据表 04 第三方数据返回的json格式 4.1 Python语言

    1.2K20编辑于 2022-03-29
  • 来自专栏数据科学与人工智能

    金融科技数据建模框架

    金融科技行业如何开展数据建模工作呢? 我给大家介绍三种数据建模框架,分别是IBM公司的CRISP-DM,SAS公司的SEMMA和我总结的PDFMV。 2 数据理解:梳理需要哪些数据,如何收集,数据探索性分析,数据质量报告。 3 数据准备:数据整理、数据清洗,数据集成,数据再格式化。 4 建模:数据划分,模型选择和构建。 1 数据采样:一要正确反映业务分析需求,二要考虑数据的规模和维度。 2 数据探索:深入理解数据的过程,利用统计学和数据可视化技术。 3 数据调整:数据转换和再格式化。 4 建模:模型设计和构建。 因此,在数据阶段,我们需要重视数据的源头、数据的聚集、数据的质量、数据的探索、数据的理解、数据的清洗、数据的转换等一系列与数据相关的工作。 我是陆勤,在金融科技行业从事数据科学工作,也是一名终身学习者。我工作过的内容主要包括数据清洗和准备、风控评分模型、数字营销模型、风控策略分析、数据建模环境构建和维护等。

    1.4K10编辑于 2022-01-20
  • 来自专栏大数据-BigData

    顺丰科技数据治理实践

    导读:本文介绍顺丰科技数据治理方面的实践。分享分为两个部分,第一部分总体介绍顺丰科技在整个数据治理过程中的心路历程:我们做了哪些工作,在数据治理各个领域,分别做了什么事情。 这个专职的团队,有科技方和业务方共同参与,业务方包含了顺丰科技各条业务线上的业务、财务、采购、人资、市场人员等。 第三阶段: 2022 年下半年及以后,顺丰科技在深层次的进行着整个数据治理体系的完善。 业务科技 Owner 是业务数据 Owner 对应的科技研发中心。比如供应商数据的业务数据 Owner 是集团采购供应链中心,业务科技 Owner 是采购与综合解决方案研发中心。 这么做是因为,关于数据治理的很多建设工作,包括标准的制定,如果仅仅是科技侧来制定这个标准,标准有时会慢慢的变形;同样,数据质量想要达到闭环,从业务走到科技,从科技再回到业务,实现质量的闭环,需要多方的参与 |分享嘉宾| 王敏君 顺丰科技 数据治理专家 华润创业 大数据总监;碧桂园 数字化专家;顺丰科技 数据治理专家。

    1.1K11编辑于 2022-11-21
  • 来自专栏数据猿

    科技战“疫”推动数据共享加速

    防疫战也是科技战。养兵千日,用兵一时。在抗击疫情中,以物联网、人工智能、大数据为主的新兴科技大显身手,展示出了极强的战斗力。 科技助力抗击疫情,而抗疫巨大的应用需求也将大大推动新兴科技的应用和大数据的互联互通。 许多精准防疫的手段都来自于大数据的应用。众所周知,大数据的核心就是互联互通,可数据共享难也一直是应用中存在的难点。 政府相关部门近年来一直在大力推动数据互联互通。而在抗击疫情中,非常之时行非常之事,许多超常规应急手段的使用,大大推动了数据的互联互通。 当然,数据的互联互通涉及到采集企业、部门、个人,存在所有权、使用权等各种复杂问题,并非想互联互通就能实现。经此次战“疫”,人们已经看到,数据互联互通的巨大作用。 如何推动企业和政府部门在大数据的采集、存贮、使用等方面实现共享加速,更好地发掘出大数据的价值,利用大数据为我们的生活提供便利、为企业创新发展提供动力、为城市应急管理提供支撑,值得引起更多思考。

    56710发布于 2020-03-04
  • 来自专栏大数据文摘

    科技:利用机器发热盗取数据

    这种处于概念验证阶段的攻击手法要求两台机器都要预先植入恶意软件,目前其数据传输率尚低得可怜:1小时仅能传输8位数据,不过用来传送简单指令或者窃取密码已经足够了。 研究者正是利用这些热传感器来发送指令给气隙系统或者从中获取数据的。 之前还有人研究过通过肉耳无法听到的声道、肉眼看不见的光通道以及难以察觉的电磁辐射来传输数据。但是这些手段都是单向的,这意味着只能窃取气隙系统的数据,但是却无法对其控制。 Ben Gurion大学的同一研究团队此前还曾演示过利用无线电及附近手机来窃取气隙系统数据。通过让受感染机器的显卡生成无线电信号,然后发送给附近手机的FM调频接收器,最后再转换为密码等数据。 根据斯诺登披露的消息,NSA也曾运用过这一技术的更复杂版本,不仅窃取了伊朗等国气隙系统的数据,而且还往里面植入了恶意软件。

    1K70发布于 2018-05-22
  • 来自专栏数据猿

    金融科技&大数据产品推荐:众安科技X-model反欺诈

    众安科技智能数据产品基于海量数据源和资深实战经验,为客户提供精细化风险管理及定制化模型搭建服务。 ID | datayuancn 本产品为数据猿推出的“金融科技价值—数据驱动金融商业裂变”大型主题策划活动第一部分的文章/案例/产品征集部分;感谢 众安科技 的产品投递 1、产品名称 众安科技X-model 反欺诈 2、所属分类 金融科技 · 风控 3、产品介绍 众安科技智能数据产品基于海量数据源和资深实战经验,为客户提供精细化风险管理及定制化模型搭建服务。 6、产品优势 众安科技的风控模型,依托众安科技亿级用户数据,与各行业合作积累的行业知识,经过业务的反复检验,成熟稳定。 众安科技是一家专注于区块链、人工智能、大数据、云计算等前沿技术研究的金融科技类公司,汇聚行业内的顶尖科研人才,并成立了复旦-众安区块链联合实验室、上海区块链企业发展促进联盟,旨在联合产学研推动区块链和人工智能技术的研究

    2.2K115发布于 2018-04-24
  • 来自专栏《C++与 AI:个人经验分享合集》

    《探秘数据储存:科技背后的无限奥秘》

    在当今数字化时代,数据储存已成为支撑科技发展的基石。我们生活在一个信息爆炸的世界里,每天都有海量的数据被产生、传输和存储。数据储存不仅仅是一项技术,更是一门艺术,它承载着我们的记忆、知识和梦想。 除了硬件层面的发展,数据储存技术在软件和算法方面也取得了显著进步。数据压缩技术的应用,使得在有限的存储空间内能够存储更多的数据数据加密技术则保障了数据的安全,防止数据被非法获取和篡改。 首先是数据安全问题。随着网络攻击手段的不断升级,数据泄露的风险也日益增加。保护数据的安全成为了数据储存领域的重要任务。其次是数据的快速增长带来的存储压力。 我们可以期待看到更多创新的存储介质和解决方案的出现,为我们的数据储存带来更多的可能性和便利。同时,随着人工智能、大数据等技术的融合发展,数据储存也将与这些领域相互促进,共同推动科技的进步。 数据储存,是科技发展的重要支撑,也是我们生活中不可或缺的一部分。它见证了人类社会的发展和变迁,记录了我们的成长和进步。

    21210编辑于 2024-12-09
  • 来自专栏PPV课数据科学社区

    数据时代,科技走到了宗教尽头

    PPV课大数据 这是一个人人都言“大数据”的时代,然“大数据”存在于何处?影响于何处?难免,普通大众被席卷而来的“大数据”之潮迷乱了眼睛,搅乱了思绪。 阿里巴巴集团数据委员会长车品觉在他的著作《决战大数据》里面也强调了两个重要观点:其一,大数据彻底消除了“样本偏差”(sample bias)。“样本跟大数据不同。 因为技术或者利益的原因,大数据时代搜集的数据也不能完全覆盖应用场景的各个环节,所取得的数据仍然是部分,不是全部。 所以说,即使在大数据时代,人们还是应该有敬畏之心,在这个时代,科技确实游走到了宗教边缘。 二、大数据结论是统计学意义上的整体性结论,并不是针对个体 任何基于统计学的理论分析和结论都是整体性的。 首先,淘宝/天猫搜集的数据一定不是所谓的“全量数据”,现有条件下,很多与顾客购买兴趣相关的核心数据无法被搜集。

    88530发布于 2018-04-20
  • 来自专栏思影科技

    思影科技EEGERP数据处理业务

    一、数据预处理 好的数据质量是获得可靠结果的前提,而预处理的质量往往对后处理的结果存在一定的影响。 脑电的数据对噪音的敏感性很强,为了提高您数据的质量,在更大程度上将数据中的信噪比提高,获得更严谨的科研结果,我们会对您的数据进行高质量的预处理。 四、溯源分析 1.源信号提取 通过sLORETA、fieldtrip、Besa等软件,对静息态数据/任务态数据进行溯源分析。 思影科技可根据您提供的模板文献,基于您的实验数据,实现文献中使用的数据分析方法。此外,未列出的分析方法,只要在思影科技的能力范围内,尽力实现您的想法。 2.分析代码可定制。 在没有现有的软件适用于您的数据分析需求时,思影科技会与您协商,通过编写代码实现您的想法,并提供代码的完整实现。

    2K20编辑于 2022-04-12
  • 来自专栏AI掘金志

    明略科技的“数据中台”野望

    而帮助企业连接数据,将数据用活,将垂直用户的使用习惯和业务知识,注入到平台,提供知识支撑,正是明略科技最擅长的。 公安领域的大数据服务专家 作为人工智能领域的独角兽,明略科技从最初,就选择了与国内很多人工智能公司不同的路径。 有了初心和数据基础,明略科技的大数据及AI服务,就找到了最适合的落地方向。自此,明略科技就开始为公安提供破案引擎,将公安的破案逻辑附在产品中,不断打造破案的知识分享系统。 “简单来说,明略科技想要利用更多数据,从数据中产生更多的业务价值和知识。将传统只能做一些BI统计性智能分析的数据仓库,进行升级,提升智能分析应用。”明略科技集团副总裁任鑫琦说道。 但作为大数据的软件产品、平台和智能服务商,明略科技对中台,显然有着清晰的理解和定位,并将其真正用到了业务中。这也是为什么,在数据层面,同行者很多都逐渐消失或转型,而明略科技却能一直深扎,越行越远。

    96511发布于 2019-11-20
  • 来自专栏数据科学实战

    AKShare-指数数据-科技投入指数

    本次更新财新数据的财新指数数据-科技投入指数,中国数字经济指数(Digital Economy Index,DEI)作为新经济系列指数(NEI)的子指数,利用网络大数据挖掘手段,度量了由信息技术革新驱动的数字经济的增长 更新接口 "index_ti_cx" # 财新中国-科技投入指数 科技投入指数 接口: index_ti_cx 目标地址: https://s.ccxe.com.cn/indices/nei 描述: 财新指数-科技投入指数 限量: 该接口返回所有历史数据 输入参数 名称 类型 描述 - - - 输出参数 名称 类型 描述 日期 object - 科技投入指数 float64 - 变化值 float64 - 接口示例 import akshare as ak index_ti_cx_df = ak.index_ti_cx() print(index_ti_cx_df) 数据示例 日期 科技投入指数 变化值 0 2015-07-31 27.562400 0.000000 1 2015-08-31 23.012985 -4.549415 2 2015-

    46210编辑于 2022-03-15
  • 来自专栏小麦苗的DB宝专栏

    偶数科技OushuDB数据库巡检脚本

    简介 Oushu Database(简称OushuDB)是新一代极速云数仓,让企业用户轻松构建核心数仓、数据集市、实时数仓以及湖仓一体数据平台。 偶数数据库作为一款生于大数据时代的产品,在云原生上支持了阿里云、腾讯云等各种云平台;适应 Hadoop 生态的发展,兼容 ORC 和 Parquet 存储格式,可以灵活的接入多种现有数据。 脚本DB_DM_HC_lhr_v7.0.0是达梦数据库脚本,执行后会产生达梦数据库的健康检查html报告。 脚本DB_TiDB_HC_lhr_v7.0.0.sql是TiDB数据库脚本,执行后会产生TiDB数据库的健康检查html报告。 脚本DB_DB2_HC_lhr_v7.0.0.sql是DB2数据库脚本,执行后会产生DB2数据库的健康检查html报告。

    1.4K40编辑于 2023-04-26
  • 来自专栏数据猿

    金融科技&大数据产品推荐:Stratifyd大数据智能分析平台

    Stratifyd大数据分析平台是Stratifyd大数据团队设计和研发的快速分析响应解决方案,其核心是以非结构化数据的AI处理为主,将非结构化文本数据和所有结构化数据有机的结合起来。 官网 | www.datayuan.cn 微信公众号ID | datayuancn 本产品为数据猿推出的“金融科技价值—数据驱动金融商业裂变”大型主题策划活动第一部分的文章/案例/产品征集部分;感谢 Stratifyd 的产品投递 1、产品名称 Stratifyd大数据分析平台 2、所属分类 金融科技·智能获客 3、产品介绍 Stratifyd大数据分析平台是Stratifyd大数据团队设计和研发的快速分析响应解决方案 ,其核心是以非结构化数据的AI处理为主,将非结构化文本数据和所有结构化数据有机的结合起来。 Stratifyd平台是基于Stratifyd的大数据实践经验以及对大数据处理和分析痛点的认识,其设计理念是让用户灵活地构建数据模型,敏捷地进行多维分析,并可随时随地阅览实时报表及外网关联数据,底层具有很强的水平扩展能力

    2.7K40发布于 2018-04-24
  • 来自专栏罗超频道

    科技快报47期—今天我们看数据

    3、前高管揭秘:显示广告已成亚马逊“赚钱机器” 塞林格从贝佐斯身上学到了重要一课:永远使用数据,而非个人直觉,去进行商业决策。“展示广告”被证明是亚马逊有史以来盈利能力最强的项目之一。 亚马逊并未披露当前的广告营收数据,塞林格估计今年将达到10亿美元。 精准推送、电话拨打、内容赞助神马新形势的广告都还在酝酿结点。 4、2017年WiFi网络将成移动互联网主要通道 美国移动设备厂商Juniper在最新发布的报告中预计,到2017年,绝大部分移动数据流量将由WiFi网络处理。 手机和平板电脑产生的数据流量将达到9万PB(数据容量单位,1PB=1024TB),相当于70亿部蓝光电影的流量。尽管如此,届时只有40%的移动数据流量经由蜂窝网络传输。 本快报内容源 PoweredBy 爱科技网 http://www.ikeji123.com

    65860发布于 2018-04-25
  • 来自专栏思影科技

    思影科技眼动数据处理服务

    思影科技能够结合研究者的兴趣,设计对应的实验方案,或者帮助研究者优化实验设计,并结合数据处理方法改良实验设计,帮助研究者们更有效的采集数据。 ? 反向注意眼跳实验设计范例 ? 因此,思影科技推出了专门的数据清洗方案,以保证客户数据的清洁度。同时,定制化的数据清洗方案,可以帮助客户更好地满足不同杂志在数据处理方面提出的要求。 ? 思影科技将使用最前沿的方法对瞳孔直径数据进行分析,并定制数据分析代码。 ? (1)定制分析方法 思影科技可根据您提供的模板文献,基于您的实验数据,实现文献中使用的数据分析方法。此外,文献中未列出的分析方法,只要在思影科技的能力范围内,尽力实现您的想法。 没有现有的软件适用于您的数据分析需求时,思影科技会与您协商,通过编写代码实现您的想法,并提供代码的完整实现。

    1.4K30发布于 2020-05-11
  • 来自专栏脑电信号科研科普

    悦影科技—结构MRI数据处理服务

    为了帮助脑科学领域的相关研究者更快地获得结构MRI数据分析结果,把更多的精力放在实验设计上,河南悦影医药科技有限公司(简称悦影科技)特此推出结构MRI数据处理服务。 我们团队由多年从事MRI、EEG数据处理和机器学习技术研究的博士和高校老师组成,“专业,认真,责任”是我们一直恪守的服务理念,悦影科技竭诚为您提供高质量、精准的数据处理服务。 结构sMRI数据处理服务项目具体如下: 一、VBM 脑灰质密度分析 包括预处理、指标提取、统计分析、结果汇报与呈现。 Figure 1. 大脑灰质密度差异示意图 二、DTI数据分析        TBSS分析以及纤维追踪分析。

    55800编辑于 2022-05-05
  • 科技行业,Cohesity 数据安全管理的应用

    科技行业是变革的催化剂,正在重塑医疗 保健、能源、电信和其他行业。目前,科技 公司在积累大量的关键数据,这些数据需 要保护和管理才能满足监管要求。 然而,大型科技公司已经成为恶意行为者和勒索软件攻击者的主要目标。如果遭受了攻击,就会造成重大影响,包括暴露敏感数据、运营中断和被索要赎金。 通过数据分类和自动化数据保留策略,帮助您满足GDPR、Gramm-Leach-Bliley 法案和 PCI 的严格要求。通过全面的数据安全和管理功能保护您的数据免受勒索软件攻击。 数据整合:Cohesity Data Cloud将数据中心、边缘站 点和公共云环境的数据整合到一个简单且可扩展的 平台中。 高可用性:使用容错架构、数据冗余、数据复制等确保 数据始终可访问,即使在系统发生故障时也是如此。

    22110编辑于 2025-07-02
  • 来自专栏UniPro

    新享科技UniPro用户中心护航数据安全

    2021年数据泄露成本报告》近日发布,报告显示,数据泄露成本在新冠疫情期间创历史新高,全球20%企业表示,远程办公是导致数据泄露的重要因素,而此类数据泄露会给公司造成高达 496 万美元的损失,比平均水平高出近 在此背景下,北京新享科技有限公司推出新享用户中心,针对信息泄露问题,为用户和企业提供可靠的数据安全解决方案,并打通新享旗下全线产品,为新享用户提供全流程便捷服务。 严格配置权限实现数据隔离 新享科技在2022年已通过ISO27001信息安全管理体系认证,创始人和核心研发团队均在互联网数据安全和网络安全领域具备资深的专业背景,扎根企业基因中的安全意识贯穿产品开发始终 新享科技创始人、CEO侯文婷博士表示,针对恶意软件的风险,未来,新享用户中心还将打造连接中心,企业和用户无需复杂操作,便可轻松连接“安全盾牌”,无缝衔接防欺诈保护系统、风险防控系统等,提高信息安全性,对隐患及时预警 关于新享科技 新享科技打造低代码平台,助力企业数字化转型升级,是上海合见工业软件集团控股子公司,旗下还有项目管理工具UniPro等软件产品。

    45020编辑于 2023-02-24
领券