范文资料网>规章制度>岗位职责>《数据工程岗位职责

数据工程岗位职责

时间:2023-08-10 15:39:59 岗位职责 我要投稿

数据工程岗位职责

  在当下社会,岗位职责的使用频率呈上升趋势,岗位职责具有提高内部竞争活力,更好地发现和使用人才的作用。什么样的岗位职责才是有效的呢?以下是小编精心整理的数据工程岗位职责,欢迎大家分享。

数据工程岗位职责

  数据工程岗位职责1

  岗位职责:

  1、GIS数据采集与处理;

  2、电子地图配图;

  3、数据整合。

  岗位要求:

  1、地理信息系统、数据库技术及计算机应用技术相关专业毕业。

  2、熟悉GIS制图流程,熟练使用制图软件(MapInfo、SuperMap、ArcGIS);

  3、了解AutoCAD制图与3DMAX建模软件;

  4、有ORACLE 或 SQLServer、ACCESS的`使用经验,熟悉SQL语言;

  5、有ARCGIS系列软件的安装及使用经验者优先;

  6、有数字城市项目或国土行业项目实施经验者优先;

  7、团队合作意识与沟通能力强,有一定的文档编写能力;

  8、踏实、肯干、做事细心、责任感强,有相关工作经验者优先。

  数据工程岗位职责2

  1、负责大数据平台搭建及数据仓库建模;

  2、负责数据库管理及数据优化;

  3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作;

  4、维护大数据平台并能解决相关问题,保障平台正常运行;

  5、学习和研究新技术以满足系统需求。

  数据工程岗位职责3

  1、参与或负责公司的`大数据平台的建设;

  2、负责项目的需求调研、数据分析、商业分析和数据挖掘模型等;

  3、负责项目中数据准备、模型建立、模型跟踪、模型优化、模型维护、部署和评估;等闭环流程,为营销、运营及决策提供分析支撑及技术支持;

  4、使用统计学分析方法、挖掘算法,构建有效且通用的数据分析模型,支持现有业务并适应业务的不断拓展。

  数据工程岗位职责4

  职责:

  1.根据业务场景要求设计数据挖掘模型,包括有监督、无监督类模型,以及偏好、价值评估类模型、组合最优化类模型等

  2.通过数据挖掘手段进行标签化工作

  3.根据数据挖掘方法论完成数据挖掘全流程建模工作

  4.自主开展模型效果评估,并不断优化

  5.开展数据挖掘模型产品化工作

  6.带领产品(或项目)团队进行技术攻关

  7.主导数据挖掘相关解决方案编写、客户交流

  任职资格:

  1.本科及以上学历

  2.熟悉SPARK ML

  3.精通Python技术

  4.精通数据挖掘常用算法以及神经网络算法

  5.精通SQL数据处理,包括关系型数据库,以及Hive SQL、Spark SQL处理

  6.三年以上数据挖掘设计、开发经验

  7.具备独立研究以及解决问题的.能力

  8.较强的PPT方案撰写以及呈现能力

  9.较强的沟通协调和执行能力,能够承受较大的工作压力

  10.较强的工作责任心和客户服务意识

  数据工程岗位职责5

  职责:

  1、规划及建设大数据平台;

  2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;

  3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;

  4、参与项目的系统设计和核心代码开发,指导和培训其他工程师;

  5、 整理和提交技术文档,负责核心功能模块的代码编写和测试工作。

  岗位要求:

  1、计算机、统计学等相关专业本科及以上学历,具有深厚的数学、统计学和计算机相关知识,精通数据仓库和数据挖掘的相关技术,3年以上大数据开发相关经验;

  2、具有非常扎实的`Java基础,熟悉Shell、Python、R、Scala等一种以上语言;

  3、算法基础扎实,熟悉常见的数据结构,了解分布式算法和分布式系统的技术原理;

  4、精通MapReduce设计方法或Spark计算框架、对NoSQL,Hadoop、Hbase、Spark、Hive等主流云计算,大数据相关软件有充分的了解,并且有实践经验,能解决应用中的复杂问题;

  5、熟悉大数据处理相关技术,包括但不限于Hadoop、Hive、Hbase、Impala、Spark,Kafaka、Flume、Sqoop、Storm、Redis等;

  6、研读过Hadoop、Hbase、Hive源代码者,能够在特定业务中进行定制改造者优先;

  7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。

  数据工程岗位职责6

  1、负责国内外上市公司、股票、基金、债券等金融相关数据进行收集、整理和分类;

  2、根据业务需求和相关算法模型公式,对原始数据进行加工、清洗工作;

  3、协助处理项目反馈的数据问题,保证数据质量和精准度;

  4、搭建和完善数据采集平台,保证平台的高效和稳定性。

  数据工程岗位职责7

  职责:

  1、对海量业务数据进行整合、分析、挖掘,并提供相关数据服务;

  2、研发与设计大数据挖掘算法,搭建数据平台;

  3、应用数据挖掘工具或者开发新算法,参与项目开发,解决产品需求;

  4、通过对数据的敏锐洞察,深入挖掘产品潜在价值和客户需求,进而提供更有价值的产品。

  岗位要求:

  1、统计学、应用数学、计算机等相关专业,统招本科及以上学历;

  2、一年以上数据挖掘经验,熟练掌握多种统计和挖掘方法,熟练使用SPSS、SAS等相关数据分析软件;

  3、较强的数据敏感度,逻辑分析能力和文档撰写能力;

  4、良好的逻辑思维能力,优秀的'分析和解决问题的能力,对挑战性问题充满激情。

  数据工程岗位职责8

  职责:

  1、负责所分管团队的团队建设和日常管理工作;

  2、负责核心技术问题攻关和性能优化,持续维护和引进最新的大数据技术到城市大数据平台中,支撑城市级大数据平台业务;

  3、承担城市数据标准编制和数据模型的'设计;

  4、承担项目中数据相关方案设计及数据团队管理;

  5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。

  任职资格:

  1、1年以上数据开发工作经验,熟练使用SQL查询引擎;

  2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具

  3、具备良好的编程语言基础如:java/python/scala/c++/shell等

  4、二本以上学历,计算机相关专业或者有相关培训经历者优先

  5、个人素质要求:目光长远、态度诚恳、岗位有稳定性,能够长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划,优秀的学习能力和团队沟通协作能力,对新技术有浓厚兴趣并有钻研精神。

  数据工程岗位职责9

  1、具备大数据或者数据库工作经验2年以上;

  2、熟悉主流nosql数据库技术hbase,mongodb图数据库等其中两种;

  3、熟悉hadoop生态圈技术;熟悉3个以上大数据开发框架和中间件:hive、kafka、flume、spark等;

  4、具有java、python调试、linux、shell编程能力;

  5、思路清晰、良好的学习能力、善于协作、沟通和具备团队合作意识,能够适应出差。

  数据工程岗位职责10

  1、负责数据平台数据整合与数据仓库模型的建立、维护和优化;

  2、参与指标体系与报表的设计、开发与维护;

  3、了解、监控应用需求及数据源的变化,并评估对数据仓库模型的影响;

  4、设计数据模型的etl实现,参与团队etl流程的优化以及相关技术问题的解决。

  5、基于数据分析和数据资源的.挖掘,提升数据的商业应用价值。

  数据工程岗位职责11

  职责:

  1、参与公司数据仓库基础平台的建设

  2、参与数据建模及数据仓库应用产品的设计和开发。

  3、参与数据仓库ETL流程的优化及解决ETL相关的技术问题。

  4、通过专项分析,输出专项分析报告,为业务模块的决策和产品方向提供数据支持

  5、通过市场细分、同期群分析或者AB测试来分析数据,根据数据变化定位产品的`运行现状;

  6、其他工作,参与完成各类分析报告、报表等其他指定的工作。

  岗位要求:

  1、本科以上学历,有三年以上互联网数据仓库设计和实现经验。

  2、熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,熟悉3NF和多维数据模型设计。

  3、具备Hadoop、Hive、Hbase,Spark,Kylin等大数据技术处理经验,并具有开发经验者更佳。

  4、热爱数据工作,具有学习精神,有超强责任心和上

  数据工程岗位职责12

  职责:

  1、利用数据挖掘、机器学习相关算法,解决业务需求,提高产品的用户体验;

  2、对海量的业务数据、用户数据进行挖掘分析,发现数据和业务背后的规律;

  3、针对业务流程进行分析调研,探索提升转化率效果的`思路和方案并推动转化、

  岗位要求:

  1、熟悉大规模数据挖掘、机器学习、分布式计算等相关技术,能熟练使用聚类、回归、分类等算法并调优;

  2、熟悉Linux环境开发,至少熟悉java/PHP/Python/Scala/Go/C/C++等语言中一种或一种以上;

  3、熟悉基于Spark、ElasticSearch、hbase等大数据平台的相关开发;

  4、有深度学习实践经验者优先,有sparkmlib经验者优先。

  数据工程岗位职责13

  职责:

  1.从事精准医疗领域的.大数据管理分析、BI数据挖掘;

  2.熟练使用脚本工具访问数据库,并完成相应的脚本分析,以图形界面的方式呈现;

  3.熟练使用统计或者机器学习算法,对结构化数据进行统计分析,包括分类和聚类,并进行预测建模等;

  4.与相关项目开发组沟通,明确其需求并给予数据分析统计结果等支持。

  任职要求:

  1、应用数学,计算机,生物等相关专业硕士以上学历;

  2、有生命科学、基因、医药等生物科技行业2年以上工作经验;

  3、熟练运用各种常用算法和数据结构,熟悉常用的机器学习算法,了解各种算法的优缺点和局限性;

  4、熟悉R、Python等数据分析平台及工具,有搭建hadoop、spark或类似平台从业经验;

  5、熟悉主流数据库Oracle、MySQL对NoSql有一定了解及应用经验;

  6、有团队精神,能够承担责任和压力。

  数据工程岗位职责14

  职责:

  1.负责公司环保大数据平台的架构与搭建;

  2.负责需求分析,根据客户应用需求规划大数据平台架构;

  3.负责将大数据平台部署至私有服务器群、私有云或公有云;

  4.负责在企业内部进行数据平台原型开发与数据实时交互、存储性能测试;

  5.负责与数据挖掘算法交互的架构设计与开发。

  任职要求:

  1.计算机相关专业,全日制本科以上学历;

  2.具有3年以上大数据相关应用开发经验,有Java开发经验更佳;

  3.至少熟悉一种流行的.大数据编程框架,如Spark,Storm,Flink等;

  4.熟悉大数据生态圈常用技术如RocketMQ,Kafka,Flume,Zookeeper等;

  5.熟悉Hadoop安装、调试、发布配置应用,熟悉Linux操作系统更佳;

  6.至少熟悉TIDB,MySQL,SQLServer其中一种数据库;

  7.学习能力强,对技术有热情,关注技术发展方向;

  8.具有工业物联网、智慧型环保项目背景者优先。

  数据工程岗位职责15

  职责:

  1、运用数据挖掘、统计学习的理论和方法,深入挖掘和分析数据,并设计实现相应的算法。

  2、大规模数据的分类、聚类、关联等算法的比较研究,并能够根据公司需要,在短内熟悉特定领域的业务知识。

  3、根据数据产品的设计进行数据探索、包括算法选取、领域数据准备、数据预处理、特征抽取,以及模型验证。

  任职资格:

  1、熟悉AI相关知识,了解常见的`公开算法的原理和实现方法。

  2、熟练使用数据分析、挖掘方法;熟悉各项数据挖掘、机器学习相关算法等方面知识。

  3、有海量数据挖掘和分析经验,能独立构建模型,完成数据分析等工作。

  4、对数据敏感,具有良好的逻辑思维能力、理解业务的能力、沟通能力和表达呈现能力,具备使用Python,R,JAVA,SPSS工具,Python、R语言的经验优先考虑。

  5、全日制本科及以上学历,计算机相关专业。

  数据工程岗位职责16

  1.基于公司大数据产品进行数据开发,包括数据的采集,清洗,预处理,存储,建模,分析挖掘等

  2.根据业务用户需要分析数据,提供数据支持

  3.参与公司大数据产品的运维和监控,保障数据质量和服务稳定性

  数据工程岗位职责17

  职责:

  1、负责制定数据仓库平台技术体系架构、数据架构及规范;

  2、负责设计和实施公司业务数据的实时/离线数据ETL架构方案;

  3、负责调度架构设计与开发;

  4、负责数据仓库平台运维以及日常数据运营等管理;

  5、负责关键技术攻关;

  岗位要求:

  1、计算机、数学、统计等相关专业本科及以上学历,3年以上数据仓库项目开发经验,参与过数据仓库架构设计,对ETL开发流程、调度架构有深入理解;

  2、精通mysql等数据库,丰富的SQL性能调优经验;

  3、熟练使用Java、Shell等脚本语言;

  4、熟悉数据治理理论,数据质量、元数据管理流程和方法;

  5、了解Hadoop/Hive/HBase/Spark/Storm等技术及其生态圈;

  6、沟通能力好、责任心强,具有良好的.团队合作精神和敬业精神;

  数据工程岗位职责18

  职位描述:

  1、基于海量数据,支持业务对数据的分析和使用:

  2、支持业务处理数据的.流式处理、构建数据仓库、分析用户行为等。

  任职要求:

  1、有扎实的编程能力,有优秀的设计和代码品位,对解决具有挑战性问题充满激情;

  2、对大数据处理有丰富的经验和广阔的视野;

  3、熟悉常用的开源组件:hadoop/hive/spark/storm,并了解其特性和使用场景;

  4、优秀的沟通理解能力,能快速理解业务,用数据解读业务;

  5、推荐或机器学习相关的开发工作优先。

  数据工程岗位职责19

  职责:

  1.负责生产环境Mysql数据库系统高可用、高性能架构方案,分库分表策略,数据库扩展方案。

  2.排查数据库故障,分析和解决疑难问题,提出预防方案;

  3.制定数据库监控策略,备份策略,容灾策略;探查系统潜在的问题和可能的性能瓶颈,并进行优化。

  4.对开发工程师的SQL语句进行审核,SQL优化。

  5.参与前瞻性新技术研究,解决数据库相关疑难问题。

  6.负责redis,memcache等非关系数据库的'管理和扩展任职资格:

  职位要求:

  1.具备5年以上丰富的MySQL实践经验,熟悉Oracle的管理和优化;

  2.计算机及相关专业,本科以上学历;

  3.具备优秀的数据库架构设计能力,精通MySQL数据库性能优化,精通MySQL引擎,精通MySQL主从调优;

  4.精通MySQL、ORACLE数据库的运行机制和体系架构;

  5.精通MySQL、ORACLE复制,实时备份、负载均衡等处理技术,精通数据库核心参数设置和调整;

  6.精通redis,memcached等非关系数据库管理;

  7.需具备IO与系统性能优化的经验;

  8.需具备良好的职业道德,工作认真、踏实,责任心强,有团队协作精神;

  9.有大型网站数据库高并发量设计经验、熟悉大型数据库的设计、容量/性能管理和调优者优先;

  数据工程岗位职责20

  职责:

  1、负责内容的处理,包括关键词提取、主题分析、类目预测、质量打分等;

  2、负责海量用户行为的分析研究,挖掘优化用户画像,包括人口属性和用户兴趣等;

  3、负责推荐引擎算法的开发,包括各类推荐算法的实现、特征和参数调优、用户体验优化等;

  4、负责数据营销平台策略的开发,包括用户洞察、行业指数趋势预测、各类精准定向算法的'实现和优化等;

  5、负责人工智能技术的研究,包括机器学习、知识推理、文本语义理解、计算机视觉等技术;

  6、通过海量数据对用户广告的行为进行深入分析与洞察,提炼和发现业务规律,指导推荐模型特征构建,定位产品相关的数据问题及分析优化;

  7、结合广告投放场景和用户画像进行分析、归纳统计指标建设,协助模型快速定位问题。

  招聘要求及条件:

  1、具备数据挖掘、NLP、机器学习、最优化等算法原理知识背景;

  2、具备推荐系统、精准营销、信息检索等方面的工作经验优先;

  3、具备大规模分布式计算平台的使用和并行算法的开发经验,对大数据处理及应用有浓厚兴趣;

  4、具有机器学习、数据挖掘、算法优化的基础并具有浓厚兴趣;

  5、熟悉统计原理及检验方法、熟悉数据分析方法;

  6、熟悉分类、回归、聚类、降维等机器学习算法及应用场景;

  7、熟悉Java、Python等,能独立完成相关的数据分析及分析报告相关工作。

【数据工程岗位职责】相关文章:

数据工程岗位职责15篇04-08

数据工程师岗位岗位职责03-08

数据开发工程师岗位职责02-22

数据挖掘工程师的岗位职责02-23

数据挖掘工程师岗位职责03-20

数据库工程师的岗位职责01-20

数据仓库工程师的岗位职责04-02

数据库工程师岗位职责01-04

数据恢复工程师岗位职责01-05