提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
翻译|其它|编辑:陈津勇|2019-10-11 11:19:07.150|阅读 390 次
概述:本文主要介绍现在通过Visual Studio Code扩展进行PySpark作业时可运用的一些功能,和可实现的更便捷的操作。
# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>
近日,微软宣布Visual Studio Code支持SQL Server 2019大数据群集PySpark开发和查询。它为Azure Data Studio提供了补充功能,可供数据工程师在数据科学家的数据探索和试验之后编写和生产PySpark作业。Visual Studio Code Apache Spark和Hive扩展使您可以享受跨平台和增强的轻量级Python编辑功能,它涵盖了有关Python编写、调试、Jupyter Notebook集成以及类似于交互式查询的笔记型计算机的场景。
通过Visual Studio Code扩展,您可以享受本机Python编程体验,比如linting、调试支持、语言服务等。您可以为PY文件运行当前行、运行选定的代码行或全部运行,可以导入和导出一个.ipynb笔记本,并执行类似于“运行单元格”、“在上方运行”或“在下方运行”的查询笔记本,可以享受像笔记本电脑一样的交互式体验,其中包括您的源代码和标记注释以及运行结果和输出,可以在交互式结果窗口中删除不需要的部分、输入注释或键入其他代码。此外,您还可以通过matplotlib(如Jupyter Notebook)以图形格式可视化结果。
与SQL Server 2019大数据集群的集成使您能够快速向大数据集群提交PySpark批处理作业并监视作业进度。
主要功能亮点
您可以链接到SQL Server。该工具包使您可以连接PySpark作业并将其提交到SQL Server 2019大数据群集。
Python编辑。开发具有本地Python创作支持(例如IntelliSense、自动格式、错误检查等)的PySpark应用程序。
Jupyter Notebook集成。导入和导出.ipynb文件。
PySpark交互式。运行选定的代码行,或运行诸如PySpark单元格之类的笔记本,以及交互式可视化。
PySpark批处理。将PySpark应用程序提交到SQL Server 2019大数据群集。
PySpark监视。与Apache Spark历史记录服务器集成以查看作业历史记录、调试和诊断Spark作业。
如何安装或更新
首先,安装Visual Studio Code,然后下载适用于Linux或Mac的Mono4.2.x。然后转到Visual Studio Code扩展存储库或Visual Studio Code市场并搜索Spark,获取最新的Apache Spark和Hive工具。
慧都网·1024程序员节,DevExpress、MyEclipse、Axure RP、Aspose、FastReport等产品限时放“价”,给你专属宠爱!点击下方图片查看活动详情↓↓↓
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@capbkgr.cn
文章转载自:面对“数字中国”建设和中国制造2025战略实施的机遇期,中车信息公司紧跟时代的步伐,以“集约化、专业化、标准化、精益化、一体化、平台化”为工作目标,大力推进信息服务、工业软件等核心产品及业务的发展。在慧都3D解决方案的实施下,清软英泰建成了多模型来源的综合轻量化显示平台、实现文件不失真的百倍压缩比、针对模型中的大模型文件,在展示平台上进行流畅展示,提升工作效率,优化了使用体验。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
适用于.NET、C++、Python和前端开发人员的最佳综合 IDE
Microsoft SQL ServerSQL Server 2019 可安装于Windows,、Linux和Docker
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@capbkgr.cn
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢