程序问答   发布时间:2022-06-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了使用 HTTP 源读取 CSV 导出的 Cloud Data Fusion 问题大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决使用 http 源读取 CSV 导出的 Cloud Data Fusion 问题?

开发过程中遇到使用 http 源读取 CSV 导出的 Cloud Data Fusion 问题的问题如何解决?下面主要结合日常开发的经验,给出你关于使用 http 源读取 CSV 导出的 Cloud Data Fusion 问题的解决方法建议,希望对你解决使用 http 源读取 CSV 导出的 Cloud Data Fusion 问题有所启发或帮助;

我是第一次尝试 Cloud Data Fusion。 我有这个端点,我想在 testwise 中使用:

https://waidlife.com/BACkend/export/index/export.csv?feedID=1&hash=4ebfa063359a73c356913df45b3fbe7f (这是出口商品)

标题行说明以下结构:

ID,title,description,link,image_link,price,availability,condition,Google_product_category

在配置 http 源(Data Fusion Hub 中可用的插件)时,我设置了以下记录(请注意,我将 Google_product_category 设置为可以为空)

使用 HTTP 源读取 CSV 导出的 Cloud Data Fusion 问题

我还将其配置为以 CSV 作为格式并跳过标题行:

使用 HTTP 源读取 CSV 导出的 Cloud Data Fusion 问题

现在,如果您查看 API 端点 URL(如上所述),您会发现 Google_product_category 列是空的。我认为这不会成为问题,因为数据融合的输出模式可以忽略那里的值

2021-02-25 19:38:37,192 - ERROR [Executor task launch worker for task 0:o.a.S.U.Utils@91] - AborTing task
java.lang.RuntimeException: CAnnot convert line '"10042","NeoSHell Reliance Jacket","Das Filson NeoSHell Reliance Jacket besteht aus Polartec  NeoSHell  der aktuell atmungsaktivsten und wasserDichtesten Membrane dIE es gibt. Im Gegensatz zu gewöhnlichem SHell-Material,ist NeoSHell  besonders soft und geräuscharm und eignet sich somit auch perfekt für dIE Jagd. DIE Nähte der wasserDichten Reißverschlüsse sind vollständig versIEgelt. DIE Reißverschlüsse unter den Achseln verhindern,dass sich bei hoher Aktivität Wärme anstaut und sorgen für dIE richtige Belüftung. DIE...","https://www.waIDlife.com/regenjacken/neosHell-reliance-jacket","https://www.waIDlife.com/media/image/c8/ab/aa/NeoSHellRelianceJacketlifestyle2.jpg","366.75 EUR","in stock","new",""' to a record. Reason: 'java.util.NoSucHelementexception: null'
    at io.cdap.plugin.http.source.batch.httpBatchsource.transform(httpBatchsource.java:109) ~[1614281902851-0/:na]

我尝试了所有可能的配置组合,但无法弄清楚为什么整个过程无法成功运行。

为了重现这里是整个管道的 JsON 导出:https://pastebin.com/0qkvTSvh

解决方法

发生这种情况是因为在带引号的字符串中有额外的 , 字符。截至目前,我们不支持带有分隔符的引用字段的 CSV。如果这只是一个测试输入,我建议您尝试使用不含 , 的字符串值。支持 Null 值,应该可以正常工作。

我为此创建了一个 bug。

大佬总结

以上是大佬教程为你收集整理的使用 HTTP 源读取 CSV 导出的 Cloud Data Fusion 问题全部内容,希望文章能够帮你解决使用 HTTP 源读取 CSV 导出的 Cloud Data Fusion 问题所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。